Python爬虫实战：如何从京东获取150+万条数据

要爬京东这种大型电商网站，数据量还这么大，你得用点技巧。直接硬刚很容易被封IP，而且京东的反爬现在挺严的。我给你个思路和核心代码，用异步aiohttp来搞，速度快，再配上代理IP池和随机User-Agent。

核心就是分几步走：

1. 先搞定商品列表页，拿到所有商品的SKU ID。
2. 用这些ID去拼商品详情页和评论页的链接。
3. 异步并发去请求这些页面，解析数据。
4. 数据存下来，建议用MongoDB或者直接存JSON文件，150万条数据量不小。

这里有个关键点，京东的评论数据有个专门的接口，比从网页上扒容易。列表页的翻页可以用他们的“懒加载”接口。

给你看个爬评论的异步示例：

import aiohttp
import asyncio
import json
from datetime import datetime

async def fetch_jd_comments(sku_id, session, max_pages=100):
    """抓取单个商品的评论"""
    all_comments = []
    base_url = "https://club.jd.com/comment/productPageComments.action"
    
    for page in range(0, max_pages):
        params = {
            'productId': sku_id,
            'score': 0,  # 0表示全部评价
            'sortType': 5,  # 按时间排序
            'page': page,
            'pageSize': 10,  # 每页10条
            'isShadowSku': 0
        }
        
        try:
            async with session.get(base_url, params=params, timeout=10) as response:
                if response.status == 200:
                    data = await response.json()
                    comments = data.get('comments', [])
                    
                    if not comments:  # 没有更多评论了
                        break
                    
                    for comment in comments:
                        cleaned_comment = {
                            'sku_id': sku_id,
                            'content': comment.get('content', '').strip(),
                            'creation_time': comment.get('creationTime', ''),
                            'score': comment.get('score', 0),
                            'user_level': comment.get('userLevelName', ''),
                            'useful_vote_count': comment.get('usefulVoteCount', 0)
                        }
                        all_comments.append(cleaned_comment)
                    
                    print(f"SKU {sku_id}: 第{page+1}页完成，获取{len(comments)}条评论")
                    await asyncio.sleep(0.5)  # 礼貌性延迟
                    
        except Exception as e:
            print(f"SKU {sku_id} 第{page}页请求失败: {e}")
            continue
    
    return all_comments

async def main(sku_list):
    """主函数，并发抓取多个商品"""
    connector = aiohttp.TCPConnector(limit=10)  # 控制并发数
    timeout = aiohttp.ClientTimeout(total=30)
    
    async with aiohttp.ClientSession(connector=connector, timeout=timeout) as session:
        tasks = [fetch_jd_comments(sku, session) for sku in sku_list]
        results = await asyncio.gather(*tasks, return_exceptions=True)
        
        # 合并结果
        all_comments = []
        for result in results:
            if isinstance(result, list):
                all_comments.extend(result)
        
        # 保存数据
        with open(f'jd_comments_{datetime.now().strftime("%Y%m%d_%H%M%S")}.json', 'w', encoding='utf-8') as f:
            json.dump(all_comments, f, ensure_ascii=False, indent=2)
        
        print(f"总共获取 {len(all_comments)} 条评论数据")
        return all_comments

if __name__ == "__main__":
    # 示例SKU列表，实际需要从列表页获取
    sample_skus = ['100012043978', '100006779472', '100010386576']
    
    # 运行异步主函数
    asyncio.run(main(sample_skus))

要爬150万条，你得先搞到足够多的商品SKU。可以从分类页入手，或者用他们的搜索接口。记得控制好请求频率，加上代理IP，不然你的IP几分钟就没了。数据存储建议分批存，比如每1万条存一个文件，这样不容易丢数据。

总结：核心是异步请求加代理池，从评论接口入手效率更高。

欢迎大家不吝指教．

代理 IP 用的不是一家，是用这两位的项目　 https://github.com/qiyeboy/IPProxyPool 　 https://github.com/qiyeboy/IPProxyPool ．只是个人感觉还是不够方便，还需要自己安装和配置环境，所以我就把这两个项目做成 docker image. 然后映射　 IP 出来，通过　 api 获取代理 IP.　只是 image 还有点问题，所以还没有分享出来．

这… 我写这爬虫只是用来分享，并未打算用于商业用途．商业用途就有待你发掘了，但是前提是遵守相关法规　:)