Python爬取网站时遇到瓶颈，如何解决？

遇到爬虫瓶颈，先别急着加线程，得先定位问题在哪。通常就几个地方：目标网站的反爬策略、你本地网络或代码效率、还有对方服务器的容忍度。

第一步，先看反爬。 最简单的，用requests发个请求，看看返回状态码和内容。

import requests
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}
resp = requests.get('你的目标网址', headers=headers)
print(resp.status_code)
print(resp.text[:500]) # 看前500字符

如果返回403、429或者页面里一堆验证码的提示，那基本就是被反爬了。这时候得加headers模拟浏览器，或者用time.sleep随机延时。如果还不行，可能需要考虑用selenium这类工具模拟真人操作，或者研究下网站有没有公开的API接口能直接调用。

第二步，如果是速度慢或卡住。 先检查是不是单个请求就慢。如果是，那加并发也没用，可能得优化解析逻辑（比如用lxml代替BeautifulSoup解析大页面），或者看看是不是网络问题。如果单个请求快，但批量抓取慢，可以用concurrent.futures搞个简单的线程池控制并发数，别一上来就开几百个线程把人家服务器搞崩了。

from concurrent.futures import ThreadPoolExecutor, as_completed
import time

def fetch(url):
    # 你的抓取逻辑
    time.sleep(0.5) # 礼貌性延时
    return requests.get(url, headers=headers).status_code

urls = ['url1', 'url2', 'url3'] # 你的url列表
with ThreadPoolExecutor(max_workers=5) as executor: # 控制并发数
    futures = {executor.submit(fetch, url): url for url in urls}
    for future in as_completed(futures):
        print(future.result())

第三步，考虑数据存储。 如果边抓边解析边存数据库，也可能卡在这里。可以试试先把原始响应临时存下来（比如存成文件或丢到消息队列里），事后再慢慢解析，把抓取和数据处理拆开。

最后，最实在的建议： 仔细看看目标网站的robots.txt，控制一下抓取频率，做个遵纪守法的好爬虫。有时候慢就是快，稳定比啥都强。

总结：先定位是反爬、效率还是存储问题，针对性解决。

请问是什么网站方便说下吗？

meituan 好像也是这样 cookie 还好弄 只是 5 分钟后触发防爬虫的原因不太确定 奥塞头:(

感谢分享。 但是 selenium 效率确实是太低了 并且消耗资源较多 抓取数据的量又比较大 单一个 cookie 只能使用 4-5 次 所以暂时不考虑走 selenium 实在不行的话就只能走 app 端了