Python爬虫把自己爬死了，如何排查和解决？

这个问题我遇到过，典型的爬虫把自己搞死的情况。核心原因就几个：内存泄漏、递归死循环、或者请求爆炸把资源耗尽了。

先上诊断代码，跑一下就能看到问题在哪：

import tracemalloc
import threading
import psutil
import time
from collections import defaultdict

class SpiderMonitor:
    def __init__(self):
        self.request_count = defaultdict(int)
        self.active_threads = []
        
    def start_memory_tracking(self):
        """追踪内存泄漏"""
        tracemalloc.start()
        
    def check_memory_leak(self):
        snapshot = tracemalloc.take_snapshot()
        top_stats = snapshot.statistics('lineno')
        print("[内存诊断]")
        for stat in top_stats[:10]:
            print(f"{stat.traceback.format()[:200]} -> {stat.size/1024:.2f} KB")
            
    def check_deadlock(self):
        """检测死锁"""
        for thread in threading.enumerate():
            if thread.is_alive():
                print(f"[线程状态] {thread.name}: {thread.ident}")
                
    def monitor_requests(self, url):
        """监控请求频率"""
        self.request_count[url] += 1
        if self.request_count[url] > 100:  # 单个URL请求超过100次
            print(f"[警告] {url} 可能陷入循环，已请求{self.request_count[url]}次")
            return False
        return True

# 在爬虫关键位置插入监控
monitor = SpiderMonitor()
monitor.start_memory_tracking()

# 在你的请求函数里加这个
def make_request(url):
    if not monitor.monitor_requests(url):
        raise Exception(f"检测到循环请求: {url}")
    # ... 原来的请求代码

常见死法及解法：

1. 递归解析把自己递归死了 - 检查解析逻辑，确保有终止条件，别无限解析子页面
2. 内存泄漏 - 用上面的监控代码，看哪个对象一直不释放
3. 请求风暴 - 控制并发数，加个简单的限流：

from threading import Semaphore
concurrent_limit = Semaphore(10)  # 最多10个并发

with concurrent_limit:
    # 你的请求代码

1. 被自己绕进去了 - 检查URL去重，用BloomFilter或者简单set：

visited_urls = set()
if url in visited_urls:
    return
visited_urls.add(url)

跑一下监控代码，看输出就知道死在哪了。多数情况是URL去重没做好，在几个页面里来回爬。

总结：加监控，控制并发，做好去重。

不要开 Qos ， 网件的 Qos 好奇怪，连测速的都给搞一下。