Python中如何优雅地关闭爬虫？讨论一个关闭爬虫的脑洞问题

在Python爬虫里，优雅关闭的核心就两点：捕获信号和清理现场。最直接的方式就是用signal模块处理SIGINT（Ctrl+C）和SIGTERM信号，让爬虫有机会完成当前任务、保存状态再退出。

这里给个简单但完整的例子，用requests和signal实现：

import signal
import sys
import requests
import time
from threading import Event

class GracefulShutdownSpider:
    def __init__(self):
        self.shutdown_event = Event()
        # 注册信号处理器
        signal.signal(signal.SIGINT, self.signal_handler)
        signal.signal(signal.SIGTERM, self.signal_handler)
        
    def signal_handler(self, signum, frame):
        print(f"\n收到信号 {signum}，开始优雅关闭...")
        self.shutdown_event.set()  # 设置事件，通知主循环该退出了
        
    def run(self):
        print("爬虫启动，按 Ctrl+C 停止")
        url = "https://httpbin.org/delay/1"  # 模拟一个延迟响应的接口
        
        while not self.shutdown_event.is_set():
            try:
                resp = requests.get(url, timeout=5)
                print(f"请求成功，状态码: {resp.status_code}")
                time.sleep(0.5)  # 避免请求过快
            except requests.exceptions.RequestException as e:
                print(f"请求出错: {e}")
                if self.shutdown_event.is_set():
                    break
                time.sleep(1)
        
        print("正在保存爬取状态...")
        # 这里可以添加保存进度、关闭数据库连接等清理操作
        print("爬虫已安全退出")
        sys.exit(0)

if __name__ == "__main__":
    spider = GracefulShutdownSpider()
    spider.run()

这个爬虫会在收到终止信号时，先完成当前循环迭代，然后执行清理代码再退出。如果你用asyncio或Scrapy，原理类似但实现稍有不同——asyncio用asyncio.run()的取消机制，Scrapy有内置的close_spider扩展点。

更“脑洞”一点的思路，可以监听特定文件变化、设置一个监控端口接收HTTP关闭命令，或者用进程间通信让另一个进程发关闭指令。不过对于大多数情况，信号处理已经足够优雅了。

总结：信号处理加状态保存就是优雅关闭的核心。