Python中使用aiohttp写爬虫，如何正确停止循环？

用 asyncio.CancelledError 配合 asyncio.gather 或者 asyncio.wait 来优雅停止。核心是拿到任务对象然后取消。

假设你的爬虫主循环在跑多个并发任务，比如这样：

import asyncio
import aiohttp
import signal

async def fetch(session, url):
    try:
        async with session.get(url) as response:
            return await response.text()
    except asyncio.CancelledError:
        # 清理资源，比如关闭响应
        print(f"Cancelled fetch for {url}")
        raise

async def worker(name, session, queue):
    while True:
        url = await queue.get()
        try:
            html = await fetch(session, url)
            print(f"{name} fetched {url[:50]}...")
        finally:
            queue.task_done()

async def main():
    queue = asyncio.Queue()
    # 往队列里塞点任务
    for url in ['http://example.com/page1', 'http://example.com/page2']:
        await queue.put(url)

    async with aiohttp.ClientSession() as session:
        # 创建多个worker任务
        tasks = []
        for i in range(3):
            task = asyncio.create_task(worker(f'Worker-{i}', session, queue))
            tasks.append(task)

        # 等队列清空，或者设置个停止条件
        await queue.join()

        # 停止所有worker任务
        for task in tasks:
            task.cancel()
        # 等待它们被取消完成
        await asyncio.gather(*tasks, return_exceptions=True)

if __name__ == '__main__':
    asyncio.run(main())

更常见的做法是监听系统信号（比如Ctrl+C）：

async def main_with_signal():
    queue = asyncio.Queue()
    # ... 初始化队列和session ...

    tasks = []
    async with aiohttp.ClientSession() as session:
        for i in range(3):
            task = asyncio.create_task(worker(f'Worker-{i}', session, queue))
            tasks.append(task)

        # 设置信号处理
        loop = asyncio.get_running_loop()
        stop_event = asyncio.Event()

        def signal_handler():
            print("\nShutting down...")
            stop_event.set()

        loop.add_signal_handler(signal.SIGINT, signal_handler)

        try:
            # 主循环，直到收到停止信号
            while not stop_event.is_set():
                # 这里可以加一些生产任务到队列的逻辑
                await asyncio.sleep(0.1)  # 防止空转
        finally:
            # 取消所有任务
            for task in tasks:
                task.cancel()
            await asyncio.gather(*tasks, return_exceptions=True)

# 运行这个版本
if __name__ == '__main__':
    asyncio.run(main_with_signal())

关键就两点：1. 在任务里捕获 asyncio.CancelledError 做清理；2. 在外部用 task.cancel() 触发取消，然后 gather 等它结束。

简单说就是：取消任务并妥善处理取消异常。

判断任务队列用 join 而不是 empty

请教一下这个标记的动作应该放在哪里执行？？
替换后无法执行。。。

呃，判断队列为空不是 empty 么？

#8 任何 worker 没处理完之前都是 WIP 啊，除了要判断队列是否为空，还要判断是否有任务是 WIP