Python爬虫在macOS上运行时导致状态栏卡死的问题如何解决？

爬虫运行的时候状态栏如下图卡死（系统自带的状态卡死，第三方不受印象）

* 渣画质见谅，那个圆圈卡死的鼠标状态竟然不能被 QuickTime 截到，于是手机远远的拍的（破 6s 近处已无法对焦）
下面是这个爬虫 import 的包

## 系统 10.12.2 , python2.7
Python爬虫在macOS上运行时导致状态栏卡死的问题如何解决？

eggper 1楼

前排小板凳围观大神根据 import 判断卡死原因

caililin 2楼

这个问题通常是因为爬虫的请求阻塞了macOS的主事件循环。最直接的解决方法是把网络请求放到后台线程或使用异步IO。

核心解决方案：

import threading
import requests
from queue import Queue

class AsyncCrawler:
    def __init__(self):
        self.result_queue = Queue()
    
    def fetch_url(self, url):
        """在后台线程中执行网络请求"""
        try:
            response = requests.get(url, timeout=10)
            self.result_queue.put((url, response.text[:100]))  # 只存前100字符示例
        except Exception as e:
            self.result_queue.put((url, f"Error: {e}"))
    
    def crawl(self, urls):
        """启动多线程爬取"""
        threads = []
        for url in urls:
            thread = threading.Thread(target=self.fetch_url, args=(url,))
            thread.daemon = True  # 设置为守护线程
            thread.start()
            threads.append(thread)
        
        # 等待所有线程完成
        for thread in threads:
            thread.join(timeout=15)  # 设置超时避免永久阻塞
        
        # 收集结果
        results = []
        while not self.result_queue.empty():
            results.append(self.result_queue.get())
        return results

# 使用示例
if __name__ == "__main__":
    crawler = AsyncCrawler()
    urls = ["https://httpbin.org/get"] * 3  # 示例URL
    results = crawler.crawl(urls)
    for url, content in results:
        print(f"{url}: {content}")

关键点：