Python爬虫运行时如何实时读取用户的配置参数？

在Python爬虫中实时读取用户配置参数，一个实用的方法是使用watchdog库监控配置文件变化，并结合configparser或json解析配置。下面是一个完整的示例：

import json
import time
from threading import Lock
from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler

class ConfigManager:
    def __init__(self, config_path):
        self.config_path = config_path
        self.config = {}
        self.lock = Lock()
        self.load_config()
        self.start_watcher()
    
    def load_config(self):
        """加载配置文件"""
        try:
            with open(self.config_path, 'r', encoding='utf-8') as f:
                with self.lock:
                    self.config = json.load(f)
            print(f"配置已加载: {self.config}")
        except Exception as e:
            print(f"加载配置失败: {e}")
    
    def get_config(self, key, default=None):
        """获取配置值"""
        with self.lock:
            return self.config.get(key, default)
    
    def start_watcher(self):
        """启动文件监控"""
        event_handler = ConfigFileHandler(self)
        observer = Observer()
        observer.schedule(event_handler, path='.', recursive=False)
        observer.start()

class ConfigFileHandler(FileSystemEventHandler):
    def __init__(self, config_manager):
        self.config_manager = config_manager
    
    def on_modified(self, event):
        if event.src_path.endswith('config.json'):
            print("检测到配置文件变化，重新加载...")
            self.config_manager.load_config()

# 示例爬虫类
class MySpider:
    def __init__(self, config_manager):
        self.config = config_manager
    
    def crawl(self):
        while True:
            # 实时获取最新配置
            delay = self.config.get_config('request_delay', 1)
            max_pages = self.config.get_config('max_pages', 10)
            
            print(f"当前配置: 延迟={delay}s, 最大页数={max_pages}")
            # 这里执行实际的爬取逻辑
            time.sleep(delay)

if __name__ == "__main__":
    # 创建配置管理器
    config_mgr = ConfigManager('config.json')
    
    # 启动爬虫
    spider = MySpider(config_mgr)
    spider.crawl()

config.json示例：

{
    "request_delay": 2,
    "max_pages": 20,
    "user_agent": "MySpider/1.0"
}

工作原理：

1. ConfigManager类负责加载和提供配置访问
2. 使用watchdog监控配置文件变化，修改后自动重新加载
3. 线程锁保证配置读取的线程安全
4. 爬虫循环中每次都会获取最新的配置值

使用方式：

• 运行爬虫后，修改config.json文件
• 配置变化会自动生效，无需重启爬虫
• 支持JSON、YAML等多种格式（只需修改load_config方法）

总结：用文件监控实现配置热更新最直接。