Python中如何编写一个简单的分布式定时爬虫

要写一个简单的分布式定时爬虫，可以用Celery + Redis + Beat的组合。这里给你一个完整可运行的示例：

首先安装依赖：

pip install celery redis requests beautifulsoup4

然后创建爬虫任务文件 crawler_tasks.py：

from celery import Celery
import requests
from bs4 import BeautifulSoup
import time
from datetime import timedelta

# 创建Celery应用，使用Redis作为消息代理
app = Celery('crawler_tasks', 
             broker='redis://localhost:6379/0',
             backend='redis://localhost:6379/0')

# 爬虫任务
@app.task
def crawl_website(url):
    """爬取指定网页的任务"""
    try:
        print(f"开始爬取: {url}")
        response = requests.get(url, timeout=10)
        response.raise_for_status()
        
        soup = BeautifulSoup(response.text, 'html.parser')
        
        # 这里简单提取标题作为示例
        title = soup.title.string if soup.title else "无标题"
        print(f"爬取完成: {url} - 标题: {title}")
        
        return {
            'url': url,
            'title': title,
            'status': 'success',
            'timestamp': time.time()
        }
    except Exception as e:
        print(f"爬取失败 {url}: {str(e)}")
        return {
            'url': url,
            'error': str(e),
            'status': 'failed',
            'timestamp': time.time()
        }

# 批量爬取任务
@app.task
def batch_crawl(urls):
    """批量爬取多个网页"""
    results = []
    for url in urls:
        result = crawl_website.delay(url)  # 异步执行
        results.append(result)
    return [result.get() for result in results]

创建定时任务配置 celery_config.py：

from datetime import timedelta

# Celery配置
broker_url = 'redis://localhost:6379/0'
result_backend = 'redis://localhost:6379/0'

# 定时任务配置
beat_schedule = {
    'crawl-every-30-minutes': {
        'task': 'crawler_tasks.crawl_website',
        'schedule': timedelta(minutes=30),  # 每30分钟执行一次
        'args': ('https://example.com',),   # 要爬取的URL
    },
    'daily-crawl': {
        'task': 'crawler_tasks.batch_crawl',
        'schedule': timedelta(days=1),      # 每天执行一次
        'args': ([
            'https://news.example.com',
            'https://blog.example.com',
            'https://api.example.com/data'
        ],),
    },
}

启动步骤：

1. 启动Redis（如果还没启动）：

redis-server

1. 启动Celery worker（在不同机器或终端启动多个worker实现分布式）：

# Worker 1
celery -A crawler_tasks worker --loglevel=info --hostname=worker1@%h

# Worker 2（在另一台机器或终端）
celery -A crawler_tasks worker --loglevel=info --hostname=worker2@%h

1. 启动Celery beat（定时调度器）：

celery -A crawler_tasks beat --loglevel=info

这个方案的核心优势：

• 分布式：可以启动多个worker在不同机器上并行处理任务
• 定时调度：通过Celery Beat实现灵活的定时任务
• 任务队列：Redis作为消息队列，任务自动分配给空闲worker
• 容错性：失败的任务可以重试，worker崩溃不影响整体系统

如果要扩展，可以：

• 添加任务结果存储到数据库
• 实现任务优先级
• 添加任务去重机制
• 配置任务重试策略

用Celery+Redis是Python分布式爬虫的经典方案。