Python爬虫被泛解析站群困住了，如何才能爬出去？

遇到泛解析站群确实头疼，它们用同一个IP返回大量不同域名的页面，专门搞乱爬虫。核心思路是跳出“一个域名对应一个站点”的假设，把这类站群视为一个由内容模板驱动的数据源集合来对付。

关键策略是识别并利用其“规则性”：

1. 内容特征识别：这类站群通常有高度一致的页面模板。先抓取少量页面，分析标题、关键词、正文结构的相似度。可以用 difflib 或计算TF-IDF特征来量化相似性。
2. URL/链接模式分析：观察站群内链规律。它们往往通过标签、分类页相互链接，形成闭环。爬虫可以主动提取这些站内链接作为后续请求队列，而不是依赖预设的域名列表。
3. 请求去重与优先级：由于不同域名可能指向相同内容，必须基于内容指纹（如MD5正文摘要）而非URL去重。同时，根据链接深度和域名出现频率动态调整抓取优先级。

这里给个基础示例，展示如何通过内容相似度判断并去重：

import hashlib
import requests
from bs4 import BeautifulSoup
from difflib import SequenceMatcher

class SiteGroupCrawler:
    def __init__(self, seed_urls):
        self.visited_hashes = set()
        self.to_crawl = list(seed_urls)
        
    def get_content_fingerprint(self, html):
        """提取正文并生成指纹"""
        soup = BeautifulSoup(html, 'lxml')
        # 移除脚本、样式等噪声
        for tag in soup(["script", "style", "nav", "footer"]):
            tag.decompose()
        text = soup.get_text(strip=True)[:1000]  # 取前1000字符比较
        return hashlib.md5(text.encode()).hexdigest()
    
    def is_similar_page(self, html1, html2, threshold=0.8):
        """判断两个页面是否相似"""
        soup1 = BeautifulSoup(html1, 'lxml')
        soup2 = BeautifulSoup(html2, 'lxml')
        text1 = soup1.get_text(strip=True)[:500]
        text2 = soup2.get_text(strip=True)[:500]
        ratio = SequenceMatcher(None, text1, text2).ratio()
        return ratio >= threshold
    
    def crawl(self):
        while self.to_crawl:
            url = self.to_crawl.pop(0)
            try:
                resp = requests.get(url, timeout=5)
                html = resp.text
                
                # 1. 内容去重检查
                fp = self.get_content_fingerprint(html)
                if fp in self.visited_hashes:
                    print(f"跳过重复内容: {url}")
                    continue
                
                # 2. 提取新链接（示例：只取同域名）
                soup = BeautifulSoup(html, 'lxml')
                new_links = [a.get('href') for a in soup.find_all('a', href=True)]
                # 这里应添加链接规范化逻辑
                
                self.visited_hashes.add(fp)
                print(f"抓取成功: {url}")
                
            except Exception as e:
                print(f"抓取失败 {url}: {e}")

# 使用示例
crawler = SiteGroupCrawler(['http://example-site-group.com/page1'])
crawler.crawl()

实际操作要点：

• 需要结合robots.txt和请求频率控制避免被封
• 考虑用Scrapy框架的DupeFilter扩展，改写成基于内容哈希的去重
• 对动态内容可能需要简单JS渲染支持

总结建议：把站群当作一个整体，用内容指纹去重并聚焦模板变化处。

16c4a