在爬取大众点评商铺信息时遇到反爬问题，Python中如何有效应对？

遇到大众点评的反爬，核心思路是模拟真实用户行为并处理动态内容。直接上代码，这里用 requests 配合 Selenium 处理动态加载，并用 BeautifulSoup 解析：

import time
import random
import requests
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup

# 配置Selenium
options = webdriver.ChromeOptions()
options.add_argument('--disable-blink-features=AutomationControlled')
options.add_experimental_option("excludeSwitches", ["enable-automation"])
driver = webdriver.Chrome(options=options)

# 设置请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Referer': 'https://www.dianping.com/'
}

def crawl_shop_info(url):
    try:
        driver.get(url)
        # 等待关键元素加载
        WebDriverWait(driver, 10).until(
            EC.presence_of_element_located((By.CLASS_NAME, "shop-name"))
        )
        
        # 随机延迟模拟人工操作
        time.sleep(random.uniform(1, 3))
        
        # 获取页面源码
        page_source = driver.page_source
        soup = BeautifulSoup(page_source, 'html.parser')
        
        # 解析店铺信息
        shop_name = soup.find('h1', class_='shop-name').text.strip()
        address = soup.find('span', class_='address').text.strip()
        
        return {
            'shop_name': shop_name,
            'address': address
        }
        
    except Exception as e:
        print(f"爬取失败: {e}")
        return None
    finally:
        driver.quit()

# 使用示例
if __name__ == "__main__":
    shop_url = "https://www.dianping.com/shop/xxx"  # 替换为目标店铺URL
    info = crawl_shop_info(shop_url)
    print(info)

关键点说明：

1. Selenium处理动态内容：大众点评很多数据是JS动态加载的，直接用requests获取不到完整页面
2. 反自动化检测规避：通过ChromeOptions禁用自动化特征，避免被识别为爬虫
3. 请求头设置：包含User-Agent、Referer等必要字段
4. 随机延迟：在操作间加入随机等待时间，模拟真人浏览节奏
5. 异常处理：确保程序在遇到问题时能优雅退出

如果数据量不大，可以考虑直接用Selenium搞定全部解析。如果需要高效爬取，可以先用Selenium获取页面源码，再用BeautifulSoup解析，避免频繁操作DOM影响速度。

注意控制请求频率，过快的访问容易被封IP。建议在循环爬取时加入 time.sleep(random.uniform(2, 5)) 这样的随机延迟。

总结：核心是模拟真人操作节奏。