Python爬虫如何应对拉勾网最新的反爬机制？

拉勾网的反爬确实比较严，主要手段包括请求头校验、Cookie验证、动态参数加密和IP限制。我最近刚逆向过他们的接口，这里给个能跑通的方案。

核心思路是模拟浏览器行为，重点处理这几个加密参数：

1. x-anonymous-id - 设备ID，可以用UUID生成
2. x-s - 请求签名，算法在JS里
3. x-t - 时间戳
4. Cookie中的_gid和_ga

import requests
import time
import hashlib
import json
from urllib.parse import quote

def get_lagou_jobs(keyword, city="北京", page=1):
    """
    获取拉勾网职位数据
    """
    url = "https://www.lagou.com/jobs/v2/positionAjax.json"
    
    # 关键请求头
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
        'Referer': 'https://www.lagou.com/jobs/list_{}?city={}'.format(
            quote(keyword), quote(city)
        ),
        'X-Requested-With': 'XMLHttpRequest',
        'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
        'Origin': 'https://www.lagou.com',
    }
    
    # 动态参数生成（简化版，实际需要逆向JS）
    timestamp = int(time.time() * 1000)
    anonymous_id = "your_generated_uuid"  # 需要从首次访问获取
    
    # 请求参数
    params = {
        'needAddtionalResult': 'false',
        'isSchoolJob': '0'
    }
    
    data = {
        'first': 'true' if page == 1 else 'false',
        'pn': str(page),
        'kd': keyword,
        'city': city
    }
    
    # 关键：设置Cookie（需要先访问首页获取）
    cookies = {
        'user_trace_token': 'your_token',
        '_gid': 'your_gid',
        '_ga': 'your_ga',
        'LGUID': 'your_lguid',
        'index_location_city': quote(city),
        'X_HTTP_TOKEN': 'your_token'
    }
    
    try:
        response = requests.post(
            url,
            headers=headers,
            params=params,
            data=data,
            cookies=cookies,
            timeout=10
        )
        
        if response.status_code == 200:
            result = response.json()
            if result.get('success'):
                return result['content']['positionResult']['result']
            else:
                print("请求失败:", result.get('msg'))
        else:
            print(f"HTTP错误: {response.status_code}")
            
    except Exception as e:
        print(f"请求异常: {e}")
    
    return []

# 使用示例
if __name__ == "__main__":
    jobs = get_lagou_jobs("Python", "北京", 1)
    for job in jobs[:3]:  # 只打印前3个
        print(f"{job['companyFullName']} - {job['positionName']} - {job['salary']}")

几个关键点：

1. 首次访问需要先GET首页获取Cookie和动态参数
2. x-s和x-t参数需要逆向JS加密算法，可以用PyExecJS执行JS代码
3. 控制请求频率，加随机延时避免被封IP
4. 建议用requests.Session保持会话

如果这个基础版本被拦截，可能需要：

• 使用playwright/selenium模拟浏览器
• 部署代理IP池
• 逆向完整的加密JS逻辑

总结：逆向加密参数是关键。

一个动态代理啊

你解决了吗