Python中如何应对网易云音乐的反爬机制？

最近想做大数据分析；所以想爬取了网易云的所有用户信息；

那么重点来了，我发现，网易云有单模块防御机制；比如个人用户主页，我爬取了大概 5W+左右，反爬机制就生效了，不管访问哪一个用户的主页，都是返回 404，连我自己的个人中心都无法登录了；

我试过 cookie 变换，但是得出结论绝对是 IP 被黑了。请问各位，有没有相关经验。到底是不是黑了 IP。。。。。

eggper 1楼

我被 ban 过 ip，大概 ban 了 7 到 10 天左右

itying888 2楼

要搞定网易云音乐的反爬，核心是模拟真实浏览器行为。他们主要靠加密参数和动态Cookie来识别爬虫。

首先你得用requests库，但光这个不够。关键是要拿到params、encSecKey这两个加密参数。这两个参数是前端通过固定算法生成的，我们需要在Python里复现这个加密过程。

import requests
import json
from Crypto.Cipher import AES
from Crypto.Util.Padding import pad
import base64
import binascii

# 网易云音乐AES加密的固定参数
SEC_KEY = '0CoJUm6Qyw8W8jud'  # 第一次加密的密钥
IV = '0102030405060708'      # 初始向量
PUB_KEY = '010001'           # RSA公钥指数
MODULUS = ('00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7'
           'b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280'
           '104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932'
           '575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b'
           '3ece0462db0a22b8e7')

def aes_encrypt(text, key):
    """AES加密"""
    text = pad(text.encode(), AES.block_size)
    cipher = AES.new(key.encode(), AES.MODE_CBC, IV.encode())
    encrypted = cipher.encrypt(text)
    return base64.b64encode(encrypted).decode()

def rsa_encrypt(text):
    """RSA加密（简化版，实际需要完整实现）"""
    # 这里简化处理，实际需要完整的RSA加密实现
    text = text[::-1]
    rs = int(binascii.hexlify(text.encode()), 16) ** int(PUB_KEY, 16) % int(MODULUS, 16)
    return format(rs, 'x').zfill(256)

def get_enc_params(text):
    """获取加密参数"""
    # 第一次AES加密
    enc_text = aes_encrypt(text, SEC_KEY)
    # 第二次AES加密
    enc_sec_key = 'abcdefghijklmnop'  # 随机16位字符串
    enc_text = aes_encrypt(enc_text, enc_sec_key)
    # RSA加密
    enc_sec_key = rsa_encrypt(enc_sec_key)
    
    return {
        'params': enc_text,
        'encSecKey': enc_sec_key
    }

def search_song(keyword):
    """搜索歌曲示例"""
    url = 'https://music.163.com/weapi/cloudsearch/get/web?csrf_token='
    
    # 构造请求数据
    data = {
        's': keyword,
        'type': 1,
        'limit': 10,
        'offset': 0
    }
    
    # 获取加密参数
    enc_params = get_enc_params(json.dumps(data))
    
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
        'Referer': 'https://music.163.com/'
    }
    
    response = requests.post(url, data=enc_params, headers=headers)
    return response.json()

# 使用示例
if __name__ == '__main__':
    result = search_song('周杰伦')
    print(json.dumps(result, ensure_ascii=False, indent=2))

注意几个关键点：