Python3.x 如何爬取网易云音乐评论
在简单学习了 python 爬虫后，又想继续折腾，进而找到了这个网易云音乐，因为本人平时就是用它听的歌，也喜欢看歌里的评论，所以就爬网易云音乐评论吧，那么开始吧！
** 正式进入主题 **
首先还是去找目标网页并开始分析网页结构，如下
</section>
上面的三个箭头都是所要找的数据，分别是评论用户，评论和点赞数，都可以用正则表达式找出来，接下来继续找怎样找到下一页的数据，还是用开发者工具，但是当点击下一页的时候，网页的 url 没有变，说明网页是动态加载，所以就不能在当前网页找数据了，应该在他的xhr文件里找，所以点入network看看，然后也点击下一页一看，果然有想要的
看到这里，就兴奋地去敲代码了
一点击运行，结果什么东西都没有，但是他的状态码是 200，明显请求成功啊，却没有东西返回，再去 network 仔细看看这个网页，看到他是个 post 请求，也看到了需要 post 两个参数 params 和 ensSecKey
一看到这个，密密麻麻的数字和字母，就猜应该是被加密了，不过可以复制下来看看有没有用。接下来看下他的 Response，咦，这是个 json，不是 html 结构的，所以需要用到 Json 库来进行解析
现在开始敲代码吧，先把上面的两个参数复制过来看看。
现在把每条评论的评论用户和点赞数和评论获取出来
可以看到，利用 json.loads()方法把数据转成 python 格式里的字典后就可以把想要的数据取出来了，但是，下一页怎样取？总不能每次都复制粘贴那两个参数吧？那唯一的方法就是不爬了。。怎么可能？我的继续，那我就要进行破解这两个参数了，那好继续看network，因为要加密，肯定要用 js 进行加密的
看到刚才那个网站的发起者 core.js,,然后把它文件下载下来慢慢研究
保存后在经过美化，然后进行查找那个 encSecKey 参数（ ps:JSj'e'tong'yang'de 美化网址为http://www.css88.com/tool/js_beautify/），然后找到这个
看到 window.asrsea()方法有四个参数，先不去管这个函数，先看看他的四个参数是什什，这里没必要去研究那四个参数怎样来的，只需要知道他是什么，那么我们可以加点代码上去让他显示出来，从而利用 fiddler 来进行调试
加入代码如下
可以分别获取上面的每一个参数，也把那个 params 获取看看，然后在 fiddler 上操作如下
完成上面的设置后刷新网页就可以在 console 上面找到参数信息，如果没有的话这是因为你之前浏览该网页的时候它被缓存了下来，所以要清除缓存文件（在清除浏览器记录里面有）
那个 rid 有本歌曲的 id，明显是与评论有关的，我试着连翻几页后，发现那个 offset 就是评论偏移数，offset 就是(页数-1)*20，total 在第一页是 true，在其他页是 false
同样的方法也得到第二个参数为：010001
第三个参数为：00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7
第四个参数为：0CoJUm6Qyw8W8jud
接下来就要看 window.asrsea()方法是什么操作的了，还是通过查找 js 文件可以看到这个
通过研究 i 是随机获取十六个字符而 b 函数是AES 加密，其中偏移量为0102030405060708，模式为CBC，看回 d 函数，其中params 连续两次加密，第一次加密时，文本为第一个参数。密钥为第四个参数，第二次加密时文本为第一次加密的值，密钥为随机数 a。而 encSeckey 是一个 RSA 加密，他的公钥是第二个参数，模式是第三个参数，文本为那个随机字符串 a
终于分析完了，接着开始敲代码
先来个获取第一页评论的代码
这是获取两个参数的类
这是解析网易云音乐和获取评论的类
然而一点击运行，直接给我报了个错：TypeError: can't concat str to bytes
原来是因为在第二次加密的时候，那个 params 是个 byte 类型，所以把他转成字符串类型就可以了
再次点击运行，结果还是报错了：json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
这个报错因为我的 json 解析错了，回头调试一看，网页返回的东西是空的，但他的状态码是 200，这是什么鬼？接着我再试了把那两个参数的值直接复制和前面一样看看，结果运行成功，这就说明我的是加密过程错了，然后我就回去看了几篇，看不出什么错误，上网百度找到了这个知乎文章https://zhuanlan.zhihu.com/p/32069543，我把她的代码复制过来运行下，结果是可以的，我就继续看看我和她的区别，原来我在用那个 16 个随机字符的时候用错了，我在两个参数给了两个不同的，而是需要给共同一个的，看到这里，我就直接回去改了下，果然运行成功，代码我就不贴出来了，效果如下
接着是获取每一页的评论，而每一页与第一个参数的 offset 有关，其中的公式为offse=(页数-1)*20，total 在第一页是 true，在其他页是 false
而写入数据库我用的是我这篇文章的操作
，由于篇幅过长，就不贴出来了，感兴趣的可以去看看
接下来点运行就可以了，但是运行到第八页的时候出现了这个异常
raise errorclass(errno, errval)
pymysql.err.InternalError: (1366, "Incorrect string value: '\xF0\x9F\x92\x94' for column 'content' at row 1")
原因是这条评论有个识别不了的表情，之后百度参考这篇文章http://blog.csdn.net/HHTNAN/article/details/76769264?locationNum=9&fps=1 修改了数据库的编码方式，注意还要自己修改下创建数据库时的编码方式才可！
这是首页数据库效果
获取完成（家驹的歌评论这么少吗？不解
终于完成了，虽然辛苦，但是值得，在这个过程中也学会了很多东西，在写这篇文章时参考了两篇文章，一个是知乎首个回答https://www.zhihu.com/question/36081767/answer/140287795，另一个就是解密过程 https://github.com/cosven/cosven.github.io/issues/30
大家有什么问题的话欢迎去我的公众号日常学 python的后台那里问我，我知道的我都一一为你解答，最后，若你也在这篇文章学到了，可以帮我点个赞，转发下吗？谢谢支持哈！
ps:若需要完整代码可以在我的公众号日常学 python后台回复评论即可获取，还有其他福利以后会一一分析
我的公众号的二维码
Python3.x 如何爬取网易云音乐评论
要爬取网易云音乐评论，得先分析它的接口。网易云音乐网页版评论数据是通过API接口返回的JSON，可以直接用requests模拟请求获取。不过需要注意，它的接口有加密参数，主要是params和encSecKey，这两个参数是必须的。
这里的关键是找到生成加密参数的方法。通常有两种方式：一是分析网页JavaScript代码，自己用Python实现加密逻辑；二是使用execjs库直接执行JavaScript代码。后者更简单可靠。
下面是一个完整的示例，使用execjs执行本地准备好的加密JS代码来获取评论：
import requests
import execjs
import json
# 加载加密用的JavaScript代码
with open('wangyiyun.js', 'r', encoding='utf-8') as f:
js_code = f.read()
ctx = execjs.compile(js_code)
def get_comments(song_id, page=1, limit=20):
"""获取指定歌曲的评论
Args:
song_id: 歌曲ID
page: 页码
limit: 每页数量
"""
# 构造请求参数
data = {
'csrf_token': '',
'cursor': str((page - 1) * limit),
'offset': '0',
'orderType': '1',
'pageNo': str(page),
'pageSize': str(limit),
'rid': f'R_SO_4_{song_id}',
'threadId': f'R_SO_4_{song_id}'
}
# 调用JS函数生成加密参数
encrypted = ctx.call('encrypt', json.dumps(data))
# 请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
'Referer': 'https://music.163.com/',
'Content-Type': 'application/x-www-form-urlencoded'
}
# 发送POST请求
url = 'https://music.163.com/weapi/comment/resource/comments/get?csrf_token='
response = requests.post(url, data=encrypted, headers=headers)
if response.status_code == 200:
return response.json()
else:
print(f'请求失败: {response.status_code}')
return None
# 示例：获取周杰伦《晴天》的评论（歌曲ID: 186016）
song_id = 186016
result = get_comments(song_id, page=1, limit=20)
if result and result.get('code') == 200:
comments = result['data']['comments']
for i, comment in enumerate(comments, 1):
user = comment['user']['nickname']
content = comment['content']
print(f'{i}. {user}: {content}')
else:
print('获取评论失败')
你需要准备一个wangyiyun.js文件，里面包含网易云音乐的加密算法。这个JS文件可以从网页源代码中提取，或者找现成的开源实现。通常包含一个encrypt函数，接收JSON字符串，返回包含params和encSecKey的对象。
注意：网易云音乐会更新加密算法，如果代码失效，可能需要更新JS加密逻辑。另外，请合理控制请求频率，避免给服务器造成压力。
总结：核心是处理好加密参数。
