Python中如何爬取网易云音乐的所有评论？

import requests
import json
import time

def get_music_comments(song_id, max_comments=1000):
    """
    获取指定歌曲ID的所有评论
    :param song_id: 网易云音乐歌曲ID
    :param max_comments: 最大获取评论数
    :return: 评论列表
    """
    comments = []
    offset = 0
    limit = 20  # 每页评论数
    
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
        'Referer': 'https://music.163.com/'
    }
    
    while len(comments) < max_comments:
        url = f'https://music.163.com/api/v1/resource/comments/R_SO_4_{song_id}'
        params = {
            'limit': limit,
            'offset': offset,
            'total': 'true'
        }
        
        try:
            response = requests.get(url, headers=headers, params=params, timeout=10)
            data = response.json()
            
            if data.get('code') != 200:
                print(f"请求失败: {data.get('msg')}")
                break
                
            hot_comments = data.get('hotComments', [])
            normal_comments = data.get('comments', [])
            
            # 处理热门评论
            for comment in hot_comments:
                comment_info = {
                    'user_id': comment['user']['userId'],
                    'nickname': comment['user']['nickname'],
                    'content': comment['content'],
                    'time': time.strftime('%Y-%m-%d %H:%M:%S', 
                                         time.localtime(comment['time']/1000)),
                    'liked_count': comment['likedCount'],
                    'is_hot': True
                }
                comments.append(comment_info)
            
            # 处理普通评论
            for comment in normal_comments:
                comment_info = {
                    'user_id': comment['user']['userId'],
                    'nickname': comment['user']['nickname'],
                    'content': comment['content'],
                    'time': time.strftime('%Y-%m-%d %H:%M:%S', 
                                         time.localtime(comment['time']/1000)),
                    'liked_count': comment['likedCount'],
                    'is_hot': False
                }
                comments.append(comment_info)
            
            # 检查是否还有更多评论
            total = data.get('total', 0)
            if offset >= total or not normal_comments:
                break
                
            offset += limit
            print(f"已获取 {len(comments)} 条评论...")
            
            # 避免请求过快
            time.sleep(1)
            
        except Exception as e:
            print(f"请求出错: {e}")
            break
    
    return comments[:max_comments]

def save_comments_to_file(comments, filename='comments.json'):
    """保存评论到JSON文件"""
    with open(filename, 'w', encoding='utf-8') as f:
        json.dump(comments, f, ensure_ascii=False, indent=2)
    print(f"评论已保存到 {filename}")

def main():
    # 示例：周杰伦《晴天》的歌曲ID
    song_id = 186016  # 替换为你要爬取的歌曲ID
    
    print(f"开始爬取歌曲ID为 {song_id} 的评论...")
    comments = get_music_comments(song_id, max_comments=500)
    
    print(f"共爬取到 {len(comments)} 条评论")
    
    # 保存到文件
    save_comments_to_file(comments)
    
    # 打印前5条评论示例
    print("\n前5条评论示例:")
    for i, comment in enumerate(comments[:5], 1):
        print(f"{i}. [{comment['time']}] {comment['nickname']}: {comment['content']}")

if __name__ == '__main__':
    main()

核心要点：

1. API接口：网易云音乐评论接口是 https://music.163.com/api/v1/resource/comments/R_SO_4_{歌曲ID}

2. 关键参数：

   • limit: 每页数量（默认20）
   • offset: 偏移量（分页用）
   • total: 是否返回总数

3. 数据结构：

   • hotComments: 热门评论列表
   • comments: 普通评论列表
   • 每条评论包含用户信息、内容、时间、点赞数等

4. 使用步骤：

   • 找到目标歌曲的ID（在网页URL中）
   • 设置合适的请求头（特别是User-Agent）
   • 循环分页获取直到达到目标数量或没有更多评论

注意事项：

• 需要控制请求频率，避免被封IP
• 热门评论和普通评论分开处理
• 时间戳需要除以1000转换

一句话建议：注意控制爬取频率，尊重网站规则。

我试过，爬了 1kw 左右，就爬不动了，ip 消耗太大，10 个线程爬的，慢点的话估计消耗慢些，但是很浪费时间