爬取抖音用户作品，Nodejs环境下抖音接口有时有数据，有时列表为空，大佬进来给看看Nodejs相关的问题哈

发布于 1周前 作者 sinazl 来自 nodejs/Nestjs

爬取抖音用户作品，Nodejs环境下抖音接口有时有数据，有时列表为空，大佬进来给看看Nodejs相关的问题哈

解析思路

用户的分享链接是可以在浏览器中访问的，通过断点调试得知了接口参数的构造形式

  • 于是用 nodejs 模拟请求接口
  • 但是接口返回数据是随机的，一般返回列表为空，多试几次也会返回真实数据列表
  • 求教这个是怎么回事？该怎么处理？

烦劳大佬们瞅瞅，附上代码：传送门


Harmonyos Next教程
1 回复

在Node.js环境下爬取抖音用户作品时，遇到接口数据有时有、有时为空的问题，通常可能是由以下几个原因引起的：

  1. 接口限流与反爬虫机制：抖音等社交平台通常有严格的反爬虫机制，频繁访问或未遵循请求规范可能导致数据返回为空。

  2. API变动：平台可能会更新API接口或返回数据结构，导致原有爬虫代码失效。

  3. 网络问题：网络波动或请求超时也可能导致数据获取失败。

以下是一个简单的Node.js爬虫示例，使用了axios库进行HTTP请求，并加入了基本的错误处理和重试机制：

const axios = require('axios');
const { delay } = require('bluebird'); // 用于实现延迟重试

async function fetchTikTokUserPosts(userId) {
  const url = `https://api.douyin.com/aweme/v1/aweme/post/?user_id=${userId}`;
  
  try {
    let response = await axios.get(url);
    if (!response.data || !response.data.aweme_list) {
      throw new Error('No data returned');
    }
    return response.data.aweme_list;
  } catch (error) {
    console.error('Failed to fetch data, retrying...', error);
    await delay(2000); // 等待2秒后重试
    return fetchTikTokUserPosts(userId); // 递归重试
  }
}

// 使用示例
fetchTikTokUserPosts('your_user_id_here').then(posts => console.log(posts));

注意：实际使用时，请确保遵守平台的服务条款和隐私政策，合理合法地使用数据。此外，频繁重试可能加剧限流问题，建议结合用户行为模拟、随机化请求间隔等策略。

回到顶部