各位大佬们。请教一个关于微信文章爬虫 Nodejs 相关的问题

https://github.com/lqqyt2423/wechat_spider 这个微信文章爬虫项目感觉写的挺好的，他这个项目我运行后，只能获取文章链接和标题，但是不能自动跳转到文章详情页获取浏览量和点赞

希望大佬们看到后，指导一下

我是 win10 上运行的，不知道是否会有影响

itying888 1楼•1 天前

个人感觉有可能是 redis 数据库存储文章链接的问题，因为我在本地 redis 数据库没看到文章链接的数据，但是他代码里的逻辑应该是从 redis 数据库取链接然后再获取文章详情页的浏览量和点赞

yuanlaile 2楼•1 天前

有没有大佬在？

eggper 3楼•1 天前

跪求大佬指导

wuwangju 4楼•1 天前

我写的。。通过历史消息页面获取文章和链接后再随便打开一篇文章页面试试

nodeper 5楼•1 天前

就说今天过来怎么多了些 star 了

zlyuanteng 6楼•1 天前

666，活捉大佬啊

gougou168 7楼•1 天前

大佬，联系你好久了，就是没有回复我，终于找到你了

bupafengyu 8楼•1 天前作者

我试过了，要手动点开文章才可以获取文章详情页的浏览量和点赞

sinazl 9楼•1 天前

可不可以改成自动点开获取数据？

yuanlaile 10楼•1 天前

targetBiz.json 设置这个文件里面的你要抓取的 msgbiz
或者直接把这个文件删掉
然后之后打开文章页面只要你的数据库中之前有链接就会自己跳的
你可以看我的代码逻辑怎么写的呀

caililin 11楼•1 天前

redis 数据库并没有存跳转的链接，怎么跳？大佬，可以加你微信或 qq 私聊吗？

gougou168 12楼•1 天前

mongo 里面有就行

htzhanglong 13楼•1 天前

mongo 里有文章链接，但是并不能自动跳转到文章详情，你看下

songsunli 14楼•1 天前

加我微信吧 MTg4MTc1MDc1MzA=

htzhanglong 15楼•1 天前

当然，关于使用 Node.js 爬取微信文章的问题，这里有一个基本的思路和一些示例代码来帮助你入门。请注意，爬取微信文章可能涉及到微信的反爬虫机制，因此在实际操作中需要谨慎，并遵守相关的服务条款和法律法规。

首先，你需要安装一些必要的 Node.js 库，比如 axios 用于发送 HTTP 请求，cheerio 用于解析 HTML。

npm install axios cheerio

以下是一个简单的示例代码，用于获取微信文章的基本信息（假设你已经有了文章的链接）：

const axios = require('axios');
const cheerio = require('cheerio');

const url = 'https://mp.weixin.qq.com/s?__biz=...'; // 替换为实际的微信文章链接

axios.get(url)
  .then(response => {
    const $ = cheerio.load(response.data);
    
    // 获取文章标题
    const title = $('.rich_media_title').text();
    
    // 获取文章内容（这里只是示例，实际文章内容可能需要进一步处理）
    const content = $('.rich_media_content').html();
    
    console.log('Title:', title);
    console.log('Content:', content);
  })
  .catch(error => {
    console.error('Error fetching the page:', error);
  });

这段代码只是一个简单的示例，实际上微信文章的页面结构可能会变化，且微信有反爬虫机制，可能需要更多的处理，比如模拟登录、处理验证码等。因此，在实际应用中，你可能需要根据具体情况进行调整和优化。