Nodejs cnbeta-rss : 抓取 cnbeta 全文 + 热门评论 [开源]

GitHub 地址

• GitHub

cnbeta-rss

项目简介

• cnbeta 全文 + 热门评论 feed 输出
• 基于 Node.js 和 MongoDB，性能强劲
• 在 2 分钟内完成与 cnbeta.com 新内容的同步

Demo

• NAE 云引擎

  • http://cnbeta.cnodejs.net

• AppFog 云引擎

  • http://vfasky.hp.af.cm

特色

• 简单的 MVC 实现

  • 可以作为入门示例，便于理解 MVC 架构。

• 实现了简单的定时任务

  • 定时任务用于定期抓取 cnbeta 的最新内容。

• 性能明显优于 PHP 版本

  • 相比于 PHP 版本，Node.js 版本的性能更优。
  • 示例：http://cnbetarss.sinaapp.com/

版权声明

• 程序抓取的内容，版权归原作者所有

  • 抓取的内容仅用于学习和研究，不得用于商业用途。

• 不得利用抓取的内容取得任何形式的收入

  • 除非原作者授权，否则不得将抓取的内容用于盈利性活动。

• 程序源代码的授权是 : BSD

  • 源代码采用 BSD 许可证，允许自由使用和修改。

为什么会有这个程序?

• cnbeta.com 的广告太多，打开速度慢

  • cnbeta 网站广告过多，影响了浏览体验。

• 习惯用 RSS 阅读器看新闻，但 cnbeta 的 RSS 没有全文输出

  • 使用 RSS 阅读器时，发现 cnbeta 的 RSS 没有提供全文输出，因此开发此程序。

示例代码

以下是项目中的一部分核心代码，用于抓取 cnbeta 最新文章和热门评论：

const axios = require('axios');
const cheerio = require('cheerio');

// 抓取 cnbeta 最新文章列表
async function fetchArticles() {
  const response = await axios.get('http://www.cnbeta.com');
  const $ = cheerio.load(response.data);
  
  // 选择文章标题和链接
  const articles = [];
  $('.title a').each((index, element) => {
    articles.push({
      title: $(element).text(),
      link: $(element).attr('href')
    });
  });

  return articles;
}

// 抓取文章全文和评论
async function fetchArticleDetails(articleLink) {
  const response = await axios.get(articleLink);
  const $ = cheerio.load(response.data);

  // 提取文章正文
  const content = $('#article_content').html();
  
  // 提取热门评论
  const comments = [];
  $('.comment-item').each((index, element) => {
    comments.push({
      user: $(element).find('.username').text(),
      comment: $(element).find('.comment-content').text()
    });
  });

  return { content, comments };
}

// 主函数
async function main() {
  const articles = await fetchArticles();
  for (const article of articles) {
    const details = await fetchArticleDetails(article.link);
    console.log(`Title: ${article.title}`);
    console.log(`Content: ${details.content}`);
    console.log(`Comments: ${JSON.stringify(details.comments, null, 2)}`);
  }
}

main();

这段代码展示了如何使用 axios 进行网页请求，并使用 cheerio 解析 HTML 获取所需的数据。通过这些数据，可以生成 RSS Feed 并存储到 MongoDB 中。