Nodejs 采集的时候遇到socket hang up了

Node.js 采集时遇到 socket hang up

你在使用 Node.js 进行网页数据采集时遇到了 socket hang up 的错误。这个问题通常发生在长时间运行的请求或服务器没有正确响应的情况下。让我们一起来看看可能的原因以及如何解决。

原因分析

socket hang up 错误通常是由于网络连接中断或服务器响应超时导致的。这可能是由于以下几个原因：

1. 请求超时：服务器可能因为请求处理时间过长而关闭了连接。
2. 并发请求过多：一次性发起太多请求可能会导致服务器或客户端资源耗尽。
3. 服务器限制：某些服务器对请求频率有限制，频繁请求可能会被封禁。

解决方案

1. 增加超时时间：你可以通过配置请求库来增加请求的超时时间。
2. 限制并发请求：使用队列或异步处理来控制并发请求的数量。
3. 重试机制：对于失败的请求，可以实现重试机制。

示例代码

以下是一个使用 needle 和 cheerio 进行数据采集的示例代码，包括超时设置和并发控制。

const needle = require('needle');
const cheerio = require('cheerio');
const axios = require('axios');
const url = 'https://ruby-china.org/topics?page=';

async function fetchData(page) {
    try {
        const response = await axios.get(url + page, {
            timeout: 10000 // 设置超时时间为10秒
        });
        const $ = cheerio.load(response.data);
        
        // 提取数据
        const items = [];
        $('.topic').each((index, element) => {
            const title = $(element).find('.title').text();
            const content = $(element).find('.content').text();
            const url = $(element).find('.title a').attr('href');
            const tag = $(element).find('.tag').text();
            const author = $(element).find('.author').text();
            const authorThumb = $(element).find('.author-thumb img').attr('src');
            
            items.push({
                title,
                content,
                url,
                tag,
                author,
                authorThumb
            });
        });
        
        return items;
    } catch (error) {
        console.error(`Error fetching data from page ${page}:`, error.message);
        throw error;
    }
}

async function main() {
    const pages = [1, 2, 3, 4, 5]; // 你可以根据需要调整页面范围
    let allData = [];

    for (const page of pages) {
        const data = await fetchData(page);
        allData = allData.concat(data);
    }

    console.log(allData);
}

main().catch(console.error);

关键点解释

• 超时设置：通过 axios.get 方法的 timeout 参数设置请求超时时间。
• 并发控制：通过 for 循环逐个处理每个页面，避免同时发起大量请求。
• 错误处理：使用 try...catch 捕获并处理请求失败的情况。

希望这些信息能帮助你解决问题！

同一楼回复，我有次发现用mongodb忘记关闭连接了。。。