Nodejs 爬虫下载图片的问题

当你使用 Node.js 编写爬虫并下载大量图片时，可能会遇到一些常见的问题，比如 EMFILE 错误（文件描述符不足）和 ECONNRESET 错误（连接被重置）。这些问题通常是由于资源限制或网络不稳定导致的。以下是一些解决方案和优化方法：

解决方案

1. 使用异步库：使用如 axios 或 node-fetch 来管理 HTTP 请求，它们通常比原生的 http 模块有更好的错误处理机制。

2. 限制并发请求：通过使用像 async 库中的 queue 功能或 p-limit 这样的库来限制同时进行的请求数量，以避免一次性打开太多文件描述符。

3. 错误处理和重试机制：实现错误处理和重试逻辑，以便在网络不稳定时可以自动重试。

示例代码

const axios = require('axios');
const fs = require('fs');
const path = require('path');
const { promisify } = require('util');

// 使用 promisify 将 fs.writeFile 转换为 Promise
const writeFile = promisify(fs.writeFile);

async function downloadImage(url, directory) {
    try {
        const response = await axios({
            url,
            responseType: 'stream'
        });

        const filename = path.basename(new URL(url).pathname);
        const filePath = path.join(directory, filename);

        // 创建可写流
        const writer = fs.createWriteStream(filePath);

        // 管道响应数据到文件
        response.data.pipe(writer);

        return new Promise((resolve, reject) => {
            writer.on('finish', resolve);
            writer.on('error', reject);
        });
    } catch (error) {
        console.error(`Error downloading ${url}:`, error.message);
        throw error;
    }
}

async function downloadImages(urls, directory) {
    for (const url of urls) {
        await downloadImage(url, directory);
    }
}

// 示例：下载多个图片
const urls = [
    'https://example.com/image1.jpg',
    'https://example.com/image2.jpg',
    // 添加更多 URL
];

const DOWNLOAD_DIR = './downloads';
if (!fs.existsSync(DOWNLOAD_DIR)) {
    fs.mkdirSync(DOWNLOAD_DIR);
}

downloadImages(urls, DOWNLOAD_DIR)
    .then(() => console.log('All images downloaded successfully'))
    .catch(error => console.error('Failed to download images:', error));

解释

1. 使用 axios：axios 是一个流行的 HTTP 客户端，它支持 promise 并且有更好的错误处理能力。

2. 创建可写流：使用 fs.createWriteStream 创建一个可写流，并将 HTTP 响应的数据管道到该流中。

3. 错误处理和重试：在 downloadImage 函数中捕获错误，并在主函数 downloadImages 中处理错误，确保所有错误都被记录。

4. 目录检查：在下载之前检查目标目录是否存在，如果不存在则创建目录。

通过这种方式，你可以有效地管理和下载大量图片，同时避免常见的错误。