Nodejs中关于抓取图片时候遇到的错误 Unhandled stream error in pipe.

在使用 Node.js 抓取图片时遇到 Unhandled stream error in pipe 错误通常是由于流处理过程中出现了问题。这可能是由于网络请求失败、文件路径问题或资源未正确关闭等原因导致的。

解释

当你使用 request 库来获取图片并将其保存到文件系统时，你需要确保所有可能出错的地方都有适当的错误处理。在这个例子中，你没有为 request(imageUrl) 创建的可读流添加错误处理。如果在管道传输过程中发生错误，这个错误将不会被捕获，从而导致 Unhandled stream error。

示例代码

为了更好地处理错误，我们可以在管道操作中添加错误处理逻辑。这里使用了 request 和 fs 模块，但请注意这些模块已经不再维护。推荐使用更现代的替代方案，例如 node-fetch 和 fs/promises。

const request = require('request');
const fs = require('fs');
const path = require('path');
const cheerio = require('cheerio');
const mkdirp = require('mkdirp');

const searchUrl = 'http://example.com'; // 替换为实际的URL
const filePath = './images'; // 图片保存目录

request(searchUrl, function (err, res, body) {
  if (!err && res.statusCode == 200) {
    const $ = cheerio.load(body);
    const images = $('.box img');
    const timestamp = new Date().getTime();

    mkdirp(path.resolve(__dirname, filePath), err => {
      if (err) throw err;

      images.each((i, e) => {
        const imageUrl = e.attribs['src'].replace(/\/t\//, '/pre/');
        const imageName = `${timestamp}-${i}.jpg`;

        console.log(`Downloading ${imageUrl} to ${filePath}/${imageName}`);

        const writeStream = fs.createWriteStream(path.join(filePath, imageName));

        request(imageUrl)
          .on('error', (err) => {
            console.error(`Error downloading image: ${err.message}`);
          })
          .pipe(writeStream)
          .on('error', (err) => {
            console.error(`Error writing image to file: ${err.message}`);
            writeStream.end(); // 确保关闭写入流
          })
          .on('finish', () => {
            console.log(`Image saved: ${filePath}/${imageName}`);
          });
      });
    });
  } else {
    console.error('Error fetching the webpage:', err);
  }
});

关键点

1. 错误处理：在 request 和 writeStream 中都添加了错误处理。
2. 文件路径：使用 path 模块来确保生成正确的文件路径。
3. 资源管理：确保在流操作完成或出错时正确关闭资源。

通过这种方式，你可以更健壮地处理抓取图片过程中的各种错误情况。