Nodejs 图片上传时 image resize 为什么传10次有1~2次失败呢？

Nodejs 图片上传时 image resize 为什么传10次有1~2次失败呢？

问题描述

我在使用 Node.js 和 gm 库进行图片上传和处理时，遇到了一个奇怪的问题：每上传10次图片，大约会有1到2次失败。错误日志显示 gm 在执行 resize 操作时发生了异常，导致命令失败。

错误信息

throw err;
^

Error: Command failed:
at ChildProcess._spawn.proc.on.onExit (/home/hosting_users/quanchengji/apps/quanchengji_shawn/node_modules/gm/lib/command.js:279:17)
at ChildProcess.EventEmitter.emit (events.js:98:17)
at maybeClose (child_process.js:735:16)
at Process.ChildProcess._handle.onexit (child_process.js:802:5)

可能的原因

1. 资源竞争：当多个请求同时尝试处理图片时，可能会出现资源竞争，导致某些请求无法正确执行 resize 操作。
2. 系统资源限制：Linux 系统可能对进程数量或内存使用有一定的限制，导致在高并发情况下出现错误。
3. ImageMagick 配置问题：ImageMagick 的配置可能不适合高并发环境，需要优化配置。

解决方案

1. 增加超时时间：为 gm 命令增加超时时间，确保有足够的处理时间。
2. 错误重试机制：在发生错误时，增加重试机制，确保请求不会因为偶然的错误而失败。
3. 异步处理：使用异步处理方式，避免阻塞主线程。

示例代码

const gm = require('gm').subClass({imageMagick: true});
const fs = require('fs');
const path = require('path');

function resizeImage(filePath, outputFilePath, width, height, retries = 3) {
    return new Promise((resolve, reject) => {
        const processImage = () => {
            gm(filePath)
                .resize(width, height)
                .toFile(outputFilePath, (err, value) => {
                    if (err) {
                        console.error(`Error resizing image: ${err}`);
                        if (retries > 0) {
                            console.log(`Retrying... (${retries} attempts left)`);
                            processImage();
                        } else {
                            reject(err);
                        }
                    } else {
                        resolve(value);
                    }
                });
        };

        processImage();
    });
}

async function handleUpload(req, res) {
    try {
        const file = req.files.image;
        const filePath = path.join(__dirname, 'uploads', file.name);
        await fs.promises.writeFile(filePath, file.buffer);

        const resizedFilePath = path.join(__dirname, 'resized', file.name);
        await resizeImage(filePath, resizedFilePath, 800, 600);

        res.status(200).json({ message: 'Image uploaded and resized successfully.' });
    } catch (error) {
        console.error(error);
        res.status(500).json({ error: 'Failed to upload or resize the image.' });
    }
}

// 使用 Express 处理上传请求
const express = require('express');
const app = express();

app.use(express.json());
app.use(express.urlencoded({ extended: true }));
app.use(express.static('public'));

app.post('/upload', handleUpload);

app.listen(3000, () => {
    console.log('Server is running on port 3000');
});

解释

1. resizeImage 函数：定义了一个异步函数 resizeImage，用于处理图片的缩放，并添加了重试机制。
2. handleUpload 函数：处理文件上传和图片缩放的逻辑，捕获并处理可能出现的错误。
3. Express 路由：使用 Express 处理上传请求，确保请求能够正确处理。

通过这种方式，可以有效减少由于偶然因素导致的图片处理失败情况。