nginx搭配Nodejs，服务是大图片时nginx耗时比Node多很多的问题

nginx搭配Nodejs，服务是大图片时nginx耗时比Node多很多的问题

nginx用upstream搭配nodejs，nodejs是一个接口封装，会用http去底层服务请求数据，然后封装返回。

近期发现大部分接口都没问题，但是有个取图服务，当图片大小在200K以下时也没多大问题，在200k-300k有很小几率nginx的*$request_time*会比node的时间多几百毫秒到5秒。 而大于300k就有比较大的几率出现上述问题。

譬如node在res.end(data)时记录整个执行时间是500ms，那nginx的*$request_time*时间可能就是3.245s，确定这个多出来的时间是发生在node->nginx而不是nginx->node

请问有谁遇到过这种问题么，需要怎么解决？


2 回复

nginx搭配Nodejs，服务是大图片时nginx耗时比Node多很多的问题

背景信息

在使用nginx作为反向代理服务器与Node.js应用进行交互时，我们发现了一个问题。具体来说，当处理大图片（超过300KB）时，nginx的响应时间明显高于Node.js处理时间。这导致整体响应时间显著增加。

问题描述

nginx配置如下：

http {
    upstream node_app {
        server localhost:3000;
    }

    server {
        listen 80;

        location / {
            proxy_pass http://node_app;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
        }
    }
}

Node.js接口处理逻辑如下：

const http = require('http');
const fs = require('fs');

const server = http.createServer((req, res) => {
    const startTime = Date.now();

    // 处理大图片请求
    fs.readFile('/path/to/large/image.jpg', (err, data) => {
        if (err) {
            res.writeHead(500);
            res.end('Internal Server Error');
            return;
        }

        // 记录处理时间
        const endTime = Date.now();
        console.log(`Node.js处理时间: ${endTime - startTime}ms`);

        res.writeHead(200, { 'Content-Type': 'image/jpeg' });
        res.end(data);
    });
});

server.listen(3000, () => {
    console.log('Server is running on port 3000');
});

分析与解决方案

  1. 检查网络传输：确保网络传输过程中没有瓶颈。可以使用tcpdump等工具来捕获和分析网络流量。

  2. 优化nginx配置：

    • 增加proxy_buffer_size和proxy_buffers的值，以提高缓存能力。
    http {
    upstream node_app {
        server localhost:3000;
    }

    server {
        listen 80;

        location / {
            proxy_pass http://node_app;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_buffer_size 128k;
            proxy_buffers 4 256k;
            proxy_busy_buffers_size 256k;
        }
    }
}

  3. 调整Node.js处理逻辑：考虑使用流式传输大文件，而不是一次性读取整个文件。

    const http = require('http');
const fs = require('fs');
const path = require('path');

const server = http.createServer((req, res) => {
    const startTime = Date.now();

    const filePath = path.join(__dirname, '/path/to/large/image.jpg');
    const fileStream = fs.createReadStream(filePath);

    fileStream.on('open', () => {
        res.writeHead(200, { 'Content-Type': 'image/jpeg' });
        fileStream.pipe(res);
    });

    fileStream.on('error', (err) => {
        res.writeHead(500);
        res.end('Internal Server Error');
    });

    fileStream.on('end', () => {
        const endTime = Date.now();
        console.log(`Node.js处理时间: ${endTime - startTime}ms`);
    });
});

server.listen(3000, () => {
    console.log('Server is running on port 3000');
});

通过以上调整，可以有效减少nginx处理大图片时的延迟问题。


针对你描述的问题，可能是由于Nginx与Node.js之间的数据传输效率较低导致的。当处理大图片时，Nginx在转发数据给客户端时可能会引入额外的延迟。你可以通过调整Nginx的配置来优化性能。

解决方案

  1. 启用Gzip压缩：对于大文件（如图片），可以考虑启用Gzip压缩来减小传输的数据量，从而减少传输时间。

  2. 调整Nginx缓冲区大小：增大Nginx的缓冲区大小可以避免在处理大文件时出现的阻塞情况。

示例配置

1. 启用Gzip压缩

在你的Nginx配置文件中添加以下内容：

http {
    gzip on;
    gzip_types image/jpeg image/png image/gif;
}

2. 调整缓冲区大小

http {
    ...
    proxy_buffers   8 16k;
    proxy_buffer_size 32k;
}

示例代码

假设你有一个简单的Node.js服务器，用于处理图片请求，并且使用Express框架：

const express = require('express');
const fs = require('fs');

const app = express();

app.get('/image', (req, res) => {
    const filePath = '/path/to/your/image.jpg';
    const readStream = fs.createReadStream(filePath);

    readStream.on('open', () => {
        res.writeHead(200, {'Content-Type': 'image/jpeg'});
        readStream.pipe(res);
    });

    readStream.on('error', (err) => {
        res.end();
    });
});

app.listen(3000, () => {
    console.log('Server is running on port 3000');
});

总结

通过以上配置和代码调整，你可以显著提升Nginx处理大图片时的性能。如果问题依然存在，建议检查网络带宽和硬件资源是否足够。

回到顶部