Nodejs mongodb gridfs+node.js如何提供静态文件服务

Nodejs mongodb gridfs+node.js如何提供静态文件服务

目前我的项目把所有用户上传的媒体文件都存入了gridfs当中。 之前使用nginx-gridfs模块，利用nginx直接提供静态媒体文件的下载服务。 我的项目属于上传数据少，下载高峰非常集中的类型。

在部署阶段发现nginx-gridfs无法正常使用，查看了github的issuse也无法解决问题（之前有同样问题，但是解决了）。 准备不再使用这个2年没人维护的nginx-gridfs了。

有什么其他的解决方案可以帮我解决大量并发下载的问题么？

单独写一个node程序，从mongodb gridfs中读取文件，提供下载服务，这样的方法是否可行呢？


2 回复

当然，你可以通过编写一个专门的 Node.js 应用来从 MongoDB 的 GridFS 中读取文件并提供下载服务。这种方法不仅可行，而且还可以根据你的需求进行高度定制化。以下是一个简单的示例来展示如何实现这一功能。

示例代码

首先，确保你已经安装了必要的依赖包：

npm install express mongoose

接下来，创建一个基本的 Express 应用程序，用于处理文件请求：

const express = require('express');
const mongoose = require('mongoose');
const GridFsStorage = require('multer-gridfs-storage');
const Grid = require('gridfs-stream');

// 连接到 MongoDB 数据库
mongoose.connect('mongodb://localhost/your-database-name', { useNewUrlParser: true, useUnifiedTopology: true });

// 初始化 GridFS 流
let gfs;
mongoose.connection.once('open', () => {
    gfs = Grid(mongoose.connection.db, mongoose.mongo);
    gfs.collection('uploads'); // 假设你的 GridFS 集合名为 'uploads'
});

const app = express();

// 提供静态文件服务
app.get('/files/:filename', (req, res) => {
    const file = gfs.files.findOne({ filename: req.params.filename }, (err, file) => {
        if (!file || file.length === 0) {
            return res.status(404).json({
                err: 'No file exists'
            });
        }

        // 创建一个读取流
        const readStream = gfs.createReadStream({ filename: file.filename });
        // 将读取流管道到响应流
        readStream.pipe(res);
    });
});

// 启动服务器
const PORT = process.env.PORT || 3000;
app.listen(PORT, () => {
    console.log(`Server running on port ${PORT}`);
});

解释

  1. 连接到 MongoDB:

    • 使用 mongoose 连接到 MongoDB 数据库。
    • 当数据库连接打开时，初始化 GridFS 流。

  2. 创建 Express 路由:

    • 定义一个 GET 路由 /files/:filename，它接收文件名作为参数。
    • 查询 GridFS 中的文件，并将其内容通过读取流传递给客户端。

  3. 启动服务器:

    • 监听指定端口，等待文件请求。

性能考虑

对于高并发下载场景，你可能还需要考虑以下几个方面：

  • 负载均衡: 使用 Nginx 或其他负载均衡工具来分发请求。
  • 缓存: 利用 Redis 或其他内存存储来缓存频繁访问的文件。
  • CDN: 使用 CDN 来加速文件的分发。

这种方法不仅灵活，而且可以根据具体需求进行优化，非常适合处理大量并发下载的情况。


针对你的需求，可以通过编写一个Node.js服务来直接从MongoDB GridFS读取文件并提供下载服务。这种方法不仅能够避免依赖于已知存在问题的nginx-gridfs模块，还能更灵活地处理并发请求。下面是一个简单的实现方案：

示例代码

  1. 安装必要的依赖包：

    npm install express mongodb

  2. 创建服务端代码 (server.js)：

    const express = require('express');
const MongoClient = require('mongodb').MongoClient;
const Grid = require('gridfs-stream');
const url = 'mongodb://localhost:27017';
const dbName = 'your_database_name';

const app = express();
let gfs;

MongoClient.connect(url, { useNewUrlParser: true, useUnifiedTopology: true })
  .then(client => {
    console.log('Connected to Database');
    const db = client.db(dbName);
    gfs = Grid(db, MongoClient);
    app.listen(3000, () => {
      console.log('Server is running on port 3000');
    });
  })
  .catch(error => console.error(error));

// Serve files from GridFS by file name
app.get('/files/:filename', (req, res) => {
  gfs.files.findOne({ filename: req.params.filename }, (err, file) => {
    if (!file || file.length === 0) {
      return res.status(404).json({
        err: 'No file found'
      });
    }

    // Create readable stream
    const readstream = gfs.createReadStream({ filename: file.filename });

    // Set the correct headers
    res.set('Content-Type', file.contentType);

    // Pipe the readable stream to the response object (which goes to the client)
    readstream.pipe(res);
  });
});

解释

  • 数据库连接：使用MongoClient连接到MongoDB数据库。
  • GridFS配置：通过Grid(db, MongoClient)初始化GridFS流。
  • 文件路由：设置一个GET路由/files/:filename，根据文件名从GridFS读取文件，并将其内容作为响应返回给客户端。
  • 流式传输：使用GridFS的createReadStream方法创建一个可读流，并将该流的内容直接管道到HTTP响应对象，以支持大文件的高效传输。

这种方法可以根据需要调整，例如添加缓存、错误处理等，来优化性能和稳定性。

回到顶部