关于 Node.js 监控 MySQL 表问题请教

关于 Node.js 监控 MySQL 表问题请教

现在有一个应用，三台服务器，其中：db 服务器是 MySQL，第二台服务器提供 Web 访问，收集用户提交的信息，另一台服务器部署Node.js，实时监控 MySQL 的一个表，如果发现表中有新的数据，则 Node.js 进行后台处理。现在的问题是，Node.js 如何能实时监控MySQL 是否有新的信息插入，Node.js 能否胜任？效率如何？需要长连接 MySQL？

7 回复

当然可以！在你的场景中，Node.js 可以通过监听 MySQL 数据库中的表来实现对新数据的实时监控。以下是具体的方法和示例代码。

方法概述

  1. 使用 MySQL 客户端库：你可以使用 mysql2 库来连接 MySQL 数据库。
  2. 轮询机制：定期查询数据库以检查是否有新的记录。
  3. 使用触发器和队列：更高效的方式是利用 MySQL 触发器将新增的数据推送到消息队列（如 RabbitMQ 或 Kafka），然后 Node.js 监听消息队列。
  4. 长连接（WebSocket 或 Socket.IO）：这是一种更高级的技术，但可能不是最直接的解决方案。

示例代码 - 轮询机制

const mysql = require('mysql2/promise');

// 创建 MySQL 连接池
const pool = mysql.createPool({
    host: 'your_db_host',
    user: 'your_db_user',
    password: 'your_db_password',
    database: 'your_db_name',
    waitForConnections: true,
    connectionLimit: 10,
    queueLimit: 0
});

async function checkForNewData() {
    try {
        const [rows] = await pool.query('SELECT * FROM your_table WHERE updated_at > ?', [lastUpdated]);
        if (rows.length > 0) {
            // 处理新数据
            console.log(rows);
            lastUpdated = new Date();
        }
    } catch (error) {
        console.error('Error checking for new data:', error);
    }
}

let lastUpdated = new Date();

setInterval(checkForNewData, 5000); // 每 5 秒检查一次

checkForNewData(); // 首次调用

解释

  1. 创建连接池：mysql2/promise 提供了异步 API，更适合 Node.js。
  2. 查询数据库：定期查询数据库以检查是否有新的记录。这里假设你有一个 updated_at 字段来跟踪更新时间。
  3. 处理新数据：当检测到新数据时，进行相应的处理。
  4. 轮询间隔：使用 setInterval 设置轮询间隔。

效率与优化

  • 轮询间隔：调整轮询间隔以平衡响应时间和资源消耗。
  • 触发器和队列：如果需要更高的效率，可以考虑使用触发器将新增数据推送到消息队列，然后 Node.js 监听队列。

总结

Node.js 可以胜任这种任务，但具体的效率取决于轮询间隔和其他系统配置。如果你需要更高的实时性和更低的延迟，建议考虑使用消息队列等更先进的技术。


为什么不直接在业务脚本处理中创建任务，Node.js进行队列处理？

当初的想法是出于安全考虑，第三台服务器只负责跟db服务器链接，不提供对外服务，用第三台服务器为db的某个字段进行可逆加密，不直接在web服务器业务处理时加密是为了防止web服务器被攻破造成加密程序以及数据被黑客获取。想用node.js实时监控mysql，发现有提交新的数据就运行加密进行更新，刚接触node.js，所以想请教大家有没有node.js实时监控mysql的实例

尝试过Mysql的trigger吗？如果需要trigger调用外部程序，谷歌下 mysqludf

多谢，最开始考虑过用mysql的触发器，因为刚接触node.js，所以想尝试一下node.js基于数据库的实时监控，现在来看可能node.js不太适合，再次感谢。

多谢您的Example，已经决定用mysql的触发器了

要实现 Node.js 实时监控 MySQL 表中的新数据，可以使用 mysql 或 mysql2 模块，并结合轮询或 WebSocket 实现。以下是具体方案：

  1. 轮询：定期查询数据库以检查是否有新数据插入。
  2. WebSocket：与 MySQL 结合使用第三方工具（如 mysql-events）来监听表变化。

示例代码：轮询

const mysql = require('mysql');
const express = require('express');

// 创建数据库连接
const dbConnection = mysql.createConnection({
    host: 'your_host',
    user: 'your_user',
    password: 'your_password',
    database: 'your_database'
});

dbConnection.connect((err) => {
    if (err) throw err;
    console.log("Connected!");
});

// 创建 Express 应用
const app = express();
const PORT = 3000;

app.listen(PORT, () => {
    console.log(`Server running on port ${PORT}`);
});

// 定义轮询函数
function checkForNewData() {
    const sql = "SELECT * FROM your_table WHERE createdAt > ?"; // 假设有个 createdAt 字段记录创建时间
    const lastCheckedTime = new Date(Date.now() - 60000); // 检查过去1分钟的数据

    dbConnection.query(sql, [lastCheckedTime], (err, results) => {
        if (err) throw err;

        // 如果有新数据，进行处理
        if (results.length > 0) {
            console.log("New data found:", results);
            // 处理新数据的逻辑
        }
    });
}

// 每分钟调用一次轮询函数
setInterval(checkForNewData, 60000);

checkForNewData(); // 初始调用

WebSocket + mysql-events

若要提高效率并减少资源消耗，可以考虑使用 WebSocket 结合 mysql-events 监听表变化。

const mysql = require('mysql');
const mysqlEvents = require('mysql-events');

const dbConnection = mysql.createConnection({
    host: 'your_host',
    user: 'your_user',
    password: 'your_password',
    database: 'your_database'
});

dbConnection.connect((err) => {
    if (err) throw err;
    console.log("Connected!");
});

const busboy = mysqlEvents(dbConnection);

busboy.on('mytable', (event, row, meta) => {
    console.log("New data inserted into mytable:", row);
    // 处理新数据的逻辑
});

// 其他路由定义

注意，mysql-events 可能需要一些额外配置，确保正确监听特定表的变化。

效率与建议

  • 轮询：适合小规模应用，但会增加数据库负载。
  • WebSocket + mysql-events：更高效，但配置复杂度较高。

总之，Node.js 是完全可以胜任此任务的，关键在于选择合适的监控机制。

回到顶部