Nodejs做监控平台，大家一般什么思路？

Nodejs做监控平台，大家一般什么思路？

公司的基础设施很不完善，运维不给力，前端页面的性能监控什么的都没做，因为没地方上报数据。

所以打算前端童靴自己搭建，一开始不用很复杂那种，我想写api给js调以及数据展示都不是问题，唯一有点疑惑的是数据量大了之后，数据的写入会不会成为瓶颈。

目前我想到的方案是，用node直接写入到redis，再定期从redis批量读取写入db。这种平台的数据不会很复杂，基本是上报一个值再加上时间戳，所以采用哪种数据库比较合适呢？我想到了Hbase？没怎么接触过这货，不知道怎么样，大家怎么看呢？

（P.S：其实我就是来验证下我的想法，求赐教啊）


4 回复

对于构建一个基于 Node.js 的监控平台，确实有很多可以探讨的方法和最佳实践。考虑到您的需求和疑问，我们可以从以下几个方面来讨论：

数据存储选择

Redis: Redis 是一个高性能的键值存储系统，特别适合处理高并发场景下的数据缓存和快速读写操作。您可以将前端上报的数据先写入 Redis，然后通过定时任务或后台服务定期将这些数据从 Redis 转移到持久化存储中。这种方式可以有效减轻前端服务器的压力，并且保证数据的实时性。

// 示例代码：使用 Redis 作为缓存层
const redis = require('ioredis');
const client = new redis();

client.set('metric_key', JSON.stringify({ value: 100, timestamp: Date.now() }));

关系型数据库 vs. NoSQL 数据库: 对于存储监控数据，如果数据结构简单且查询需求明确，关系型数据库如 MySQL 或 PostgreSQL 可能是一个不错的选择。但如果数据量非常大，且需要灵活的查询能力，NoSQL 数据库如 MongoDB 或 Cassandra 会更合适。考虑到您的数据相对简单，MongoDB 或 Redis 可能是更好的选择。

数据上报与处理

为了处理大量数据上报，您可以考虑使用消息队列系统（如 RabbitMQ 或 Kafka）来解耦数据收集与处理过程。这样，即使在高峰期，前端也可以快速地将数据发送出去，而不会堵塞前端服务。

// 示例代码：使用 Kafka 发送数据
const kafka = require('kafkajs').Kafka;
const kafkaClient = new kafka({
    brokers: ['localhost:9092'],
    clientId: 'my-app',
});

const producer = kafkaClient.producer();
await producer.connect();
await producer.send({
    topic: 'metrics_topic',
    messages: [
        { value: JSON.stringify({ value: 100, timestamp: Date.now() }) },
    ],
});

定期处理数据

您提到的定期从 Redis 批量读取并写入数据库的做法是合理的。可以使用 cron job 或类似工具定期执行这个任务。

// 示例代码：定期从 Redis 中读取数据并写入 MongoDB
const MongoClient = require('mongodb').MongoClient;
const url = "mongodb://localhost:27017/";

async function processMetrics() {
    const metrics = await client.lrange('metrics_list', 0, -1);
    await MongoClient.connect(url, async function(err, db) {
        if (err) throw err;
        const dbo = db.db("monitoring");
        await dbo.collection("metrics").insertMany(JSON.parse(metrics));
        await db.close();
    });
}

总结

  • Redis 适合作为缓存层来处理高频数据上报。
  • MongoDB 或 Cassandra 适用于大规模数据存储。
  • 使用 消息队列 解耦数据收集与处理，提高系统的可扩展性和稳定性。
  • 定期从缓存层读取数据并持久化到数据库，确保数据不会丢失。

希望这些建议对您有所帮助！


MongoDB 不在考虑？

想法很简单啊，不知道Hbase的应用场景么？监控是有很多纬度的，你可能要用到关系型数据库，如果你做的很简单的那种，redis，mongodb够用了。

针对你的需求，使用Node.js搭建一个简单的监控平台是一个不错的思路。根据你描述的情况，我们可以通过以下步骤实现：

  1. 数据收集：前端通过API将数据发送到后端服务器。
  2. 数据存储：选择合适的数据库来存储这些数据。
  3. 数据展示：提供一个可视化界面来展示这些数据。

数据收集

前端可以通过Ajax请求将数据发送到后端API，例如：

// 前端代码示例
fetch('/api/monitor', {
    method: 'POST',
    headers: {
        'Content-Type': 'application/json'
    },
    body: JSON.stringify({
        value: 50, // 监控值
        timestamp: Date.now()
    })
});

数据存储

使用Redis

你可以先将数据写入Redis，这是一种高效的键值存储系统，适合高并发场景。然后通过定时任务将数据从Redis批量写入持久化数据库。

// Node.js 示例代码
const redis = require('redis');
const client = redis.createClient();

client.on('error', (err) => {
    console.log('Error ' + err);
});

function saveData(data) {
    client.rpush('monitor_data', JSON.stringify(data), (err, reply) => {
        if (err) throw err;
        console.log(reply); // 回复是被存储元素的数量
    });
}

saveData({value: 50, timestamp: Date.now()});

持久化数据库

对于持久化存储，可以考虑使用MongoDB或InfluxDB。MongoDB是一个灵活且易于使用的文档数据库，而InfluxDB专门设计用于时间序列数据。

  • MongoDB 示例
const mongoose = require('mongoose');
mongoose.connect('mongodb://localhost:27017/monitor');

const MonitorSchema = new mongoose.Schema({
    value: Number,
    timestamp: Date
});

const Monitor = mongoose.model('Monitor', MonitorSchema);

function saveToDb() {
    client.lrange('monitor_data', 0, -1, (err, replies) => {
        if (err) throw err;
        replies.forEach((reply) => {
            const data = JSON.parse(reply);
            const monitor = new Monitor(data);
            monitor.save();
        });
        client.del('monitor_data'); // 清空Redis列表
    });
}

setInterval(saveToDb, 60 * 1000); // 每分钟执行一次
  • InfluxDB 示例

InfluxDB更适合时间序列数据，并且提供了强大的查询功能。

# 安装InfluxDB
npm install influx

const Influx = require('influx');

const influx = new Influx.InfluxDB({
    host: 'localhost',
    database: 'monitor',
    schema: [
        {
            measurement: 'monitor',
            fields: {
                value: Influx.FieldType.FLOAT,
            },
            tags: [
                'host',
            ],
        },
    ],
});

function saveToInflux(data) {
    influx.writePoints([
        {
            measurement: 'monitor',
            tags: {
                host: 'server01',
            },
            fields: {
                value: data.value,
            },
            timestamp: data.timestamp,
        }
    ]);
}

数据展示

可以使用如ECharts等图表库来展示数据，前端通过HTTP请求获取数据并在页面上显示。

// 前端ECharts 示例
fetch('/api/monitor')
    .then(response => response.json())
    .then(data => {
        const chart = echarts.init(document.getElementById('chart'));
        chart.setOption({
            xAxis: {
                type: 'category',
                data: data.map(d => d.timestamp),
            },
            yAxis: {
                type: 'value',
            },
            series: [
                {
                    data: data.map(d => d.value),
                    type: 'line',
                },
            ],
        });
    });

总结

通过以上步骤，你可以搭建一个简单的监控平台。考虑到数据量大的情况，使用Redis作为临时缓存可以提高性能，同时使用MongoDB或InfluxDB作为持久化存储。希望这些信息对你有所帮助！

回到顶部