Nodejs + Rails3 + MongoDB 开发了个商品价格记录的网站

Nodejs + Rails3 + MongoDB 开发了个商品价格记录的网站

最近闲着无聊的时候，自己动手开发了一个基于 Rails 3、MongoDB 和 Node.js 的商品价格记录网站。在这个项目中，我体验到了使用 Node.js 进行数据抓取的强大之处，它简化了异步IO处理和多线程问题，使得开发过程变得十分流畅。

技术栈

• Rails 3: 作为后端框架，负责处理业务逻辑和提供API接口。
• MongoDB: 用于存储商品信息及其价格记录，因为它对字段不确定的应用场景非常适合。
• Node.js: 用于数据抓取和定时任务，比如每天定时更新商品价格。

示例代码

使用 Node.js 进行数据抓取

// 安装必要的包
const axios = require('axios');
const cheerio = require('cheerio');

// 定义一个函数来抓取商品价格
async function fetchProductPrice(url) {
    try {
        const response = await axios.get(url);
        const $ = cheerio.load(response.data);

        // 假设商品价格位于 <span class="price"> 中
        const priceElement = $('.price').text();
        return parseFloat(priceElement.replace(/[^0-9\.]+/g, '')); // 清理价格字符串
    } catch (error) {
        console.error(`Error fetching price from ${url}:`, error);
        return null;
    }
}

// 调用函数并打印结果
fetchProductPrice('https://example.com/product')
    .then(price => console.log(`Product Price: ${price}`))
    .catch(error => console.error(error));

使用 Node.js 定时任务

// 安装必要的包
const cron = require('node-cron');

// 定义一个定时任务，每天凌晨1点执行一次数据抓取
cron.schedule('0 1 * * *', async () => {
    const productUrls = ['https://example.com/product1', 'https://example.com/product2'];
    
    for (const url of productUrls) {
        const price = await fetchProductPrice(url);
        if (price !== null) {
            // 将抓取到的价格保存到数据库（这里假设有一个 savePrice 函数）
            savePrice({ url, price });
        }
    }
});

function savePrice(productData) {
    // 这里调用Rails API或直接操作MongoDB
    console.log(`Saving price for ${productData.url}: ${productData.price}`);
}

总结

虽然 MongoDB 对于不确定字段的应用场景非常适合，但在高效查询方面，它可能不如 MySQL + Redis 那样得心应手。不过，对于我的需求来说，MongoDB 已经足够使用了。如果你对这个项目感兴趣，欢迎一起来交流学习。

项目链接

• 网站: http://www.etao3c.com
• GitHub: git://github.com/myliang/top3c.git

希望这些示例代码和解释能帮助你更好地理解这个项目的实现方式。