在弄一个Nodejs爬虫框架，类似于 alfred workflow，拖拖拽拽加少量的 script就可以写出一个爬虫～

好的，我们可以创建一个类似于 Alfred Workflow 的 Node.js 爬虫框架。该框架允许用户通过简单的拖拽和少量的脚本编写来构建爬虫任务。我们将使用 YAML 文件作为配置文件，并通过 JavaScript 来解析这些配置文件并执行相应的操作。

项目结构

spiderman/
├── config.yaml
├── lib/
│   ├── spiderman.js
│   └── components/
│       ├── initializer.js
│       ├── pageProcessor.js
│       └── mongodbAdaptor.js
└── package.json

配置文件 (config.yaml)

components:
  initializer:   
    type: initializer
    segues:
      - to: shopList
        func: 
          |
          offer("http://www.dianping.com/search/category/1/0");
  shopList:   
    type: pageProcessor
    segues:
      - to: shopList
        func: 
          |
          var nextPage=$(".NextPage");
          if(!nextPage){
            return;
          }         
          offer("http://www.dianping.com" + nextPage.attr("href"));
      - to: shop
        func: 
          |
          $(".BL").each(function() {
            offer("http://www.dianping.com" + $(this).attr("href"));
          })
  shop:   
    type: pageProcessor
    segues:
      - to: mongodb
        func: 
          |
          offer({
             shopName: $(".shop-title").text()
          });
  mongodb:   
    type: mongodbAdaptor
    host: 127.0.0.1
    port: 27017
    collection: shop

核心逻辑 (lib/spiderman.js)

const yaml = require('js-yaml');
const fs = require('fs');

// 加载配置文件
const config = yaml.load(fs.readFileSync('./config.yaml', 'utf8'));

// 初始化组件
const components = {};
config.components.forEach((name, component) => {
  components[name] = require(`./components/${component.type}`);
});

// 开始执行
function start(componentName) {
  const component = components[componentName];
  const segues = config.components[componentName].segues;

  for (let segue of segues) {
    const nextComponent = components[segue.to];
    const result = component(segue.func);
    nextComponent(result);
  }
}

// 启动初始化组件
start('initializer');

示例组件 (lib/components/initializer.js)

module.exports = function(func) {
  // 执行传入的函数
  eval(func);

  // 返回结果供下一个组件使用
  return { result };
};

示例组件 (lib/components/pageProcessor.js)

module.exports = function(func) {
  // 模拟请求并获取 HTML
  const html = getHTMLFromURL(url); // 假设有一个函数可以获取 HTML
  
  // 使用 jQuery 解析 HTML
  const $ = cheerio.load(html);
  
  // 执行传入的函数
  eval(func);

  // 返回结果供下一个组件使用
  return { result };
};

示例组件 (lib/components/mongodbAdaptor.js)

const MongoClient = require('mongodb').MongoClient;

module.exports = function(func) {
  // 连接到 MongoDB
  MongoClient.connect(`mongodb://${func.host}:${func.port}`, (err, client) => {
    if (err) throw err;
    
    const db = client.db();
    const collection = db.collection(func.collection);
    
    // 插入数据
    collection.insertOne(func.offer, (err, res) => {
      if (err) throw err;
      
      console.log("Data inserted successfully!");
      client.close();
    });
  });
};

运行项目

首先安装所需的依赖：

npm install js-yaml cheerio mongodb

然后运行 spiderman.js 脚本：

node lib/spiderman.js

这样，我们就实现了一个简单的 Node.js 爬虫框架，它可以根据配置文件自动生成爬虫任务。