Flutter网页数据抓取插件dghub_web_scrapper的使用

Flutter网页数据抓取插件dghub_web_scrapper的使用

DGHub Studio

Buy Me a Coffee

什么是网页抓取

网页抓取是一种自动方法，用于从网站获取大量数据。大多数此类数据是以HTML格式存在的非结构化数据，然后将其转换为结构化的数据，以便可以在各种应用程序中使用。执行网页抓取的方法有很多，包括使用在线服务、特定的API，甚至是从头开始创建自己的网页抓取代码。许多大型网站，如Google、Twitter、Facebook、StackOverflow等，都提供了允许以结构化格式访问其数据的API。这是最佳选择，但有些网站不允许用户以结构化形式访问大量数据，或者它们的技术水平不够先进。在这种情况下，最好使用网页抓取来抓取网站上的数据。

网页抓取需要两个部分，即爬虫和抓取器。爬虫是一种人工智能算法，它通过互联网上的链接浏览网络，搜索所需的数据。另一方面，抓取器是一个特定的工具，用于从网站提取数据。根据项目的复杂性和范围，抓取器的设计可以有很大的不同，以便能够快速而准确地提取数据。

安装

在您的pubspec.yaml文件的dependencies:部分添加以下行：

dependencies:
  dghub_web_scrapper: <latest_version>

导入包

import 'package:dghub_web_scrapper/dghub_web_scrapper.dart';

示例 - 基础用法

DGHubWebScrapper.get('https://cv.dghub.in/').then((html){
  // 在这里处理抓取到的HTML
}).onError((error, stackTrace) {
  // 在这里处理错误
});

示例 - 支持JavaScript

DGHubWebScrapper.getFullLoaded('https://cv.dghub.in/').then((html){
  // 在这里处理抓取到的HTML
}).onError((error, stackTrace) {
  // 在这里处理错误
});

重要方法和属性

示例代码

import 'package:flutter/material.dart';
import 'package:dghub_web_scrapper/dghub_web_scrapper.dart';

void main() {
  runApp(const MyApp());
}

class MyApp extends StatelessWidget {
  const MyApp({super.key});

  [@override](/user/override)
  Widget build(BuildContext context) {
    return MaterialApp(
      title: 'DG Web Scrapper',
      theme: ThemeData(
        colorScheme: ColorScheme.fromSeed(seedColor: Colors.deepPurple),
        useMaterial3: true,
      ),
      home: const MyHomePage(title: 'DG Web Scrapper'),
    );
  }
}

class MyHomePage extends StatefulWidget {
  const MyHomePage({super.key, required this.title});
  final String title;

  [@override](/user/override)
  State<MyHomePage> createState() => _MyHomePageState();
}

class _MyHomePageState extends State<MyHomePage> {
  String text = 'Loading...';

  getData() {
    DGHubWebScrapper.get('https://cv.dghub.in').then((value) {
      text = value!.body!
          .getElementsByClassName('about-disc')[0]
          .text
          .trim()
          .toString();

      print(text);
      setState(() {});
    }).onError((error, stackTrace) {
      print(error.toString());
    });
  }

  [@override](/user/override)
  void initState() {
    getData();
    super.initState();
  }

  [@override](/user/override)
  Widget build(BuildContext context) {
    return Scaffold(
      appBar: AppBar(
        backgroundColor: Theme.of(context).colorScheme.inversePrimary,
        title: Text(widget.title),
      ),
      body: Center(
        child: SingleChildScrollView(
          child: Column(
            mainAxisAlignment: MainAxisAlignment.center,
            children: [
              Text(
                text,
              ),
            ],
          ),
        ),
      ),
      // 这个逗号使自动格式化更美观
    );
  }
}