Flutter网站机器人协议解析插件robots_txt的使用

发布于 1周前 作者 yuanlaile 来自 Flutter

Flutter网站机器人协议解析插件robots_txt的使用

robots_txt是一个用于解析robots.txt规则集的Flutter插件。它完全独立，没有任何依赖，并且文档齐全。下面将详细介绍如何在Flutter项目中使用该插件。

使用方法

首先，你需要获取特定网站的robots.txt文件内容，然后通过Robots.parse()函数解析这些内容。以下是如何操作的具体步骤：

获取并解析robots.txt文件

// 引入包
import 'package:robots_txt/robots_txt.dart';

Future<void> main() async {
  // 获取`robots.txt`文件的内容
  final contents = await fetchFileContents(host: 'github.com');
  
  // 解析内容
  final robots = Robots.parse(contents);

  // 示例：检查用户代理是否可以访问特定路径
  const userAgent = 'government';
  print("Can '$userAgent' access /gist/? ${robots.verifyCanAccess('/gist/', userAgent: userAgent)}"); // 输出 False
  print("Can '$user-agent' access /government/robots_txt/? ${robots.verifyCanAccess('/government/robots_txt/', userAgent: userAgent)}"); // 输出 True
}

Future<String> fetchFileContents({required String host}) async {
  final client = HttpClient();
  final contents = await client
      .get(host, 80, '/robots.txt')
      .then((request) => request.close())
      .then((response) => response.transform(utf8.decoder).join());
  client.close();
  return contents;
}

只关心特定用户代理的规则

如果你只想关注某些特定用户代理的规则，可以在解析时指定：

final robots = Robots.parse(contents, onlyApplicableTo: const {'government'});

验证robots.txt文件的有效性

使用Robots.validate()来验证robots.txt文件的有效性。这个函数会在文件无效时抛出FormatException异常。

try {
  Robots.validate('''
User-agent: *
Crawl-delay: 10
Disallow: /
Allow: /file.txt

Host: https://hosting.example.com/
Sitemap: https://example.com/sitemap.xml
''');
  print('As expected also, this file is not flagged as invalid.');
} on FormatException {
  print('Welp, this was not supposed to happen.');
}

如果需要支持自定义字段，可以在调用validate时指定这些字段名：

try {
  Robots.validate(
    '''
User-agent: *
Some-field: abcd.txt
''',
    allowedFieldNames: {'Some-field'},
  );
  print('Aha! Now there are no issues.');
} on FormatException {
  print('Welp, this also was not supposed to happen.');
}

以上就是使用robots_txt插件的基本指南和示例代码。通过这个插件，你可以轻松地在Flutter应用中处理和解析robots.txt文件，确保你的爬虫或自动化工具遵循网站的访问规则。


更多关于Flutter网站机器人协议解析插件robots_txt的使用的实战系列教程也可以访问 https://www.itying.com/category-92-b0.html

Harmonyos Next教程
1 回复

更多关于Flutter网站机器人协议解析插件robots_txt的使用的实战系列教程也可以访问 https://www.itying.com/category-92-b0.html


当然，下面是一个关于如何在Flutter项目中使用robots_txt插件来解析网站机器人协议（robots.txt）的示例代码。robots_txt插件允许你检查一个URL的robots.txt文件，以了解哪些路径是允许或禁止被搜索引擎爬虫访问的。

首先，你需要在你的Flutter项目中添加robots_txt依赖。在你的pubspec.yaml文件中添加以下依赖：

dependencies:
  flutter:
    sdk: flutter
  robots_txt: ^x.y.z  # 替换为最新版本号

然后运行flutter pub get来安装依赖。

接下来，你可以在你的Flutter应用中编写代码来解析和使用robots.txt文件。以下是一个简单的示例，展示如何获取并解析一个网站的robots.txt文件：

import 'package:flutter/material.dart';
import 'package:robots_txt/robots_txt.dart';
import 'dart:async';

void main() {
  runApp(MyApp());
}

class MyApp extends StatelessWidget {
  @override
  Widget build(BuildContext context) {
    return MaterialApp(
      title: 'Flutter robots.txt Parser',
      theme: ThemeData(
        primarySwatch: Colors.blue,
      ),
      home: MyHomePage(),
    );
  }
}

class MyHomePage extends StatefulWidget {
  @override
  _MyHomePageState createState() => _MyHomePageState();
}

class _MyHomePageState extends State<MyHomePage> {
  String result = "";

  @override
  void initState() {
    super.initState();
    fetchRobotsTxt();
  }

  void fetchRobotsTxt() async {
    String url = "https://www.example.com/robots.txt"; // 替换为你要解析的URL
    try {
      var robotsTxt = await RobotsTxt.parse(url);
      String allowedPaths = robotsTxt.userAgent('*').allowedPaths.join(", ");
      String disallowedPaths = robotsTxt.userAgent('*').disallowedPaths.join(", ");

      // 更新UI
      setState(() {
        result = """
        Allowed Paths: $allowedPaths
        Disallowed Paths: $disallowedPaths
        """;
      });
    } catch (e) {
      setState(() {
        result = "Error fetching or parsing robots.txt: ${e.toString()}";
      });
    }
  }

  @override
  Widget build(BuildContext context) {
    return Scaffold(
      appBar: AppBar(
        title: Text("Flutter robots.txt Parser"),
      ),
      body: Center(
        child: Padding(
          padding: const EdgeInsets.all(16.0),
          child: Text(result),
        ),
      ),
    );
  }
}

在这个示例中，我们创建了一个简单的Flutter应用，它会在启动时尝试从指定的URL（例如https://www.example.com/robots.txt）获取并解析robots.txt文件。解析成功后，它会显示允许和禁止的路径。如果获取或解析过程中发生错误，它会显示错误信息。

请注意，RobotsTxt.parse(url)方法返回一个RobotsTxt对象，该对象包含多个UserAgent对象，每个对象代表robots.txt文件中定义的一个User-Agent。在这个示例中，我们仅检查了默认的* User-Agent。

此外，确保你已经在AndroidManifest.xml和Info.plist中添加了适当的网络权限（如果需要的话），以便你的应用能够访问网络。

希望这个示例对你有所帮助！

回到顶部