Flutter插件dsbuild的使用方法

Flutter插件dsbuild的使用方法

设计用于帮助用户清理和准备数据集，以便在语言模型训练中使用。它使用Dart编程语言构建，并利用YAML配置来描述用于构造数据集的步骤。目标是使用户能够轻松地审查、复制和迭代数据集，从而更容易地训练高质量的语言模型。

此包可以作为独立工具使用，也可以作为库引入复杂的构建步骤。

主要特性：

• 使用Dart的StreamTransformer实现简单的多线程转换管道。
• 使用YAML配置进行轻松的审查、复制和迭代。
• 提供常见的转换器用于修剪或剥离消息。

即将推出的特性：

• 通过gRPC API实现远程工作者。
• 更好地处理进度和工件。

安装工具

有关从源代码安装工具的信息，请参阅 安装指南。

示例代码

以下是一个完整的示例，展示了如何使用dsbuild插件。

import 'dart:io';

import 'package:dsbuild/dsbuild.dart';
import 'package:dsbuild/progress.dart';
import 'package:yaml/yaml.dart';

void main(List<String> args) async {
  // 加载描述符。你也可以通过编程方式构建描述符。
  String descriptorPath = args.isEmpty ? 'dataset.yaml' : args[0];
  DsBuild dsBuild = DsBuild(
      DatasetDescriptor.fromYaml(
          loadYaml(await File(descriptorPath).readAsString())),
      ProgressBloc(ProgressState()));

  // 监听进度事件
  DateTime lastProgressOutput = DateTime.timestamp();
  dsBuild.progress.stream.listen((state) {
    if (DateTime.timestamp().difference(lastProgressOutput).inSeconds > 5) {
      lastProgressOutput = DateTime.timestamp();
      print("Progress:\n"
          "Messages processed: ${state.messagesProcessed} / ${state.messagesTotal}\n"
          "Conversations processed: ${state.conversationsProcessed} / ${state.conversationsTotal}");
    }
  });

  // 注册额外的转换器。
  // 内置的转换器也可以被替换。
  // dsBuild.registry.registerPreprocessor(name, (config) => Preprocessor())

  // verifyDescriptor 是一个方便的功能，用于输出任何缺失转换器的简单错误字符串列表。
  List<String> errors = dsBuild.verifyDescriptor();
  if (errors.isNotEmpty) {
    for (String validationError in dsBuild.verifyDescriptor()) {
      print(validationError);
    }
    exit(1);
  } else {
    print("Descriptor valid.");
  }

  // fetchRequirements 可以用于自动下载带有提供源URI的输入文件。
  await dsBuild.fetchRequirements().forEach((input) async {
    print("${input.source} retrieved.");
  });

  // 这时也可以验证任何已下载文件的完整性。
  // 这可能在未来包含在API中，因为这是任何下游应用的预期功能。

  // 构建转换管道。这是对所有输入进行转换和连接的结果。
  // 可以使用注册表和描述符中可用的信息构建自定义管道。
  for (PassDescriptor pass in dsBuild.repository.descriptor.passes) {
    Stream<List<Conversation>> conversations =
        dsBuild.buildPipeline(pass.steps);
    await conversations.drain();
  }

  // 最终进度流事件预计由构建脚本推送。
  // 如果你打算触发其他构建步骤，这更有用。
  dsBuild.progress.add(const BuildComplete());
  await dsBuild.progress.close();

  print("Done!");
}

dataset.yaml 示例配置

为了运行上述示例，你需要一个dataset.yaml配置文件。以下是一个简单的示例：

passes:
  - steps:
      - type: PruneTransformer
        config:
          min_length: 10
      - type: StripTransformer
        config:
          strip_punctuation: true