Flutter ONNX模型推理插件sherpa_onnx_macos的使用

Flutter ONNX模型推理插件sherpa_onnx_macos的使用

1. 简介

sherpa_onnx_macos 是 sherpa-onnx 项目的一个子项目，主要用于在 macOS 平台上进行 ONNX 模型的推理。虽然官方建议不要直接使用这个包，而是通过 sherpa_onnx 进行集成，但我们可以基于 sherpa_onnx_macos 来实现一些特定的功能，比如流式语音识别和语音合成。

2. 完整示例 Demo

为了帮助你更好地理解如何使用 sherpa_onnx_macos，我们将提供一个完整的 Flutter 示例，展示如何在 macOS 上进行流式语音识别。这个示例将基于 flutter-examples/streaming_asr 项目。

2.1. 项目结构

首先，创建一个新的 Flutter 项目：

flutter create sherpa_onnx_example
cd sherpa_onnx_example

接下来，添加 sherpa_onnx 依赖到 pubspec.yaml 文件中：

dependencies:
  flutter:
    sdk: flutter
  sherpa_onnx: ^0.1.0  # 请根据实际情况选择最新版本

2.2. 配置 macOS 支持

确保你的项目已经配置了 macOS 支持。如果你还没有配置，可以运行以下命令：

flutter config --enable-macos-desktop
flutter create .

2.3. 修改 main.dart

在 lib/main.dart 中，我们将编写代码来加载 ONNX 模型并进行流式语音识别。以下是完整的代码示例：

import 'package:flutter/material.dart';
import 'package:sherpa_onnx/sherpa_onnx.dart';

void main() {
  runApp(MyApp());
}

class MyApp extends StatelessWidget {
  @override
  Widget build(BuildContext context) {
    return MaterialApp(
      title: 'Sherpa ONNX Example',
      theme: ThemeData(
        primarySwatch: Colors.blue,
      ),
      home: SpeechRecognitionPage(),
    );
  }
}

class SpeechRecognitionPage extends StatefulWidget {
  @override
  _SpeechRecognitionPageState createState() => _SpeechRecognitionPageState();
}

class _SpeechRecognitionPageState extends State<SpeechRecognitionPage> {
  final SherpaOnnx _sherpaOnnx = SherpaOnnx();
  String _transcription = '';

  @override
  void initState() {
    super.initState();
    _initializeSherpaOnnx();
  }

  Future<void> _initializeSherpaOnnx() async {
    // 加载 ONNX 模型文件
    await _sherpaOnnx.loadModel('assets/models/your_model.onnx');

    // 设置音频参数
    _sherpaOnnx.setSampleRate(16000);  // 设置采样率为 16kHz
    _sherpaOnnx.setNumChannels(1);     // 设置声道数为 1

    // 开始监听音频输入
    _sherpaOnnx.startStreaming();

    // 监听识别结果
    _sherpaOnnx.onTranscription = (String transcription) {
      setState(() {
        _transcription = transcription;
      });
    };
  }

  @override
  Widget build(BuildContext context) {
    return Scaffold(
      appBar: AppBar(
        title: Text('Sherpa ONNX Speech Recognition'),
      ),
      body: Center(
        child: Padding(
          padding: const EdgeInsets.all(16.0),
          child: Column(
            mainAxisAlignment: MainAxisAlignment.center,
            children: [
              Text(
                'Transcription:',
                style: TextStyle(fontSize: 24, fontWeight: FontWeight.bold),
              ),
              SizedBox(height: 20),
              Text(
                _transcription,
                style: TextStyle(fontSize: 18),
              ),
            ],
          ),
        ),
      ),
    );
  }

  @override
  void dispose() {
    // 停止音频输入并释放资源
    _sherpaOnnx.stopStreaming();
    super.dispose();
  }
}

2.4. 添加模型文件

将你的 ONNX 模型文件（例如 your_model.onnx）放入 assets/models 文件夹中，并在 pubspec.yaml 中添加资源路径：

flutter:
  assets:
    - assets/models/your_model.onnx

2.5. 运行项目

确保你已经安装了必要的依赖项，并且 macOS 模拟器或真实设备已连接。然后运行以下命令启动应用程序：

flutter run -d macos