Flutter ONNX模型推理插件sherpa_onnx_windows的使用

Flutter ONNX模型推理插件sherpa_onnx_windows的使用

sherpa_onnx_windows 是 sherpa-onnx 项目的一个子项目，主要用于在 Windows 平台上进行 ONNX 模型的推理。通常情况下，你不应该直接使用这个包，而是通过 sherpa_onnx 这个入口点来使用相关功能。

完整示例Demo

下面是一个完整的 Flutter 示例，展示了如何使用 sherpa_onnx_windows 进行流式语音识别（Streaming Speech Recognition）。该示例适用于 Windows 平台，并且可以在其他支持的平台上运行，如 Android、iOS、macOS 等。

1. 添加依赖

首先，在你的 pubspec.yaml 文件中添加 sherpa_onnx 依赖：

dependencies:
  flutter:
    sdk: flutter
  sherpa_onnx: ^0.1.0  # 请根据实际版本号进行调整

2. 初始化项目

确保你已经安装了 Flutter 和 Dart SDK，并且配置好了开发环境。然后创建一个新的 Flutter 项目：

flutter create sherpa_onnx_example
cd sherpa_onnx_example

3. 配置 main.dart

接下来，修改 lib/main.dart 文件，添加流式语音识别的功能。以下是一个完整的示例代码：

import 'package:flutter/material.dart';
import 'package:sherpa_onnx/sherpa_onnx.dart';

void main() {
  runApp(MyApp());
}

class MyApp extends StatelessWidget {
  @override
  Widget build(BuildContext context) {
    return MaterialApp(
      title: 'Sherpa ONNX Example',
      theme: ThemeData(
        primarySwatch: Colors.blue,
      ),
      home: SpeechRecognitionScreen(),
    );
  }
}

class SpeechRecognitionScreen extends StatefulWidget {
  @override
  _SpeechRecognitionScreenState createState() => _SpeechRecognitionScreenState();
}

class _SpeechRecognitionScreenState extends State<SpeechRecognitionScreen> {
  late SherpaOnnx _recognizer;
  bool _isListening = false;
  String _transcription = '';

  @override
  void initState() {
    super.initState();
    _initializeRecognizer();
  }

  Future<void> _initializeRecognizer() async {
    // 加载 ONNX 模型文件路径
    final modelPath = 'assets/models/your_model.onnx';  // 请替换为你的模型路径

    // 创建 SherpaOnnx 实例
    _recognizer = await SherpaOnnx.create(
      modelPath: modelPath,
      sampleRate: 16000,  // 模型的采样率
      featureExtractorConfig: FeatureExtractorConfig(
        samplingRate: 16000,
        frameShiftMs: 10,
        frameLengthMs: 25,
        melBinCount: 80,
        fftSize: 400,
        lowerFrequencyLimit: 20,
        upperFrequencyLimit: 7600,
      ),
      decodingMethod: DecodingMethod.ctcGreedySearch,  // 解码方法
    );

    print('Recognizer initialized');
  }

  Future<void> _startListening() async {
    if (_isListening) return;

    setState(() {
      _isListening = true;
      _transcription = '';
    });

    try {
      // 开始监听音频输入
      await _recognizer.start();

      // 模拟音频数据输入
      // 在实际应用中，你应该从麦克风或其他音频源获取数据
      final audioData = await _getAudioData();  // 请实现此函数以获取音频数据

      // 将音频数据发送给 recognizer 进行推理
      await _recognizer.acceptWaveform(audioData);

      // 获取识别结果
      final result = await _recognizer.getPartialText();
      setState(() {
        _transcription = result;
      });

      // 停止监听
      await _recognizer.stop();
    } catch (e) {
      print('Error during recognition: $e');
    } finally {
      setState(() {
        _isListening = false;
      });
    }
  }

  // 模拟获取音频数据的函数
  Future<List<int>> _getAudioData() async {
    // 这里可以使用 Flutter 插件（如 `flutter_sound`）来录制音频
    // 或者从文件中读取音频数据
    // 为了简化示例，我们返回一个空列表
    return [];
  }

  @override
  Widget build(BuildContext context) {
    return Scaffold(
      appBar: AppBar(
        title: Text('Sherpa ONNX Speech Recognition'),
      ),
      body: Center(
        child: Column(
          mainAxisAlignment: MainAxisAlignment.center,
          children: <Widget>[
            Text(
              'Transcription:',
              style: TextStyle(fontSize: 20),
            ),
            SizedBox(height: 10),
            Text(
              _transcription,
              style: TextStyle(fontSize: 18),
            ),
            SizedBox(height: 20),
            ElevatedButton(
              onPressed: _startListening,
              child: Text(_isListening ? 'Stop Listening' : 'Start Listening'),
            ),
          ],
        ),
      ),
    );
  }

  @override
  void dispose() {
    _recognizer.dispose();
    super.dispose();
  }
}

代码说明

• SherpaOnnx.create: 用于初始化 SherpaOnnx 实例，传入模型路径、采样率和其他配置参数。
• _startListening: 开始监听音频输入并进行推理。你可以通过 acceptWaveform 方法将音频数据传递给 SherpaOnnx 实例。
• _getAudioData: 模拟获取音频数据的函数。在实际应用中，你可以使用 flutter_sound 或其他音频录制插件来获取麦克风输入。
• getPartialText: 获取当前的识别结果。你可以根据需要调用此方法来获取部分或最终的识别结果。

支持的平台

• Windows
• Android
• iOS
• macOS

注意事项

1. 模型文件: 你需要准备好一个 ONNX 格式的语音识别模型，并将其放置在项目的 assets 文件夹中。确保在 pubspec.yaml 中正确配置了资源文件。

   flutter:
     assets:
       - assets/models/your_model.onnx