Flutter语音识别插件flutter_deep_speech的使用

Flutter语音识别插件flutter_deep_speech的使用

用法

步骤 1：

在你的 pubspec.yaml 文件中添加插件作为依赖。

dependencies:
  flutter_deep_speech:
    git:
      url: git://github.com/AdarshaBista/FlutterDeepSpeech.git

步骤 2：

在 AndroidManifest.xml 文件中添加麦克风权限。

<uses-permission android:name="android.permission.RECORD_AUDIO" />

步骤 3：

使用该插件。请查看示例应用以获取完整的使用方法。

注意：

你需要获取一个 tflite 模型文件和一个 scorer 文件才能使用该插件。你可以从 DeepSpeech 存储库下载这些文件。下载后，请将这些文件放在项目的 assets/models/ 目录下。模型不会直接从资源目录加载，而是首先复制到应用程序的外部文件目录中，然后从那里加载（参见示例应用）。文件的复制过程不由插件处理。

特性

查看变更日志以了解支持的功能和限制。

参考资料

参考了 Android 版本的 android_mic_streaming 示例。

完整示例代码

以下是一个完整的示例代码，展示了如何使用 flutter_deep_speech 插件进行语音识别。

import 'dart:async';
import 'dart:io';

import 'package:flutter/material.dart';
import 'package:flutter/services.dart';

import 'package:path_provider/path_provider.dart';
import 'package:flutter_deep_speech/flutter_deep_speech.dart';

void main() => runApp(const MyApp());

class MyApp extends StatefulWidget {
  const MyApp({Key? key}) : super(key: key);

  [@override](/user/override)
  State<MyApp> createState() => _MyAppState();
}

class _MyAppState extends State<MyApp> {
  static const tfliteName = 'model.tflite';
  static const scorerName = 'scorer.scorer';

  final FlutterDeepSpeech deepSpeech = FlutterDeepSpeech();

  String text = '按住开始说话。松开停止。';
  bool modelLoaded = false;
  bool isListening = false;

  [@override](/user/override)
  void initState() {
    super.initState();
    loadModel();
  }

  [@override](/user/override)
  void dispose() {
    deepSpeech.dispose();
    super.dispose();
  }

  Future<void> loadModel() async {
    // 首先将模型复制到外部文件目录。
    await copyModelsToExternalFilesDir();

    modelLoaded = await deepSpeech.loadModelFromName(
      modelName: 'model.tflite',
      scorerName: 'scorer.scorer',
    );
    debugPrint('MODEL LOADED: $modelLoaded');
  }

  Future<void> copyModelsToExternalFilesDir() async {
    final externalFilesDirPath = (await getExternalStorageDirectory())!.path;

    final tfliteDestination = '$externalFilesDirPath/$tfliteName';
    if (!File(tfliteDestination).existsSync()) {
      await copyBytesFromAsset('assets/models/$tfliteName', tfliteDestination);
    }

    final scorerDestination = '$externalFilesDirPath/$scorerName';
    if (!File(scorerDestination).existsSync()) {
      await copyBytesFromAsset('assets/models/$scorerName', scorerDestination);
    }
  }

  Future<void> copyBytesFromAsset(String source, String dest) async {
    final bytes = await rootBundle.load(source);
    final file = await File(dest).writeAsBytes(bytes.buffer.asUint8List());
    debugPrint('Copied $source to ${file.path}');
  }

  Future<void> start() async {
    if (!modelLoaded) {
      debugPrint('ERROR: 模型尚未加载！');
      return;
    }

    debugPrint('START LISTENING...');
    setState(() {
      text = '开始吧。我在听...';
      isListening = true;
    });

    try {
      await deepSpeech.listen(
        onError: (error) {
          debugPrint('ERROR: ${error.error}');
          debugPrint('STACKTRACE: ${error.stackTrace}');
        },
        onResult: (result) {
          setState(() => text = result.text);
        },
      );
    } on MicPermissionDeniedException catch (e) {
      debugPrint('错误: ${e.toString()}');
      setState(() {
        text = '权限被拒绝！';
        isListening = false;
      });
    }
  }

  Future<void> stop() async {
    debugPrint('STOP LISTENING...');
    setState(() => isListening = false);
    await deepSpeech.stop();
  }

  [@override](/user/override)
  Widget build(BuildContext context) {
    return MaterialApp(
      home: Scaffold(
        appBar: AppBar(
          title: const Text('Flutter DeepSpeech'),
        ),
        body: Center(
          child: Column(
            crossAxisAlignment: CrossAxisAlignment.center,
            children: [
              Padding(
                padding: const EdgeInsets.all(24.0),
                child: Text(
                  text,
                  style: const TextStyle(fontSize: 24.0),
                ),
              ),
              const Spacer(),
              Listener(
                onPointerUp: (_) => stop(),
                onPointerDown: (_) => start(),
                onPointerCancel: (_) => stop(),
                child: Container(
                  width: 100.0,
                  height: 100.0,
                  decoration: BoxDecoration(
                    color: isListening ? Colors.red : Colors.green,
                    shape: BoxShape.circle,
                  ),
                  child: Center(
                    child: Text(
                      isListening ? '停止' : '开始',
                      style: const TextStyle(
                        fontSize: 24.0,
                        fontWeight: FontWeight.bold,
                      ),
                    ),
                  ),
                ),
              ),
              const SizedBox(height: 32.0),
            ],
          ),
        ),
      ),
    );
  }
}