Flutter音频检测插件flutter_piano_audio_detection的使用

Flutter音频检测插件flutter_piano_audio_detection的使用

示例Demo

在Flutter应用中设置flutter_piano_audio_detection

1. 将Tensorflow模型文件添加到项目中

首先，在项目中添加Tensorflow Lite文件。复制下载的文件onsets_frames_wavinput.tflite。

• Android: 将下载的文件复制到 YourApp/android/app/src/main/assets
• iOS: 打开Xcode，选择项目 -> 构建阶段 -> 复制资源文件

如果你有安装其他插件的经验，这应该非常简单。

2. iOS安装与权限配置

1. 在info.plist文件中添加以下权限描述：

<key>NSMicrophoneUsageDescription</key>
<string>Your Text</string>

1. 修改Podfile文件，设置iOS版本为12.1或更高，并添加权限处理插件的配置：

platform :ios, '12.1' // 或更高版本

// ...

post_install do |installer|
  installer.pods_project.targets.each do |target|
    target.build_configurations.each do |config|
      config.build_settings['GCC_PREPROCESSOR_DEFINITIONS'] ||= [
        '$(inherited)',
        ## dart: PermissionGroup.microphone
        'PERMISSION_MICROPHONE=1',
      ]
    end
  end
end

3. Android安装与权限配置

1. 在AndroidManifest.xml文件中添加录音权限：

<uses-permission android:name="android.permission.RECORD_AUDIO" />

1. 编辑build.gradle文件以支持Tensorflow Lite压缩：

aaptOptions {
    noCompress 'tflite'
}

如何使用此插件

请参阅示例代码了解如何实现这些功能。

1. 在pubspec.yaml文件中添加依赖项：

dependencies:
  flutter_piano_audio_detection: ${version}

1. 在Flutter代码中使用插件：

import 'package:flutter_piano_audio_detection/flutter_piano_audio_detection.dart';

class _MyAppState extends State<MyApp> {
  FlutterPianoAudioDetection fpad = new FlutterPianoAudioDetection();

  Stream<List<dynamic>>? result;
  List<String> notes = [];

  [@override](/user/override)
  void initState() {
    super.initState();
    fpad.prepare();
  }

  void start() {
    fpad.start(); // 启动引擎
    getResult();  // 事件订阅
  }

  void stop() {
    fpad.stop();  // 停止引擎
  }

  void getResult() {
    result = fpad.startAudioRecognition();
    result!.listen((event) {
      setState(() {
        notes = fpad.getNotes(event); // notes = [C3, D3]
      });
    });
  }

  [@override](/user/override)
  Widget build(BuildContext context) {
    return MaterialApp(
      home: Scaffold(
        appBar: AppBar(
          title: const Text('Flutter 音频检测'),
        ),
        body: Center(
          child: Text(
            '${notes}',
            style: TextStyle(fontSize: 72, fontWeight: FontWeight.bold),
          ),
        ),
        floatingActionButton: Container(
          child: ValueListenableBuilder(
            valueListenable: isRecording,
            builder: (context, value, widget) {
              if (value == false) {
                return FloatingActionButton(
                  onPressed: () {
                    isRecording.value = true;
                    start();
                  },
                  backgroundColor: Colors.blue,
                  child: const Icon(Icons.mic),
                );
              } else {
                return FloatingActionButton(
                  onPressed: () {
                    isRecording.value = false;
                    stop();
                  },
                  backgroundColor: Colors.red,
                  child: const Icon(Icons.adjust),
                );
              }
            },
          ),
        ),
      ),
    );
  }
}