Flutter音频处理插件coast_audio_miniaudio的使用

coast_audio_miniaudio 是一个基于 miniaudio 的扩展包。您可以使用此插件在Android、iOS和macOS上实现音频捕获、播放及其他多种音频功能。

功能特性

• 音频捕获与播放

  • 支持 <code>Core Audio(iOS/macOS)</code>、<code>OpenSL ES(Android)</code> 和 <code>AAudio(Android)</code>

• 设备枚举

• PCM格式转换

• 过滤器

  • 支持高通滤波器（HPF）、低通滤波器（LPF）、高架滤波器（HSF）、低架滤波器（LSF）和峰值均衡滤波器（PeakingEQ）

• 解码

  • 支持 MP3、FLAC 和 WAV 格式

• 编码

  • 支持 WAV 格式

安装配置

此插件通过 ffi 调用本地函数。为此，您必须将 <code>mabridge</code> 库链接到您的应用中。

预构建二进制文件位于 <code>https://github.com/SKKbySSK/coast_audio/tree/main/packages/coast_audio_miniaudio/mabridge/prebuilt</code>。

如果您是Flutter用户，可以使用 <code>flutter_coast_audio_miniaudio</code> 包，它会自动处理这一设置步骤。

MabDevice

<code>MabDevice</code> 是一个抽象类，用于通过 <code>ma_device</code> 和 <code>ma_context</code> API 与音频设备交互。对于捕获，使用 <code>MabCaptureDevice</code>；对于播放，使用 <code>MabPlaybackDevice</code>。

如果未指定 <code>device</code> 参数，则将使用默认音频设备。

以下示例展示了如何播放循环音频10秒：

MabDeviceContext.enableSharedInstance(
    backends: [
        MabBackend.coreAudio, // 使用 Core Audio 后端 (iOS/macOS)
        MabBackend.aaudio, // 使用 AAudio 后端 (Android)
    ],
);

const format = AudioFormat(sampleRate: 48000, channels: 2);

final captureDevice = MabCaptureDevice(
    context: MabDeviceContext.sharedInstance, // 在所有 MabDevice 实例中应使用相同的设备上下文
    format: format,
    bufferFrameSize: 2048, // bufferFrameSize 将用于存储捕获的数据。对于低延迟场景，设置为较小的值。
);

final playbackDevice = MabPlaybackDevice(
    context: MabDeviceContext.sharedInstance,
    format: format,
    bufferFrameSize: 2048,
);

// 初始化节点
final captureNode = MabCaptureDeviceNode(device: captureDevice);
final playbackNode = MabPlaybackDeviceNode(device: playbackDevice);
final graphNode = GraphNode();

// 连接节点
graphNode.connect(captureNode.outputBus, playbackNode.inputBus);
graphNode.connectEndpoint(playbackNode.outputBus);

// 开始输入和输出设备
captureDevice.start();
playbackDevice.start();

final task = AudioTask(
    clock: AudioIntervalClock(const Duration(milliseconds: 16)),
    format: format,
    framesRead: 2048,
    endpoint: graphNode.outputBus,
);

// 定期读取音频数据
task.start();

// 等待10秒
await Future<void>.delayed(const Duration(seconds: 10));

// 释放所有资源
task.dispose();
captureDevice.dispose();
playbackDevice.dispose();

MabAudioDecoder

<code>MabAudioDecoder</code> 是一个解码器类，用于通过 <code>ma_decoder</code> API 解码MP3、FLAC和WAV文件中的数据。此类实现了 <code>AudioDecoder</code> 抽象类，因此可以在 <code>DecoderNode</code> 上使用。

final dataSource = AudioFileDataSource(file: File('example.mp3'), mode: FileMode.read);
final decoder = MabAudioDecoder(
  dataSource: dataSource,
  outputFormat: _player.format,
);
final decoderNode = DecoderNode(decoder: decoder);

// 做一些操作...

decoderNode.dispose();
decoder.dispose();
dataSource.dispose();

过滤器

此插件支持以下过滤器：

• 低通/高通滤波器
• 低架/高架滤波器
• 峰值均衡滤波器

可以通过传递上述过滤器来初始化 <code>MabFilterNode</code> 实例：

final node = MabFilterNode(
  format: format,
  filter: MabPeakingEQFilter(format: format, gainDb: 5, q: 1, frequency: 1000),
);