uniapp如何实时获取音频流进行语音处理

在uniapp中如何实时获取麦克风的音频流数据？我想实现录音时实时处理语音数据（比如实时降噪或语音识别），但不知道该怎么获取持续的音频流。官方API好像只提供录音文件保存功能，有没有办法像WebRTC那样获取到实时的PCM音频流？需要兼容iOS和安卓平台，求具体实现方案或推荐插件。

2 回复

在uniapp中，可以通过uni.createInnerAudioContext()创建音频实例，结合录音API uni.getRecorderManager()实时获取音频流。录音时设置帧大小，通过onFrameRecorded回调获取音频数据帧，然后进行语音处理。


在 UniApp 中实时获取音频流进行语音处理，可以通过 WebRTC API 或 微信小程序录音管理器 实现。由于 UniApp 支持跨平台，以下方法适用于 H5 和微信小程序，但需注意平台差异。

实现步骤：

  1. 获取用户录音权限：使用 uni.authorize 申请录音权限。
  2. 创建录音管理器：通过 uni.getRecorderManager() 初始化。
  3. 配置录音参数：设置采样率、格式等，确保支持实时处理。
  4. 处理音频数据流：通过 onFrameRecorded 事件获取分片数据（仅微信小程序支持）。
  5. 实时处理音频：对数据流进行编码、分析或传输。

示例代码（微信小程序环境）：

// 初始化录音管理器
const recorderManager = uni.getRecorderManager();

// 配置参数
const options = {
  sampleRate: 16000,    // 采样率
  numberOfChannels: 1,  // 单声道
  encodeBitRate: 48000, // 码率
  format: 'PCM',        // 格式（便于处理）
  frameSize: 1024       // 指定帧大小，触发 onFrameRecorded
};

// 开始录音
recorderManager.start(options);

// 监听分片数据（实时流）
recorderManager.onFrameRecorded((frame) => {
  const { frameBuffer } = frame; // 获取 PCM 数据流
  // 此处进行实时处理：如语音识别、降噪、上传等
  processAudio(frameBuffer); // 自定义处理函数
});

// 自定义处理函数示例
function processAudio(data) {
  // 示例：将数据发送到 WebSocket 或调用 AI 接口
  // 注意：PCM 数据需根据需求转换（如转 WAV、Base64）
  console.log('收到音频帧：', data);
}

// 停止录音
recorderManager.stop();

注意事项：

  • 平台限制：onFrameRecorded 目前仅微信小程序支持，H5 需使用 WebRTC（navigator.mediaDevices.getUserMedia）。
  • 数据格式：PCM 数据为原始流，处理前可能需要编码（如 WAV）。
  • 性能优化：高频数据处理可能影响性能，建议使用 Worker 或分片传输。
  • 权限处理：在 uni.authorize 失败时需引导用户手动开启权限。

扩展建议：

  • H5 方案：通过 WebRTC 捕获 MediaStream，用 AudioContext 处理数据。
  • 实时语音识别：结合云服务（如阿里云、腾讯云 API）流式识别。

根据具体平台和需求调整实现方式，确保测试兼容性。

回到顶部