HarmonyOS鸿蒙Next开发者技术支持-语音转文字案例

鸿蒙语音转文字案例

1.1 问题说明：清晰呈现问题场景与具体表现

在鸿蒙（HarmonyOS）应用开发中，经常遇到需要将用户的语音输入实时、准确地转换为文本的场景，例如：

• **语音助手：**​ 用户通过语音发送指令。
• **智能输入：**​ 在聊天、笔记应用中，用户通过语音快速输入长文本。
• **语音搜索：**​ 在内容平台中，用户通过语音输入搜索关键词。
• **无障碍服务：**​ 为视觉或操作不便的用户提供语音交互支持

1.2 解决方案：落地解决思路，给出可执行、可复用的具体方案

以下提供一个基于AsrManager核心类的简化示例代码和集成步骤。

步骤一：申请必要权限

在module.json5中配置

{
  "module": {
    "requestPermissions": [
      {
        "name": "ohos.permission.MICROPHONE"
      },
      {
        "name": "ohos.permission.INTERNET" // 如果使用云端引擎
      }
    ]
  }
}

步骤二：创建核心管理类AsrManager.ets(简化版)

// AsrManager.ets
import audio from '@ohos.multimedia.audio';
import { AsrCloudEngine } from './AsrCloudEngine'; // 假设的云端引擎适配器
import { AsrLocalEngine } from './AsrLocalEngine'; // 假设的本地引擎适配器

export enum AsrEngineType {
  LOCAL,
  CLOUD,
  AUTO
}

export interface AsrResult {
  text: string;
  isFinal: boolean; // 是否为最终结果（true），或中间临时结果（false）
}

export class AsrManager {
  private audioCapturer: audio.AudioCapturer | undefined;
  private currentEngine: IAsrEngine | undefined; // IAsrEngine是定义的引擎接口
  private onResultCallback: (result: AsrResult) => void = () => {};

  // 初始化并选择引擎
  async init(engineType: AsrEngineType = AsrEngineType.AUTO, config?: any): Promise<void> {
    // 1. 根据策略选择引擎
    let targetEngineType = engineType;
    if (engineType === AsrEngineType.AUTO) {
      // 简单策略：有网且非隐私模式则用云端，否则用本地
      // 实际策略可以更复杂
      targetEngineType = await this.isNetworkGood() ? AsrEngineType.CLOUD : AsrEngineType.LOCAL;
    }

    // 2. 实例化引擎
    switch (targetEngineType) {
      case AsrEngineType.CLOUD:
        this.currentEngine = new AsrCloudEngine(config?.cloudConfig);
        break;
      case AsrEngineType.LOCAL:
      default:
        this.currentEngine = new AsrLocalEngine(config?.localConfig);
        break;
    }

    // 3. 初始化音频采集器（配置参数需与引擎要求匹配）
    await this.initAudioCapturer();
    console.info(`ASR Manager initialized with engine: ${AsrEngineType[targetEngineType]}`);
  }

  private async initAudioCapturer(): Promise<void> {
    // 配置音频参数：采样率、声道、格式等
    const audioStreamInfo: audio.AudioStreamInfo = {
      samplingRate: audio.AudioSamplingRate.SAMPLE_RATE_16000,
      channels: audio.AudioChannel.MONO,
      sampleFormat: audio.AudioSampleFormat.SAMPLE_FORMAT_S16LE,
      encodingType: audio.AudioEncodingType.ENCODING_TYPE_RAW
    };

    const audioCapturerInfo: audio.AudioCapturerInfo = {
      source: audio.SourceType.SOURCE_TYPE_MIC,
      capturerFlags: 0 // 默认标志
    };

    this.audioCapturer = await audio.createAudioCapturer(audioCapturerInfo, audioStreamInfo);
  }

  // 开始识别
  async start(callback: (result: AsrResult) => void): Promise<void> {
    if (!this.currentEngine || !this.audioCapturer) {
      throw new Error('ASR Manager not initialized.');
    }
    this.onResultCallback = callback;

    // 1. 启动引擎
    await this.currentEngine.start((engineResult: AsrResult) => {
      // 接收引擎返回的结果
      this.onResultCallback(engineResult);
    });

    // 2. 开始录音并持续向引擎输送数据
    await this.audioCapturer.start();
    const bufferSize = await this.audioCapturer.getBufferSize();
    const audioBuffer = await this.audioCapturer.read(bufferSize, true);

    // 这里应设置一个循环或使用事件监听，持续读取音频数据
    // 并将audioBuffer.data发送给 this.currentEngine.feedAudioData(audioBuffer.data)
    // 此处为简化示例，实际需要更复杂的异步流处理
    console.info('ASR recording started.');
  }

  // 停止识别
  async stop(): Promise<void> {
    await this.audioCapturer?.stop();
    await this.currentEngine?.stop();
    this.onResultCallback = () => {};
    console.info('ASR stopped.');
  }

  // 释放资源
  async release(): Promise<void> {
    await this.stop();
    await this.audioCapturer?.release();
    this.currentEngine = undefined;
  }

  private async isNetworkGood(): Promise<boolean> {
    // 实现网络状态检查，此处返回true
    return true;
  }
}

步骤三：在UI页面中调用

// Index.ets 页面示例
import { AsrManager, AsrEngineType } from '../utils/AsrManager';
import promptAction from '@ohos.promptAction';

@Entry
@Component
struct Index {
  private asrManager: AsrManager = new AsrManager();
  @State recognizedText: string = '';

  async aboutToAppear() {
    // 初始化，选择云端引擎，并传入自定义热词
    try {
      await this.asrManager.init(AsrEngineType.CLOUD, {
        cloudConfig: {
          apiKey: 'YOUR_CLOUD_API_KEY',
          language: 'zh-CN',
          hotWords: ['鸿蒙', 'HarmonyOS', 'ArkTS']
        }
      });
    } catch (error) {
      promptAction.showToast({ message: `初始化失败: ${error.message}` });
    }
  }

  // 开始录音按钮事件
  async startRecording() {
    this.recognizedText = '正在聆听...';
    try {
      await this.asrManager.start((result) => {
        // 实时更新UI，isFinal为true时可做最终处理（如发送）
        this.recognizedText = result.text;
        if (result.isFinal) {
          promptAction.showToast({ message: '识别完成！' });
          // 这里可以将最终文本发送出去
        }
      });
    } catch (error) {
      promptAction.showToast({ message: `启动失败: ${error.message}` });
    }
  }

  // 停止录音按钮事件
  async stopRecording() {
    try {
      await this.asrManager.stop();
    } catch (error) {
      promptAction.showToast({ message: `停止失败: ${error.message}` });
    }
  }

  aboutToDisappear() {
    this.asrManager.release();
  }

  build() {
    Column() {
      Text(this.recognizedText)
        .fontSize(20)
        .margin(20)
        .height(100)

      Button('开始说话')
        .onClick(() => this.startRecording())
        .margin(10)
      Button('停止')
        .onClick(() => this.stopRecording())
        .margin(10)
    }
    .width('100%')
    .height('100%')
  }
}

1.3 结果展示：开发效率提升以及为后续同类问题提供参考

1. 开发效率显著提升：
   • **标准化集成：**​ 新功能语音识别需求的集成时间从原来的“天”级别缩短到“小时”级别。开发者只需关注AsrManager的init、start、stop三个核心方法，无需深入音频和网络细节。
   • **降低决策成本：**​ 通过AUTO模式或简单配置，开发者无需纠结于本地与云端的选择，框架内置了合理的降级策略。
   • **代码复用率高：**​ AsrManager及引擎适配器可在全团队乃至全公司范围内复用，形成技术资产。