HarmonyOS 鸿蒙Next语音生成（Speech Production）、文本朗读（TextReader）、AI 字幕（AICaptio），架构设计、开发流程、场景适配及优化策略。

一、语音生成（Speech Production）

1. 核心能力

• 多音色语音合成：支持 5 种预置发音人（如聆小珊、虫虫、一菲），支持自定义语速（0.5-2倍）、音量（0-2倍）、语调（0.5-2倍）210。
• 离线合成：无网络环境下可合成中文语音（≤10,000 字符），满足无障碍场景需求10。
• 音频流回调：通过 onData 回调获取 PCM 音频流，支持二次处理或存储10。

2. 开发流程

import { textToSpeech } from '@kit.CoreSpeechKit';

// 1. 创建引擎（离线模式）
const engine = await textToSpeech.createEngine({
  language: 'zh-CN',    // 仅支持中文
  person: 0,            // 0=聆小珊（女声）
  online: 1             // 1=离线模式
});

// 2. 设置监听器
engine.setListener({
  onStart: (reqId) => console.log(`合成开始: ${reqId}`),
  onData: (reqId, audio) => saveAudio(audio), // 获取音频流
  onComplete: (reqId) => console.log(`合成结束`),
  onError: (reqId, code) => console.error(`错误码: ${code}`)
});

// 3. 合成语音
engine.speak("欢迎使用鸿蒙语音合成", {
  requestId: `tts_${Date.now()}`, // 唯一ID
  extraParams: { 
    speed: 1.2,    // 1.2倍语速
    volume: 1.5,   // 1.5倍音量
    playType: 0    // 0=仅合成不播放（返回音频流）
  }
});

3. 关键参数说明

📖 二、文本朗读（TextReader）

1. 核心能力

• 长文本分段合成：自动拆分超长文本为多段落，避免内存溢出2。
• 后台播报：通过 extraParams: { isBackStage: true } 支持锁屏/后台持续朗读10。
• 多场景风格模板：预置广播风格（interaction-broadcast）、对话风格等10。

2. 无障碍场景集成

// 屏幕朗读适配示例
accessibility.on('focusChange', (element) => {
  const text = element.contentDescription;
  if (text) engine.speak(text, { playType: 1 }); // 直接播放
});

3. 性能优化

• 引擎复用：单例模式管理引擎，避免重复创建（engine 全局共享）10。
• 资源释放：页面退出时调用 engine.shutdown() 防止内存泄漏10。

🎬 三、AI 字幕（AICaption）

1. 核心能力

• 实时语音转文字：麦克风输入流实时生成字幕，延迟 ≤200ms39。
• 多语言字幕：支持中英文混合识别（需设置 language: 'zh-CN_en'）6。
• 说话人分离：区分对话中的不同说话者（需设备支持多麦克风阵列）7。

2. 开发流程

import { aicaption } from '@kit.AICaptionKit';

// 1. 初始化字幕引擎
const captionEngine = aicaption.createEngine();

// 2. 设置实时回调
captionEngine.on('textUpdate', (text: string, isFinal: boolean) => {
  if (isFinal) subtitleView.update(text); // 最终结果更新字幕
  else draftView.update(text);           // 临时结果显示草稿
});

// 3. 启动音频流捕获
captionEngine.start({
  source: 'MICROPHONE',      // 麦克风输入
  language: 'zh-CN',         // 中文字幕
  punctuation: true          // 自动添加标点
});

3. 场景优化策略

⚠️ 四、共性技术要点

1. 权限与隐私

• 必须声明权限：

  "reqPermissions": [
    { "name": "ohos.permission.MICROPHONE" },  // 语音输入
    { "name": "ohos.permission.INTERNET" }     // 在线识别（若启用）:cite[3]
  ]
  

• 敏感数据处理：音频流在 TEE 安全区内处理，禁止未加密传输8。

2. 错误处理

3. 性能优化

• 音频参数压缩：采样率设为 16kHz + 单声道，减少计算量4。
• 端侧模型优先：离线场景使用 TinyDongni 端侧模型（0.04B 参数量），降低延迟8。

💡 五、典型场景实现方案

1. 有声阅读 App

   • 文本朗读 + 后台播放 + 语速调节
   • 关键代码：engine.speak(bookText, { extraParams: { isBackStage: true, speed: 0.9 } })10

2. 视频会议实时字幕

   • AI 字幕 + 说话人分离 + 多语言翻译
   • 关键配置：speakerDiarization: true + language: 'auto'7

3. 智能家居语音反馈

   • 语音生成 + 离线合成 + 低音量播报（避免夜间干扰）
   • 参数示例：volume: 0.8 + person: 2（柔和音色）24

总结

HarmonyOS 语音技术栈通过 统一引擎架构 实现跨场景复用，开发者需关注：

• 资源生命周期：引擎单例化管理 + 及时释放；
• 隐私合规：敏感数据本地处理 + 动态权限申请；
• 体验调优：根据场景选择延迟模式/音色参数。