Flutter实时语音转文字插件aws_transcribe_streaming的使用

Flutter 实时语音转文字插件 aws_transcribe_streaming 的使用

开始使用

在 pubspec.yaml 文件中添加必要的依赖：

dependencies:
  aws_common: ^0.6.0
  aws_transcribe_streaming: ^0.1.0

获取 AWS IAM 用户的访问密钥和秘密密钥，该用户应具有 transcribe:StartStreamTranscription 权限。建议使用临时安全凭证，并在开始转录过程之前从后端获取会话令牌。

使用方法

1. 创建一个新的转录流客户端：

import 'package:aws_common/aws_common.dart';
import 'package:aws_transcribe_streaming/aws_transcribe_streaming.dart';

final transcribeStreamingClient = TranscribeStreamingClient(
  region: 'eu-central-1',
  credentialsProvider: StaticCredentialsProvider(AWSCredentials(
    'ASIAIOEXAMPLEEXAMPLE',                       // 访问密钥ID
    'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY',   // 秘密访问密钥
    'AQoDYXdzEJr...',                             // 会话令牌
    DateTime.now().add(const Duration(hours: 1)), // 过期时间
  )),
);

1. 启动流式转录：

final (response, audioStreamSink, transcriptEventStream) =
    await transcribeStreamingClient.startStreamTranscription(
  const StartStreamTranscriptionRequest(
    languageCode: LanguageCode.enUs,
    mediaSampleRateHertz: 48000,
    mediaEncoding: MediaEncoding.pcm,
  ),
);

1. 订阅原始的 TranscriptEvent 流：

final transcriptSubscription = transcriptEventStream
    .listen((TranscriptEvent event) => print(event));

或者使用自定义策略来解码 TranscriptEvent 并构建实时转录：

final transcriptSubscription = transcriptEventStream
    .transform(const TranscriptEventStreamDecoder(PlainTextTranscriptionStrategy()))
    .listen((String message) => print(message));

1. 开始发送音频数据到音频流接收器：

// 原始音频数据来自麦克风，采用PCM编码的16位小端字节流，采样率为48kHz
Stream<Uint8List> audioStream;

final audioStreamSubscription = audioStream.listen(
  audioStreamSink.add,
  onDone: audioStreamSink.close,
);

完整示例代码

import 'dart:async';
import 'dart:typed_data';

import 'package:aws_common/aws_common.dart';
import 'package:aws_transcribe_streaming/aws_transcribe_streaming.dart';

void main() async {
  // 创建一个客户端。
  final transcribeStreamingClient = TranscribeStreamingClient(
    region: 'eu-central-1',
    // 提供具有 `transcribe:StartStreamTranscription` 权限的凭证
    credentialsProvider: StaticCredentialsProvider(AWSCredentials(
      'ASIAIOEXAMPLEEXAMPLE', // 访问密钥ID
      'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY', // 秘密访问密钥
      'AQoDYXdzEJr...', // 会话令牌
      DateTime.now().add(const Duration(hours: 1)), // 过期时间
    )),
  );

  late final StartStreamTranscriptionResponse response;
  late final Stream<TranscriptEvent> transcriptEventStream;
  late final StreamSink<Uint8List> audioStreamSink;
  StreamSubscription<Uint8List>? audioStreamSubscription;

  try {
    // 启动流式转录。
    (response, audioStreamSink, transcriptEventStream) =
        await transcribeStreamingClient.startStreamTranscription(
      const StartStreamTranscriptionRequest(
        languageCode: LanguageCode.enUs,
        mediaSampleRateHertz: 48000,
        mediaEncoding: MediaEncoding.pcm,
      ),
    );
  } on TranscribeStreamingException catch (e) {
    print('Error starting transcription: $e');
    return;
  }

  print('Session ID: ${response.sessionId}');

  final transcriptionCompleter = Completer<void>();

  // 监听转录事件。
  // final transcriptSubscription =
  //     transcriptEventStream.listen((TranscriptEvent event) => print(event));
  // 或者使用自定义策略来解码转录事件。
  transcriptEventStream
      .transform(
          const TranscriptEventStreamDecoder(PlainTextTranscriptionStrategy()))
      .listen(
    (String message) {
      print('Transcription: $message');
    },
    onError: (Object error, StackTrace stackTrace) async {
      print('Transcription error: $error');
      await audioStreamSubscription?.cancel();
      await audioStreamSink.close();
    },
    onDone: () async {
      print('Transcription done');
      await audioStreamSubscription?.cancel();
      transcriptionCompleter.complete();
    },
  );

  // 而是使用来自麦克风的真实音频数据流
  // 采用PCM编码的16位小端字节流，采样率为48kHz。
  final audioStream = Stream<Uint8List>.periodic(
      const Duration(milliseconds: 200), (count) => Uint8List(19200)).take(25);

  // 发送音频数据到音频流接收器。
  audioStreamSubscription = audioStream.listen(
    audioStreamSink.add,
    onDone: audioStreamSink.close,
  );

  await transcriptionCompleter.future;

  print('Finished');
}