Flutter插件simli_flutter的介绍与使用

Flutter插件simli_flutter的介绍与使用

Simli Flutter插件 让开发者能够创建带有唇同步效果的人工智能虚拟形象。准备好开始制作你的第一个虚拟形象了吗？从这里开始吧。

无限可能的API

通过我们提供的带有视觉唇同步效果的人工智能虚拟形象API，你可以实现各种应用：模拟面试、销售助手、语言培训、教练指导、客户服务培训、历史人物再现等等。你可以尝试我们的演示。

它是如何工作的？

通过双向Websocket通信，你发送音频给我们，我们会返回视频和音频帧。你可以使用这些视频和音频帧来同步渲染视频和播放音频。你也可以使用我们的simli_flutter库来处理Websocket通信、解码接收到的数据并同步音频和视频播放。

开始使用simli_flutter

流媒体直播功能

本文档概述了如何使用simli_flutter库来启用流媒体直播功能。

关键概念

• API密钥：所有API端点都需要一个API密钥。你可以通过在注册账户来获取。API密钥允许你跟踪使用情况并控制对Simli功能的访问。
• 面部：你可以通过/getPossibleFaceIDs端点访问所有可用的Simli虚拟形象面部。该库正在不断扩展新的面部。
• Websocket：为了接收用于解码的视频和音频字节，你需要将PCM16音频字节流传输到LipsyncStream Websocket。根据Websocket方案进行解码。
• simli_flutter：此库简化了过程。它处理Websocket通信、解码接收到的数据，并同步音频和视频播放。

主要功能

• 使用getPossibleFaceIDs检索可用的虚拟形象面部。
• 使用isSessionAvailable检查活跃会话。
• 使用startAudioToVideoSession启动音频到视频会话。
• 使用lipsyncStream建立实时唇同步流。

使用示例

以下示例展示了如何使用SimliFlutter类与Simli API交互并在你的Flutter应用中启用流媒体直播功能。

import 'package:simli_flutter/simli_flutter.dart';

// 用你的实际API密钥替换
final String apiKey = 'YOUR_API_KEY';

Future<void> main() async {
  final simli = SimliFlutter(apiKey: apiKey);

  // 获取可用的面部ID
  try {
    final faceIds = await simli.getPossibleFaceIDs();
    print('Available Face IDs: $faceIds');
  } catch (error) {
    print('Error fetching face IDs: $error');
  }

  // 检查会话是否可用
  final isSessionAvailable = await simli.isSessionAvailable();
  print('Session Available: $isSessionAvailable');

  // 启动音频到视频会话
  final String faceId = '101bef0dB62d4fbeA6b489bc3fc66ec6'; // 用所需的面部ID替换
  final String sessionToken = await simli.startAudioToVideoSession(
    syncAudio: true, // 设置为true以同步音频和视频
    isJPG: true, // 设置为true以接收JPG视频帧
    faceId: faceId,
  );
  print('Session Token: $sessionToken');

  // 建立唇同步流（实现细节省略）
  await simli.lipsyncStream(
    // 提供视频引用URL、面部检测结果URL等
  );
}