Flutter实时多模态助手与日常功能插件google_multimodal_assistant_real_time_with_daily的使用

Flutter 实时多模态助手与日常功能插件 google_multimodal_assistant_real_time_with_daily 的使用

特性

• 实时音频流
• 机器人通信和状态管理
• 媒体设备处理
• 配置管理
• 事件处理

安装

在 pubspec.yaml 文件中添加以下依赖项：

dependencies:
  google_multimodal_assistant_real_time_with_daily: ^1.0.0

运行 flutter pub get 来安装该包。

iOS 设置

在 iOS 的 Podfile 中添加以下依赖项：

pod 'PipecatClientIOS', '~> 0.3.0'
pod 'PipecatClientIOSDaily', '~> 0.3.0'

在 ios 目录下运行 pod install。

使用方法

import 'package:google_multimodal_assistant_real_time_with_daily/pipecat_flutter.dart';

void main() {
  final client = PipecatClient();

  client.initialize(
    baseUrl: 'https://your-api-url.com',
    enableMic: true,
    enableCamera: true,
    config: {},
  );

  client.startSession();
}

示例代码

import 'package:google_multimodal_assistant_real_time_with_daily/google_multimodal_assistant_real_time_with_daily.dart';

class SimpleAssistantExample {
  final assistant = GoogleMultimodalAssistantRealTimeWithDaily();

  Future<void> setup() async {
    // 初始化助手
    await assistant.initialize(
      baseUrl: 'https://api.pipecat.ai', // Pipecat 的 API 地址
      enableMic: true,
      enableCamera: true,
      config: {
        // Daily WebRTC 配置
        'service': 'daily',
        'options': [
          {
            'name': 'url',
            'value': 'https://your-domain.daily.co/room-name' // Daily 的房间地址
          },
          {
            'name': 'token',
            'value': 'your-daily-token' // Daily 的 token
          }
        ],
        // LLM 模型配置
        'service': 'llm',
        'options': [
          {'name': 'model', 'value': 'meta-llama/Llama-2-7b-chat-hf'},
          {
            'name': 'messages',
            'value': [
              {'role': 'system', 'content': 'You are a helpful assistant.'}
            ]
          }
        ],
        // 如果需要，Text-to-Speech 配置
        'service': 'tts',
        'options': [
          {'name': 'voice', 'value': 'your-voice-id'}
        ]
      },
    );

    // 启动会话
    await assistant.startSession();

    // 监听不同类型的事件
    assistant.eventStream.listen((event) {
      if (event is Map<String, dynamic>) {
        switch (event['type']) {
          case 'transcript':
            print('Transcription: ${event['text']}');
            break;
          case 'tracks':
            print('Media track changes: ${event['tracks']}');
            break;
          case 'participant':
            print('Participant update: ${event['participant']}');
            break;
          default:
            print('Received event: $event');
        }
      }
    });

    // 示例交互
    await assistant.sendMessage('Hello, assistant!');
  }

  // 其他有用的方法
  Future<void> toggleMicrophone(bool enabled) async {
    await assistant.setMicrophoneEnabled(enabled);
  }

  Future<void> toggleCamera(bool enabled) async {
    await assistant.setCameraEnabled(enabled);
  }

  Future<void> sendMessage(String message) async {
    await assistant.sendMessage(message);
  }

  Future<void> disconnect() async {
    await assistant.disconnect();
  }
}

// 使用示例
void main() async {
  final example = SimpleAssistantExample();

  try {
    await example.setup();

    // 示例使用
    await example.sendMessage("How can I assist you today?");

    // 记得在结束时断开连接
    await example.disconnect();
  } catch (e) {
    print('Error: $e');
  }
}