Flutter深度学习模型集成插件deepar_flutter的使用

Flutter深度学习模型集成插件deepar_flutter的使用

这个插件是DeepAR的官方SDK。支持的平台：Android和iOS。

当前版本的插件支持以下功能：

• 实时AR预览 ✅
• 截图 ✅
• 录制视频 ✅
• 切换摄像头 ✅
• 开关闪光灯 ✅

支持情况表

安装步骤

请访问我们的开发者网站来创建项目并为两个平台生成各自的许可证密钥。

完成后，请将最新的deepar_flutter依赖添加到你的pubspec.yaml中。

Android设置

1. compileSdkVersion 应该是 33 或更高。
2. minSdkVersion 应该是 23 或更高。
3. 从我们的下载部分下载本地安卓依赖，并将其粘贴到你的Flutter项目的android/app/libs/deepar.aar路径下。
4. 确保运行pub clean 和 flutter pub upgrade 来获取最新代码。

还需要在AndroidManifest.xml中添加以下权限请求：

<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE"  />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/>
<uses-permission android:name="android.permission.RECORD_AUDIO"/>
<uses-permission android:name="Manifest.permission.CAPTURE_AUDIO_OUTPUT"  />
<uses-permission android:name="android.permission.CAMERA" />

确保在proguard-rules.pro中添加以下规则，否则在发布版本中应用可能会崩溃：

-keepclassmembers class ai.deepar.ar.DeepAR { *; }
-keepclassmembers class ai.deepar.ar.core.videotexture.VideoTextureAndroidJava { *; }
-keep class ai.deepar.ar.core.videotexture.VideoTextureAndroidJava

iOS设置

1. 确保你的应用程序的iOS部署版本是13.0+。
2. 运行flutter clean 并安装Pods。
3. 为了处理相机和麦克风权限，请在info.plist中添加以下字符串。
4. 确保运行pub clean 和 flutter pub upgrade 来获取最新代码。

<key>NSCameraUsageDescription</key>
<string>---Reason----</string>
<key>NSMicrophoneUsageDescription</key>
<string>---Reason----</string>

还需在Podfile文件中添加以下内容：

post_install do |installer|
  installer.pods_project.targets.each do |target|
    ... # Here are some configurations automatically generated by flutter

    # Start of the deepar configuration
    target.build_configurations.each do |config|

	  config.build_settings['GCC_PREPROCESSOR_DEFINITIONS'] ||= [
        '$(inherited)',

        ## dart: PermissionGroup.camera
         'PERMISSION_CAMERA=1',

        ## dart: PermissionGroup.microphone
         'PERMISSION_MICROPHONE=1',    
      ]

    end 
    # End of the permission_handler configuration
  end
end

Flutter代码示例

初始化DeepArController

通过传递两个平台的许可证密钥来初始化DeepArController。

final DeepArController _controller = DeepArController();
_controller.initialize(
	androidLicenseKey:"---android key---",
	iosLicenseKey:"---iOS key---",
	resolution: Resolution.high);

在Widget树中放置DeepArPreview以显示预览

[@override](/user/override)
Widget build(BuildContext context) {
  return _controller.isInitialized
      ? DeepArPreview(_controller)
      : const Center(
          child: Text("Loading Preview")
      );
}

要全屏显示预览，可以用Transform.scale()包裹DeepArPreview，并根据预览区域大小使用正确的缩放因子。更多信息可以参考相关文档。

加载效果

通过在switchPreview中传递资产文件来加载你选择的效果。

_controller.switchEffect(effect);

拍照

使用takeScreenshot()拍照，它返回图片文件。

final File file = await _controller.takeScreenshot();

录制视频

使用以下代码录制视频：

if (_controller.isRecording) {
  _controller.stopVideoRecording();
} else {
  final File videoFile = _controller.startVideoRecording();
}

完整的Flutter示例代码如下：

import 'package:flutter/material.dart';
import 'package:deepar_flutter/deepar_flutter.dart';

void main() => runApp(MyApp());

class MyApp extends StatelessWidget {
  [@override](/user/override)
  Widget build(BuildContext context) {
    return MaterialApp(
      home: HomePage(),
    );
  }
}

class HomePage extends StatefulWidget {
  [@override](/user/override)
  _HomePageState createState() => _HomePageState();
}

class _HomePageState extends State<HomePage> {
  final DeepArController _controller = DeepArController();

  [@override](/user/override)
  void initState() {
    super.initState();
    // 初始化控制器
    _controller.initialize(
        androidLicenseKey: "---android key---",
        iosLicenseKey: "---iOS key---",
        resolution: Resolution.high);
  }

  [@override](/user/override)
  Widget build(BuildContext context) {
    return Scaffold(
      appBar: AppBar(
        title: Text('DeepAR Demo'),
      ),
      body: _controller.isInitialized
          ? DeepArPreview(_controller)
          : Center(child: Text("Loading Preview")),
      floatingActionButton: FloatingActionButton(
        onPressed: () async {
          if (_controller.isRecording) {
            await _controller.stopVideoRecording();
          } else {
            await _controller.startVideoRecording();
          }
        },
        child: Icon(Icons.videocam),
      ),
    );
  }
}