HarmonyOS鸿蒙Next中屏幕录制如何获取每一帧图片并保存到本地

楼主可以看下

需要在录制过程中获取音视频帧数据转换为对应格式的图片或者音频，可以在AVScreenCapture的OH_AVBuffer中获取buffer流数据保存，再将保存的数据进行转换。

从buffer流中获取数据，获取数据为PCM格式码流，可参考：

void Buffer2Png(OH_AVBuffer* buffer){
    int bufferLen = OH_AVBuffer_GetCapacity(buffer);
    OH_LOG_INFO (LOG_APP,"png length: %{public}d",bufferLen);
    OH_NativeBuffer *nativeBuffer = OH_AVBuffer_GetNativeBuffer(buffer);
    OH_NativeBuffer_Config config;
    OH_NativeBuffer_GetConfig(nativeBuffer, &config);
    int32_t videoSize = config.height * config.width * 4;
    uint8_t *buf = OH_AVBuffer_GetAddr(buffer);
    testSavePNG(config.width, config.height, (uint8_t *)buf);
}

void OnBufferAvailable(OH_AVScreenCapture *capture, OH_AVBuffer *buffer, OH_AVScreenCaptureBufferType bufferType, int64_t timestamp, void *userData) {
    // 处于录屏取码流状态。
    if (IsCaptureStreamRunning) {
        // 视频buffer。
        Buffer2Png(buffer);
        OH_LOG_INFO(LOG_APP, "this is an info level log");
    }
}

struct OH_AVScreenCapture *capture;
// 开始录屏时调用StartScreenCapture。
static napi_value StartScreenCapture(napi_env env, napi_callback_info info) {
    size_t argc = 1;
    napi_value args[1] = {nullptr};
    // 获取参数。
    napi_get_cb_info(env, info, &argc, args, nullptr, nullptr);
    int32_t Frame_Rate;
    napi_get_value_int32(env, args[0], &Frame_Rate);
    IsCaptureStreamRunning = true;
    // 实例化ScreenCapture。
    capture = OH_AVScreenCapture_Create();
    // 设置回调 。
    OH_AVScreenCapture_SetErrorCallback(capture, OnError, nullptr);
    OH_AVScreenCapture_SetStateCallback(capture, OnStateChange, nullptr);
    OH_AVScreenCapture_SetDataCallback(capture, OnBufferAvailable, nullptr);

    // 初始化录屏，传入配置信息OH_AVScreenRecorderConfig。
    OH_AudioCaptureInfo miccapinfo = {.audioSampleRate = 16000, .audioChannels = 2, .audioSource = OH_MIC};

    OH_VideoCaptureInfo videocapinfo = {.videoFrameWidth = 768, .videoFrameHeight = 1280, .videoSource = OH_VIDEO_SOURCE_SURFACE_RGBA};
    OH_AudioInfo audioinfo = {.micCapInfo = miccapinfo,};
    OH_VideoInfo videoinfo = {.videoCapInfo = videocapinfo};
    OH_AVScreenCaptureConfig config = {.captureMode = OH_CAPTURE_HOME_SCREEN,.dataType = OH_ORIGINAL_STREAM,.audioInfo = audioinfo,.videoInfo = videoinfo};
    OH_AVScreenCapture_Init(capture, config);
    // 开始录屏。
    OH_AVScreenCapture_StartScreenCapture(capture);
    // mic开关设置。
    OH_AVScreenCapture_SetMicrophoneEnabled(capture, false);
    // 可选 设置录屏时的最大帧率 需在启动后调用。
    OH_AVScreenCapture_SetMaxVideoFrameRate(capture, Frame_Rate);

    // 返回调用结果，仅返回随意值。
    napi_value sum;
    napi_create_double(env, 0, &sum);
    return sum;
}

保存转换后的PNG图片，并在ArkTS侧通过保存文件路径展示图片：

void testSavePNG(unsigned int w, unsigned int h, const unsigned char *img)
{
    static int num = 0;
    std::string tmpDir = std::getenv("TMPDIR");  // /data/storage/el2/base/cache
    std::string filename = tmpDir + "/" + GETPNGNAME + std::to_string(num) + ".png";
    FILE *fp = fopen(filename.c_str(), "wb");
    svpng(fp, w, h, img, 1);
    fclose(fp);
    fp = nullptr;
}

完整的demo可以参考下：

void  svpng (FILE* out, unsigned w, unsigned h, const  unsigned  char * img, int alpha);
SVPNG_LINKAGE void svpng(SVPNG_OUTPUT, unsigned w, unsigned h, const unsigned char* img, int alpha) {
    static const unsigned t[] = { 0, 0x1db71064, 0x3b6e20c8, 0x26d930ac, 0x76dc4190, 0x6b6b51f4, 0x4db26158, 0x5005713c, 
    /* CRC32校验码表 */    0xedb88320, 0xf00f9344, 0xd6d6a3e8, 0xcb61b38c, 0x9b64c2b0, 0x86d3d2d4, 0xa00ae278, 0xbdbdf21c };
    unsigned a = 1, b = 0, c, p = w * (alpha ? 4 : 3) + 1, x, y, i;   /* 初始化CRC校验码的变量 */
#define SVPNG_U8A(ua, l) for (i = 0; i < l; i++) SVPNG_PUT((ua)[i]);
#define SVPNG_U32(u) do { SVPNG_PUT((u) >> 24); SVPNG_PUT(((u) >> 16) & 255); SVPNG_PUT(((u) >> 8) & 255); SVPNG_PUT((u) & 255); } while(0)
#define SVPNG_U8C(u) do { SVPNG_PUT(u); c ^= (u); c = (c >> 4) ^ t[c & 15]; c = (c >> 4) ^ t[c & 15]; } while(0)
#define SVPNG_U8AC(ua, l) for (i = 0; i < l; i++) SVPNG_U8C((ua)[i])
#define SVPNG_U16LC(u) do { SVPNG_U8C((u) & 255); SVPNG_U8C(((u) >> 8) & 255); } while(0)
#define SVPNG_U32C(u) do { SVPNG_U8C((u) >> 24); SVPNG_U8C(((u) >> 16) & 255); SVPNG_U8C(((u) >> 8) & 255); SVPNG_U8C((u) & 255); } while(0)
#define SVPNG_U8ADLER(u) do { SVPNG_U8C(u); a = (a + (u)) % 65521; b = (b + a) % 65521; } while(0)
#define SVPNG_BEGIN(s, l) do { SVPNG_U32(l); c = ~0U; SVPNG_U8AC(s, 4); } while(0)
#define SVPNG_END() SVPNG_U32(~c)
    SVPNG_U8A("\x89PNG\r\n\32\n", 8);           /* 写入PNG文件头 */
    SVPNG_BEGIN("IHDR", 13);                    /* 将图像头信息写入IHDR块（图像头信息）中 */
    SVPNG_U32C(w); SVPNG_U32C(h);               /* 图像宽高(8字节) */
    SVPNG_U8C(8); SVPNG_U8C(alpha ? 6 : 2);     /* 深度为8，颜色类型为带透明度（RGBA）或不带透明度（RGB） */
    SVPNG_U8AC("\0\0\0", 3);                    /* 压缩方法、滤波器和交错类型固定为默认值 */
    SVPNG_END();                                /* 结束图像文件头写入 */
    SVPNG_BEGIN("IDAT", 2 + h * (5 + p) + 4);   /* 将图像数据写入IDAT块中 */
    SVPNG_U8AC("\x78\1", 2);                    /* 写入压缩块起始头（2字节） */
    for (y = 0; y < h; y++) {                   /* 每行作为一个压缩块（Default Block） */
        SVPNG_U8C(y == h - 1);                  /* 写入一个字节判断是否到达最后一行，若是最后一行写1，否则写0 */
        SVPNG_U16LC(p); SVPNG_U16LC(~p);        /* 写入两个16位整数（共4字节），分别表示块大小及其1的补码，用于校验完整性 */
        SVPNG_U8ADLER(0);                       /* 写入一个字节表示未使用滤波 */
        for (x = 0; x < p - 1; x++, img++)
            SVPNG_U8ADLER(*img);                /* 将图像的每个像素依次写入压缩块中，完成图片数据压缩 */
    }
    SVPNG_U32C((b << 16) | a);                  /* 写入4字节整数用于表示压缩块的结束和Adler-32校验和 */
    SVPNG_END();                                /* } */
    SVPNG_BEGIN("IEND", 0); SVPNG_END();        /* 写入图像结束块标识IEND */
}
#endif /* SVPNG_INC_ */

这种网上都有相关的内容的：https://blog.csdn.net/zhizhengguan/article/details/106012115