RV1126+OPENCV在视频中添加LOGO图像

一.RV1126+OPENCV在视频中添加LOGO图像大体流程图

主要是利用RV1126的视频流结合OPENCV的API在视频流里面添加LOGO图像，换言之就是在RV1126的视频流里面叠加图片。大体流程我们来看上图，要完成这个功能我们需要创建两个线程(实际上还有初始化过程，这里先忽略了)，第一个线程是opencv_vi_logo_handle_thread它主要是获取VI原始数据并有OPENCV转换成Mat矩阵然后添加LOGO图像，并把VI数据发送到VENC编码器。

第二个线程是get_venc_stream_thread它主要是获取H264的VENC码流数据，并且保存到H264文件

二.具体代码实现

上图我们已经说了大概的流程图，这部分我们重点讲解代码的实现

2.1. RV1126模块初始化并启动VI工作

2.2VENC模块初始化

我们之前的很多实战都没有使用这个函数开启视频流，那是因为很多时候VI模块我们都与其他模块绑定了，所以不需要，这里我们并没有和任何模块绑定，需要开启这个

上面代码是RV1126模块的初始化，包括VI模块的初始化(RK_MPI_VI_SetChnAttr)、使能VI模块(RK_MPI_VI_EnableChn)、VENC模块的初始化(RK_MPI_VENC_CreateChn)、启动VI工作(RK_MPI_VI_StartStream)。关于这方面的参数设置，我们就不详细说了，因为这方面的内容之前的课程已经详细说过。

2.3创建线程

2.4 创建opencv_vi_logo_handle_thread线程

上面是opencv_vi_logo_handle_thread的具体实现。

1.我们要通过imread读取图片

2.把图片cvtColor转换成灰度图片

(由于VI模块的图像格式是NV12，所以我们的图片必须要以灰度图的方式进行添加)。

3.调用RK_MPI_SYS_GetMediaBuffer获取每一帧的VI视频原始数据

#4.使用OPENCV的API把每一个视频数据转换成Mat矩阵

具体的操作是：

Mat rv1126_img_mat = Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb))，

K_MPI_MB_GetPtr(mb) 是一个函数调用，返回一个指向内存块的指针

mb 是一个媒体缓冲区对象（Media Buffer）

这个构造函数直接使用外部内存，而不是为矩阵分配新内存

函数原型：
Mat(int rows, int cols, int type, void* data, size_t step = AUTO_STEP);
参数含义：
rows：矩阵的行数（HEIGHT）
cols：矩阵的列数（WIDTH）
type：矩阵的数据类型（CV_8UC1）
data：指向数据的指针（RK_MPI_MB_GetPtr (mb)）
step：每行数据的字节数（默认为 AUTO_STEP，自动计算）

通过Mat的构造器，就可以把RV1126的VI视频数据转换成Mat，转换成Mat之后，我们就需要对Mat进行图层叠加操作。

5.Mat叠加操作

需要分两步

第一步：先创建一个感兴趣区域

Mat rv1126_img_mat_roi=rv1126_img_mat(Rect(100,100, logo_img.cols, logo_img.rows))，

这个感性区域的长宽要与logo图片的一致

第二步：利用copyTo函数把读取的图片拷贝到感兴趣区域rv1126_img_mat_roi

具体代码是logo_img.copyTo(rv1126_img_mat_roi)。

6.要把RV1126叠加过后的视频VI数据发送到H264的VENC编码器

调用的API是RK_MPI_SYS_SendMediaBuffer。

2.4 创建get_venc_stream_thread线程

上面是get_venc_stream_thread的具体实现，在这个线程里面要通过RK_MPI_SYS_GetMediaBuffer获取每一帧H264的编码数据，然后用fwrite写入。

2.5 输出结果：

经过上面的编码后，我们来看看输出的H264文件。可以看到这个H264文件，嵌入了JPG图片。这个效果就实现了用OPENCV图片叠加的功能对RV1126的视频流进行图片LOGO的添加

int ret;VI_CHN_ATTR_S vi_chn_attr;vi_chn_attr.pcVideoNode = CAMERA_PATH;        // Pathvi_chn_attr.u32Width = WIDTH;                 // Widthvi_chn_attr.u32Height = HEIGHT;               // Heightvi_chn_attr.enPixFmt = IMAGE_TYPE_NV12;       // ImageTypevi_chn_attr.enBufType = VI_CHN_BUF_TYPE_MMAP; // BufTypevi_chn_attr.u32BufCnt = 3;                    // Cntvi_chn_attr.enWorkMode = VI_WORK_MODE_NORMAL; // Moderet = RK_MPI_VI_SetChnAttr(CAMERA_ID, CAMERA_CHN, &vi_chn_attr);if (ret){printf("Vi Set Attr Failed.....\n");return 0;}else{printf("Vi Set Attr Success.....\n");}ret = RK_MPI_VI_EnableChn(CAMERA_ID, CAMERA_CHN);if (ret){printf("Vi Enable Attr Failed.....\n");return 0;}else{printf("Vi Enable Attr Success.....\n");}
VENC_CHN_ATTR_S venc_chn_attr;memset(&venc_chn_attr, 0, sizeof(VENC_CHN_ATTR_S));venc_chn_attr.stVencAttr.u32PicWidth = WIDTH;venc_chn_attr.stVencAttr.u32PicHeight = HEIGHT;venc_chn_attr.stVencAttr.u32VirWidth = WIDTH;venc_chn_attr.stVencAttr.u32VirHeight = HEIGHT;venc_chn_attr.stVencAttr.imageType = IMAGE_TYPE_NV12;venc_chn_attr.stVencAttr.enType = RK_CODEC_TYPE_H264;venc_chn_attr.stVencAttr.u32Profile = 66;venc_chn_attr.stRcAttr.enRcMode = VENC_RC_MODE_H264CBR;venc_chn_attr.stRcAttr.stH264Cbr.u32Gop = 25;venc_chn_attr.stRcAttr.stH264Cbr.u32BitRate = WIDTH * HEIGHT * 3;venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateDen = 1;venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateNum = 25;venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateDen = 1;venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateNum = 25;ret = RK_MPI_VENC_CreateChn(VENC_CHN, &venc_chn_attr);  if (ret){printf("ERROR: Create venc failed!\n");exit(0);}