编译正常，测试出错

[lmw0320]

1. 源码中指定了ffmpeg的相关库文件（版本是4.2.1的），但是没有相应的ffmpeg二进制文件，导致无法正常执行。。后面我 修改了CMakelists.txt中的ffmpeg路径指向，改成了本机已经编译支持rkmpp插件的ffmpeg， 版本是6.1...但是测试发现无法正常初始化mpp: [h264_rkmpp @ 0x55877b6440] Failed to init MPP context: -1
2. 是否可以增加支持rtsp流等的数据输入，目前只能支持文件和内置摄像头，无法接入网络摄像头流。
3. 另外，好像rk板子更倾向于使用image_buffer的结构体来加速数据处理，而不是cv::Mat格式？ 我看代码中都是用的opencv来处理图片？

[1125962926]

1. 源码中指定了ffmpeg的相关库文件（版本是4.2.1的），但是没有相应的ffmpeg二进制文件，导致无法正常执行。。后面我 修改了CMakelists.txt中的ffmpeg路径指向，改成了本机已经编译支持rkmpp插件的ffmpeg， 版本是6.1...但是测试发现无法正常初始化mpp: [h264_rkmpp @ 0x55877b6440] Failed to init MPP context: -1
2. 是否可以增加支持rtsp流等的数据输入，目前只能支持文件和内置摄像头，无法接入网络摄像头流。
3. 另外，好像rk板子更倾向于使用image_buffer的结构体来加速数据处理，而不是cv::Mat格式？ 我看代码中都是用的opencv来处理图片？

感谢关注！针对您的问题，我会一一解答。

1. 关于 ffmpeg 的库，项目中放的是板端编译的动态库，路径: /lib/ffmpeg。我不确定您说的二进制文件是否是库本身，还是 shell 可执行文件；另外，板端自带的 ffmpeg 与我编译的库有一些不同，详细分析可以看我的这篇博客，您提到的问题我之前也是因为解码问题出现过。

2. 最近在忙于毕业相关的事宜，在未来的工作中，如果有机会接触相关方向，我会尝试您提到的建议。如果您有这方面的成果，我也很乐意学习您的设计。

3. 原作者的代码框架是基于 OpenCV 的软件解码进行视频读取的，为了兼容硬件加速和软件处理，我保留了兼容的图像格式，因此延续了 cv::Mat 的使用。您提到的 image_buffer 结构体格式，我理解的是 RGA 接口在传递数据时所使用的数据结构，仅在调用 RGA 时使用，这部分我单独做了接口封装，接口也就是使用的 image_buffer 结构体格式，而在应用层面则不需要使用这种与厂家绑定的数据结构，所以使用 cv::Mat。使用 cv::Mat 确实会有一定的内存拷贝开销，但在当前框架下保证了兼容性。

[lmw0320]

1. 源码中指定了ffmpeg的相关库文件（版本是4.2.1的），但是没有相应的ffmpeg二进制文件，导致无法正常执行。。后面我 修改了CMakelists.txt中的ffmpeg路径指向，改成了本机已经编译支持rkmpp插件的ffmpeg， 版本是6.1...但是测试发现无法正常初始化mpp: [h264_rkmpp @ 0x55877b6440] Failed to init MPP context: -1
2. 是否可以增加支持rtsp流等的数据输入，目前只能支持文件和内置摄像头，无法接入网络摄像头流。
3. 另外，好像rk板子更倾向于使用image_buffer的结构体来加速数据处理，而不是cv::Mat格式？ 我看代码中都是用的opencv来处理图片？

感谢关注！针对您的问题，我会一一解答。

1. 关于 ffmpeg 的库，项目中放的是板端编译的动态库，路径: /lib/ffmpeg。我不确定您说的二进制文件是否是库本身，还是 shell 可执行文件；另外，板端自带的 ffmpeg 与我编译的库有一些不同，详细分析可以看我的这篇博客，您提到的问题我之前也是因为解码问题出现过。
2. 最近在忙于毕业相关的事宜，在未来的工作中，如果有机会接触相关方向，我会尝试您提到的建议。如果您有这方面的成果，我也很乐意学习您的设计。
3. 原作者的代码框架是基于 OpenCV 的软件解码进行视频读取的，为了兼容硬件加速和软件处理，我保留了兼容的图像格式，因此延续了 cv::Mat 的使用。您提到的 image_buffer 结构体格式，我理解的是 RGA 接口在传递数据时所使用的数据结构，仅在调用 RGA 时使用，这部分我单独做了接口封装，接口也就是使用的 image_buffer 结构体格式，而在应用层面则不需要使用这种与厂家绑定的数据结构，所以使用 cv::Mat。使用 cv::Mat 确实会有一定的内存拷贝开销，但在当前框架下保证了兼容性。

1. 我说的二进制文件，是指ffmpeg的可执行文件。。是我表述不当，让你误会了；
2. 我也是用的别人的方案来弄。。因为使用rstp的方案，其实在实际需求方面比较常见。因为更多时候都会涉及到网络摄像头的调用。这里还会涉及到相应的硬件解码操作，及必要的摄像头PTZ信息（用于获取摄像的转动角度，方便与其他软件进行组合）
3. oepncv的方式，是属于通用性的。对不同芯片的数据，其可能有各自的硬件加速处理模块（比如rk系列有RGA加速模块），这样可以使用对应的硬件，加速计算，同时也能降低cpu的计算负荷。---我提到的image_buffer_t的结构体，是官方的rknn_model_zoo项目中用到的结构体方式。（可参数看：https://github.com/airockchip/rknn_model_zoo/blob/main/utils/common.h）