FFmpeg获取网络摄像头数据解码

对USB摄像头实时编码，在前面已经探讨过了。这次改变下思路，尝试去截取网络摄像头的H264码流，将其解码播放。

这里的测试代码，是在海康摄像头的基础上进行的。

解码的大致流程和以前的保持一致，只不过增加了部分函数。

FFmpeg打开媒体文件并查看媒体文件的信息，有三个步骤：

avformat_open_input；

avformat_find_stream_info；

av_dump_format；

依次调用三个函数后，我们可以很清楚的知道码流的各种信息。

完整的代码：

#include 
#include 
#include 
#include 
#include 
#include "queue.h"
 
extern "C"
{
#include 
#include 
#include 
}
 
#pragma comment(lib, "avcodec.lib")
#pragma comment(lib, "avformat.lib")
#pragma comment(lib, "avutil.lib") 
#pragma comment(lib ,"swscale.lib")
 
using namespace std;
using namespace cv;
 
DWORD WINAPI opencv_imshow(LPVOID lparam)
{
 result_link_type* result_link = (result_link_type*)lparam;
 struct result_node_datatype *result_node2 = NULL;
 while (1)
 {
 result_node2 = result_pop(result_link);
 if (result_node2 == NULL)
 {
 Sleep(1);
 continue;
 }
 imshow("frame", result_node2->result);
 waitKey(1);
 }
}
 
int main(int argc, const char * argv[])
{
 HANDLE thread1;
 result_link_type *result_link = new result_link_type;
 result_link->head = result_link->end = NULL;
 result_link->result_num = 0;
 thread1 = CreateThread(NULL, 0, opencv_imshow, (LPVOID)result_link, 0, NULL);
 
 int i;
 int videoStream;
 int frameFinished;
 int numBytes;
 int ret;
 int got_picture;
 long prepts = 0;
 bool first_time = true;
 
 AVCodec *pCodec;
 AVFrame *pFrame;
 AVFrame *pFrameRGB;
 AVPacket packet;
 AVCodecContext *pCodecCtx;
 AVFormatContext *pFormatCtx = NULL;//结构体AVFormatContext:包含码流参数较多
 
 static struct SwsContext *img_convert_ctx;
 
 uint8_t *buffer;
 Mat pCvMat;
 
 char filepath[] = "rtsp://admin:[email protected]/axis-media/media.amp?camera=2";//码流的获取路径
 
 av_register_all();//注册编解码器
 avformat_network_init();//加载socket库以及网络加密协议相关的库
 
 if (avformat_open_input(&pFormatCtx, filepath, NULL, NULL) != 0)//打开多媒体数据并且获得信息
 {
 return -1;
 }
 
 if (avformat_find_stream_info(pFormatCtx, NULL) < 0)//读取视音频数据并且获得信息
 {
 return -1;
 }
 
 av_dump_format(pFormatCtx, 0, argv[1], false);//手工调试函数，看到pFormatCtx->streams的内容
 
 videoStream = -1;
 
 for (i = 0; i < pFormatCtx->nb_streams; i++)
 {
 if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)
 {
 videoStream = i;
 break;
 }
 }
 
 if (videoStream == -1)
 {
 return -1;
 }
 
 pCodecCtx = pFormatCtx->streams[videoStream]->codec;
 
 pCodec = avcodec_find_decoder(pCodecCtx->codec_id);//查找解码器
 
 if (pCodec == NULL)
 {
 return -1;
 }
 
 if (avcodec_open2(pCodecCtx, pCodec, 0) < 0)//初始化AVCodecContext
 {
 return -1;
 }
 
 if (pCodecCtx->time_base.num > 1000 && pCodecCtx->time_base.den == 1)
 {
 pCodecCtx->time_base.den = 1000;
 }
 
 pFrame = av_frame_alloc();//分配内存
 pFrameRGB = av_frame_alloc();
 
 i = 0;
 while (1)
 {
 if (av_read_frame(pFormatCtx, &packet) >= 0)//读取码流中的音频若干帧或者视频一帧
 {
 if (packet.stream_index == videoStream)
 {
 ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, &packet);//开始解码
 if (ret < 0)
 {
  printf("Decode Error.(解码错误)\n");
  return ret;
 }
 if (got_picture)//解码成功，got_picture返回任意非零值
 {
  if (first_time)
  {
  //初始化SwsContext
  img_convert_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, AV_PIX_FMT_BGR24, SWS_BICUBIC, NULL, NULL, NULL);
  if (img_convert_ctx == NULL)
  {
  fprintf(stderr, "Cannot initialize the conversion context!\n");
  exit(1);
  }
 
  numBytes = avpicture_get_size(AV_PIX_FMT_BGR24, pCodecCtx->width, pCodecCtx->height);
  buffer = (uint8_t *)av_malloc(numBytes);
  avpicture_fill((AVPicture *)pFrameRGB, buffer, AV_PIX_FMT_BGR24, pCodecCtx->width, pCodecCtx->height); // allocator memory for BGR buffer 
  pCvMat.create(cv::Size(pCodecCtx->width, pCodecCtx->height), CV_8UC3);
  first_time = false;
  }
 
  //处理图像数据
  sws_scale(img_convert_ctx, pFrame->data, pFrame->linesize, 0, pCodecCtx->height, pFrameRGB->data, pFrameRGB->linesize);
  memcpy(pCvMat.data, buffer, numBytes);
  struct result_node_datatype *result_node = new struct result_node_datatype;
  result_node->result = pCvMat;
  result_push(result_link, result_node);
 }
 }
 av_free_packet(&packet);
 }
 }
 
 //free(buffer);
 av_free(buffer);
 av_free(pFrameRGB);
 av_free(pFrame);
 avcodec_close(pCodecCtx);
 avformat_close_input(&pFormatCtx);
 system("Pause");
 return 0;
}

队列函数：

#include "queue.h"
#include 
 
using namespace std;
 
void result_push(result_link_type* result_link, result_node_datatype * result_node) //入队操作
{
 if (result_link->head == NULL)
 {
 result_link->head = result_node;
 result_link->end = result_link->head;
 result_link->result_num++;
 }
 else
 {
 result_link->end->next = result_node;
 result_link->end = result_node;
 result_link->result_num++;
 }
}
 
struct result_node_datatype* result_pop(result_link_type* result_link) //出队操作
{
 struct result_node_datatype* tmp_node;
 if (result_link->head == NULL)
 return NULL;
 else if (result_link->head == result_link->end)
 {
 return NULL;
 }
 else
 {
 tmp_node = result_link->head;
 result_link->head = result_link->head->next;
 result_link->result_num--;
 return tmp_node;
 }
}

队列函数的头文件：

#ifndef QUEUE_H
#define QUEUE_H
#include 
#include 
#include 
#include 
using namespace cv;
 
typedef struct result_link_datatype
{
 struct result_node_datatype *head;
 struct result_node_datatype *end;
 int result_num;
}result_link_type;
 
struct result_node_datatype
{
 Mat result;
 struct result_node_datatype* next;
};
 
void result_push(result_link_type* result_link, result_node_datatype * result_node); //入队操作
struct result_node_datatype* result_pop(result_link_type* result_link);//出队操作
 
#endif

解码后的数据进入队列，再从队列中取出，利用opencv将其显示（opencv显示是另外开的一个线程函数）。

admin:[email protected]，这里是摄像头的名称和IP地址。

测试代码下载：点击打开链接

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。