前面文章FFmpeg像素格式转换中我们使用FFmpeg实现了一个像素格式转换工具类，现在我们就可以在Qt中利用QImage很容易的实现一个简单的YUV播放器了。
播放器功能很简单，只有播放、暂停和停止。我们定义了一个播放器类YuvPlayer，首先在yuvplayer.h文件中定义外部调用的函数，还需要一个设置播放文件的函数，既然是播放yuv文件，那么就需要额外再告诉播放器视频的宽高、像素格式以及帧率，我们定义了一个包括这些参数的结构体Yuv：
#ifndef YUVPLAYER_H
#define YUVPLAYER_H
#include
#include
extern "C"{
#include
#include
}
typedef struct{
const char *filename;
int width;
int height;
AVPixelFormat pixelFormat;
int fps;
}Yuv;
class YuvPlayer : public QWidget{
Q_OBJECT
public:
// 状态
typedef enum{
Stopped = 0,
Playing,
Paused,
Finished
} State;
explicit YuvPlayer(QWidget *parent = nullptr);
~YuvPlayer();
void play();
void pause();
void stop();
bool isPlaying();
void setYuv(Yuv &yuv);
State getState();
signals:
private:
QFile _file;
int _timerId = 0;
State _state = Stopped;
Yuv _yuv;
bool _playing;
QImage *_currentImage = nullptr;
QRect _dstRect;
void timerEvent(QTimerEvent *event);
void paintEvent(QPaintEvent *event);
void freeCurrentImage();
};
#endif // YUVPLAYER_H
setYuv函数用来设置我们要播放的 yuv 文件，可以放到这个函数中的操作有：
- 打开yuv文件；
- 计算刷帧的时间间隔；
- 计算一帧图像的大小；
- 计算视频目标尺寸，在播放控件中居中显示视频；
void YuvPlayer::setYuv(Yuv &yuv){
_yuv = yuv;
// 关闭上一个文件
closeFile();
// 打开文件
_file = new QFile(yuv.filename);
if(!_file->open(QFile::ReadOnly)){
qDebug()<< "file open error" << yuv.filename;
}
// 刷帧的时间间隔
_interval = 1000 / _yuv.fps;
// 一帧图片的大小
_imgSize = av_image_get_buffer_size(_yuv.pixelFormat,
_yuv.width,
_yuv.height,
1);
// 组件的尺寸
int w = width();
int h = height();
// 计算rect
int dx = 0;
int dy = 0;
int dw = yuv.width;
int dh = yuv.height;
// 缩放视频，计算目标尺寸
if (dw > w || dh > h) { // 缩放
//视频的宽高比 > 播放器的宽高比，由(dstW / dstH) > (w / h) 变换而来
if (dw * h > w * dh) {
dh = w * dh / dw;
dw = w;
} else {
dw = h * dw / dh;
dh = h;
}
}
// 居中
dx = (w - dw) >> 1;
dy = (h - dh) >> 1;
// 计算后的视频宽高
_dstRect = QRect(dx, dy, dw, dh);
qDebug() << "视频的矩形框" << dx << dy << dw << dh;
}
在播放器中完整居中显示 YUV 视频，会遇到四种情况：
- 视频宽高都小于等于播放器宽高；
- 视频宽大于播放器宽，视频高小于播放器高；
- 视频高大于播放器高，视频宽小于播放器宽；
- 视频宽高都大于播放器宽高（等同于情况 2 或者 3）；
总结下来实际有下图三种情况，第 1 种情况，我们居中显示视频就可以，第 2、3、4 种情况需要视频宽高比不变的情况下对视频进行等比例伸缩，需要伸缩到视频可以在播放器中完整显示。
play函数中开启了一个定时器，定时器执行间隔取决于帧率，执行间隔在setYuv中计算得到，startTimer是QObject中的方法，只要继承QObject就可以使用这个函数：
void YuvPlayer::play(){
// 防止多次调用 play 函数开启多个定时器
if(_state == Playing) return;
// 状态可能是：暂停、停止、正常完毕
// 开启定时器
_timerId = startTimer(_interval);
setState(Playing);
}
定时器开启后每隔一定间隔会调用timerEvent函数，这个函数中我们从文件读取一帧yuv数据，使用我们之前实现的像素格式转换工具将yuv420p格式数据转换成rgb24格式数据，然后将数据渲染到QImage上面，调用update`函数刷新。此处需要注意一个问题，像素格式转换后的输出视频宽高不是16的倍数会降低转码速度，建议输出视频宽高是16倍数：
void YuvPlayer::timerEvent(QTimerEvent *event){
// 图片大小
char data[_imgSize];
if(_file->read(data,_imgSize) == _imgSize){
RawVideoFrame in = {
data,
_yuv.width,_yuv.height,
_yuv.pixelFormat
};
RawVideoFrame out = {
nullptr,
_yuv.width,_yuv.height,
AV_PIX_FMT_RGB24
};
FFmpegUtils::convertRawVideo(in,out);
freeCurrentImage();
_currentImage = new QImage((uchar *)out.pixels,
out.width,out.height,QImage::Format_BGR888);
// 刷新
update();
}else{// 文件数据已经读取完毕
// 停止定时器
stopTimer();
// 正常播放完毕
setState(Finished);
}
}
当调用update函数的时候，就会触发paintEvent，在这个函数中将图片绘制到当前组件上。当组件想重绘的时候，也会调用这个函数：
// 当组件想重绘的时候，就会调用这个函数
// 想要绘制什么内容，在这个函数中实现
void YuvPlayer::paintEvent(QPaintEvent *event){
if (!_currentImage) return;
// 将图片绘制到当前组件上
QPainter(this).drawImage(_dstRect, *_currentImage);
}
接下来继续实现暂停和停止功能：
void YuvPlayer::pause(){
if(_state != Playing) return;
// 状态可能是：正在播放
// 停止定时器
stopTimer();
setState(Paused);
}
void YuvPlayer::stop(){
if(_state == Stopped) return;
// 状态可能是：正在播放、暂停、正常完毕
// 释放图片
freeCurrentImage();
// 停止定时器
stopTimer();
// 刷新，会触发paintEvent方法的执行
update();
setState(Stopped);
}
QFile会记录上次读取文件的位置，当播放完毕时，要将读取指针回归到最初始的位置。作为一个播放器，需要时刻向外界发送一些消息，比如暂停或者继续播放等等需要通知外界，我们利用Qt信号和槽机制，在信号声明区下面定义了一个信号stateChange，当播放器状态发生改变时我们发送一个信号，外界与此信号关联的槽函数就会被调用：
void YuvPlayer::setState(State state){
if(state == _state) return;
if(state == Stopped || state == Finished){
// 让文件读取指针回到文件首部
_file->seek(0);
}
_state = state;
emit stateChanged();
}
具体示例代码
yuvplayer.h
#ifndef YUVPLAYER_H
#define YUVPLAYER_H
#include
#include
extern "C"{
#include
#include
}
typedef struct{
const char *filename;
int width;
int height;
AVPixelFormat pixelFormat;
int fps;
}Yuv;
class YuvPlayer : public QWidget{
Q_OBJECT
public:
// 状态
typedef enum{
Stopped = 0,
Playing,
Paused,
Finished
} State;
explicit YuvPlayer(QWidget *parent = nullptr);
~YuvPlayer();
void play();
void pause();
void stop();
bool isPlaying();
void setYuv(Yuv &yuv);
State getState();
signals:
void stateChanged();
private:
QFile *_file = nullptr;
int _timerId = 0;// 先写一个0，否则有可能是个垃圾值
State _state = Stopped;
Yuv _yuv;
bool _playing;
QImage *_currentImage = nullptr;
// 视频大小
QRect _dstRect;
// 刷帧的时间间隔
int _interval;
// 一帧图片的大小
int _imgSize = 0;
void timerEvent(QTimerEvent *event);
void paintEvent(QPaintEvent *event);
void freeCurrentImage();
// 改变状态
void setState(State state);
void stopTimer();
void closeFile();
};
#endif // YUVPLAYER_H
yuvplayer.cpp
#include "yuvplayer.h"
#include
#include
#include "ffmpegutils.h"
#define RET(judge, func) \
if (judge) { \
qDebug() << #func << "error" << SDL_GetError(); \
return; \
}
YuvPlayer::YuvPlayer(QWidget *parent) : QWidget(parent){
// 设置背景色
// setAttribute(Qt::WA_StyledBackground,true);
setAttribute(Qt::WA_StyledBackground);
setStyleSheet("background:black");
}
YuvPlayer::~YuvPlayer(){
closeFile();
freeCurrentImage();
stopTimer();
}
void YuvPlayer::play(){
// 防止多次调用 play 函数开启多个定时器
if(_state == Playing) return;
// 状态可能是：暂停、停止、正常完毕
// 开启定时器
_timerId = startTimer(_interval);
setState(Playing);
}
void YuvPlayer::pause(){
if(_state != Playing) return;
// 状态可能是：正在播放
// 停止定时器
stopTimer();
setState(Paused);
}
void YuvPlayer::stop(){
if(_state == Stopped) return;
// 状态可能是：正在播放、暂停、正常完毕
// 释放图片
freeCurrentImage();
// 停止定时器
stopTimer();
// 刷新，会触发paintEvent方法的执行
update();
setState(Stopped);
}
bool YuvPlayer::isPlaying(){
return _state == YuvPlayer::Playing;
}
YuvPlayer::State YuvPlayer::getState(){
return _state;
}
void YuvPlayer::setState(State state){
if(state == _state) return;
if(state == Stopped || state == Finished){
// 让文件读取指针回到文件首部
_file->seek(0);
}
_state = state;
emit stateChanged();
}
void YuvPlayer::setYuv(Yuv &yuv){
_yuv = yuv;
// 关闭上一个文件
closeFile();
// 打开文件
_file = new QFile(yuv.filename);
if(!_file->open(QFile::ReadOnly)){
qDebug()<< "file open error" << yuv.filename;
}
// 刷帧的时间间隔
_interval = 1000 / _yuv.fps;
// 一帧图片的大小
_imgSize = av_image_get_buffer_size(_yuv.pixelFormat,
_yuv.width,
_yuv.height,
1);
// 组件的尺寸
int w = width();
int h = height();
// 计算rect
int dx = 0;
int dy = 0;
int dw = yuv.width;
int dh = yuv.height;
// 缩放视频，计算目标尺寸
if (dw > w || dh > h) { // 缩放
//视频的宽高比 > 播放器的宽高比，由(dstW / dstH) > (w / h) 变换而来
if (dw * h > w * dh) {
dh = w * dh / dw;
dw = w;
} else {
dw = h * dw / dh;
dh = h;
}
}
// 居中
dx = (w - dw) >> 1;
dy = (h - dh) >> 1;
// 计算后的视频宽高
_dstRect = QRect(dx, dy, dw, dh);
qDebug() << "视频的矩形框" << dx << dy << dw << dh;
}
// 当组件想重绘的时候，就会调用这个函数
// 想要绘制什么内容，在这个函数中实现
void YuvPlayer::paintEvent(QPaintEvent *event){
if (!_currentImage) return;
// 将图片绘制到当前组件上
// QPainter(this).drawImage(QPoint(0,0), *_currentImage);
QPainter(this).drawImage(_dstRect, *_currentImage);
// QPainter(this).drawImage(QRect(0,0,width(),height()), *_currentImage);
}
void YuvPlayer::timerEvent(QTimerEvent *event){
// 图片大小
char data[_imgSize];
if(_file->read(data,_imgSize) == _imgSize){
RawVideoFrame in = {
data,
_yuv.width,_yuv.height,
_yuv.pixelFormat
};
RawVideoFrame out = {
nullptr,
_yuv.width,_yuv.height,
AV_PIX_FMT_RGB24
};
FFmpegUtils::convertRawVideo(in,out);
freeCurrentImage();
_currentImage = new QImage((uchar *)out.pixels,
out.width,out.height,QImage::Format_BGR888);
// 刷新
update();
}else{// 文件数据已经读取完毕
// 停止定时器
stopTimer();
// 正常播放完毕
setState(Finished);
}
}
void YuvPlayer::freeCurrentImage() {
if(!_currentImage) return;
free(_currentImage->bits());
delete _currentImage;
_currentImage = nullptr;
}
void YuvPlayer::stopTimer(){
if(_timerId == 0) return;
killTimer(_timerId);
_timerId = 0;
}
void YuvPlayer::closeFile(){
if(!_file) return;
_file->close();
delete _file;
_file = nullptr;
}
mainwindow.cpp
#include "mainwindow.h"
#include "ui_mainwindow.h"
#include
#ifdef Q_OS_WIN
#define FILENAME "../test/out_640x480.yuv"
#else
#define FILENAME "/Users/zuojie/QtProjects/audio-video-dev/test/out_640x480.yuv"
#endif
MainWindow::MainWindow(QWidget *parent)
: QMainWindow(parent)
, ui(new Ui::MainWindow){
ui->setupUi(this);
// 创建播放器
_player = new YuvPlayer(this);
// 设置播放器的位置和尺寸
int w = 640;
int h = 480;
int x = (width() - w) >> 1;
int y = (height() - h) >> 1;
_player->setGeometry(x, y, w, h);
// 设置需要播放的文件
Yuv yuv = {
FILENAME,
640,480,
AV_PIX_FMT_YUV420P,
30
};
_player->setYuv(yuv);
// 监听播放
connect(_player,&YuvPlayer::stateChanged,this,&MainWindow::onPlayerStateChanged);
}
MainWindow::~MainWindow(){
delete ui;
}
void MainWindow::on_playButton_clicked(){
if(_player->isPlaying()){// 正在播放
_player->pause();
}else{// 没有正在播放
_player->play();
}
}
void MainWindow::on_stopButton_clicked(){
_player->stop();
}
void MainWindow::onPlayerStateChanged(){
if(_player->getState() == YuvPlayer::Playing){
ui->playButton->setText("暂停");
}else{// 没有正在播放
ui->playButton->setText("播放");
}
}
代码连接