SDL播放器实战

1 SDL简介

SDL(Simple DirectMedia Layer)是一个跨平台开发库(Windows、macOS、Linux、iOS 和 Android等),旨在通过 OpenGL 和 Direct3D 提供对音频、键盘、鼠标、游戏杆和图形硬件的低级访问,开发者只需要编写一套代码既可以支持跨平台的运行。目前SDL多用于开发游戏、模拟器、媒体播放器等多媒体应用领域。本文主要用到的是SDL中音视频控制和基础事件部分。下图可以看出SDL主要是对于不同平台的硬件控制库进行支持,使得上层应用对于底层控制无感,降低了开发的门槛。

SDL播放器实战_第1张图片

本文福利, 免费领取C++音视频学习资料包、技术视频,内容包括(音视频开发,面试题,FFmpeg webRTC rtmp hls rtsp ffplay srs↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓

2 SDL音视频播放基础API

2.1 SDL基础组成

SDL将功能分成下列数个子系统,不同的子系统包含特定功能本文关注的几个模块包括音频、视频和事件等子系统:

- SDL_INIT_TIMER:定时器
- SDL_INIT_AUDIO:音频
- SDL_INIT_VIDEO:视频
- SDL_INIT_JOYSTICK:摇杆
- SDL_INIT_HAPTIC:触摸屏
- SDL_INIT_GAMECONTROLLER:游戏控制器
- SDL_INIT_EVENTS:事件
- SDL_INIT_EVERYTHING:包含上述所有选项

2.2 SDL视频模块

2.2.1 视频API

视频API三大控件窗口(window)、渲染器(renderer)、纹理(texture)。窗口作为所有界面的载体负责基础的窗口事件的捕获和响应;渲染器则是将图像数据渲染成图像;纹理主要是用来管理图像将图像数据加入到纹理,方便后续加载到渲染器。

- SDL_Init():初始化SDL系统
- SDL_CreateWindow():创建窗口SDL_Window
- SDL_CreateRenderer():创建渲染器SDL_Renderer
- SDL_CreateTexture():创建纹理SDL_Texture
- SDL_UpdateTexture():设置纹理的数据
- SDL_RenderCopy():将纹理的数据拷贝给渲染器
- SDL_RenderPresent():显示
- SDL_Delay():工具函数,用于延时
- SDL_Quit():退出SDL系统

SDL播放器实战_第2张图片 

2.2.2 视频结构体

视频基础:窗口、渲染器、纹理和矩形等对象。

 -  SDL_Window                  		// 窗口
 -  SDL_Renderer             			// 渲染
 -  SDL_Texture             		 	// 纹理
 -  SDL_Rect                         	// 矩形

2.2.2 音频API

音频API基础流程比较简单,首先是打开音频设备SDL_OpenAudio,并开启音频播放SDL_PauseAudio,利用音频回调函数SDL_AudioCallback将数据写入音频播放缓冲区播放SDL_MixAudio,最后关闭音频播放SDL_CloseAudio。

- SDL_Init():初始化SDL系统
- SDL_OpenAudio():打开音频设备
- SDL_AudioCallback():音频播放回调函数
- SDL_PauseAudio():开启或者暂停播放
- SDL_MixAudio():将音频数据写入播放缓冲区
- SDL_CloseAudio():关闭音频设备
- SDL_Quit():退出SDL系统

SDL播放器实战_第3张图片 

本文福利, 免费领取C++音视频学习资料包、技术视频,内容包括(音视频开发,面试题,FFmpeg webRTC rtmp hls rtsp ffplay srs↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓

3 SDL开发环境构建

3.1 SDL源码下载与编译

本文介绍的是Linux下的环境搭建,主要通过源码进行编译获取SDL动态库。

mkdir SDL
cd SDL
wget https://www.libsdl.org/release/SDL2-2.0.22.tar.gz
tar -xvf SDL2-2.0.22.tar.gz
cd SDL2-2.0.22
mkdir build
cmake ..
make -j4

整个编译过程很顺利,最终会得到编译文件如下图,这里会用到其中libSDL2-2.0.so动态库文件和根目录下的include文件夹。

 

3.2 工程构建

得到SDL2动态库后,接下来就是进行工程构建,创建一个SDL_project工程目录,包含该标准bin、build、include、lib、src目录文件。并且将依赖库拷贝到工程目录下。基本框架就构建好了。

mkdir SDL_project
cd SDL_project
mkdir bin  build include  lib  src
cp ../SDL2-2.0.22/build/libSDL2-2.0.so* ./lib/
cp ../SDL2-2.0.22/include/ ./src/ -rf
touch  CMakeLists.txt
touch  ./src/CMakeLists.txt

4 SDL简易视频播放器

这里截取部分源码进行描述; 第一初始化基础结构;

创建窗口:SDL_CreateWindow
创建渲染器:SDL_CreateRenderer
创建纹理:SDL_CreateTexture
创建刷新线程:SDL_CreateThread

第二是利用SDL_WaitEvent,响应不同SDL事件,包括视频显示流程:

读取yuv文件
将视频缓冲数据更新到纹理:SDL_UpdateTexture;
清理渲染器:SDL_RenderClear
纹理拷贝到渲染器:SDL_RenderCopy
显示视频画面:SDL_RenderPresent

//SDL_CreateWindow
    window = SDL_CreateWindow("Simple YUV Player",
                           SDL_WINDOWPOS_UNDEFINED,
                           SDL_WINDOWPOS_UNDEFINED,
                           video_width, video_height,
                           SDL_WINDOW_OPENGL|SDL_WINDOW_RESIZABLE);
    if(!window)
    {
        fprintf(stderr, "SDL: could not create window, err:%s\n",SDL_GetError());
        goto _FAIL;
    }
    // SDL_CreateRenderer
    renderer = SDL_CreateRenderer(window, -1, 0);
    // SDL_CreateTexture
    texture = SDL_CreateTexture(renderer,
                                pixformat,
                                SDL_TEXTUREACCESS_STREAMING,
                                video_width,
                                video_height);


    video_buf = (uint8_t*)malloc(yuv_frame_len);
    if(!video_buf)
    {
        fprintf(stderr, "Failed to alloce yuv frame space!\n");
        goto _FAIL;
    }

    // open yuv_path
    video_fd = fopen(yuv_path, "rb");
    if( !video_fd )
    {
        fprintf(stderr, "Failed to open yuv file:%s\n", yuv_path);
        goto _FAIL;
    }
    
    // SDL_CreateThread
    timer_thread = SDL_CreateThread(refresh_video_timer,
                                    NULL,
                                    NULL);

    while (1)
    {
        // SDL_WaitEvent 
        SDL_WaitEvent(&event);

        if(event.type == SDL_REFRESH_EVENT) // update video frame
        {
            video_buff_len = fread(video_buf, 1, yuv_frame_len, video_fd);
            if(video_buff_len <= 0)
            {
                fprintf(stderr, "Failed to read data from yuv file!\n");
                goto _FAIL;
            }
            // SDL_UpdateTexture
            SDL_UpdateTexture(texture, NULL, video_buf, video_width);

            // keep window scale
            rect.x = 0;
            rect.y = 0;
            float w_ratio = win_width * 1.0 /video_width;
            float h_ratio = win_height * 1.0 /video_height;
            rect.w = video_width * w_ratio;
            rect.h = video_height * h_ratio;

            // SDL_RenderClear
            SDL_RenderClear(renderer);
            // SDL_RenderCopy
            SDL_RenderCopy(renderer, texture, NULL, &rect);
            // SDL_RenderPresent
            SDL_RenderPresent(renderer);
        }
        else if(event.type == SDL_WINDOWEVENT)
        {
            //If Resize
            SDL_GetWindowSize(window, &win_width, &win_height);
            //printf("SDL_WINDOWEVENT win_width:%d, win_height:%d\n",win_width,
            //       win_height );
        }
        else if(event.type == SDL_QUIT) //退出事件
        {
            g_thread_exit = 1;
        }
        else if(event.type == SDL_QUIT_EVENT)
        {
            break;
        }
    }

yuv播放器测试,播放一个yuv文件,可以正常播放画面,调节画面大小。

SDL播放器实战_第4张图片 

5 SDL简易音频播放器

SDL 音频播放相对视频播放器更为简单:

音频设备初始化并且读取音频数据:

打开音频设备:SDL_OpenAudio
开启音频设备播放
读取pcm文件,写入音频缓冲区

        if(SDL_Init(SDL_INIT_AUDIO))    
    {
        fprintf(stderr, "Could not initialize SDL - %s\n", SDL_GetError());
        return ret;
    }

    //open pcmfile
    audio_fd = fopen(path, "rb");
    if(!audio_fd)
    {
        fprintf(stderr, "Failed to open pcm file!\n");
        goto _FAIL;
    }

    g_audio_buf = (uint8_t *)malloc(PCM_BUFFER_SIZE);

    // SDL_AudioSpec
    spec.freq = 44100;          
    spec.format = AUDIO_S16SYS; 
    spec.channels = 2;          
    spec.silence = 0;
    spec.samples = 1024;       
    spec.callback = fill_audio_pcm; 
    spec.userdata = NULL;
    
    if(SDL_OpenAudio(&spec, NULL))
    {
        fprintf(stderr, "Failed to open audio device, %s\n", SDL_GetError());
        goto _FAIL;
    }

    //play audio
    SDL_PauseAudio(0);

    int data_count = 0;
    while(1)
    {
        // read pcm
        read_buffer_len = fread(g_audio_buf, 1, PCM_BUFFER_SIZE, audio_fd);
        if(read_buffer_len == 0)
        {
            break;
        }
        data_count += read_buffer_len; 
        printf("now playing %10d bytes data.\n",data_count);
        g_audio_end = g_audio_buf + read_buffer_len;    
        g_audio_pos = g_audio_buf;  
        //the main thread wait for a moment
        while(g_audio_pos < g_audio_end)
        {
            SDL_Delay(10);  
        }
    }
    printf("play PCM finish\n");
    // SDL_CloseAudio
    SDL_CloseAudio();

回调函数将音频数据写入播放缓冲区:

void mix_audio_pcm(void *udata, Uint8 *stream, int len)
{
    SDL_memset(stream, 0, len);

    if(g_audio_pos >= g_audio_end) 
    {
        return;
    }

    int remain_buffer_len = g_audio_end - g_audio_pos;
    len = (len < remain_buffer_len) ? len : remain_buffer_len;
    SDL_MixAudio(stream, g_audio_pos, len, SDL_MIX_MAXVOLUME/8);
    printf("len = %d\n", len);
    g_audio_pos += len;  
}

本文福利, 免费领取C++音视频学习资料包、技术视频,内容包括(音视频开发,面试题,FFmpeg webRTC rtmp hls rtsp ffplay srs↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓

你可能感兴趣的:(音视频开发进阶,音视频,webrtc,网络,视频编解码,实时音视频)