iOS下使用FFMPEG的一些总结

ffmpeg是一个多平台多媒体处理工具，处理视频和音频的功能非常强大。目前在网上搜到的iOS上使用FFMPEG的资料都比较陈旧，而FFMPEG更新迭代比较快； 且网上的讲解不够详细，对于初次接触FFMPEG的新手（例如我）来说确实不太好使用。为了防止忘记，这里对iOS下使用FFMPEG做一个总结。

1. FFMPEG层次结构的简单理解

要使用FFMPEG，首先需要理解FFMPEG的代码结构。根据志哥的提示，ffmpeg的代码是包括两部分的，一部分是library，一部分是tool。api都是在library里面，如果直接调api来操作视频的话，就需要写c或者c++了。另一部分是tool，使用的是命令行，则不需要自己去编码来实现视频操作的流程。实际上tool只不过把命令行转换为api的操作而已。

1-1. mac安装brew

安装命令如下：
curl -LsSf http://github.com/mxcl/homebrew/tarball/master | sudo tar xvz -C/usr/local --strip 1

当brew安装成功后，就可以随意安装自己想要的软件了，例如wget，命令如下：
sudo brew install wget  

卸载的话，命令如下：
sudo brew uninstall wget

查看安装软件的话，命令如下：
sudo brew search /apache*/

2. 预热-在mac os下使用ffmpeg

在mac os下使用ffmpeg比较简单，可以直接使用命令行来操作。首先安装ffmpeg，这里默认系统已经安装好brew，只需要在终端上输入：

brew install ffmpeg

等待安装结束即可。

安装结束后，尝试以下命令：

ffmpeg -i input.mp4 output.avi

如果能顺利转换，表明安装成功

3. 编译能在iOS下使用的FFMPEG library库

这一步是编译1所说的library，编译好之后可以调用FFMPEG的api。网上有一些方法，但都要自己手动编译，稍显复杂而且比较陈旧。按照app store的需求，编译出来的包还必须支持arm64。我在万能的github中找到一个能够"一键编译"的脚本，地址如下：

https://github.com/kewlbear/FFmpeg-iOS-build-script

而且写这个脚本的歪果仁挺好人，更新很及时，已经更新到了最新的2.5.3版本。下载下来，只有一个build-ffmpeg.sh脚本文件。在终端中转至脚本的目录，执行命令：

./build-ffmpeg.sh

脚本则会自动从github中把ffmpeg源码下到本地并开始编译。

编译结束后，文件目录如下：

其中，ffmpeg-2.5.3是源码，FFmpeg-iOS是编译出来的库，里面有我们需要的.a静态库，一共有7个。

执行命令：

lipo -info libavcodec.a 

查看.a包支持的架构，这几个包都支持了armv7 armv7s i386 x86_64 arm64这几个架构，这个脚本果真是业界良心啊～～～

脚本内容如下：

#!/bin/sh

# directories
SOURCE="ffmpeg-2.7.1"
FAT="FFmpeg-iOS"

SCRATCH="scratch"
# must be an absolute path
THIN=`pwd`/"thin"

# absolute path to x264 library
#X264=`pwd`/fat-x264

#FDK_AAC=`pwd`/fdk-aac/fdk-aac-ios

CONFIGURE_FLAGS="--enable-cross-compile --disable-debug --disable-programs \
                 --disable-doc --enable-pic"

if [ "$X264" ]
then
	CONFIGURE_FLAGS="$CONFIGURE_FLAGS --enable-gpl --enable-libx264"
fi

if [ "$FDK_AAC" ]
then
	CONFIGURE_FLAGS="$CONFIGURE_FLAGS --enable-libfdk-aac"
fi

# avresample
#CONFIGURE_FLAGS="$CONFIGURE_FLAGS --enable-avresample"

ARCHS="arm64 armv7 x86_64 i386"

COMPILE="y"
LIPO="y"

DEPLOYMENT_TARGET="6.0"

if [ "$*" ]
then
	if [ "$*" = "lipo" ]
	then
		# skip compile
		COMPILE=
	else
		ARCHS="$*"
		if [ $# -eq 1 ]
		then
			# skip lipo
			LIPO=
		fi
	fi
fi

if [ "$COMPILE" ]
then
	if [ ! `which yasm` ]
	then
		echo 'Yasm not found'
		if [ ! `which brew` ]
		then
			echo 'Homebrew not found. Trying to install...'
                        ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" \
				|| exit 1
		fi
		echo 'Trying to install Yasm...'
		brew install yasm || exit 1
	fi
	if [ ! `which gas-preprocessor.pl` ]
	then
		echo 'gas-preprocessor.pl not found. Trying to install...'
		(curl -L https://github.com/libav/gas-preprocessor/raw/master/gas-preprocessor.pl \
			-o /usr/local/bin/gas-preprocessor.pl \
			&& chmod +x /usr/local/bin/gas-preprocessor.pl) \
			|| exit 1
	fi

	if [ ! -r $SOURCE ]
	then
		echo 'FFmpeg source not found. Trying to download...'
		curl http://www.ffmpeg.org/releases/$SOURCE.tar.bz2 | tar xj \
			|| exit 1
	fi

	CWD=`pwd`
	for ARCH in $ARCHS
	do
		echo "building $ARCH..."
		mkdir -p "$SCRATCH/$ARCH"
		cd "$SCRATCH/$ARCH"

		CFLAGS="-arch $ARCH"
		if [ "$ARCH" = "i386" -o "$ARCH" = "x86_64" ]
		then
		    PLATFORM="iPhoneSimulator"
		    CFLAGS="$CFLAGS -mios-simulator-version-min=$DEPLOYMENT_TARGET"
		else
		    PLATFORM="iPhoneOS"
		    CFLAGS="$CFLAGS -mios-version-min=$DEPLOYMENT_TARGET"
		    if [ "$ARCH" = "arm64" ]
		    then
		        EXPORT="GASPP_FIX_XCODE5=1"
		    fi
		fi

		XCRUN_SDK=`echo $PLATFORM | tr '[:upper:]' '[:lower:]'`
		CC="xcrun -sdk $XCRUN_SDK clang"
		CXXFLAGS="$CFLAGS"
		LDFLAGS="$CFLAGS"
		if [ "$X264" ]
		then
			CFLAGS="$CFLAGS -I$X264/include"
			LDFLAGS="$LDFLAGS -L$X264/lib"
		fi
		if [ "$FDK_AAC" ]
		then
			CFLAGS="$CFLAGS -I$FDK_AAC/include"
			LDFLAGS="$LDFLAGS -L$FDK_AAC/lib"
		fi

		TMPDIR=${TMPDIR/%\/} $CWD/$SOURCE/configure \
		    --target-os=darwin \
		    --arch=$ARCH \
		    --cc="$CC" \
		    $CONFIGURE_FLAGS \
		    --extra-cflags="$CFLAGS" \
		    --extra-cxxflags="$CXXFLAGS" \
		    --extra-ldflags="$LDFLAGS" \
		    --prefix="$THIN/$ARCH" \
		|| exit 1

		make -j3 install $EXPORT || exit 1
		cd $CWD
	done
fi

if [ "$LIPO" ]
then
	echo "building fat binaries..."
	mkdir -p $FAT/lib
	set - $ARCHS
	CWD=`pwd`
	cd $THIN/$1/lib
	for LIB in *.a
	do
		cd $CWD
		echo lipo -create `find $THIN -name $LIB` -output $FAT/lib/$LIB 1>&2
		lipo -create `find $THIN -name $LIB` -output $FAT/lib/$LIB || exit 1
	done

	cd $CWD
	cp -rf $THIN/$1/include $FAT
fi

echo Done

4.在xcode中引入FFMPEG library库

新建工程，把上面编译好的FFmpeg-iOS拖到xcode工程中，添加一个头文件引用

 

#include "avformat.h"

添加一个api语句：

av_register_all();

添加一个空的类，把执行文件.m后缀改为.mm，开启混编模式。

添加相应的framework，包括avfoundation和coremedia。

运行工程，如果没有报错，则表明编译成功。

5.在xcode项目中使用命令行

执行到第4步，已经可以使用library库了。但是如果要对视频进行操作，还是需要手动写很多代码去调用api，工作量较大，自然不如直接写命令行方便。为了命令行能够在xcode工程中使用，还需要做以下工作：

（1）添加源码中的tools,具体文件包括：

 

（2）添加Header Search Paths

在target--build setting中搜索Header Search Paths，并在Header Search Paths下面添加源码ffmpeg-2.5.3和scratch的路径。

（3）修改ffmpeg.h和ffmpeg.c源码

如果此时run这个工程，则会报错，原因是工程里面有2个main函数，此时处理方法为：

在ffmpeg.h中添加一个函数声明：

int ffmpeg_main(int argc, char **argv);

在ffmpeg.c中找到main函数，把main函数改为ffmpeg_main。

（4）调用命令行范例

添加头文件：#import "ffmpeg.h"

调用命令行

    int numberOfArgs = 16;

    char** arguments = calloc(numberOfArgs, sizeof(char*));

     

    arguments[0] = "ffmpeg";

    arguments[1] = "-i";

    arguments[2] = inputPath;

    arguments[3] = "-ss";

    arguments[4] = "0";

    arguments[5] = "-t";

    arguments[6] = durationChar;

    arguments[7] = "-vcodec";

    arguments[8] = "copy";

    arguments[9] = "-acodec";

    arguments[10] = "aac";

    arguments[11] = "-strict";

    arguments[12] = "-2";

    arguments[13] = "-b:a";

    arguments[14] = "32k";

    arguments[15] = outputPath;

        

    int result = ffmpeg_main(numberOfArgs, arguments);

其中inputpath和outputpath是文件路径。经测试，这两个路径不支持asset-library://协议和file:// 协议，所以如果是要用相册的文件，我目前的解决办法是把它拷贝到沙盒里面。

6. 改关闭进程为关闭线程

如果顺利进行到了第5步，在app中是能够用命令行处理视频了，但会出现一个问题，app会退出。经肖大神提醒，发现了命令行执行完毕之后会退出进程。而iOS下只能启动一个进程，因此必须改关闭进程为关闭线程，或者直接把关闭进程的方法给注掉。

在ffmpeg.c中可以看到，执行退出进程的方法是exit_program，定位到了cmdutils.c中执行了c语言的exit方法。这里我将它改为了pthread_exit（需要添加#include 头文件）。在xcode项目中使用时，则可以用NSThread来新开一个线程，执行完毕之后，把线程关闭了即可。再使用NSThreadWillExitNotification通知，即可监听线程退出的情况。

7. 修复ffmpeg.c里面的一个bug

在实际项目中，可能需要多次调用命令行，但在多次调用命令行的过程中，发现ffmpeg.c的代码中会访问空属性导致程序崩溃。逐步debug后发现，很多指针已经置空了，但它们的计数却没有置零，不知道是不是ffmpeg.c的一个bug。修复方法如下：在ffmpeg_cleanup方法下，将各个计数器置零，包括：

nb_filtergraphs

nb_output_files

nb_output_streams

nb_input_files

nb_input_streams

置零之后，重复使用ffmpeg_main方法一切正常。

以上是近期研究ffmpeg的一些小结，目前对于ffmpeg还是处于刚认识阶段，对于其api的使用、命令行的具体参数等，都还需要继续研究和学习。