最近要为论文搭建实验环境,需要将FFmpeg移植到Android平台。参考很多前辈的技术文章,研究如下。另外,Android下的多媒体技术非常有意思,要学的东西很多,编译个小库只是很简单的一件事,麻烦的是如何在这个基础上去做应用。JNI如何封装,上层应用又如何跟底下的库协同工作,如何架构,这才是有价值的技术,会吗?
交叉编译主机:UBUNTU14.04LTS 64位
Android NDK:android-ndk-r9d-linux-x86_64.tar.bz2
Android SDK:adt-bundle-linux-x86_64-20140702.zip
这个过程没有什么技术含量
这类开源库的编译或者交叉编译无非就是三步:1 configure;2 make; make install
如果直接按照未修改的配置进行编译,结果编译出来的so文件类似libavcodec.so.55.39.101,版本号位于so之后,Android上似乎无法加载。因此需要按如下修改:
将该文件中的如下四行:
SLIBNAME_WITH_MAJOR='$(SLIBNAME).$(LIBMAJOR)'
LIB_INSTALL_EXTRA_CMD='$$(RANLIB)"$(LIBDIR)/$(LIBNAME)"'
SLIB_INSTALL_NAME='$(SLIBNAME_WITH_VERSION)'
SLIB_INSTALL_LINKS='$(SLIBNAME_WITH_MAJOR)$(SLIBNAME)'
替换为:
SLIBNAME_WITH_MAJOR='$(SLIBPREF)$(FULLNAME)-$(LIBMAJOR)$(SLIBSUF)'
LIB_INSTALL_EXTRA_CMD='$$(RANLIB)"$(LIBDIR)/$(LIBNAME)"'
SLIB_INSTALL_NAME='$(SLIBNAME_WITH_MAJOR)'
SLIB_INSTALL_LINKS='$(SLIBNAME)'
在此之后,可以开始配置,编写一个配置的shell脚本,内容如下:
#!/bin/bash NDK=/home/abc/tools/android_ndk/android-ndk-r9d/ SYSROOT=$NDK/platforms/android-16/arch-arm/ TOOLCHAIN=$NDK/toolchains/arm-linux-androideabi-4.8/prebuilt/linux-x86_64 function build_one { ./configure \ --prefix=$PREFIX \ --enable-shared \ --disable-static \ --disable-doc \ --disable-ffserver \ --enable-cross-compile \ --cross-prefix=$TOOLCHAIN/bin/arm-linux-androideabi- \ --target-os=linux \ --arch=arm \ --sysroot=$SYSROOT \ --extra-cflags="-Os -fpic $ADDI_CFLAGS" \ --extra-ldflags="$ADDI_LDFLAGS" \ $ADDITIONAL_CONFIGURE_FLAG } CPU=arm PREFIX=$(pwd)/android/$CPU ADDI_CFLAGS="-marm" build_one
make的时候可以多线程make,我的I7-4700是四核八线程的,用-j9。
LD libavutil/libavutil-54.so
LD libswscale/libswscale-3.so
LD libswresample/libswresample-1.so
LD libavcodec/libavcodec-56.so
LD libavformat/libavformat-56.so
LD libavfilter/libavfilter-5.so
LD libavdevice/libavdevice-56.so
在android/arm/目录下就有交叉编译好的include和lib目录,这些是所需的。抽取include目录下所有和lib目录里如下所示的文件:
-rwxr-xr-x 1 abc abc 8.5M 5月 6 15:18 libavcodec-56.so
-rwxr-xr-x 1 abc abc 58K 5月 6 15:18 libavdevice-56.so
-rwxr-xr-x 1 abc abc 790K 5月 6 15:18 libavfilter-5.so
-rwxr-xr-x 1 abc abc 1.6M 5月 6 15:18 libavformat-56.so
-rwxr-xr-x 1 abc abc 326K 5月 6 15:18 libavutil-54.so
-rwxr-xr-x 1 abc abc 82K 5月 6 15:18 libswresample-1.so
-rwxr-xr-x 1 abc abc 334K 5月 6 15:18 libswscale-3.so
至此,FFmpeg的编译就已经完成了,接下来,主要是将其应用在安桌应用程序里,一方面研究如何在Android应用中调用FFmpeg库来工作,另一方面,确认FFmpeg库是否能正常工作。
JNI项目的常规流程就是4步,先了解这四步:
A 创建一个类,其中包含要实现的native成员方法
B 用javah -jni A步定义的类生成的class名,生成头文件,用C/C++实现生成的头文件中的方法
C 编写Android.mk和Application.mk文件并处理好要用到的头文件和链接库文件
D ndk-build编译
public class FFmpegNative { static { System.loadLibrary("avutil-54"); // 1 System.loadLibrary("swresample-1"); // 2 System.loadLibrary("avcodec-56"); // 3 System.loadLibrary("avformat-56"); // 4 System.loadLibrary("swscale-3"); // 5 System.loadLibrary("avfilter-5"); // 6 System.loadLibrary("avdevice-56"); // 7 } public native int avcodec_find_decoder(int codecID); }其中定义了native成员方法,在eclipse中保存会自动编译为class文件。
在安桌工程的根目录下创建一个jni目录,用来放jni所有相关的文件。
将2中的lib文件和include目录下所有头文件放到jni下。再到android工程目录的bin/class目录下,执行如下命令:
javah -jni -d ../../jni/ com.example.ffmpeg4android.FFmpegNative即可生成头文件到jni目录,内容如下:
/* DO NOT EDIT THIS FILE - it is machine generated */ #include <jni.h> /* Header for class com_example_ffmpeg4android_FFmpegNative */ #ifndef _Included_com_example_ffmpeg4android_FFmpegNative #define _Included_com_example_ffmpeg4android_FFmpegNative #ifdef __cplusplus extern "C" { #endif /* * Class: com_example_ffmpeg4android_FFmpegNative * Method: avcodec_find_decoder * Signature: (I)I */ JNIEXPORT jint JNICALL Java_com_example_ffmpeg4android_FFmpegNative_avcodec_1find_1decoder (JNIEnv *, jobject, jint); #ifdef __cplusplus } #endif #endif实现其中的native方法,代码如下,保存在com_example_ffmpeg4android_FFmpegNative.c文件中:
#include <math.h> #include <libavutil/opt.h> #include <libavcodec/avcodec.h> #include <libavutil/channel_layout.h> #include <libavutil/common.h> #include <libavutil/imgutils.h> #include <libavutil/mathematics.h> #include <libavutil/samplefmt.h> #include <libavformat/avformat.h> #include <libswscale/swscale.h> #include <jni.h> #include "com_example_ffmpeg4android_FFmpegNative.h" jint JNICALL Java_com_example_ffmpeg4android_FFmpegNative_avcodec_1find_1decoder(JNIEnv *env, jobject obj, jint codecID) { AVCodec*codec = NULL; /*register all formats and codecs */ av_register_all(); codec= avcodec_find_decoder(codecID); // avcodec_find_decoder是根据codec的ID来找AVCodec的 if(codec != NULL) { return 0; } else { return -1; } }
在工程的jni目录下的Android.mk文件内容如下:
LOCAL_PATH := $(call my-dir) include $(CLEAR_VARS) LOCAL_MODULE :=avcodec-56 LOCAL_SRC_FILES :=libavcodec-56.so include $(PREBUILT_SHARED_LIBRARY) include $(CLEAR_VARS) LOCAL_MODULE :=avdevice-56 LOCAL_SRC_FILES :=libavdevice-56.so include $(PREBUILT_SHARED_LIBRARY) include $(CLEAR_VARS) LOCAL_MODULE :=avfilter-5 LOCAL_SRC_FILES :=libavfilter-5.so include $(PREBUILT_SHARED_LIBRARY) include $(CLEAR_VARS) LOCAL_MODULE :=avformat-56 LOCAL_SRC_FILES :=libavformat-56.so include $(PREBUILT_SHARED_LIBRARY) include $(CLEAR_VARS) LOCAL_MODULE := avutil-54 LOCAL_SRC_FILES :=libavutil-54.so include $(PREBUILT_SHARED_LIBRARY) include $(CLEAR_VARS) LOCAL_MODULE := avswresample-1 LOCAL_SRC_FILES :=libswresample-1.so include $(PREBUILT_SHARED_LIBRARY) LOCAL_MODULE := swscale-3 LOCAL_SRC_FILES :=libswscale-3.so include $(PREBUILT_SHARED_LIBRARY) include $(CLEAR_VARS) LOCAL_MODULE :=ffmpeg_codec LOCAL_SRC_FILES :=com_example_ffmpeg4android_FFmpegNative.c LOCAL_LDLIBS := -llog -ljnigraphics -lz -landroid LOCAL_SHARED_LIBRARIES:= avcodec-56 avdevice-56 avfilter-5 avformat-56 avutil-54 include $(BUILD_SHARED_LIBRARY)其中的Application.mk文件内容如下:
APP_ABI:=armeabi APP_PLATFORM:=android-16
abc@k610c:~/and_workspace/FFmpeg4Android/jni$ ndk-build [armeabi] Install : libavcodec-56.so => libs/armeabi/libavcodec-56.so [armeabi] Install : libavdevice-56.so => libs/armeabi/libavdevice-56.so [armeabi] Install : libavfilter-5.so => libs/armeabi/libavfilter-5.so [armeabi] Install : libavformat-56.so => libs/armeabi/libavformat-56.so [armeabi] Install : libswresample-1.so => libs/armeabi/libswresample-1.so [armeabi] Install : libavutil-54.so => libs/armeabi/libavutil-54.so [armeabi] Compile thumb : ffmpeg_codec <= com_example_ffmpeg4android_FFmpegNative.c [armeabi] SharedLibrary : libffmpeg_codec.so [armeabi] Install : libffmpeg_codec.so => libs/armeabi/libffmpeg_codec.so [armeabi] Prebuilt : libswscale-3.so <= jni/prebuilt/ [armeabi] Install : libswscale-3.so => libs/armeabi/libswscale-3.so
此时,已经生成了libffmpeg_codec.so这个文件,这个库是编写的jni代码生成的库,所以也要加载到应用。修改FFmpegNative类定义如下:
public class FFmpegNative { static { System.loadLibrary("avutil-54"); // 1 System.loadLibrary("swresample-1"); // 2 System.loadLibrary("avcodec-56"); // 3 System.loadLibrary("avformat-56"); // 4 System.loadLibrary("swscale-3"); // 5 System.loadLibrary("avfilter-5"); // 6 System.loadLibrary("avdevice-56"); // 7 System.loadLibrary("ffmpeg_codec"); // 8 /*特别注意,在ffmpeg2.5中这8个库的顺序是不能错的,因为,加库的时候库有先后依赖关系*/ } public native int avcodec_find_decoder(int codecID); }
在Activity里面创建一个TextView控件,然后根据调用native方法的返回值结果来显示。
TextView tv = (TextView)this.findViewById(R.id.textview_hello); FFmpegNative ffmpeg = new FFmpegNative(); int codecId = 28; //H.264 int res = ffmpeg.avcodec_find_decoder(codecId); if(res == 0) { tv.setText("Success"); } else { tv.setText("Failed"); }
结果显示Success