一,问题描述
一般情况下我们通过手机播放器播放视频的时候,都是通过UI界面上的按钮,触发播放事件。而显示视频流文件的控件SurfaceView则是跟随播放进度刷新每一帧的播放画面。
然而,有时候,有时候……我们需要通过UI线程来代替按钮事件,来达到控制视频播放的效果。怎么办呢?有时候,光出现声音,没有画面是怎么回事呢?
二,问题解决
上一篇【Android】UI界面外的线程,控制刷新UI界面中告诉我们通过Handler 对象重载其中方法 handleMessage(Message msg)来监听其他线程发送来的消息,从而更新UI界面显示。这对一般的空间更新还是能起到效果的。但是对于SurfaceView 似乎不见效。
原因:SurfaceView 简介(以下关于SurfacView介绍来源于百度文库)
SurfaceView是视图(View)的继承类,这个视图里内嵌了一个专门用于绘制的Surface。你可以控制这个Surface的格式和尺寸。Surfaceview控制这个Surface的绘制位置。
surface是纵深排序(Z-ordered)的,这表明它总在自己所在窗口的后面。surfaceview提供了一个可见区域,只有在这个可见区域内的surface部分内容才可见,可见区域外的部分不可见。surface的排版显示受到视图层级关系的影响,它的兄弟视图结点会在顶端显示。这意味者 surface的内容会被它的兄弟视图遮挡,这一特性可以用来放置遮盖物(overlays)(例如,文本和按钮等控件)。注意,如果surface上面有透明控件,那么它的每次变化都会引起框架重新计算它和顶层控件的透明效果,这会影响性能。
你可以通过SurfaceHolder接口访问这个surface,getHolder()方法可以得到这个接口。
surfaceview变得可见时,surface被创建;surfaceview隐藏前,surface被销毁。这样能节省资源。如果你要查看 surface被创建和销毁的时机,可以重载surfaceCreated(SurfaceHolder)和 surfaceDestroyed(SurfaceHolder)。
surfaceview的核心在于提供了两个线程:UI线程和渲染线程。这里应注意:
1> 所有SurfaceView和SurfaceHolder.Callback的方法都应该在UI线程里调用,一般来说就是应用程序主线程。渲染线程所要访问的各种变量应该作同步处理。
2> 由于surface可能被销毁,它只在SurfaceHolder.Callback.surfaceCreated()和 SurfaceHolder.Callback.surfaceDestroyed()之间有效,所以要确保渲染线程访问的是合法有效的surface。
接下来呢,说说自己对它的理解
1、定义
可以直接从内存或者DMA等硬件接口取得图像数据,是个非常重要的绘图容器。
它的特性是:可以在主线程之外的线程中向屏幕绘图上。这样可以避免画图任务繁重的时候造成主线程阻塞,从而提高了程序的反应速度。在游戏开发中多用到SurfaceView,游戏中的背景、人物、动画等等尽量在画布canvas中画出。
2、实现
首先继承SurfaceView并实现SurfaceHolder.Callback接口
使用接口的原因:因为使用SurfaceView有一个原则,所有的绘图工作必须得在Surface被创建之后才能开始(Surface—表面,这个概念在 图形编程中常常被提到。基本上我们可以把它当作显存的一个映射,写入到Surface的内容
可以被直接复制到显存从而显示出来,这使得显示速度会非常快),而在Surface被销毁之前必须结束。所以Callback中的surfaceCreated和surfaceDestroyed就成了绘图处理代码的边界。
需要重写的方法 implements SurfaceHolder.Callback
(1)public void surfaceChanged(SurfaceHolder holder,int format,int width,int height){}
//在surface的大小发生改变时激发
(2)public void surfaceCreated(SurfaceHolder holder){}
//在创建时激发,一般在这里调用画图的线程。
(3)public void surfaceDestroyed(SurfaceHolder holder) {}
//销毁时激发,一般在这里将画图的线程停止、释放。
整个过程:继承SurfaceView并实现SurfaceHolder.Callback接口 ----> SurfaceView.getHolder()获得SurfaceHolder对象 ---->SurfaceHolder.addCallback(callback)添加回调函数---->SurfaceHolder.lockCanvas()获得Canvas对象并锁定画布----> Canvas绘画 ---->SurfaceHolder.unlockCanvasAndPost(Canvas canvas)结束锁定画图,并提交改变,将图形显示。
3、SurfaceHolder
这里用到了一个类SurfaceHolder,可以把它当成surface的控制器,用来操纵surface。处理它的Canvas上画的效果和动画,控制表面,大小,像素等。
几个需要注意的方法:
(1)、abstract void addCallback(SurfaceHolder.Callback callback);
// 给SurfaceView当前的持有者一个回调对象。
(2)、abstract Canvas lockCanvas();
// 锁定画布,一般在锁定后就可以通过其返回的画布对象Canvas,在其上面画图等操作了。
(3)、abstract Canvas lockCanvas(Rect dirty);
// 锁定画布的某个区域进行画图等..因为画完图后,会调用下面的unlockCanvasAndPost来改变显示内容。
// 相对部分内存要求比较高的游戏来说,可以不用重画dirty外的其它区域的像素,可以提高速度。
(4)、abstract void unlockCanvasAndPost(Canvas canvas);
// 结束锁定画图,并提交改变。
三,说了这么多废话,不知道您有没有不耐烦?反正我自己解决这个问题的时候,有些耐不住了。因为网上这方面的资料难找。
说白了,要想实现音频和视频同步,需要在SurfaceView创建完成后才能正常播放音频视频同步文件。所以需要在方法中启动控制视频播放、停止信号的线程: public void surfaceCreated(SurfaceHolder holder){}
四,上图
五,代码示例
import java.util.Timer; import java.util.TimerTask; import android.app.Activity; import android.graphics.PixelFormat; import android.os.Bundle; import android.util.*; import android.view.SurfaceHolder; import android.view.SurfaceView; import android.view.View; import android.widget.ImageButton; import android.widget.SeekBar; import android.widget.TextView; import android.widget.Toast; import android.media.AudioManager; import android.media.MediaPlayer; import android.os.Handler; import android.os.Message; import android.widget.Button; public class hello extends Activity implements SurfaceHolder.Callback { private TextView mTextView; private MediaPlayer mMediaPlayer; private SurfaceView mSurfaceView; private SurfaceHolder mSurfaceHolder01; private ImageButton mPlay; private ImageButton mPause; private ImageButton mReset; private ImageButton mStop; private Button all_release; private boolean bIsPlay = false; private boolean bIsPaused = false; private boolean bIsReleased = false; private String strVideoPath = ""; public SeekBar seekBar=null; private Timer mTimer; private TimerTask mTimerTask; private boolean isChanging=false; String java_string="/sdcard/a.3gp?formatID=784444"; int allTime,currentTime; public static int action = 1;//1:play,2:stop,3:pause,4:resume,5:seek, Handler handler; void addTime() { mTimer = new Timer(); mTimerTask = new TimerTask() { public void run() { if(isChanging==true)//拖动按钮时候 return; else seekBar.setProgress(mMediaPlayer.getCurrentPosition()); } }; } @Override public void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout.main); mTextView = (TextView)findViewById(R.id.myTextView1); getWindow().setFormat(PixelFormat.UNKNOWN); mSurfaceView = (SurfaceView) findViewById(R.id.mSurfaceView1); mSurfaceHolder01 = mSurfaceView.getHolder(); mSurfaceHolder01.addCallback(this); mSurfaceHolder01.setFixedSize(176,144); mSurfaceHolder01.setType(SurfaceHolder.SURFACE_TYPE_PUSH_BUFFERS); seekBar=(SeekBar)findViewById(R.id.seekBar); seekBar.setOnSeekBarChangeListener(new SeekBarChangeEvent()); mPlay = (ImageButton) findViewById(R.id.play); mPause = (ImageButton) findViewById(R.id.pause); mReset = (ImageButton) findViewById(R.id.reset); mStop = (ImageButton) findViewById(R.id.stop); all_release= (Button) findViewById(R.id.all_release); strVideoPath=java_string.substring(0, java_string.lastIndexOf('?')); /*************红色*******************/ handler = new Handler(){ @Override public void handleMessage(Message msg) { switch(msg.what) { case 1:mPlay.performClick();break; case 2:mStop.performClick();break; case 3:mPause.performClick();break; case 4:mReset.performClick();break; case 5:break; default:break; } } }; /*************红色*******************/ mPlay.setOnClickListener(new ImageButton.OnClickListener() { public void onClick(View view) { if(!bIsPlay)//û�в��ŵ�ʱ�� { bIsPlay=true; mPlay.setEnabled(false);//�ð���ʧ�� playVideo(strVideoPath); seekBar.setMax(mMediaPlayer.getDuration()); Toast.makeText(hello.this, "Total Time:"+mMediaPlayer.getDuration(), 5000).show(); addTime(); mTimer.schedule(mTimerTask, 0, 500); //dmr_update_message("PLAY",0);//�ϴ����� } } }); mPause.setOnClickListener(new ImageButton.OnClickListener() { public void onClick(View view) { // bIsPlay=!bIsPlay; if (mMediaPlayer != null) { if(bIsReleased == false) { if(bIsPaused==false) { mMediaPlayer.pause(); bIsPaused = true; mTextView.setText(R.string.str_pause); } else if(bIsPaused==true) { mMediaPlayer.start(); bIsPaused = false; mTextView.setText(R.string.str_play); } } } } }); mReset.setOnClickListener(new ImageButton.OnClickListener() { public void onClick(View view) { if(bIsReleased == false) { if (mMediaPlayer != null) { mMediaPlayer.seekTo(0); } } } }); mStop.setOnClickListener(new ImageButton.OnClickListener() { public void onClick(View view) { if (mMediaPlayer != null) { if(bIsReleased==false) { mTimer.cancel();//��ֹͣȻ���ٿ�ʼ seekBar.setProgress(0); mMediaPlayer.stop(); mMediaPlayer.release(); bIsReleased = true; mPlay.setEnabled(true); bIsPlay=false; mTextView.setText(R.string.str_stop); } } } }); all_release.setOnClickListener(new Button.OnClickListener() { public void onClick(View arg0) { } }); } public void playVideo(String strPath) { mMediaPlayer = new MediaPlayer(); mMediaPlayer.setAudioStreamType(AudioManager.STREAM_MUSIC); mMediaPlayer.setDisplay(mSurfaceHolder01); try { mMediaPlayer.setDataSource(strPath); } catch (Exception e) { mTextView.setText("setDataSource Exceeption:"+e.toString()); } try { mMediaPlayer.prepare(); } catch (Exception e) { mTextView.setText("prepare Exceeption:"+e.toString()); } mMediaPlayer.start(); bIsReleased = false; mTextView.setText(R.string.str_play); mMediaPlayer.setOnCompletionListener (new MediaPlayer.OnCompletionListener() { @Override public void onCompletion(MediaPlayer arg0) { mTextView.setText(R.string.str_stop); } }); } @Override public void surfaceChanged(SurfaceHolder surfaceholder, int format, int w, int h) { Log.i(TAG, "Surface Changed"); } @Override public void surfaceCreated(SurfaceHolder surfaceholder) {/*************红色*******************/ new Thread() { @Override public void run() { switch(action) { case 1:handler.sendEmptyMessage(1);break; case 2:handler.sendEmptyMessage(2);break; case 3:handler.sendEmptyMessage(3);break; case 4:handler.sendEmptyMessage(4);break; case 5:handler.sendEmptyMessage(5);break; default:break; } } }.start(); /*************红色*******************/ } @Override public void surfaceDestroyed(SurfaceHolder surfaceholder) { Log.i(TAG, "Surface Destroyed"); } class SeekBarChangeEvent implements SeekBar.OnSeekBarChangeListener { @Override public void onProgressChanged(SeekBar seekBar, int progress,boolean fromUser) { } @Override public void onStartTrackingTouch(SeekBar seekBar) { isChanging=true; } @Override public void onStopTrackingTouch(SeekBar seekBar) { mMediaPlayer.seekTo(seekBar.getProgress()); isChanging=false; } } }
六,解释:本例子有用的部分为红色标记部分,实现功能为:通过改变全局信号action的值来控制视频播放,这里没有完善action如何改变,已经循环监听action的部分代码。只是希望你能理解,如何解决音频、视频不同步的问题。
限于笔者水平,有不当之处还请指出。