Android多线程断点续传下载
原理
其实断点续传的原理很简单,从字面上理解,所谓断点续传就是从停止的地方重新下载。
断点:线程停止的位置。
续传:从停止的位置重新下载。
用代码解析就是:
断点 : 当前线程已经下载完成的数据长度。
续传 : 向服务器请求上次线程停止位置之后的数据。
原理知道了,功能实现起来也简单。每当线程停止时就把已下载的数据长度写入记录文件,当重新下载时,从记录文件读取已经下载了的长度。而这个长度就是所需要的断点。
续传的实现也简单,可以通过设置网络请求参数,请求服务器从指定的位置开始读取数据。
而要实现这两个功能只需要使用到httpURLconnection里面的setRequestProperty方法便可以实现.
publicvoidsetRequestProperty(String field, String newValue)
如下所示,便是向服务器请求500-1000之间的500个byte:
conn.setRequestProperty("Range","bytes="+500+"-"+1000);
以上只是续传的一部分需求,当我们获取到下载数据时,还需要将数据写入文件,而普通发File对象并不提供从指定位置写入数据的功能,这个时候,就需要使用到RandomAccessFile来实现从指定位置给文件写入数据的功能。
publicvoidseek(longoffset)
如下所示,便是从文件的的第100个byte后开始写入数据。
raFile.seek(100);
而开始写入数据时还需要用到RandomAccessFile里面的另外一个方法
publicvoidwrite(byte[] buffer,intbyteOffset,intbyteCount)
该方法的使用和OutputStream的write的使用一模一样...
以上便是断点续传的原理。
多线程断点续传
而多线程断点续传便是在单线程的断点续传上延伸的,而多线程断点续传是把整个文件分割成几个部分,每个部分由一条线程执行下载,而每一条下载线程都要实现断点续传功能。
为了实现文件分割功能,我们需要使用到httpURLconnection的另外一个方法:
publicintgetContentLength()
当请求成功时,可以通过该方法获取到文件的总长度。
每一条线程下载大小 = fileLength / THREAD_NUM
如下图所示,描述的便是多线程的下载模型:
多线程下载描述
在多线程断点续传下载中,有一点需要特别注意:
由于文件是分成多个部分是被不同的线程的同时下载的,这就需要,每一条线程都分别需要有一个断点记录,和一个线程完成状态的记录;
如下图所示:
多线程记录
只有所有线程的下载状态都处于完成状态时,才能表示文件已经下载完成。
实现记录的方法多种多样,我这里采用的是JDK自带的Properties类来记录下载参数。
断点续传结构
通过原理的了解,便可以很快的设计出断点续传工具类的基本结构图
这里写图片描述
IDownloadListener.java
packagecom.arialyy.frame.http.inf;importjava.net.HttpURLConnection;/**
* 在这里面编写你的业务逻辑
*/publicinterfaceIDownloadListener{/**
* 取消下载
*/publicvoidonCancel();/**
* 下载失败
*/publicvoidonFail();/**
* 下载预处理,可通过HttpURLConnection获取文件长度
*/publicvoidonPreDownload(HttpURLConnection connection);/**
* 下载监听
*/publicvoidonProgress(longcurrentLocation);/**
* 单一线程的结束位置
*/publicvoidonChildComplete(longfinishLocation);/**
* 开始
*/publicvoidonStart(longstartLocation);/**
* 子程恢复下载的位置
*/publicvoidonChildResume(longresumeLocation);/**
* 恢复位置
*/publicvoidonResume(longresumeLocation);/**
* 停止
*/publicvoidonStop(longstopLocation);/**
* 下载完成
*/publicvoidonComplete(); }
该类是下载监听接口
DownloadListener.java
importjava.net.HttpURLConnection;/**
* 下载监听
*/publicclassDownloadListenerimplementsIDownloadListener{@OverridepublicvoidonResume(longresumeLocation){ }@OverridepublicvoidonCancel(){ }@OverridepublicvoidonFail(){ }@OverridepublicvoidonPreDownload(HttpURLConnection connection){ }@OverridepublicvoidonProgress(longcurrentLocation){ }@OverridepublicvoidonChildComplete(longfinishLocation){ }@OverridepublicvoidonStart(longstartLocation){ }@OverridepublicvoidonChildResume(longresumeLocation){ }@OverridepublicvoidonStop(longstopLocation){ }@OverridepublicvoidonComplete(){ }}
下载参数实体
/**
* 子线程下载信息类
*/privateclassDownloadEntity{//文件总长度longfileSize;//下载链接String downloadUrl;//线程IdintthreadId;//起始下载位置longstartLocation;//结束下载的文章longendLocation;//下载文件File tempFile; Context context;publicDownloadEntity(Context context,longfileSize, String downloadUrl, File file,intthreadId,longstartLocation,longendLocation){this.fileSize = fileSize;this.downloadUrl = downloadUrl;this.tempFile = file;this.threadId = threadId;this.startLocation = startLocation;this.endLocation = endLocation;this.context = context; } }
该类是下载信息配置类,每一条子线程的下载都需要一个下载实体来配置下载信息。
下载任务线程
/**
* 多线程下载任务类
*/privateclassDownLoadTaskimplementsRunnable{privatestaticfinalString TAG ="DownLoadTask";privateDownloadEntity dEntity;privateString configFPath;publicDownLoadTask(DownloadEntity downloadInfo){this.dEntity = downloadInfo; configFPath = dEntity.context.getFilesDir().getPath() +"/temp/"+ dEntity.tempFile.getName() +".properties"; }@Overridepublicvoidrun(){try{ L.d(TAG,"线程_"+ dEntity.threadId +"_正在下载【"+"开始位置 : "+ dEntity.startLocation +",结束位置:"+ dEntity.endLocation +"】"); URL url =newURL(dEntity.downloadUrl); HttpURLConnection conn = (HttpURLConnection) url.openConnection();//在头里面请求下载开始位置和结束位置conn.setRequestProperty("Range","bytes="+ dEntity.startLocation +"-"+ dEntity.endLocation); conn.setRequestMethod("GET"); conn.setRequestProperty("Charset","UTF-8"); conn.setConnectTimeout(TIME_OUT); conn.setRequestProperty("User-Agent","Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.2; Trident/4.0; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)"); conn.setRequestProperty("Accept","image/gif, image/jpeg, image/pjpeg, image/pjpeg, application/x-shockwave-flash, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*"); conn.setReadTimeout(2000);//设置读取流的等待时间,必须设置该参数InputStream is = conn.getInputStream();//创建可设置位置的文件RandomAccessFile file =newRandomAccessFile(dEntity.tempFile,"rwd");//设置每条线程写入文件的位置file.seek(dEntity.startLocation);byte[] buffer =newbyte[1024];intlen;//当前子线程的下载位置longcurrentLocation = dEntity.startLocation;while((len = is.read(buffer)) != -1) {if(isCancel) { L.d(TAG,"++++++++++ thread_"+ dEntity.threadId +"_cancel ++++++++++");break; }if(isStop) {break; }//把下载数据数据写入文件file.write(buffer,0, len);synchronized(DownLoadUtil.this) { mCurrentLocation += len; mListener.onProgress(mCurrentLocation); } currentLocation += len; } file.close(); is.close();if(isCancel) {synchronized(DownLoadUtil.this) { mCancelNum++;if(mCancelNum == THREAD_NUM) { File configFile =newFile(configFPath);if(configFile.exists()) { configFile.delete(); }if(dEntity.tempFile.exists()) { dEntity.tempFile.delete(); } L.d(TAG,"++++++++++++++++ onCancel +++++++++++++++++"); isDownloading =false; mListener.onCancel(); System.gc(); } }return; }//停止状态不需要删除记录文件if(isStop) {synchronized(DownLoadUtil.this) { mStopNum++; String location = String.valueOf(currentLocation); L.i(TAG,"thread_"+ dEntity.threadId +"_stop, stop location ==> "+ currentLocation); writeConfig(dEntity.tempFile.getName() +"_record_"+ dEntity.threadId, location);if(mStopNum == THREAD_NUM) { L.d(TAG,"++++++++++++++++ onStop +++++++++++++++++"); isDownloading =false; mListener.onStop(mCurrentLocation); System.gc(); } }return; } L.i(TAG,"线程【"+ dEntity.threadId +"】下载完毕"); writeConfig(dEntity.tempFile.getName() +"_state_"+ dEntity.threadId,1+""); mListener.onChildComplete(dEntity.endLocation); mCompleteThreadNum++;if(mCompleteThreadNum == THREAD_NUM) { File configFile =newFile(configFPath);if(configFile.exists()) { configFile.delete(); } mListener.onComplete(); isDownloading =false; System.gc(); } }catch(MalformedURLException e) { e.printStackTrace(); isDownloading =false; mListener.onFail(); }catch(IOException e) { FL.e(this,"下载失败【"+ dEntity.downloadUrl +"】"+ FL.getPrintException(e)); isDownloading =false; mListener.onFail(); }catch(Exception e) { FL.e(this,"获取流失败"+ FL.getPrintException(e)); isDownloading =false; mListener.onFail(); } }
这个是每条下载子线程的下载任务类,子线程通过下载实体对每一条线程进行下载配置,由于在多断点续传的概念里,停止表示的是暂停状态,而恢复表示的是线程从记录的断点重新进行下载,所以,线程处于停止状态时是不能删除记录文件的。
下载入口
/** * 多线程断点续传下载文件,暂停和继续 * *@paramcontext 必须添加该参数,不能使用全局变量的context *@paramdownloadUrl 下载路径 *@paramfilePath 保存路径 *@paramdownloadListener 下载进度监听 {@linkDownloadListener} */publicvoiddownload(finalContext context, @NonNullfinalString downloadUrl, @NonNullfinalString filePath, @NonNullfinalDownloadListener downloadListener){ isDownloading =true; mCurrentLocation =0; isStop =false; isCancel =false; mCancelNum =0; mStopNum =0;finalFile dFile =newFile(filePath);//读取已完成的线程数finalFile configFile =newFile(context.getFilesDir().getPath() +"/temp/"+ dFile.getName() +".properties");try{if(!configFile.exists()) {//记录文件被删除,则重新下载newTask =true; FileUtil.createFile(configFile.getPath()); }else{ newTask =false; } }catch(Exception e) { e.printStackTrace(); mListener.onFail();return; } newTask = !dFile.exists();newThread(newRunnable() {@Overridepublicvoidrun(){try{ mListener = downloadListener; URL url =newURL(downloadUrl); HttpURLConnection conn = (HttpURLConnection) url.openConnection(); conn.setRequestMethod("GET"); conn.setRequestProperty("Charset","UTF-8"); conn.setConnectTimeout(TIME_OUT); conn.setRequestProperty("User-Agent","Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.2; Trident/4.0; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)"); conn.setRequestProperty("Accept","image/gif, image/jpeg, image/pjpeg, image/pjpeg, application/x-shockwave-flash, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*"); conn.connect();intlen = conn.getContentLength();if(len <0) {//网络被劫持时会出现这个问题mListener.onFail();return; }intcode = conn.getResponseCode();if(code ==200) {intfileLength = conn.getContentLength();//必须建一个文件FileUtil.createFile(filePath); RandomAccessFile file =newRandomAccessFile(filePath,"rwd");//设置文件长度file.setLength(fileLength); mListener.onPreDownload(conn);//分配每条线程的下载区间Properties pro =null; pro = Util.loadConfig(configFile);intblockSize = fileLength / THREAD_NUM; SparseArray tasks =newSparseArray<>();for(inti =0; i < THREAD_NUM; i++) {longstartL = i * blockSize, endL = (i +1) * blockSize; Object state = pro.getProperty(dFile.getName() +"_state_"+ i);if(state !=null&& Integer.parseInt(state +"") ==1) {//该线程已经完成mCurrentLocation += endL - startL; L.d(TAG,"++++++++++ 线程_"+ i +"_已经下载完成 ++++++++++"); mCompleteThreadNum++;if(mCompleteThreadNum == THREAD_NUM) {if(configFile.exists()) { configFile.delete(); } mListener.onComplete(); isDownloading =false; System.gc();return; }continue; }//分配下载位置Object record = pro.getProperty(dFile.getName() +"_record_"+ i);if(!newTask && record !=null&& Long.parseLong(record +"") >0) {//如果有记录,则恢复下载Long r = Long.parseLong(record +""); mCurrentLocation += r - startL; L.d(TAG,"++++++++++ 线程_"+ i +"_恢复下载 ++++++++++"); mListener.onChildResume(r); startL = r; }if(i == (THREAD_NUM -1)) { endL = fileLength;//如果整个文件的大小不为线程个数的整数倍,则最后一个线程的结束位置即为文件的总长度} DownloadEntity entity =newDownloadEntity(context, fileLength, downloadUrl, dFile, i, startL, endL); DownLoadTask task =newDownLoadTask(entity); tasks.put(i,newThread(task)); }if(mCurrentLocation >0) { mListener.onResume(mCurrentLocation); }else{ mListener.onStart(mCurrentLocation); }for(inti =0, count = tasks.size(); i < count; i++) { Thread task = tasks.get(i);if(task !=null) { task.start(); } } }else{ FL.e(TAG,"下载失败,返回码:"+ code); isDownloading =false; System.gc(); mListener.onFail(); } }catch(IOException e) { FL.e(this,"下载失败【downloadUrl:"+ downloadUrl +"】\n【filePath:"+ filePath +"】"+ FL.getPrintException(e)); isDownloading =false; mListener.onFail(); } } }).start(); }
其实也没啥好说的,注释已经很完整了,需要注意两点
1、恢复下载时:已下载的文件大小 = 该线程的上一次断点的位置 - 该线程起始下载位置;
2、为了保证下载文件的完整性,只要记录文件不存在就需要重新进行下载;
最终效果
最终效果