多线程下载网络资源

创建多个线程在单位时间内便可以获得更多的服务端资源，可以加快下载速度。但是也并不是线程越多越好，假设我们在客户端新建了10000个线程，此时服务端的CPU就会在线程间的轮询切换上消耗大量的时间，而真正用来下载数据资源的时间就会减少。同时，由于客户端和服务端物理带宽的限制，下载速度也会受到极大的关联。

下面我将用多线程下载网络上的资源，代码如下：

package hxl.insist.two;

import java.io.InputStream;
import java.io.RandomAccessFile;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.concurrent.CountDownLatch;

/**
 * 多线程从网络服务器上下载资源
 * @author Hanxl
 */
public class MultiThreadDownload {
	/**
	 * 下载的线程数量
	 */
	private int threadCount;
	
	/**
	 * 资源的Url路径
	 */
	private String resourcePath;
	
	/**
	 * 保存到本地的文件名
	 */
	private String fileName;
	
	/**
	 * 锁存器，判断所有子线程是否运行完毕
	 */
	final CountDownLatch cdl = new CountDownLatch(threadCount);
	
	public MultiThreadDownload(int threadCount,String resourcePath,String fileName) {
		this.threadCount = threadCount;
		this.resourcePath = resourcePath;
		this.fileName = fileName;
	}
	
	/**
	 * 在本地创建一个和网络资源相同大小的文件
	 * @return 网络资源文件大小
	 */
	private int createLocalFile() throws Exception {
		URL url = new URL(resourcePath);
		HttpURLConnection conn = (HttpURLConnection) url.openConnection();
		//将请求方式设为Get
		conn.setRequestMethod("GET");
		//设置请求超时时间
		conn.setConnectTimeout(5000);
		//获取响应的状态码
		int statusCode = conn.getResponseCode();
		int resourceSize = 0;
		if(statusCode == 200) {
			//取得网络资源文件的大小
			resourceSize = conn.getContentLength();
			//在本地创建一个和网络资源相同大小的文件
			RandomAccessFile localFile = new RandomAccessFile(fileName, "rw");
			localFile.setLength(resourceSize);
		}
		return resourceSize;
	}
	
	/**
	 *	创建线程并从网络上开始下载资源
	 */
	private void createThreadAndDownload(final int startIndex,final int endIndex) {
		new Thread(new Runnable() {
			@Override
			public void run() {
				try {
					URL url = new URL(resourcePath);
					HttpURLConnection conn = (HttpURLConnection) url.openConnection();
					conn.setRequestMethod("GET");
					conn.setConnectTimeout(5000);
					//为服务器指定下载的资源是哪一部分
					conn.setRequestProperty("Range", "bytes=" + startIndex + "-"+endIndex);
					//206表示请求部分数据成功
					int code = conn.getResponseCode();
					if(code == 206) {
						RandomAccessFile localFile = new RandomAccessFile(fileName, "rw");
						InputStream is = conn.getInputStream();
						localFile.seek(startIndex);
						System.out.println(Thread.currentThread().getName() + " : " + "开始下载" + startIndex + "---" + endIndex);
						int len = -1;
						byte[] bufferArea = new byte[1024];
						while((len = is.read(bufferArea)) != -1) {
							localFile.write(bufferArea, 0, len);
						}
						is.close();
						localFile.close();
						//递减锁存器的计数，如果计数到达零，则释放所有等待的线程。
						cdl.countDown();
						System.out.println(Thread.currentThread().getName() + " : " + "下载完毕");
					}
				} catch (Exception e) {
					e.printStackTrace();
				} finally {
				}
			}
		}).start();
	}

	/**
	 * 让程序开始从网络上下载资源
	 */
	public void startDownload() throws Exception {
		int resourceSize = createLocalFile();
		if(resourceSize != 0) {
			//将资源大小按线程数量等分
			int resourceAverageSize = resourceSize / threadCount;
			for(int threadIndex = 0;threadIndex < threadCount;threadIndex++) {
				//为每个线程指定下载位置
				final int startIndex = threadIndex * resourceAverageSize;
				int endIndex = startIndex + resourceAverageSize - 1;
				if(threadIndex == (threadCount - 1)) {
					endIndex = resourceSize - 1;
				}
				createThreadAndDownload(startIndex,endIndex);
			}
		}
		
		while (true) {
			//直到锁存器倒计数至零之前一直等待
			cdl.await();
			break;
		}
	}
	
	public static void main(String[] args) {
		try {
			if(args.length == 3) {
				MultiThreadDownload mtd = new MultiThreadDownload(Integer.parseInt(args[0]),args[1],args[2]);
				mtd.startDownload();
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
}

如果在有足够带宽的情况下，适当增加线程的个数，确实是加快了下载的速度。