直接用socket完成HTTP下载

程序运行效果截图:


HTTP下载Socket 下载本文所附源代码

     从HTTP服务器上下载一个文件有很多方法,"热心"的微软提供了WinInet类,用起来也很方便.当然,我们也可以自己实现这些功能,通过格式化请求头很容易就能实现断点续传和检查更新等等功能.本文附带的工程中有一个支持HTTP1.1协议,直接用Socket实现下载功能的DLL,实现了以下功能:
1.连接主机
2.格式化请求头
3.设置接收,发送超时
4.接收并分析回应头
连接,发送,设置超时,接收数据等我就不细说了,windows socket早就做好了,调用相应的函数就OK了.
    要想从服务器下载文件,首先要向服务器发送一个请求.HTTP请求头由若干行字符串组成.下面结合实例说说HTTP请求头的格式.假设要下载http://www.sina.com.cn/index.html这个网页,那么请求头的写法如下:
第1行:方法,请求的内容,HTTP协议的版本
下载一般可以用GET方法,请求的内容是"/index.html",HTTP协议的版本是指浏览器支持的版本,对于下载软件来说无所谓,所以用1.1版 "HTTP/1.1";
"GET /index.html HTTP/1.1"
第2行:主机名,格式为"Host:主机"
在这个例子中是:"Host:www.sina.com.cn"
第3行:接受的数据类型.下载软件当然要接收所有的数据类型,所以:
"Accept:*/*"
第4行:指定浏览器的类型
有些服务器会根据客户服务器种类的不同会增加或减少一些内容,在这个例子中可以这样写:
"User-Agent:Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)"
第5行:连接设置
设定为一直保持连接:"Connection:Keep-Alive"
第6行:若要实现断点续传则要指定从什么位置起接收数据,格式如下
"Range: bytes=起始位置 - 终止位置"
比如要读前500个字节可以这样写:"Range: bytes=0 - 499"; 从第 1000个字节起开始下载:"Range: bytes=999 -"
最后,别忘了加上一行空行,表示请求头结束.整个请求头如下:
GET /index.html HTTP/1.1
Host:www.sina.com.cn
Accept:*/*
User-Agent:Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)
Connection:Keep-Alive
CHttpSocket提供了FormatRequestHeader()函数,用以格式化输出HTTP请求头.代码如下:

///根据请求的相对URL输出HTTP请求头

const char *CHttpSocket::FormatRequestHeader(char *pServer,char *pObject, long &Length,

									  char *pCookie,char *pReferer,long nFrom,

									  long nTo,int nServerType)

{

	char szPort[10];

	char szTemp[20];

	sprintf(szPort,"%d",m_port);

	memset(m_requestheader,'/0',1024);



	///第1行:方法,请求的路径,版本

	strcat(m_requestheader,"GET ");

	strcat(m_requestheader,pObject);

	strcat(m_requestheader," HTTP/1.1");

    strcat(m_requestheader,"/r/n");



	///第2行:主机

    strcat(m_requestheader,"Host:");

	strcat(m_requestheader,pServer);

    strcat(m_requestheader,"/r/n");



	///第3行:

	if(pReferer != NULL)

	{

		strcat(m_requestheader,"Referer:");

		strcat(m_requestheader,pReferer);

		strcat(m_requestheader,"/r/n");		

	}



	///第4行:接收的数据类型

    strcat(m_requestheader,"Accept:*/*");

    strcat(m_requestheader,"/r/n");



	///第5行:浏览器类型

    strcat(m_requestheader,"User-Agent:Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)");

    strcat(m_requestheader,"/r/n");



	///第6行:连接设置,保持

	strcat(m_requestheader,"Connection:Keep-Alive");

	strcat(m_requestheader,"/r/n");



	///第7行:Cookie.

	if(pCookie != NULL)

	{

		strcat(m_requestheader,"Set Cookie:0");

		strcat(m_requestheader,pCookie);

		strcat(m_requestheader,"/r/n");

	}



	///第8行:请求的数据起始字节位置(断点续传的关键)

	if(nFrom > 0)

	{

		strcat(m_requestheader,"Range: bytes=");

		_ltoa(nFrom,szTemp,10);

		strcat(m_requestheader,szTemp);

		strcat(m_requestheader,"-");

		if(nTo > nFrom)

		{

			_ltoa(nTo,szTemp,10);

			strcat(m_requestheader,szTemp);

		}

		strcat(m_requestheader,"/r/n");

	}

	

	///最后一行:空行

	strcat(m_requestheader,"/r/n");



	///返回结果

	Length=strlen(m_requestheader);

	return m_requestheader;

}

        请求头发送给服务器后就可以接收来自服务器的回应头了.回应头也是由若干行字符串组成,除了第一行和最后一个空行以外,每一行都由一个域和一个值组成.第一行包括了服务器的回应状态,从 2XX 到 5XX,每个状态码都有不同的意思,详细内容可以查看 RFC文档下载需要关心的有: 2XX表示成功,可以继续读取数据;3XX表示目标已经转移,新的地址在"Location"域中;4XX表示客户端错,可能是下载地址不对,等等;5XX表示服务器端错.回应头中的域有"Content-Length","Accept-Ranges","Content-Type","Date","Last-Modified","Location"等等内容,下载比较关心的域有"Content-Length"域和"Location"域."Content-Length"表示下载文件的大小,"Location"表示目标的实际存放位置,当回应码为3XX时就要用该域中的值重新连接.
    附带源码中的CHttpSocket类提供了以下几个方法,分别用来读取服务器状态码,某个域的值,回应头中的一行以及整个回应头:

int	GetServerState();						//返回服务器状态码 -1表示不成功

int	GetField(const char* szSession,char *szValue,int nMaxLength);//返回某个域值,-1表示不成功

int	GetResponseLine(char *pLine,int nMaxLength);//获取返回头的一行			

const char*	GetResponseHeader(int &Length);

        取得回应头后,如果回应码为2XX并且"Content-Length"的值不等于0就表示可以接收下载文件数据了,接下来的工作就很简单了,调用CHttpSocket::Recevie()直到接收的数据长度等于"Content-Length"的值就可以了.
一个完整的使用过程由以下几个步骤组成:
1.调用AfxParseURL()分析URL得到Server和下载路径.
2.调用CHttpSocket::Socket()创建套接字.
3.调用CHttpSocket::Connect()连接服务器.
4.调用CHttpSocket::FormatRequestHeader()格式化请求头.
5.调用CHttpSocket::SendRequest()向服务器发送请求头.
6.调用CHttpSocket::GetServerState()得到回应状态码.
7.调用CHttpSocket::GetField("Content-Length")得到下载文件的大小.
8.调用CHttpSocket::Receive()接收数据直到数据接收完成.
    本文附带源代码还包括了一个使用CHttpSocket实现下载功能的例子工程.注意,所有的调用都是阻塞的,所以最好为一个下载任务创建一个线程,否则会导致界面无法响应用户输入. 程序运行界面如上图,显示了请求头,回应头以及下载进度.
    当然,要真正实现多任务多线程下载还有很多工作要做.本文仅仅讨论了自己实现下载的一种可能性,希望对读者有所帮助. 欢迎来Mail指教.