http 客户端 RFC2616 协议 下载 大家都很熟悉HTTP协议的应用,因为每天都在网络上浏览着不少东西,也都知道是HTTP协议是相当简单的。每次用到FlashGet之类的下载软件下载网页,当用到那个“用FlashGet下载全部链接”时总觉得很神奇。
后来想想,其实要实现这些下载功能也并不难,只要按照HTTP协议发送 request,然后对接收到的数据进行分析,如果页面上还有href之类的链接指向标志就可以进行深一层的下载了。HTTP协议目前用的最多的是1.1 版本,要全面透彻地搞懂它就参考RFC2616文档吧。
下面是我用C语言编程写的一个http下载程序,希望对大家有些启发。源代码如下:
/******* http客户端程序httpclient.c ************/
#include<stdio.h>
#include<stdlib.h>
#include<string.h>
#include<sys/types.h>
#include<sys/socket.h>
#include<errno.h>
#include<unistd.h>
#include <netinet/in.h>
#include<limits.h>
#include<netdb.h>
#include<arpa/inet.h>
#include<ctype.h>
//////////////////////////////httpclient.c开始///////////////////////////////////////////
/********************************************
功能:搜索字符串右边起的第一个匹配字符
********************************************/
char *Rstrchr(char * s, char x) {
int i = strlen(s);
if(!(*s)) return0;
while(s[i-1])if(strchr(s + (i - 1), x)) return (s + (i - 1)); else i--;
return 0;
}
/********************************************
功能:把字符串转换为全小写
********************************************/
voidToLowerCase(char * s) {
while(*s)*s=tolower(*s++);
}
/**************************************************************
功能:从字符串src中分析出网站地址和端口,并得到用户要下载的文件
***************************************************************/
void GetHost(char* src, char * web, char * file, int * port) {
char * pA;
char * pB;
memset(web, 0,sizeof(web));
memset(file, 0,sizeof(file));
*port = 0;
if(!(*src))return;
pA = src;
if(!strncmp(pA,"http://", strlen("http://"))) pA =src+strlen("http://");
elseif(!strncmp(pA, "https://", strlen("https://"))) pA =src+strlen("https://");
pB = strchr(pA,'/');
if(pB) {
memcpy(web, pA,strlen(pA) - strlen(pB));
if(pB+1) {
memcpy(file, pB +1, strlen(pB) - 1);
file[strlen(pB) -1] = 0;
}
}
else memcpy(web,pA, strlen(pA));
if(pB)web[strlen(pA) - strlen(pB)] = 0;
elseweb[strlen(pA)] = 0;
pA = strchr(web,':');
if(pA) *port =atoi(pA + 1);
else *port = 80;
}
/*********************************************************************
*filename:httpclient.c
*purpose: HTTP协议客户端程序,可以用来下载网页
*wrote by:zhoulifa() 周立发(http://zhoulifa.bokee.com)
Linux爱好者 Linux知识传播者 SOHO族 开发者 最擅长C语言
*datetime:2006-03-11 21:49:00
*Note: 任何人可以任意复制代码并运用这些代码,当然包括你的商业用途
* 但请遵循GPL
*********************************************************************/
int main(int argc,char *argv[])
{
int sockfd;
char buffer[1024];
struct sockaddr_inserver_addr;
struct hostent*host;
intportnumber,nbytes;
charhost_addr[256];
charhost_file[1024];
charlocal_file[256];
FILE * fp;
charrequest[1024];
int send,totalsend;
int i;
char * pt;
if(argc!=2)
{
fprintf(stderr,"Usage:%sweb-address\a\n",argv[0]);
exit(1);
}
printf("parameter.1is: %s\n", argv[1]);
ToLowerCase(argv[1]);/*将参数转换为全小写*/
printf("lowercaseparameter.1 is: %s\n", argv[1]);
GetHost(argv[1],host_addr, host_file, &portnumber);/*分析网址、端口、文件名等*/
printf("webhost:%s\n",host_addr);
printf("hostfile:%s\n",host_file);
printf("portnumber:%d\n\n",portnumber);
if((host=gethostbyname(host_addr))==NULL)/*取得主机IP地址*/
{
fprintf(stderr,"Gethostnameerror, %s\n", strerror(errno));
exit(1);
}
/* 客户程序开始建立sockfd描述符 */
if((sockfd=socket(AF_INET,SOCK_STREAM,0))==-1)/*建立SOCKET连接*/
{
fprintf(stderr,"SocketError:%s\a\n",strerror(errno));
exit(1);
}
/* 客户程序填充服务端的资料*/
bzero(&server_addr,sizeof(server_addr));
server_addr.sin_family=AF_INET;
server_addr.sin_port=htons(portnumber);
server_addr.sin_addr=*((structin_addr *)host->h_addr);
/* 客户程序发起连接请求 */
if(connect(sockfd,(structsockaddr *)(&server_addr),sizeof(struct sockaddr))==-1)/*连接网站*/
{
fprintf(stderr,"ConnectError:%s\a\n",strerror(errno));
exit(1);
}
sprintf(request,"GET /%s HTTP/1.1\r\nAccept: */*\r\nAccept-Language: zh-cn\r\n\
User-Agent:Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)\r\n\
Host:%s:%d\r\nConnection: Close\r\n\r\n", host_file, host_addr, portnumber);
printf("%s",request);/*准备request,将要发送给主机*/
/*取得真实的文件名*/
if(host_file&& *host_file) pt = Rstrchr(host_file, '/');
else pt = 0;
memset(local_file,0, sizeof(local_file));
if(pt &&*pt) {
if((pt + 1)&& *(pt+1)) strcpy(local_file, pt + 1);
elsememcpy(local_file, host_file, strlen(host_file) - 1);
}
else if(host_file&& *host_file) strcpy(local_file, host_file);
elsestrcpy(local_file, "index.html");
printf("localfilename to write:%s\n\n", local_file);
/*发送http请求request*/
send = 0;totalsend= 0;
nbytes=strlen(request);
while(totalsend< nbytes) {
send =write(sockfd, request + totalsend, nbytes - totalsend);
if(send==-1){printf("send error!%s\n", strerror(errno));exit(0);}
totalsend+=send;
printf("%dbytes send OK!\n", totalsend);
}
fp =fopen(local_file, "a");
if(!fp) {
printf("createfile error! %s\n", strerror(errno));
return 0;
}
printf("\nThefollowing is the response header:\n");
i=0;
/* 连接成功了,接收http响应,response*/
while((nbytes=read(sockfd,buffer,1))==1)
{
if(i < 4) {
if(buffer[0] =='\r' || buffer[0] == '\n') i++;
else i = 0;
printf("%c",buffer[0]);/*把http头信息打印在屏幕上*/
}
else {
fwrite(buffer, 1,1, fp);/*将http主体信息写入文件*/
i++;
if(i%1024 == 0)fflush(fp);/*每1K时存盘一次*/
}
}
fclose(fp);
/* 结束通讯 */
close(sockfd);
exit(0);
}
//////////////////////////////httpclient.c结束///////////////////////////////////////////