larbin的程序的结构
主函数：
int main (int argc, char *argv[]) {
global glob(argc,argv) //初始化变量、队列
StartThread(startWebserver,NULL) //web服务
cron() //配置初始化
for( ; ;) {
waitBandWidth(&old); //等待带宽
poll(NULL,0,10); //间隔10ms
cron();
input(); //接受数据，装载url（貌似都没有执行过）
sequencer(); //url队列调度
fetchDns(); //解析DNSSites中的dns
fetchOpen(); //爬取网页
CheckAll(); //读取数据
poll(); //间隔10ms
}
}
函数功能：按优先级顺序将url加入到namedSiteList
参数说明：void
返回值：队列中有url返回true，否则返回false
bool sequencer(void) {
space=putAll(); //能够装载的urls数
CanGetUrl(& testPriority); { //获得一个url，放到namedsitelist中去
if(URLPriorityWait中有url)
从中获得url加入到namedSiteList;
else if(URLPtiority中有url)
从中获得url加入到namedSiteList;
else {
if(URLDiskwait中有url)
从中获得url加入到namedSiteList;
else //URLDisk中有url
从中获得url加入到namedSiteList;
}
}
}
void NamedSite::putGenericUrl(url *u, int limit, bool prio)；
函数功能：建立socket，进行dns解析
参数说明：void
返回值：void
void fetchDns () {
while(等待解析的dns数<dns最大并行连接数&&有空闲连接&&IPUrl < maxIPUrls) {
从dnsSites获得一个url;
site->newQuery();//dns查询
}
while (有dns等待解析&&有空闲连接) {// Read available answers
adns_check(global::ads, &quer, &ans, (void**)&site);
site->dnsAns(ans); // dns解析成功，申明连接空闲
}
}
函数功能：建立sockets连接（仅仅对于已经经过dns解析的站点）
参数说明：void
返回值：void
备注：工作在主线程
void fetchOpen () {
while (okSites中还有url &&有空闲的连接) {
从okSites-中获得一个url；
next_call = s->fetch();//调用fetch()
}
}
/** fetch the first page in the fifo okSites
* there must be at least one element in freeConns !!!
* return expected time for next call (0 means now is OK)
* This function always put the IPSite in fifo before returning
* (or set isInFifo to false if empty)
*/
函数说明：从okSites中获得第一个网页
参数说明：void
返回值：如果还没有到可以爬的时间，就返回下一次可以爬的时间，0说明现在可以爬
int IPSite::fetch ();
函数功能：1、read all data available 2、fill fd_set for next select 3、give back max fds
参数说明：void
返回值：void
void checkAll () {
for (uint i=0; i<global::nb_conn; i++) {//nb_conn为并行的连接数，对于每个连接
switch(连接状态) {
case connectingC:
case writeC:
/*如果是要连接，调用getsockopt，再把状态改为writeC。如果是writeC，调用write，将状态改为openC。*/
pipeWrite(conn);
break;
case openC:
pipeRead(conn);
break;
}
}
// update fd_set for the next select
/*对要将读写设为非堵塞的设置*/
for (uint i=0; i<global::nb_conn; i++) {
int n = (global::connexions+i)->socket;
switch ((global::connexions+i)->state) {
case connectingC:
case writeC:
global::setPoll(n, POLLOUT);
break;
case openC:
global::setPoll(n, POLLIN);
break;
}
}
}