libwww,libcurl以及其他
最近我需要写点页面分析的东西，这些东西某些程度上类似搜索引擎的“爬虫->parser->存储”的过程。
过去我常用的抓取页面的库是libcurl，这个东西是unix常用命令curl的基础，curl被称做“命令行浏览器”，功能强大，支持的协议也全面。遗憾的是libcurl仅仅是个支持多协议的抓取库，不能做解析。
找来找去，发现了w3c的Libwww库，这东西功能强大的吓人，不仅有解析，还有robot(也就是爬虫了，或是叫internet walker）功能。在Libwww基础上完成的程序很多，最著名的大概是字符模式的浏览器lynx。我几乎就觉得这就我需要的东西了，立刻dive into。
一整天之后，我终于能用这东西抓下来页面，并且从html页面中分析出来一些信息了，但是想更进一步就变的异常困难。因为这个库功能太复杂了。这东西文档不详细，被人提及的也少。Libwww最近的Release 5.3.2，发布于2000年12月20日。一个有这么多年历史的东西，竟然没多少开发者在讨论，非常不正常。
找来找去，最后在libcurl的FAQ里面看到了和Libwww的比较，精选的读者来信告诉我，不仅仅是我一个人被Libwww的复杂弄的晕了头脑，我才花了一整天，写信的那个哥们竟然用了一人月，还是在里面打转，直到换了 curl才好。虽然这是libcurl推销自己的方法，不过这些失败的前辈的经验让我对自己的智商重新有了信心。看来这东西没多少人讨论是正常的...
好吧，我也投降，libcurl没html解析功能，这没关系，我找别的办法好了...这么复杂的库，再好我也实在没办法忍受下去了，再说我需要的功能其实也真没Libwww那么复杂的。
写程序其实很容易迷失，你会看到一个似乎很完美，什么都能做的东西，一下子就喜欢上它，但是最后往往还是无福消受。往往是那些，不那么成熟，多少有点小毛病的库，组合在一起才是真正的解决方案。
=======================================================================
from: http://www.9php.com/FAQ/cxsjl/c/2008/09/2520639129348.html
使用libcurl的post方法上传数据，很奇怪奇怪的问题！！。。。
使用libcurl的（9php.com）post方法上传数据，很奇怪奇怪的（9php.com）问题！！。。。
我用libcurl将网页下载写到一个string对象中，然后对其处理－－取词。再用libcurl的（9php.com）post方法将内容上传，处理一条后就接着上传，60多条记录下来，发现有30多条没有上传上去。不知道什么原因。大家帮忙分析一下。。。
2008-9-11 15:44lemonniu
上传代码：
int CurlUpload(string XMLCode，string xmlUid)
{
CURL *curl;
// CURLcode response; //定义CURLcode类型的（9php.com）变量
CURLcode code;
CURLcode retcode;
code=curl_global_init(CURL_GLOBAL_ALL); //初始化所有可能的（9php.com）调用
if(code！=CURLE_OK)
{
cout<<"upload global init failed"<<endl;
return -1;
}
curl = curl_easy_init(); //初始化一个CURL类型的（9php.com）指针
if(curl==NULL)
{
cout<<"upload Failed create CURL connection"<<endl;
curl_easy_cleanup(curl);
return -1;
}
code=curl_easy_setopt(curl，CURLOPT_URL，"http://192.168.1.210/parser/save");
if(code！=CURLE_OK)
{
cout<<"upload Failed set url"<<endl;
curl_easy_cleanup(curl);
return -1;
}
string request="uid="+xmlUid;
request+="&xml="+XMLCode;
code=curl_easy_setopt(curl， CURLOPT_POST， 1);
if(code！=CURLE_OK)
{
curl_easy_cleanup(curl);
cout<<"upload Failed set POST"<<endl;
return -1;
}
//code=curl_easy_setopt(curl， CURLOPT_POSTFIELDS，request.c_str());
code=curl_easy_setopt(curl，CURLOPT_COPYPOSTFIELDS，request.c_str());
if(code！=CURLE_OK)
{
curl_easy_cleanup(curl);
cout<<"upload Failed set postfields"<<endl;
return -1;
}
code=curl_easy_perform(curl);
if(code！=CURLE_OK)
{
curl_easy_cleanup(curl);
cout<<"upload Failed to upload data"<<endl;
return -1;
}
code=curl_easy_getinfo(curl，CURLINFO_RESPONSE_CODE，&retcode);
if ( (code == CURLE_OK) && retcode == 200 )
{
cout<<retcode<<endl;
cout<<"send ok"<<endl;
sum++;
curl_easy_cleanup(curl);
return 1;
}
else
{
//curl_easy_cleanup(curl);
return -1;
}
}
=======================================================================
from: http://blog.163.com/xu_chao2000/blog/static/27770610200801303252802/
libcurl应用：如何把下载内容写入内存
libcurl 的文档中有getinmemory.c这个例子，把下载的网页写入自己定义的一个memorystruct中，看了这个例子的做法，它需要自己照顾内存的开辟，特别是需要在curl_easy_perform的调用函数中释放已开辟的内存，很不利于函数的封装，而且应用于multihandle的时候，运行时会出莫名其妙的assert错误。因此改写了一下，将下载的内容放入stl的string中，这样根本不需要自己照顾内存的开辟和释放。源代码如下：
#include <string>
#include "curl.h"
using namespace std;
static char errorBuffer[CURL_ERROR_SIZE];
static int writer(char *, size_t, size_t, string *);
static bool init(CURL *&, char *,string *);
int main()
{
CURL *conn = NULL;
CURLcode code;
string buffer;
curl_global_init(CURL_GLOBAL_DEFAULT);
char* url="http://cool.haxx.se/";
if (!init(conn,url,&buffer ))
{
fprintf(stderr, "Connection initializion failed/n");
exit(EXIT_FAILURE);
}
code = curl_easy_perform(conn);
if (code != CURLE_OK)
{
fprintf(stderr, "Failed to get '%s' [%s]/n", url, errorBuffer);
exit(EXIT_FAILURE);
}
curl_easy_cleanup(conn);
printf("%s/n",buffer.c_str());
return 0;
}
static bool init(CURL *&conn, char *url,string *p_buffer)
{
CURLcode code;
conn = curl_easy_init();
if (conn == NULL)
{
fprintf(stderr, "Failed to create CURL connection/n");
exit(EXIT_FAILURE);
}
code = curl_easy_setopt(conn, CURLOPT_ERRORBUFFER, errorBuffer);
if (code != CURLE_OK)
{
fprintf(stderr, "Failed to set error buffer [%d]/n", code);
return false;
}
code = curl_easy_setopt(conn, CURLOPT_URL, url);
if (code != CURLE_OK)
{
fprintf(stderr, "Failed to set URL [%s]/n", errorBuffer);
return false;
}
code = curl_easy_setopt(conn, CURLOPT_FOLLOWLOCATION, 1);
if (code != CURLE_OK)
{
fprintf(stderr, "Failed to set redirect option [%s]/n", errorBuffer);
return false;
}
code = curl_easy_setopt(conn, CURLOPT_WRITEFUNCTION, writer);
if (code != CURLE_OK)
{
fprintf(stderr, "Failed to set writer [%s]/n", errorBuffer);
return false;
}
code = curl_easy_setopt(conn, CURLOPT_WRITEDATA, p_buffer);
if (code != CURLE_OK)
{
fprintf(stderr, "Failed to set write data [%s]/n", errorBuffer);
return false;
}
return true;
}
static int writer(char *data, size_t size, size_t nmemb, string *writerData)
{
unsigned long sizes = size * nmemb;
if (writerData == NULL) return 0;
writerData->append(data, sizes);
return sizes;
}