libCURL动态分配buffer——节约内存

      libCURL是一个免费的、开源的强大客户端url传输库。支持的平台、协议甚广。平台上有Windows、Linux、FreeBSD；协议上有FTP、HTTP(S)、Telnet、DICT、File等。它是线程安全的，而且支持ipv6。同时，它还是线程安全的。

      本文所讲述的内容，要基于Libcurl的基础、具体的了解。官方具体描述地址在：http://curl.haxx.se/libcurl/c/上面。需要多看例子，才能灵活运用。

       通常libCURL的数据下载都是通过回调函数下载到buffer中的。其大小一般固定，所以有时候用了不到1/2，有时候却会overflow。这里给出一个简单易用的方法节约内存，并解决溢出。主要思想是使用STL中的list的char*模板，每次回调时都copy到一个分配了一定内存的指针（要注意的是，libCURL给出的是流数据，所以不一定以0结尾，所以有时候用简单的strcpy时，会出现错误，笔者就在这被坑了很多次），其大小为size*nmemb，然后将给出的数据逐个copy后，push_back到链表即可。

      使用这些数据时，有可能需要随机存取，但是list不具备这个特征，所以可以先统计出所有数据的总大小，开一个大buffer，存入即可。当然，在此之后，要把所有的list及char指针释放，否则内存还是双倍。

      源代码给出如下：

#include <iostream>

#include <list>

#include <curl/curl.h>

using namespace std;



size_t callback_get_head(void *ptr,size_t size,size_t nmemb,void *userp);



list<char*> toview;

char startht[256]={0};



int main(void){

    cout<<"Enter HTTP adress:";

    cin>>startht;

    CURL* dcurl=curl_easy_init();

    curl_easy_setopt(dcurl,CURLOPT_URL,startht);

    curl_easy_setopt(dcurl,CURLOPT_WRITEFUNCTION,callback_get_head);

    curl_easy_perform(dcurl);

    for (list<char*>::iterator it=toview.begin();it!=toview.end();++it)

        cout<<*it;

    for (list<char*>::iterator it=toview.begin();it!=toview.end();++it)

        delete[] *it;

    curl_easy_cleanup(dcurl);

    return 0;

}



size_t callback_get_head(void *ptr,size_t size,size_t nmemb,void *userp){

    char* temp=new char[size*nmemb+1];

    char* ptrtmp=(char*) ptr;

    for (size_t i=0;i<size*nmemb;++i)  temp[i]=ptrtmp[i];

    temp[size*nmemb+1]=0;

    toview.push_back(temp);

    return size*nmemb;

}