php爬虫神器cURL

cURL

网页资源（编写网页爬虫）
接口资源
ftp服务器文件资源
其他资源

static public function curl($url, $data = array(), $timeout = 5) {
        $ch = curl_init ();
        if (is_array ( $data ) && $data) {
            // http_build_query — 生成 URL-encode 之后的请求字符串,支持数组提交
            $formdata = http_build_query ( $data );
            
            curl_setopt ( $ch, CURLOPT_POST, true );
            curl_setopt ( $ch, CURLOPT_POSTFIELDS, $formdata );
        }
        curl_setopt ( $ch, CURLOPT_URL, $url );
        curl_setopt ( $ch, CURLOPT_RETURNTRANSFER, true );
        curl_setopt ( $ch, CURLOPT_CONNECTTIMEOUT, $timeout );
        curl_setopt ( $ch, CURLOPT_TIMEOUT, $timeout );
        $result = curl_exec ( $ch );
        curl_close ( $ch );
        return $result;
}

下面是简单的爬虫，爬网页数据。

替换爬出来的网页数据。

post调接口数据

http://ws.webxml.com.cn/WebServices/WeatherWS.asmx?op=getWeather

  江苏 宿迁
  宿迁
  1907
  2018/04/26 22:10:44
  今日天气实况：气温：18℃；风向/风力：西南风 1级；湿度：78%
  紫外线强度：弱。空气质量：良。
  紫外线指数：弱，辐射较弱，涂擦SPF12-15、PA+护肤品。
健臻·血糖指数：较易波动，血糖较易波动，注意监测。
感冒指数：较易发，温差较大，较易感冒，注意防护。
穿衣指数：较舒适，建议穿薄外套或牛仔裤等服装。
洗车指数：较适宜，无雨且风力较小，易保持清洁度。
空气污染指数：良，气象条件有利于空气污染物扩散。

  4月26日 多云
  13℃/23℃
  南风3-4级
  1.gif
  1.gif
  4月27日 多云
  11℃/26℃
  东北风转东南风3-4级
  1.gif
  1.gif
  4月28日 多云
  17℃/27℃
  东南风3-4级
  1.gif
  1.gif
  4月29日 多云
  19℃/28℃
  东南风3-4级
  1.gif
  1.gif
  4月30日 多云
  19℃/30℃
  东南风转东风3-4级
  1.gif
  1.gif
  5月1日 小雨
  17℃/26℃
  东北风4-5级
  7.gif
  7.gif
  5月2日 多云转阴
  11℃/27℃
  东北风4-5级转无持续风向小于3级
  1.gif
  2.gif

读取FTP数据

RETURN:1

RETURN:hello world!

上传FTP数据

还是很牛逼的，常用于post提交获取数据和爬虫获取资源。