PHP CURL 抓取失败 自己调试
蛋疼的一下午，物理机win7旗舰版+APACHE2 ，CURL抓取一直成功。 虚拟机ubuntu+apache2一直抓取失败。
晚上，问个仁兄才知道，CURL可以调试： 参考这位兄台： 地址
curl_errno 和 curl_error 函数，分别返回 HTTP 的错误代码和错误类别。例如： <?php $ch = curl_init('http://www.soso.com/'); curl_exec($ch); if (curl_errno($ch)) { echo 'Curl error: ' . curl_error($ch); } curl_close($ch); ?> 返回： Curl error: couldn't connect to host
我嘞个去，无法连接www.soso.com 是怎么回事，DNS错误找不到IP？ping www.soso.com 也是OK的。 ping的通
$ch = curl_init('http://www.soso.com/'); curl_setopt($ch, CURLINFO_HEADER_OUT, true);//curl_getinfo 函数返回的数组将包含 cURL 请求的 header 信息 curl_setopt($ch, CURLOPT_HEADER , true);//回应的 header 信息 curl_exec($ch); if (curl_errno($ch)) { var_dump(curl_getinfo($ch)); var_dump('Curl error: ' . curl_error($ch)); } curl_close($ch); 依旧是那些看不懂的信息一大堆： array(22) { ["url"]=> string(20) "http://www.soso.com/" ["content_type"]=> NULL ["http_code"]=> int(0) ["header_size"]=> int(0) ["request_size"]=> int(0) ["filetime"]=> int(-1) ["ssl_verify_result"]=> int(0) ["redirect_count"]=> int(0) ["total_time"]=> float(63.127513) ["namelookup_time"]=> float(2.0E-5) ["connect_time"]=> float(0) ["pretransfer_time"]=> float(0) ["size_upload"]=> float(0) ["size_download"]=> float(0) ["speed_download"]=> float(0) ["speed_upload"]=> float(0) ["download_content_length"]=> float(-1) ["upload_content_length"]=> float(-1) ["starttransfer_time"]=> float(0) ["redirect_time"]=> float(0) ["certinfo"]=> array(0) { } ["redirect_url"]=> string(0) "" } string(36) "Curl error: couldn't connect to host"
最后，还是没办法。试一下wget 抓www.soso.com 我怀疑网络很有问题。
大概5分钟后，终于成功抓取到了一次www.soso.com页面。 5分钟啊，C.网络肯定有问题
路由追踪下：
root@ubuntu:~# tracepath www.soso.com
1: 142.54.182.194 0.071ms pmtu 1500 1: 142.54.182.193 0.475ms 1: 142.54.182.193 0.468ms 2: 192.187.107.125 0.311ms 3: 69.30.209.137 0.598ms 4: te0-3-0-4.mpd22.mci01.atlas.cogentco.com 0.625ms 5: be2141.ccr22.dfw01.atlas.cogentco.com 10.982ms 6: be2032.ccr21.dfw03.atlas.cogentco.com 11.210ms 7: 4.68.111.101 21.825ms asymm 11 8: vlan80.csw3.Dallas1.Level3.net 54.881ms asymm 12 9: ae-93-93.ebr3.Dallas1.Level3.net 55.135ms asymm 12 10: ae-3-3.ebr2.LosAngeles1.Level3.net 55.265ms asymm 12 11: ae-72-72.csw2.LosAngeles1.Level3.net 55.357ms 12: ae-4-90.edge6.LosAngeles1.Level3.net 55.118ms asymm 11 13: 59.43.182.89 46.536ms asymm 12 14: 59.43.182.149 53.360ms asymm 11 15: 59.43.182.150 203.715ms asymm 13 16: 59.43.248.254 203.674ms asymm 14 17: 202.55.1.246 204.871ms asymm 14 18: no reply 19: no reply 20: no reply 21: no reply 22: no reply 23: no reply 24: no reply 25: no reply 26: no reply 27: no reply 28: no reply 29: no reply 30: no reply 31: no reply Too many hops: pmtu 1500 Resume: pmtu 1500
拿美国2台服务器跟踪路由试一下, 发现都是一模一样的 . 第18个开始失败, 但是另一台却可以正常CURL，和WGET. 卧槽，奇怪。
下个结论吧，SOSO BAIDU都有抓取频率限制。不过至少比SOGOU好多了，SOGOU根本不允许抓。
SOSO BAIDU抓取频率设置还是很高的，一般一秒抓一个我看都没事。 估计我的服务器IP已经被封了吧。心碎！