PHP爬虫的三种方法

文章目录

  • PHP爬虫的三种方法
    • 1. get+file_contents()
    • 2. curl
    • 3. Snoopy

PHP爬虫的三种方法

1. get+file_contents()

定义:

file_get_contents() 函数把整个文件读入一个字符串中。

语法:

file_get_contents(path,include_path,context,start,max_length)
参数 描述
path 必需。规定要读取的文件。
include_path 可选。如果也想在 include_path 中搜寻文件的话,可以将该参数设为 “1”。
context 可选。规定文件句柄的环境。context 是一套可以修改流的行为的选项。若使用 null,则忽略。
start 可选。规定在文件中开始读取的位置。该参数是 PHP 5.1 新加的。
max_length 可选。规定读取的字节数。该参数是 PHP 5.1 新加的。

实例代码:

  function GetData1($url){
    $datas=file_get_contents($url);//发送请求,并返回获取到的页面数据
    return $datas;
  }
  $url="xxx";
  print_r(GetData1($url));

2. curl

介绍:

第二种爬取数据的途径,通过curl库,我们可以向指定的网页发送数据(该网页没有对爬虫的检测机制),当然如果存在也不影响,可以通过curl的函数 curl_setopt($ch,option,value)进行伪装。

常规抓取数据代码:

该代码为curl抓取数据的常规方法,只针对于没有检测爬虫的网站。

function DetData2($url){
	$ch=curl_init($url);
	$datas=curl_exec($ch);
	return $datas;
}

伪装抓取数据代码:

许多网站都存在对爬虫的检测,因此只有对爬虫进行伪装之后才会获取到相应的数据。

  function GetData2($url){
    $curl=curl_init($url);
    
    curl_setopt($curl, CURLOPT_URL, $url); // 要访问的地址  
    curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0); // 对认证证书来源的检查  
    curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1); // 从证书中检查SSL加密算法是否存在  
    curl_setopt($curl, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']); // 模拟用户使用的浏览器  
    curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); // 使用自动跳转  
    curl_setopt($curl, CURLOPT_AUTOREFERER, 1); // 自动设置Referer  
    curl_setopt($curl, CURLOPT_POST, 1); // 发送一个常规的Post请求  
    curl_setopt($curl, CURLOPT_POSTFIELDS, $data); // Post提交的数据包  
    curl_setopt($curl, CURLOPT_TIMEOUT, 30); // 设置超时限制防止死循环  
    curl_setopt($curl, CURLOPT_HEADER, 0); // 显示返回的Header区域内容  
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 0); // 获取的信息以文件流的形式返回 
    curl_setopt($curl, CURLOPT_HTTPHEADER, array('Expect:'));
    $tmpInfo = curl_exec($curl); // 执行操作  
    if (curl_errno($curl)) {  
       echo 'Errno'.curl_error($curl);//捕抓异常  
    }
    
    curl_close($curl);
    return $tmpInfo;
  }

3. Snoopy

Snoopy是一个无比强大的类库,使用Snoopy是需要下载 Snoopy.php 文件(下载链接),个位注意我形容Snoopy”强大“,Snoopy是真的强大。闲话不说,直接上代码

include("Snoopy.php");//使用时不要忘记引入Snoopy类库

    function GetData3($url){
      $ch=new Snoopy;
      $ch->agent = "Mozilla/5.0 (Linux; U; Android 8.1.0; zh-CN; Redmi 6 Pro Build/OPM1.171019.019) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/57.0.2987.108 UCBrowser/12.5.5.1035 Mobile Safari/537.36";
      $ch->referer="https://m.ting22.com/ting/1547-180.html";
      $ch->fetch($url);
      return $ch->results;//返回数据
    }

这段代码是伪装之后的代码,只是短短几行,是不是很爽,别急还有更爽的,Snoopy还可以免去一部分繁琐的正则表达式,Snoopy含有自动提取网页链接和文本内容。

$snoopy->fetchtext$url;//获取网页数据的全部文本数据
$snoopy->fetchlinks$url;//获取网页数据的全部链接
$snoopy->fetchform$url; //获取表单

以上为本人对于爬虫的一些学习心得,记录下来供大家学习;

你可能感兴趣的:(PHP)