PHP爬虫 phpSpider的使用

image

1.首先安装phpspider，一般采用composer安装

composer require owner888/phpspider

2.目录结构介绍

image

core下提供了一些类方便我们开发，log日志，phpspider 爬虫类，selector选择器，db数据库操作等

3.定义好爬虫config配置，具体的配置信息可以参考官网 https://doc.phpspider.org/configs-members.html

(1)主要的配置就是

//抓取的起点
'scan_urls' => array(
    "https://www.x81zw.com/sort1/",
),
//列表页实例
'list_url_regexes' => array(
    "https://www.x81zw.com/sort\d+/",
),
//内容页实例 要爬取的页面
//  \d+  指的是变量
'content_url_regexes' => array(
    "https://www.x81zw.com/sort\d+/",
),

(2)选择器 phpspider 提供了三种选择器，xpath css 正则，默认是xpath，使用其他选择器可以使用selector_type 来定义

'fields' => array(
    array(
        'name' => "title",//小说标题
        'selector' => "//div[@id='info']//h1",
        'required' => true,
    ),
    array(
        'name' => "author",//小说作者
        'selector' => "//div[@id='info']//p",
        'required' => true,
    ),
    array(
        'name' => "coverPic",//小说图片地址
        'selector' => "//div[@id='fmimg']//img",
        'required' => true,
    ),
    array(
        'name' => "status",//状态
        'selector' => "//div[@id='info']//p[2]",
        'required' => true,
    ),
    array(
        'name' => "summary",//小说简介
        'selector' => "//div[@id='intro']//p",
        'required' => true,
    ),
    array(
        'name' => "spiderUrl",//爬虫地址
    ),
    array(
        'name' => "type",//小说分类
        'selector' => '//*[@id="wrapper"]/div[3]/div[1]/a[2]',
        'required' => true,
    ),
),

4.重点说一下回调函数
on_status_code：可以用这个函数做页面过滤，比如广告信息，或者你不想要的html，使用xpth ,css 等选择器删除 html 内容，selector::remove($content, "//*[@id=\"info\"]/p[3]");记得一定要返回内容，不然爬虫会停止
on_extract_field： field 爬取的内容数据，可以对数据进行一层处理
on_extract_page：插入数据库操作，一下举例说明

use phpspider\core\db;
$spider->on_extract_page = function($page,$data) {
    db::set_connect('default', $GLOBALS['config']['db']);
    // 数据库链接
    db::_init();
    //处理哪个数据
    if (isset($data)) {
        $book_table = 'books';//小说数据表
 
        $preg_url =  preg_match_all('#https://www.x81zw.com/book/(.*?)/(.*?)/#', $data['spiderUrl'], $out);;
        $list_url = isset($out[0][0]) ? $out[0][0] : "";
        //根据列表地址
        $find_sql = "select id,title,words from `".$book_table."` where `spiderUrl` = " . "'" . $list_url . "'" ;
        $find_row = db::get_one($find_sql);
        $addData = [];
        if(!empty($find_row)){
            $pisodes_table = "bookepisodes" . $find_row['id']%32;//章节数据表
//            $pisodes_table = 'bookepisodes8_copy';
 
            //更新小说的总字数
            $words = mb_strlen($data['info'] , 'utf-8');
            $book_words = ceil($find_row['words'] + $words);
            db::update($book_table , ['words' => $book_words] , "id = ".$find_row['id']);//更新章节内容链接
 
            $addData = [
                'bid'      => $find_row['id'],//小说ID
                'title'    => $data['title'],//章节标题
                'words'    => $words,
                'is_delete'=> 0,
                'insertTime'=> time(),//创建时间
                'updateTime'=> time(),//更新时间
                'spiderUrl' => $data['spiderUrl'],//列表地址
                'likes'     => rand(10 , 100),//点赞数
            ];
            //路由重复就不入库
            $sql = "select count(*) as `count` from `".$pisodes_table."` where `spiderUrl` = " . "'" . $data['spiderUrl'] . "'" ;
            $row = db::get_one($sql);
            //插入章节数据
            if (empty($row['count'])) {
                $install = db::insert($pisodes_table , $addData );
            }
 
        }
 
        $data = $addData;
    }
    return $data;
};

5.启动脚本

$spider->start();//启动脚本

6.运行脚本，只能使用命令行，只能使用命令行，只能使用命令行重要的事情说三遍
php -f alone_book.php start "爬虫地址"
守护进程方式启动 nohup php -f alone_book.php start &
7.脚本代码，仅供参考
百度网盘下载地址：

链接：https://pan.baidu.com/s/1cDyLtg89i9QcWf466IuGZw
提取码：pfrf
复制这段内容后打开百度网盘手机App，操作更方便哦

PHP爬虫 phpSpider的使用

你可能感兴趣的:(PHP爬虫 phpSpider的使用)