# phpspider爬虫的方案标签（空格分隔）： phpspider爬虫---> 一、首先是先写一个demo来看看它的大概流程吧，以虎嗅网来说 $configs = array( 'log_show' => true, 'name' => '虎嗅网', 'domains' => array( "www.huxiu.com", "huxiu.com" ), // 同时工作的爬虫任务数 'tasknum' => 8, // 采集失败后尝试的次数 'max_try' => 5, //随机伪造IP，用于破解防采集 'client_ip' => array( '192.168.0.2', '192.168.0.3', '192.168.0.4', ), // 导出的数据格式 'export' => array( 'type' => 'db', 'table' => 'pchuxiu', ), // 'export' => array( // 'type' => 'csv', // 'file' => PATH_DATA.'/Pchuxiu.csv', // ), //这是爬虫入口，但这里是没有任何作用的，后面的回调方法不会经过这个网址 'scan_urls' => array( "https://www.huxiu.com/" ), //这是爬取的内容页，后面的fileds获取的内容都是通过这个内容页去获取的 'content_url_regexes' => array( "https://www.huxiu.com/article/\d+.html" ), //列表页，列出存在的列表页，在后面的回调on_list_page方法中给爬虫添加待爬页面，由于是做个案列，这里其实没有什么用，因为后面的on_scan_page直接爬取所有article页面，因为发现了这个网站的所有内容页统一为https://www.huxiu.com/article/209179.html的这种数字结尾.html的形式，所以爬取很简单，直接先查看最新页面的article的最大数，记录上次爬取的最大数，再用现在的最大数减去上次的最大数就是需要更新的页数了 'list_url_regexes' => array( "https://www.huxiu.com/channel/\d+.html", "https://www.huxiu.com/collection/\d+.html", "https://www.huxiu.com/channel/ajaxGetMore\?huxiu_hash_code=e23fe833e4b323e9a011f4b1d91fe379&page=\d+&catId=21" ), //这个就是fields定义一个抽取项, 一个fields可以定义下面这些东西，name就是给变量起名，selector定义抽取规则, 默认使用xpath如果使用其他类型的, 需要指定selector_type目前可用xpath, jsonpath, regex默认xpath，required定义该field的值是否必须, 默认false，赋值为true的话, 如果该field没有抽取到内容, 该field对应的整条数据都将被丢弃，repeated定义该field抽取到的内容是否是有多项, 默认false赋值为true的话, 无论该field是否真的是有多项, 抽取到的结果都是数组结构 'fields' => array( array( // 抽取内容页的文章標題 'name' => "article_title", 'selector' => "div.article-wrap > h1", 'selector_type' => "css", 'required' => true ), array( // 抽取内容页的文章头图 'name' => "article_img", 'selector' => "//div[contains(@class,'article-img-box')]/img", 'required' => true ), array( // 抽取内容页的文章發佈時間 'name' => "article_time", 'selector' => "//span[contains(@class,'article-time pull-left')]/text()", 'required' => true ), array( // 抽取内容页的文章作者 'name' => "article_author", 'selector' => "//div[contains(@class,'article-author')]//span/a/text()", 'required' => true ), array( // 抽取内容页的文章内容 'name' => "article_content", 'selector' => ".article-content-wrap > p", 'selector_type' => "css", 'required' => true ), ), ); $spider = new phpspider($configs); $spider->on_start = function($phpspider) { //設置代理ip，防反爬虫 $ips = array( "192.168.0.2", "192.168.0.3", "192.168.0.4" ); requests::set_client_ip($ips); }; $spider->on_scan_page = function($page, $content, $phpspider) { //这是最丧心病狂的做法，直接列出可能存在的article的页数，当然在网页中就可以根据点击最新的链接 去查看最大值，然后for循环一次，记录上次爬取的次数就能保证新爬取的数据基本不重复且正确 for($i = 180000; $i <=209123; $i++){ $url = "https://www.huxiu.com/article/{$i}.html"; $phpspider->add_url($url); } }; $spider->on_extract_field = function($fieldname, $data) { if ($fieldname == 'article_content') { $text =null; foreach ($data as $value) { $text.=$value; } $data = $text; } echo "
"; return $data; }; $spider->start();以此案列爬取到之后，就会看到cmd里面启动爬虫并且收集到的数据显示