pyspider web爬虫框架简单使用
pip3 install pyspider
在桌面创建一个pyspider的文件夹，在里打开终端，然后开启
pyspider all
浏览器进入0.0.0.0:5000
Create新建一个项目
pyspider爬虫的主类，在这里进行爬取，解析和存储数据
crawl_config里面的参数做全局的设置(UA,Headers,proxy都可以设
置)
from pyspider.libs.base_handler import *
import json
import pymongo,pymysql
#pyspider爬虫的主类，在这里进行爬取，解析和存储数据
class Handler(BaseHandler):
#在这个参数中可以做全局的设置(UA,Headers,proxy都可以设置)
crawl_config = {
'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:64.0) Gecko/20100101 Firefox/64.0'
}
#创建mongodb数据库链接
mongo_client = pymongo.MongoClient('127.0.0.1',27017)
#获取要操作的数据库
db = mongo_client['lianjia']
#获取数据库下的集合
col = db['lianjiacol']
#创建mysql数据库链接
mysql_cli = pymysql.Connect('127.0.0.1','root','1234','lianjia',3306,charset='utf8')
#创建游标
cursor = mysql_cli.cursor()
发起请求的
#定时每隔一天进行重复请求，重新执行on_start方法
@every(minutes=24 * 60)
def on_start(self):
#crawl:根据crawl发起请求
self.crawl('https://bj.lianjia.com/ershoufang/', callback=self.index_page)
self.crawl里面常用的参数
- url
需要爬取的url列表 - callback
这个参数用来指定爬取内容后需要哪个方法来处理内容．一般解析为 response. default: - age
任务有效期，以秒为单位 - priority
爬取优先级，数字越大优先级越大 - exetime
爬取任务定时，默认为0，就是即时爬取， - retries
失败重新执行次数，默认3次 - itag
任务标记值，此标记会在抓取时对比，如果这个值发生改变，不管有效期有没有到都会重新抓取新内容． - method
HTTP请求，默认为GET - params
URL后面的请求参数，字典 - data
POST请求参数 - proxy
设置代理服务器 - save
传递一个对象给任务，在任务解析时可以通过response.save来获取传递的值
用css获取数据
response.doc:是一个pyquery对象
response.etree:返回的是一个lxml提取每一个房源的详情url地址,hourse_infos是pyquery对象，需要.item()转化成可迭代的
#十天之内不重复爬取
@config(age=10 * 24 * 60 * 60)
def index_page(self, response):
#response.doc:是一个pyquery对象
#response.etree:返回的是一个lxml
#提取每一个房源的详情url地址,hourse_infos是pyquery对象，需要.item()转化成可迭代的
hourse_infos = response.doc('ul.sellListContent li.clear.LOGCLICKDATA')
for hourse in hourse_infos.items():
detail_url = hourse('div.title a').attr.href
self.crawl(detail_url,callback=self.detail_page)#发起请求，设置回调方法
下一页请求
还在index_page方法里面提取下一页请求，回调自身
#提取下一页发起请求
data = response.etree.xpath('//div[@class="page-box house-lst-page-box"]/@page-data')[0]
获取page-box house-lst-page-box下面的page-data,里面有个json串，有curPage和totalPage,接下来取值，构造下一页请求
json_data = json.loads(data)
cur_page = int(json_data['curPage'])
total_page = int(json_data['totalPage'])
if cur_page <= total_page:
#发起下一页请求
next_page = cur_page +1
next_url = 'https://bj.lianjia.com/ershoufang/pg%s/'%str(next_page)
self.crawl(next_url,callback=self.index_page)
@config(priority=2)
def detail_page(self, response):
print('二手房详情获取成功')
#获取详情页数据
info = {}
#标题（获取标题的属性和文本）
info['title'] = response.doc('h1.main').attr.title
#info['title'] = response.doc('h1.main').text()
#其他信息
info['subTitle'] = response.doc('div.sub').text()
#关注人数
info['attenNum'] = response.doc('#favCount').text()
#看过人数
info['seeNum'] = response.doc('#cartCount').text()
#价格
info['totalPrice'] = response.doc('div.price .total').text()
#单价
info['price'] = response.doc('span.unitPriceValue').text()
#规模
info['model'] = response.doc('div.room .mainInfo').text()
#楼层
info['foolr'] = response.doc('div.room .subInfo').text()
#小区
info['communityName'] = response.doc('div.communityName a.info ').text()
#print(info)
return info
detail_page方法中return的结果会执行on_result
执行代码run的时候第一次值是None,所以要判断一下是否有值再存进数据库
#方法中return的结果会执行on_result
def on_result(self,result):
#可以在这里做数据的持久化
print('获取到的结果',result)
if result:
try:
#mongodb数据库存储
self.col.insert(result)
#mysql数据库储存
#sql = """
#INSERT INTO lianjiadb(%s) VALUES(%S)
#"""%(','.join(result.keys()),','.join(['%s']*len(result)))
# data = list(result.values())
#self.cursor.execute(sql,data)
print('数据存储成功')
except Exception as err:
print('数据存储失败',err)
run测试好代码，确保可以存入数据库，然后保存好，返回上级菜单，刷新当前页面
status状态：
TODO运行
STOP停止
CHECKING检查
DEBUG运行
RUNNING运行actions行动
Run运行rate/burst速率
第一次开始的速度，和之后的速度，可以更改progress 记录
按时间点的记录删除项目
将group改成delete,然后status 改成STOP,等待24小时自动删除
scheduler -> fetcher -> processor
|
phantomjs
|
internet
调度器－>动态页面用fecher无头浏览捕获，然后用phantomjs加载，解析－>输出
Response
Response.url获取当前url地址
Response.text获取文本
Response.content二进制数据
Response.doc获取pyquery对象
Response.etree获取lxml对象，使用xpath语法
Response.json 获得的是json串，直接用response.json转成python数据
Response.status_code状态码
Response.orig_url原始url地址
Response.headers 响应头
Response.cookies
Response.err错误信息
Response.time发起请求到获得请求的响应时间
Response.ok 状态，不是200就报错
Response.encoding 获取编码类型
Response.save 传递
Response.js_script_result 获取js执行之后的结果
Response.raise_for_status() 如果状态结果不是200
catch_status_code_error
如果发起的请求得到的状态不是200,就不会走回调方法，加上也会走回调，捕获错误状态码
def on_start(self):
self.crawl('http://httpbin.org/status/404', self.callback)
@catch_status_code_error
def callback(self, response):
...
every
定时爬取
@every(minutes=24 * 60)
def on_start(self):
self.crawl('http://www.example.org/', callback=self.index_page)
@config(age=10 * 24 * 60 * 60)
def index_page(self):
...