Python爬虫系列-51job爬虫（一）

需求：

1. 前段时间有位朋友需要爬取51Job
2. 提取“公司”名称带有“数据分析”的招聘信息
3. 希望这些信息能保存起来以便分析

代码如下：

'''
准备工作
安装request
安装lxml
安装命令：pip install xxx
'''

# 导入一些工具包
import requests
from lxml import etree
from pandas import DataFrame

#确定一个对象，网址,关键词：数据分析
url='http://search.51job.com/list/010000,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%25AE%25E5%2588%2586%25E6%259E%2590,2,1.html'
res=requests.get(url)
res.encoding='gbk'
#定义节点树的根
root=etree.HTML(res.text)
#利用xpath查找网页信息
position=root.xpath('//div[@class="el"]/p/span/a/@title')
company=root.xpath('//div[@class="el"]/span/a/@title')
place=root.xpath('//div[@class="el"]/span[@class="t3"]/text()')
salary=root.xpath('//div[@class="el"]/span[@class="t4"]/text()')
#隶属于Pandas，数据框，类似于Excel
jobInfo=DataFrame([position,company,place,salary]).T
jobInfo.columns=['职位名','公司名','工作地点','薪资']
jobInfo.head(10)