Python爬虫系列（一）环境搭建，以及简单使用，体验他的强大
python初体验
- python环境搭建
- 搭建过程中问题解决
- 工具安装
- 简单使用
强大的工具是开发的利器！
1、学习Python爬虫需要的python环境，Mac一般都自带了。
但是为了简单，上手更快，所有要装些其他的工具
- Anaconda套装 ([https://www.anaconda.com/download/](https://www.anaconda.com/download/))
- homebrew （[下载地址](https://brew.sh)）
- pip
- pipenv
- requests_html（用来做网络请求的库，必须要安装，否则不能进行网络请求）
安装从上到下依次安装，如果已有，那么不需要安装，本人学习python基于python3
2、安装完成以后打开Anaconda
关于该工具的使用很简单，直接创建python开发环境即可，然后安装jupyter notebook。
安装完成以后打开即可。
然后创建一个实例就可以开始了。
下边是以一个360加固列表来作为实例的。
# coding: utf-8
# In[214]:
from requests_html import HTMLSession
from pprint import pprint
import json
from collections import OrderedDict
myList =[]
# In[215]:
session = HTMLSession()//创建HTMLSession对象
//访问网络的cookies
cookies_str = '__guid=60014063.2438052102280616400.1523342224259.211; _ga=GA1.2.133850600.1523603655; Q=u%3Dpnv1srv%26n%3D%26le%3D%26m%3DZGHjWGWOWGWOWGWOWGWOWGWOAwD3%26qid%3D3023166831%26im%3D1_t011655040b3ed000bf%26src%3Dpcw_open_app%26t%3D1; __huid=10%2B5kzzQlm6w%2F6AmSQydG4%2BH%2FWoET01kZCf8M3Z5FuWwE%3D; smidV2=20180514152536a93405a2d410ab2b6b3a020047b1be6200f9d363bce4b4730; bad_idf7c10150-782e-11e8-8253-0bcf841e4051=c5a6f801-80da-11e8-811c-6d6b1a1ec201; bad_idd48594b0-5d6e-11e8-b4e6-c1315c7232d3=9aece0c1-8585-11e8-b3e6-73ea0cfe010b; __gid=133660893.668147781.1531292418891.1533303179302.3; quCapStyle=2; _gid=GA1.2.2125020263.1534845988; quCryptCode=D6TqMQxFsplN%252FMtzPlEGkjJzQFVX86cCNui6mkIaTGxjXmStx7sjnoL2M%252FHv8Irpw2D1olA1JW8%253D; T=s%3D03d963c9568f2f0fcb8868b4b799a7fc%26t%3D1534845991%26lm%3D%26lf%3D2%26sk%3D37ea9e560f49ebf5562568486a9e8e70%26mt%3D1534845991%26rc%3D%26v%3D2.0%26a%3D1; accessId=d48594b0-5d6e-11e8-b4e6-c1315c7232d3; nice_idd48594b0-5d6e-11e8-b4e6-c1315c7232d3=fd825761-a529-11e8-b7fd-370d61367b46; __DC_sid=80005644.1360717300268500500.1534925969526.4639; qimo_seosource_d48594b0-5d6e-11e8-b4e6-c1315c7232d3=%E7%AB%99%E5%86%85; qimo_seokeywords_d48594b0-5d6e-11e8-b4e6-c1315c7232d3=; _xsrf=2|0d31277b|'
//访问网站的User_agent
agent = 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Mobile Safari/537.36'
# In[ ]:
# In[216]:
//json转对象
class JSONObject:
def __init__(self, d):
self.__dict__ = d
# In[217]:
//获取某一页的app版本信息，添加到list中
def getList_appinfo(jsonObject):
try:
for index in range(len(jsonObject.data.list)):
json_object = jsonObject.data.list[index]
name = json_object.name
apkMd5 = json_object.apkMd5
pn = json_object.pn
versionName = json_object.versionName
iconUrl = json_object.iconUrl
myList.append((name,apkMd5,pn,iconUrl,versionName))
return myList
except:
return None
# In[226]:
//遍历100页的数据
for index in range(100):
number = index * 5
url = 'http://jiagu.360.cn/web/apk/list?offset=%d&limit=5&name=&fileName=' %number
r = session.get(url,
headers={'user-agent': agent,'Cookie':cookies_str})
jsonArray = json.loads(r.html.html,object_pairs_hook=OrderedDict)
pprint(json.loads(r.html.html))
jsonObject = json.loads(r.html.html,object_hook=JSONObject)
getList_appinfo(jsonObject)
# In[227]:
//导入数据框工具
import pandas as pd
# In[228]:
df = pd.DataFrame(myList)
# In[229]:
df
# In[230]:
//修改列名
df.columns = ['title','md5','pm','version','url']
# In[231]:
df
# In[232]:
//导出为csv文件
df.to_csv('ceshi.csv',encoding='gbk' ,index=False)
3、以上是一个简单的实例，下边介绍
requests_html网络请求的源码以及使用的api
基本使用
获取网页
requests-html和其他解析HTML库最大的不同点在于HTML解析库一般都是专用的，所以我们需要用另一个HTTP库先把网页下载下来，然后传给那些HTML解析库。而requests-html自带了这个功能，所以在爬取网页等方面非常方便。
下面的代码获取了糗事百科上面的文字段子页面，返回的对象r是requests.Reponse类型，更确切的说是继承自前者的requests_html.HTMLResponse类型。这里其实和requests库的使用方法差不多，获取到的响应对象其实其实也没啥用，这里的关键就在于r.html这个属性，它会返回requests_html.HTML这个类型，它是整个requests_html库中最核心的一个类，负责对HTML进行解析。我们学习requests_html这个库，其实也就是学习这个HTML类的使用方法。
from requests_html import HTMLSession
session = HTMLSession()
r = session.get('https://www.qiushibaike.com/text/')
// 查看页面内容
print(r.html.html)获取链接
links和absolute_links两个属性分别返回HTML对象所包含的所有链接和绝对链接（均不包含锚点）。
获取链接
print(r.html.links)
print(r.html.absolute_links)
结果为下（因为结果太长，所以我随便取了一点，看个意思就行）：
{'/article/104353012', '/article/120616112', '/users/32331196/'}
{'https://www.qiushibaike.com/imgrank/', 'https://www.qiushibaike.com/article/120669516', 'https://www.qiushibaike.com/article/120682041'}获取元素
request-html支持CSS选择器和XPATH两种语法来选取HTML元素。首先先来看看CSS选择器语法，它需要使用HTML的find函数，该函数有5个参数，作用如下：
selector，要用的CSS选择器；
clean，布尔值，如果为真会忽略HTML中style和script标签造成的影响（原文是sanitize，大概这么理解）;
containing，如果设置该属性，会返回包含该属性文本的标签；
first，布尔值，如果为真会返回第一个元素，否则会返回满足条件的元素列表；
_encoding，编码格式。
下面是几个简单例子：
首页菜单文本
print(r.html.find('div#menu', first=True).text)首页菜单元素
print(r.html.find('div#menu a'))print(list(map(lambda x: x.text, r.html.find('div.content span'))))[<Element 'a' href='/' rel=('nofollow',)>, <Element 'a' href='/hot/'>, <Element 'a' href='/imgrank/'>, <Element 'a' id='highlight' href='/text/'>, <Element 'a' href='/history/'>, <Element 'a' href='/pic/'>, <Element 'a' href='/textnew/'>]['有一次，几位大城市的朋友来家里玩，我招待他们吃风干羊肉做臊子的饸饹面，这是我们老家最具特色的美食！饭快熟的时候，老婆让我在园子里摘点“芫荽 ”，朋友问我，“芫荽”是什么东东？我给他们翻译解释说：我们本地土话叫“芫荽”，你们城里人讲普通话叫香菜，他们还大笑了一场。\n前天下雨没事儿干，翻看新华字典，突然发现“芫荽”才是香菜的学名，Tm香菜才是土话！而且我们地方方言就这两个字发音还特别标准！', '昨天晚上跟老婆吵架，他抓起我的手机就摔了。我立马摔了他的，结果我的还能用，他的坏了。高潮是人家立刻出门买了个新的！我艹，是不是中计了？？', '小姨要去高铁站，我看着大大小小的箱子说：坐公交车要转车，转来转去要一个多小时，太不方便了，不如我开车送你吧。\n小姨迟疑了一下，同意了。\n我准时把小姨送到了高铁站，正好赶上检票。\n小姨高兴地说：自己开车就是方便，不过幸好你妈聪明，让我们提前两个多小时就出发了！'print(r.html.xpath("//div[@id='menu']", first=True).text)
print(r.html.xpath("//div[@id='menu']/a"))
print(r.html.xpath("//div[@class='content']/span/text()"))['\n\n\n我一份文件忘家里了，又懒得回家取，就给小姨子发短信息: 帮我把文件送来，晚上我谢谢你。等半天也没送来文件，我只好打个车回家自己拿，到家一进屋，我就发现气氛不对劲，老婆铁青着脸，两手掐着腰，小姨子站旁边对我怒目而视。']元素内容
糗事百科首页LOGO的HTML代码如下所示：
<div class="logo" id="hd_logo">
<a href="/"><h1>糗事百科h1>a>
div>我们来选取这个元素：
e = r.html.find("div#hd_logo", first=True)要获取元素的文本内容，用text属性：
print(e.text)糗事百科
要获取元素的attribute，用attr属性：
print(e.attrs){‘class’: (‘logo’,), ‘id’: ‘hd_logo’}
要获取元素的HTML代码，用html属性：
print(e.html)
#### <div class="logo" id="hd_logo">
#### <a href="/"><h1>糗事百科h1>a>
#### div>要搜索元素的文本内容，用search函数，比如说我们现在想知道是糗事什么科：
print(e.search("糗事{}科")[0])百
最后还有前面提到的两个链接属性：
print(e.absolute_links)
print(e.links)
#### {'https://www.qiushibaike.com/'}
#### {'/'}进阶用法
这一部分我懒得找例子了，所以用官网上的例子。
JavaScript支持
有些网站是使用JavaScript渲染的，这样的网站爬取到的结果只有一堆JS代码，这样的网站requests-html也可以处理，关键一步就是在HTML结果上调用一下render函数，它会在用户目录（默认是~/.pyppeteer/）中下载一个chromium，然后用它来执行JS代码。下载过程只在第一次执行，以后就可以直接使用chromium来执行了。唯一缺点就是chromium下载实在太太太太太太慢了，没有科学上网的同学可能无法使用该功能了。
>>> r = session.get('http://python-requests.org/')
>>> r.html.render()
[W:pyppeteer.chromium_downloader] start chromium download.
Download may take a few minutes.
[W:pyppeteer.chromium_downloader] chromium download done.
[W:pyppeteer.chromium_downloader] chromium extracted to: C:\Users\xxxx\.pyppeteer\local-chromium\571375
>>> r.html.search('Python 2 will retire in only {months} months!')['months']
'25'render函数还有一些参数，顺便介绍一下（这些参数有的还有默认值，直接看源代码方法参数列表即可）：
retries: 加载页面失败的次数
script: 页面上需要执行的JS脚本（可选）
wait: 加载页面钱的等待时间（秒），防止超时（可选）
scrolldown: 页面向下滚动的次数
sleep: 在页面初次渲染之后的等待时间
reload: 如果为假，那么页面不会从浏览器中加载，而是从内存中加载
keep_page: 如果为真，允许你用r.html.page访问页面
比如说简书的用户页面上用户的文章列表就是一个异步加载的例子，初始只显示最近几篇文章，如果想爬取所有文章，就需要使用scrolldown配合sleep参数模拟下滑页面，促使JS代码加载所有文章。
智能分页
有些网站会分页显示内容，例如reddit。
r = session.get(‘https://reddit.com‘)
for html in r.html:
… print(html)
https://www.reddit.com/‘>
https://www.reddit.com/?count=25&after=t3_81puu5‘>
https://www.reddit.com/?count=50&after=t3_81nevg‘>
https://www.reddit.com/?count=75&after=t3_81lqtp‘>
https://www.reddit.com/?count=100&after=t3_81k1c8‘>
https://www.reddit.com/?count=125&after=t3_81p438‘>
https://www.reddit.com/?count=150&after=t3_81nrcd‘>
…
这样的话，请求下一个网页就很容易了。r = session.get(‘https://reddit.com‘)
r.html.next()
‘https://www.reddit.com/?count=25&after=t3_81pm82’
直接使用HTML
前面介绍的都是通过网络请求HTML内容，其实requests-html当然可以直接使用，只需要直接构造HTML对象即可：from requests_html import HTML
doc = “”“https://httpbin.org‘>”“”html = HTML(html=doc)
html.links
{‘https://httpbin.org‘}
直接渲染JS代码也可以：
和上面一段代码接起来
script = “””
() => {
return {
width: document.documentElement.clientWidth,
height: document.documentElement.clientHeight,
deviceScaleFactor: window.devicePixelRatio,
}
}
“””
val = html.render(script=script, reload=False)print(val)
{‘width’: 800, ‘height’: 600, ‘deviceScaleFactor’: 1}print(html.html)
自定义请求
前面都是简单的用GET方法获取请求，如果需要登录等比较复杂的过程，就不能用get方法了。HTMLSession类包含了丰富的方法，可以帮助我们完成需求。下面介绍一下这些方法。
自定义用户代理
有些网站会使用UA来识别客户端类型，有时候需要伪造UA来实现某些操作。如果查看文档的话会发现HTMLSession上的很多请求方法都有一个额外的参数**kwargs，这个参数用来向底层的请求传递额外参数。我们先向网站发送一个请求，看看返回的网站信息。
from pprint import pprint
r = session.get(‘http://httpbin.org/get‘)
pprint(json.loads(r.html.html))
返回的结果如下：
{‘args’: {},
‘headers’: {‘Accept’: ‘/‘,
‘Accept-Encoding’: ‘gzip, deflate’,
‘Connection’: ‘close’,
‘Host’: ‘httpbin.org’,
‘User-Agent’: ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) ’
‘AppleWebKit/603.3.8 (KHTML, like Gecko) ’
‘Version/10.1.2 Safari/603.3.8’},
‘origin’: ‘110.18.237.233’,
‘url’: ‘http://httpbin.org/get‘}
可以看到UA是requests-html自带的UA，下面换一个UA：
ua = ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0’
r = session.get(‘http://httpbin.org/get‘, headers={‘user-agent’: ua})
pprint(json.loads(r.html.html))
可以看到UA确实发生了变化：
{‘args’: {},
‘headers’: {‘Accept’: ‘/‘,
‘Accept-Encoding’: ‘gzip, deflate’,
‘Connection’: ‘close’,
‘Host’: ‘httpbin.org’,
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) ’
‘Gecko/20100101 Firefox/62.0’},
‘origin’: ‘110.18.237.233’,
‘url’: ‘http://httpbin.org/get‘}
当然这里仅仅是换了一个UA，如果你有需要可以在header中修改其他参数。
模拟表单登录
HTMLSession带了一整套的HTTP方法，包括get、post、delete等，对应HTTP中各个方法。比如下面我们就来模拟一下表单登录：
表单登录
r = session.post('http://httpbin.org/post', data={'username': 'yitian', 'passwd': 123456})
pprint(json.loads(r.html.html))结果如下，可以看到forms中确实收到了提交的表单值：
{'args': {},
'data': '',
'files': {},
'form': {'passwd': '123456', 'username': 'yitian'},
'headers': {'Accept': '*/*',
'Accept-Encoding': 'gzip, deflate',
'Connection': 'close',
'Content-Length': '29',
'Content-Type': 'application/x-www-form-urlencoded',
'Host': 'httpbin.org',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) '
'AppleWebKit/603.3.8 (KHTML, like Gecko) '
'Version/10.1.2 Safari/603.3.8'},
'json': None,
'origin': '110.18.237.233',
'url': 'http://httpbin.org/post'}如果有上传文件的需要，做法也是类似的。如果了解过requests库的同学可能对这里的做法比较熟悉，没有错，这其实就是requests的用法。requests-html通过暴露**kwargs的方法，让我们可以对请求进行定制，将额外参数直接传递给底层的requests方法。所以如果有什么疑问的话，直接去看requests文档就好了。
爬虫例子
文章写完了感觉有点空洞，所以补充了几个小例子。不得不说requests-html用起来还是挺爽的，一些小爬虫例子用scrapy感觉有点大材小用，用requests和BeautifulSoup又感觉有点啰嗦，requests-html的出现正好弥补了这个空白。大家学习一下这个库，好处还是很多的。
爬取简书用户文章
简书用户页面的文章列表就是一个典型的异步加载例子，用requests-html的话可以轻松搞定，如下所示，仅仅5行代码。
r = session.get('https://www.jianshu.com/u/7753478e1554')
r.html.render(scrolldown=50, sleep=.2)
titles = r.html.find('a.title')
for i, title in enumerate(titles):
print(f'{i+1} [{title.text}](https://www.jianshu.com{title.attrs["href"]})')当然这个例子还有所不足，就是通用性稍差，因为文章列表没有分页机制，需要一直往下拉页面，考虑到不同的用户文章数不同，需要先获取用户总文章数，然后在计算一下应该下滑页面多少次，这样才能取得较好的效果。这里仅仅简单获取一些我自己的文章，就不往复杂写了。
爬取天涯论坛
以前经常在天涯论坛上追一些帖子，现在正好写一个爬虫，把连载的好帖子一次性爬下来弄成一个文件。
爬取天涯论坛帖子
url = 'http://bbs.tianya.cn/post-culture-488321-1.shtml'
r = session.get(url)楼主名字
author = r.html.find('div.atl-info span a', first=True).text总页数
div = r.html.find('div.atl-pages', first=True)
links = div.find('a')
total_page = 1 if links == [] else int(links[-2].text)标题
title = r.html.find('span.s_title span', first=True).text
with io.open(f'{title}.txt', 'x', encoding='utf-8') as f:
for i in range(1, total_page + 1):
s = url.rfind('-')
r = session.get(url[:s + 1] + str(i) + '.shtml')
# 从剩下的里面找楼主的帖子
items = r.html.find(f'div.atl-item[_host={author}]')
for item in items:
content: str = item.find('div.bbs-content', first=True).text
# 去掉回复
if not content.startswith('@'):
f.write(content + "\n")到此，他的基本用发都已经有了。上边部分代码是从其他博客拿过来用的，感觉写的不错，作者勿怪。