2/2 数据获取：网络数据的获取

o. 抓取

1. urllib内建模块
— urllib.request

2. Request第三方库

**Request库：**

Requests 库是最简单、方便和人性化的Python HTTP第三方库。Requests 官网：http://www.python-requests.org/ 。

注：有的网站有自己的爬虫协议，如豆瓣网（https://book.douban.com/robots.txt）， 有“robots.txt”就说明存在。

基本方法	说明
request.get()	请求获取指定URL位置的资源，对应HTTP协议的GET方法。

发送请求获得一个Response对象，这个对象包含Resquest请求信息和服务器的Response响应信息，而Requests会自动解码来自服务器的信息。假设响应内容是二进制形式的，可以通过re.content进行解码，re.text自动推测文本编码并进行解码，re.encoding修改文本编码。

import requests

r = requests.get('https://book.douban.com/subject/1084336/comments/')

r.status_code
Out[4]: 200

r.text

import requests
re = requests.get('http://money.cnn.com/data/dow30') 
print(re.text)

3. Scrapy框架

o. 解析

1. BeautifulSoup库
BeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库。官方网站：https://www.crummy.com/software/BeautifulSoup/bs4/doc 。

BeautifulSoup对象	说明
Tag	HTML或XML文档中的标签；Tag属性的操作和字典一样；Tag对象最重要的属性包括name（获得名字）和attribute（）
BeautifulSoup	大部分内容都是Tag
NavigableString	Tag当中的字符串。NavigableString对象可以用string属性来表示，取Tag中包含的非属性的字符串。
Comment	NavigableString的一个子类

from bs4 import BeautifulSoup
markup = '
The Little Prince
' # 定义一个字符串
soup = BeautifulSoup(markup, 'lxml') # 生成一个BeautifulSoup对象的soup

soup.b # 任何的标签内容都可以用“BeautifulSoup对象.tag”形式访问得到
Out[22]: The Little Prince

type(soup.b) #查看类型
Out[23]: bs4.element.Tag

tag = soup.p

tag.name # 通过name属性获得名字
Out[25]: 'p'

tag.attrs
Out[26]: {'class': ['title']}

tag['class'] # 通过字典形式获得属性
Out[27]: ['title']

tag.string # NavigableString对象可以用string属性来表示
Out[28]: 'The Little Prince'

type(tag.string)
Out[29]: bs4.element.NavigableString

soup.find_all('b') # 寻找所有b标签的内容
Out[30]: [The Little Prince]

soup.find()# 只需要找第一个标签内容
Out[31]: 
The Little Prince

2. re模块（正则表达式模块）
re正则表达式模块进行各类正则表达式处理。参考网站：https://docs.python.org/3.5/library/re.html 。