爬虫笔记（1）基础

基本库介绍

requests

安装

pip install requests

基本用法

response = reqeusts.get(url)
这里个get方法代表获取内容的方式是GET方法。

获取返回头信息

headers = response.headers
headers是一个dict

获取状态码

response.status_code

字符集

当前内容字符集response.encoding，这个字符集代表requests使用哪种字符集来解码网络内容，而且这个很有可能出错。这个字符集是从headers中获取的，如果headers中没有编码信息，那么很有可能出错（www.baidu.com这个页面就会出现这个问题）。因为在这种情况下，requests直接就返回ISO-8859-1。正确的做法是从html页面中进一步提取正确的字符信息。一个有意思的事情是，response.apparent_encoding能正确获取百度首页中正确的字符集信息，但是requests却不使用它来解决容错问题。

获取文本内容

response.text代表根据response.encoding解码之后的文本，而response.content则代表字节内容。通过设置encoding可以修改解码方式。
更多requests教程参考这个链接requests中文教程

BeautifuSoup

安装

pip install beautifulsoup4

使用方法

from bs4 import BeatutifulSoup soup = BeautifulSoup(html,'html5lib')
先要初始化一个soup对象，这html5lib就是使用的解析库。
例子：

hello

Tag H2

Tag H2 name

输出例子中的标题：soup.title
查找h1标签:h1 = soup.find('h1') 输出h1中的内容 h1.text
find只能找第一个碰到的h1标签。
找出所有的h2标签，h2list = soup.find_all(h2)，这里返回的是一个列表。当然我们还可以控制查找范围，如只查找class='name'的h2，h2list = soup.find_all(h2，attrs={'class':'name'})。
在实际的使用中一定要灵活运用各种条件尽量做到精确查找。比如在一个例子中，如果一个页面是一个文章列表，每个列表项目是一个div开头。如果直接查找div可能会找到大量不相干的信息，如果每个文章项目的div中都有个标题标签h2，那么就可以先通过查找h2然后向上查找div中的其它内容。
h2list = soup.find_all('h2',attrs={'class':'title'}) for h2 in h2list: div = h2.parent span = div.find('span')#查找其它信息 ....#如日期 作者 评论数 阅读数

获取属性以及文本

点击
如果此时tag代表上面的超链接节点，使用tag['href']就可以获取链接地址，使用tag.text可以获取其中文本。如果标签中还有其它html标签，这些标签会清除掉。使用tag.contents则可以获取标签中所有信息包括文本和其它标签，返回的是个列表。
更多beautifulsoup教程参考这个链接BeautifulSoup 4.2.0中文文档