《python编程自动上手》笔记6 从Web抓取信息

20190107 qzd

---

本章：
a. webbrowser: 是python 自带的，打开浏览器获取指定页面。
b. requests: 从因特网上下载文件和网页。
c. Beautiful Soup: 解析HTML，即网页编写的格式。
d. selenium: 启动并控制一个Web 浏览器。selenium 能够填写表单，并模拟鼠标在这个浏览器中点击。

1. webbrowser 模块的 open() 函数可以启动一个新浏览器，打开指定的URL。

2. 用 requests 模块从Web 下载文件
   a. requests.get() 函数接受一个要下载的URL 字符串，它返回一个Response 对象，其中包括了Web 服务器对你的请求做出的响应。
   b. 通过检查Response 对象的 status_code 属性，可以了解对这个网页的请求是否成功。
   c. 如果请求成功，下载的页面就作为一个字符串，保存在Response 对象的text 变量中。
   d. 检查错误有个简单的方法，就是在Response 对象上调用 raise_for_status() 方法。
   举个例子：

import requests
res= requests.get('http://www.gutenberg.org/cache/epub/1112/pg1112.txt')
type(res)
------->result: 
res.status_code == requests.codes.ok
------->result: True
len(res.text)
------->result: 178981
print(res.text[:250])
------->result: The ………………………………project

3. 将下载的文件保存到硬盘
   open() / write() / close()
   注：必须用“写二进制”模式打开该文件，即向函数传入字符串‘wb’，作为open() 的第二参数。目的是为了保存该文本中的“Unicode 编码”。
   write() 方法返回一个数字，表示写入文件的字节数。
   下载并保存到文件的完整过程如下：
   a. 调用requests.get() 下载该文件
   b. 用‘wb’ 调用 open()，以写二进制的方式打开一个新文件
   c. 利用 Respose 对象的 iter_content() 方法做循环
   d. 在每次迭代中调用write()，将内容写入该文件
   e. 调用close() 关闭该文件

4. HTML (超文本标记语言)
   HTML 文件是一个纯文本文件，带有 .html 文件扩展名。

5. 用 BeautifulSoup 模块解析 HTML
   模块名称 bs4
   a. 从HTML 创建一个 BeautifulSoup 对象
   b. 用select() 方法寻找元素
   c. 通过元素的属性获取数据

6. 用selenium 模块控制浏览器
   selenium 模块让python 直接控制浏览器，实际点击链接，填写登陆信息，几乎就像是有个人类用户在与页面交互。与Requests 和 Beautiful Soup 相比，Selenium 允许你用高级得多的方式与网页交互。但因为它启动了Web 浏览器，假如你只是想从网络上下载一些文件，会有点慢，并且难以在后台运行。
   a. 启动selenium 控制的浏览器
   b. 在页面中寻找元素
   c. 点击页面
   d. 填写并提交表单
   e. 发送特殊键
   f. 点击浏览器按钮