黑马python2.7的爬虫1- 爬虫原理与数据抓取
1、使用的IDE和编辑器
IDE：PyCharm 、 Visual Studio
编辑器：Vim 、Sublime Text等
抓包工具：fiddler
python需要导入各种各样强大的库
教程基于python2.7版本的
2、Python爬虫，我们需要学习的有
1. Python基础语法学习（基础知识）
2. HTML页面的内容抓取（数据抓取）
3. HTML页面的数据提取（数据清洗）
4. Scrapy框架以及scrapy-redis分布式策略（第三方框架）
6. 爬虫(Spider)、反爬虫(Anti-Spider)、反反爬虫(Anti-Anti-Spider)之间的斗争....
我们今后要学习的，是聚焦爬虫
3、HTTP工作原理
网络爬虫抓取过程可以理解为模拟浏览器操作的过程。
浏览器的主要功能是向服务器发出请求，在浏览器窗口中展示您选择的网络资源，HTTP是一套计算机通过网络进行通信的规则。请求和响应
4、Cookie 和 Session
服务器和客户端的交互仅限于请求/响应过程，结束之后便断开，在下一次请求时，服务器会认为新的客户端。
为了维护他们之间的链接，让服务器知道这是前一个用户发送的请求，必须在一个地方保存客户端的信息。
Cookie：通过在 客户端 记录的信息确定用户的身份。
Session：通过在 服务器端 记录的信息确定用户的身份。
5、urllib2库的基本使用
urlopen：打开网页，获取页面
urllib2.Request：能增加很多参数
也可以通过调用Request.add_header() 添加/修改一个特定的header，用来随机增加代理user agent
常用的User-Agent列表
6、get and urllib.urlencode()
urllib 和 urllib2 都是接受URL请求的相关模块，但是提供了不同的功能：
urllib 仅可以接受URL，不能创建 设置了headers 的Request 类实例；
但是 urllib 提供
urlencode方法用来GET查询字符串的产生，而 urllib2 则没有。（这是 urllib 和 urllib2 经常一起使用的主要原因）编码工作使用urllib的
urlencode()函数，帮我们将key:value这样的键值对转换成"key=value"这样的字符串，解码工作可以使用urllib的unquote()函数。（注意，不是urllib2.urlencode() )
所以，结合起来用，取长补短
通过urllib.urlencode()方法，将字典键值对按URL编码转换，从而能被web服务器接受。Request加参数，这个方法给是url加参数
get方式贴吧实战
注意：
request = urllib2.Request(url, headers = headers) #2headerspython with open as f写中文乱码 谁编码有问题就对谁编码
Python open() 函数
with open(unicode(filename), 'w') as f: #filename=哈哈.index
print filename
f.write(html)
print '-' * 35main函数》爬取函数》页面保存
7、POST方式
Request请求对象的里有data参数，它就是用在POST里的，我们要传送的数据就是这个参数data，data是一个字典，里面要匹配键值对。
json.dumps()和json.loads()
python字符串前面加u,r,b的含义
总结：post参数在urllib2.Request(url,data = data, headers = headers)里面，get参数在url里面
CA的作用是检查证书持有者身份的合法性，并签发证书，以防证书被伪造或篡改，以及对证书和密钥进行管理。我的理解是类似网络的权威中介吧！
8、Handler处理器 和 自定义Opener
基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能。所以要支持这些功能：
- 使用相关的
Handler处理器来创建特定功能的处理器对象； - 然后通过
urllib2.build_opener()方法使用这些处理器对象，创建自定义opener对象； - 使用自定义的opener对象，调用
open()方法发送请求。
1、自定义opener()
# 调用自定义opener对象的open()方法，发送request请求
response = opener.open(request)urllib2.urlopen()
发送HTTP/HTTPS请求得到的结果是一样的。如果在 HTTPHandler()增加 debuglevel=1参数，还会将 Debug Log 打开，这样程序在执行的时候，会把收包和发包的报头在屏幕上自动打印出来，方便调试，有时可以省去抓包的工作。
就是能看到请求数据，不用抓包，哈啊哈，强
2、ProxyHandler处理器（代理设置）
免费代理ip寿命好短，卧槽
来源路劲
代理服务器的来源有很多，我这里列举一些，希望大家补充一下自己知道的
- 学校实验室学生搭建的代理服务器自己用的，但是学生嘛，经验不足，没有做好权限控制，于是就多出了一台公共代理服务器了。
- 政府、机关、企业，和上面原因类似，自己搭建自用的代理服务器，没做好权限控制。
- 某些机构的蜜罐，用来盗取信息
- 某些机构的统计需求。信息采集。
- 实验性质的流量分析，开台公共代理获取一些流量作实验用途
- 一些小众软件的设计失误开出来的开放代理端口。付费代理：ProxyBasicAuthHandler(代理授权验证)
9、Cookie原理
HTTP是无状态的面向连接的协议, 为了保持连接状态, 引入了Cookie机制 Cookie是http消息头中的一种属性，包括：
Cookie名字（Name）
Cookie的值（Value）
Cookie的过期时间（Expires/Max-Age）
Cookie作用路径（Path）Cookie由变量名和值组成，根据 Netscape公司的规定，Cookie格式如下：
Set－Cookie: NAME=VALUE；Expires=DATE；Path=PATH；Domain=DOMAIN_NAME；SECURE
把浏览器请求学到headers即可，不复杂，尽可能伪装浏览器
10、Requests: 让 HTTP 服务人类 更加方便
超级强大：Requests 继承了urllib2的所有特性。Requests支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码。1、基本GET请求（headers参数 和 parmas参数）
使用response.text 时，Requests 会基于 HTTP 响应的文本编码自动解码响应内容，大多数 Unicode 字符集都能被无缝地解码。
使用response.content 时，返回的是服务器响应数据的原始二进制字节流，可以用来保存图片等二进制文件。
2、基本POST请求（data参数）
response = requests.post("http://www.baidu.com/", data = data)和原来urllib2比起来少了转码，方便，直接自己转码
总结：前面都是打基础，第10个最有用，哈哈哈