Python_07爬虫

2020/08/01

1、魔法方法

（1）add (self, other)
定义加法的行为: +
（2）sub_ (selk; other)
定义减法的行为: -
（3）mul_ (self, other)
定义乘法的行为: *
（4）truediv (self, other)
定义真除法的行为:/
（5）floordiv (self, other)
定义整数除法的行为: //
（5）mod(self, other)
定义取模算法的行为: %
（6）divmod (self, other)
定义当被divmod()调用时的行为
（7）pow (self, other[, modulo])
定义当被power(调用或**运算时的行为
（8）Ishift (self, other)
定义按位左移位的行为: <<
（9）rshift (self, other)
定义按位右移位的行为: >>
（10）and (self, other)
定义按位与操作的行为: &
（11）xor (self, other)
定义按位异或操作的行为: ^

2、导入模块

（1）import 模块名
（2）from 模块名 import 函数名
（3）import 模块名 as 新名字

3、模块

（1）if__name__ == ‘main’
（2）路径

4、包(package)

（1）创建一个文件夹，用于存放相关的模块，文件夹的名字即包的名字
（2）在文件夹中创建一个__init__.py的模块文件，内容可为空
（3）将相关的模块放在包中
（4）导入
import 包名.模块名

5、Python部分标准库

（1）打开Python的文档
IDLE----->Help------>Python Docs

6、网络爬虫

实例：

7、隐藏

（1）通过Request的header参数修改
（2）通过Request.add_header()方法修改

8、延迟提交时间

import time
全部缩进后 在最前面加死循环，最后程序睡5秒钟

9、代理

步骤：
1、参数是一个字典{‘类型’:‘代理ip:端口号’}

proxy_support = urllib.request.ProxyHandler({})

2、定制、创建一个opener

opener =urllib.request.build_opener(proxy_support)

3a、安装 opener

urllib.request.install_opener(opener)

3b、调用 opener

opener.open(url)