爬虫笔记

1 URL（统一资源定位符）

1.1 一般格式

protocol://hostname[:port]/path/[;parameters][?query]#fragment

1.2 组成

• 第一部分是协议：http, https, ftp, file, ed2k...
• 第二部分是存放资源的服务器的域名系统或IP地址（有时候包含端口号，各种传输协议都有默认的端口号）
• 第三部分是资源的具体地址，如目录或文件名等

1.3 与URI的区别

URI是统一资源标识符，用字符串来标识某一互联网资源
URL是统一资源定位符，表示资源的地址
因此URI属于父类，而URL属于URI的子类

2 设计中的特别注意

不要重读爬取同一个URL的内容，如果没做这方面的预防，如果一个URL的内容中包含该URL本身，那么就会陷入无限递归

3 修改headers

• 通过Request的headers参数修改
• 通过Request.add_header()方法修改

4 代理

4.1 步骤

• 参数是一个字典{‘类型’：‘代理ip：端口号’}
  proxy_support = urllib.request.ProxyHandler({})
• 定制、创建一个opener
  opener = urllib.request.build_opener(proxy_support)
• a.安装opener（一直在电脑中）
  urllib.request.install_opener(opener)
• b.调用opener
  opener.open(url)

5 获取Request对象具体使用哪种方法访问服务器

get_method()

6 服务器如何确定你是否登录

服务器通过判断你提交的cookie来确定。

6.1 cookie分类：

• 即时过期的cookie，称为‘会话’cookies，当浏览器关闭时（这里是python的请求程序）自动清除
• 有期限的cookie，由浏览器进行存储，并在下一次请求该网站时自动附带（如果没过期或清理的话）

7 Beautiful Soup

7.1 对象

• Tag标签
  --tag中包含的字符串不能编辑，但可通过函数replace_with()替换。
  --find_all()方法搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件
  --find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果；find_all() 方法没有找到目标是返回空列表, find() 方法找不到目标时,返回 None
  --tag的 .contents 属性可以将tag的子节点以列表的方式输出
  --通过tag的 .children 生成器,可以对tag的子节点进行循环，同样 .descendants 属性可以对所有tag的子孙节点进行递归循环
  --通过 .parent 属性来获取某个元素的父节点
  -- 兄弟节点：在文档树中,使用 .next_sibling 和 .previous_sibling 属性来查询兄弟节点；通过 .next_siblings 和 .previous_siblings 属性可以对当前节点的兄弟节点迭代输出
• NavigableString
• BeautifulSoup
• Comment

8 生成器(generator)

作用：一次产生一个数据项，并把数据项输出

格式：

def 函数名(参数)：
...
yield 表达式

用法

generator函数的定义和普通函数的定义没什么区别，只要在函数体内使用yield生成数据项即可
generator函数可以被for循环遍历，并且可以通过next()方法获得yield生成的数据项

与return的区别

yield生成值并不会中止程序的执行，返回值后程序继续往后执行，return返回值后，程序将中止执行