1.什么是爬虫
(1).爬虫的机构和工作过程
(2).抓包分析 chrom
chrom 浏览器
打开百度 www.baidu.com
鼠标右键---检查 f12
ctrl+r 刷新
network--doc--name--headers
request URL 请求地址
request method 请求方法
status code 服务器返回的状态码
http状态码
1xx:临时响应
2xx:请求成功
3xx:重定向
4xx:客户端错误
5xx:服务器错误
id(标识对象的唯一性)
type(对象的类型)type()
value(值)对象中储存的具体数据 可改变对象。。。值可以改变。。。反之
id=0*112
type
value=23
a=22 ---id'911'
c=22 内存里面只有一个22 变量储存的不是对象值而是对象的id
浅拷贝：拷贝父对象，不会拷贝对象内部的子对象。如{1：[1,2,3]},浅拷贝时不会拷贝对象内部的子对象[1,2,3],所以对子对象的操作不仅对自己这一份产生影响,对“像”自己的另一份也会产生影响
深拷贝：使用copy模块的deepcopy方法，完全是将一个对象完完整整的拷贝了独立的另一份，所以对拷贝对象和被拷贝对象进行修改的时候，两者独立，互不影响，不会修改另一个对象。
request库下载软件包
get post
乱码--utf-8
反爬措施--在get中添加参数获取请求码
headers更新headers
cookies动态更新cookies
session对象的会话
html css xml
xpath --xml-path
css
web
xml--path
xml文档结构 --树型结构
绝对路径 根--- /
相对路径 //
查找页面元素//
查找页面a元素 //a
查找页面ul元素下第一个li元素 //ul/li[1]
查找ul元素下所有li元素 //ul//li
绝对路径表达式 //ul/li
查找页面ul元素下最后一个li元素 //ul//li[last()]
查找页面上id属性 nav 的div元素 //div[@id='nav']
查找页面上class属性colla 的div元素 //div[@class='colla']
如果xpath中层及过多 可以使用*
//ul//li//tr//rd//span
//ul//*/*/*/span
1.模糊匹配
可以不把属性值写成精确值 start-with contains 模糊匹配
动态生存的元素 table-?
例如：查找href属性中包含java //a[contains(@href,'java')]
2.文本匹配
text () //[text()='退出']超链接的文本元素为退出
3.xpath的轴（axes）表达式
dom文本结构找不到时 可以使用轴（axes）表达式（“//a[contains(text(）,'Learn SQL')]/following:;a[contains(text(),'Learn Python')]")
1.following在当前节点之后查找
2.preceding在当前节点之前查找
3.following-sibling在当前节点之后查找（后面的兄弟节点（不包括子节点））
4.parent 在当前节点的父节点查找
child在当前节点的子节点查找
ancestor在当前节点的祖父节点查找
1.xpath ---xml
2.css-selector --css
id为flrs div 元素 #flrs //div[@id='flrs']
#flrs > a
3.正则表达式 所有字符串
1.普通字符 可见 不可见（\n \r \t）
2.特殊字符 * 匹配子表达式0或多次 任何字符串
+匹配子表达式1或多次
.匹配1个字符
？匹配子表达式0次或多次
（）匹配表达式的开始和结束
\转义字符
3.限定符 * + ? {n} {n，m}
{n}固定n次 {n，m}最少匹配n次切最多匹配m次
网页url 去重
数据（内容）去重
关系型数据库 有行有列 mysql oracle db2
缓存数据库
内存型数据库 redis mongdb
非关系型数据库 nosql 有行无列 hive hbase
关系型数据库 mysql 先存 url 再爬数据 小站点 distinct
缓存数据库 scrapy-redis -set内存去重--持久化到硬盘
内存型数据库 1. --url--python的set中，--hash-- 内存越大
2. MD5 --然后1
3. bit-map bitset
4. bloomfiter 布隆过滤器