Python爬虫学习笔记（二）————爬虫简介

目录

1.爬虫概念

2.爬虫核心

3.爬虫分类

 通用爬虫

聚焦爬虫

4.反爬手段

（1）User‐Agent

（2）代理IP

（3）验证码访问

（4）动态加载网页

（5）数据加密

---

1.爬虫概念

通过一个程序，根据Url(http://www.taobao.com)进行爬取网页，获取有用信息。

使用程序模拟浏览器，去向服务器发送请求，获取响应信息。

爬⾍⼀定要⽤Python么? 不是的。 ⽤Java也⾏, C也可以, 编程语⾔只是⼯具.。抓到数据是你的⽬的. ⽤什么⼯具去达到你的⽬的都是可以的。那为什么⼤多数⼈喜欢⽤Python呢?  因为 Python写爬⾍简单，有⾮常多的关于爬⾍能⽤到的第三⽅⽀持库。

2.爬虫核心

爬取网页：爬取整个网页 包含了网页中所有得内容 2.

解析数据：将网页中你得到的数据 进行解析 3.

难点：爬虫和反爬虫之间的博弈

3.爬虫分类

 通用爬虫

实例

百度、360、google、sougou等搜索引擎‐‐‐伯乐在线

功能

访问网页‐>抓取数据‐>数据存储‐>数据处理‐>提供检索服务

robots协议

君子协议。一个约定俗成的协议，添加robots.txt文件，来说明本网站哪些内容不可以被抓取，起不到限制作用 自己写的爬虫无需遵守

网站排名(SEO)

1. 根据pagerank算法值进行排名（参考个网站流量、点击率等指标）

2. 百度竞价排名

缺点

1. 抓取的数据大多是无用的

2.不能根据用户的需求来精准获取数据

聚焦爬虫

功能

根据需求，实现爬虫程序，抓取需要的数据

设计思路

1.确定要爬取的url

如何获取Url

2.模拟浏览器通过http协议访问url，获取服务器返回的html代码

如何访问

3.解析html字符串（根据一定规则提取需要的数据）

如何解析

4.反爬手段

（1）User‐Agent

User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版 本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件

（2）代理IP

西次代理 快代理 什么是高匿名、匿名和透明代理？它们有什么区别？ 1.使用透明代理，对方服务器可以知道你使用了代理，并且也知道你的真实IP。 2.使用匿名代理，对方服务器可以知道你使用了代理，但不知道你的真实IP。 3.使用高匿名代理，对方服务器不知道你使用了代理，更不知道你的真实IP。

（3）验证码访问

打码平台 云打码平台 超级

（4）动态加载网页

网站返回的是js数据 并不是网页的真实数据 selenium驱动真实的浏览器发送请求

（5）数据加密

分析js代码