Python爬虫，入门详细笔记（免费下载）
这篇是纯干货分享，对python感兴趣的可以认真看起来！
小白想要入门Python爬虫，首先得了解爬虫的基本工作原理和相关的理论基础，爬虫简介部分就不细说了，都可以百度得到。
爬虫工作原理总结来讲就是四部曲：
发送请求-获取页面-解析页面-保存内容
接下来我会对Python爬虫各部分的学习框架进行拆分讲解
第一理论基础：Python编程
不用担心Python编程会很难学，在跟Java、C语言相比，Python算是一门较容易学的编程语言了，语言简洁高效，易上手操作，对新手小白很友好。
学习Python爬虫无非就是先把Python基础知识学好，像Python开发环境使用、基础语法、常量与变量、算数、条件循环语句、数据结构类型、字符串、正则表达式、基本函数、异常处理这些，内容是有一点多，但难度不是很大，0基础新手小白需要花点心思和时间去理解这些概念涵义。
基础之后可以逐步学习Python面向对象的编程、类、多重继承、模块、异常机制、多进程与线程等内容
Python编程重在理清语法逻辑，熟练代码，掌握最核心的语法应用，比如字符串、正则表达式、循环语句等，这些在爬虫中几乎都要用到。
核心知识点可参考下面这张图，具体的知识点讲解已经整理好
一开始接触基础不必太着急，先大概了解一下Python的基础知识，有些东西一开始不太理解到后面接触的知识范围广了，会突然有豁然开朗的感觉。
Python入门教材的话新手有一本入门学习的书籍就够了，多了也看不完，最后还是躺在桌子上吃灰了，我比较推荐的是《Python编程：入门到实践》
《Python编程：入门到实践》电子书部分目录
第二爬虫学习路线
爬虫核心技巧
技巧一：请求库
请求库有：requests、selenium、urllib、aiohttp，我个人比较推荐新手小白掌握urllib和requests请求库。
urllib库
是Python内置的HTTP请求库，不需要额外安装即可使用，包含以下4个模块：
request 打开和读取 URL，最基本的HTTP请求模块，可以用来模拟发送请求
error 包含 urllib.request 抛出的异常，如果出现请求错误，我们可以捕获这些异常，然后进行重试或其他操作以保证程序不会意外终止。
parse 用于解析 URL，比如拆分、解析、合并等。
robotparser 用于解析 robots.txt 文件，主要是用来识别网站的robots.txt文件，然后判断哪些网站可以爬，哪些网站不可以爬。
urllib库 爬虫抓取百度贴吧示例
需要注意的是urllib不能自动判断重定向，需要自己解析重定向的链接并重新请求。
如果你只是爬取一般的网页，那么Python自带的urllib库足够用了，如果是想要爬取异步加载的动态网站，requests库会方便很多。
requests库
功能强大的爬取网页信息的第三方库，可以进行自动爬取HTML页面及自动网络请求提交的操作。
requests库的主要方法：
Response对象
requests库爬取豆瓣短评示例:
爬虫案例:中国高校排名
爬虫学习其实并不难，特别适合零基础入门，完整版的Python全套学习资料已经上传CSDN 朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。
技巧二：抓包工具分析网络请求
抓取工具主要有chrome firefox fidder appium，重点讲一下fidder，基本可以说目前最为全面和强大的抓包工具就是fiddler了，使用也不算麻烦。
Fiddler也在官网上有提供非常详细的文档和教程，如果使用的时候遇到问题，可以直接查阅官网文档。我们可以利用Fiddler详细的对HTTP请求进行分析，并模拟对应的HTTP请求。
fiddler程序界面
fiddler本质就是一个HTTP代理服务器，功能非常强大，除了可以清晰的了解每个请求与响应之外，还可以进行断点设置，修改请求数据、拦截响应内容。
技巧三：解析数据库
解析库有非常多可以选择，比如CSS、pyqery、re、xpath等，比较建议掌握Beautiful Soup和Xpath
Beautiful Soup解析库
为第三方库需要安装使用，在命令行用pip安装就可以了：
具体用法：变量名称 = BeautifulSoup（需要解析的数据，"html.parser’）
它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序，能自动转换编码。
BeautifulSoup支持的解析器
-
1.Python标准库：内置库、执行速度适中、文档容错能力强；
-
2.lxml HTML解析器：速度快，文档容错能力强（推荐）；
-
3.lxml XML解析器：速度快，唯一支持xml的解析器；
-
4.html5lib：最好的容错性、以浏览器方式解析文档，生成HTML5格式的文档。
具体用法：soup=BeautifulSoup(markup,from_encoding=“编码方式”)
Beautiful Soup模块抓取网页信息示例：
备注：1. BeautifulSoup（）内的第一个参数，即需要解析的数据，类型必须为字符串，否则运行时系统会报错。
Xpath解析库
提供了非常简洁明了的路径选择表达式，XPath相对于正则表达式显得更加简洁明了，对于网页的节点来说，它可以定义id、class或其他属性。而且节点之间还有层次关系，在网页中可以通过XPath来定位一个或多个节点
规则：
Xpath比Beautiful Soup更省事，省略了一层一层检查元素代码的工作，一般的静态网站压根不是问题。
Xpath爬取58房源信息示例：
技巧四：保存数据
学到这里就比较容易了，主要是对数据的存储和处理，有两种方式：
小规模数据可以使用txt文件、json文件、csv文件等方式来保存文件。
大规模数据就需要使用数据库了像mysql，mongodb、redis等，就比较方便查询管理。
这一块掌握主流的MongoDB 就可以了，可以方便你去存储一些非结构化的数据，比如各种评论的文本，图片的链接等等。
以上这些核心技巧Python都有相应的库帮你去做，你只需要知道如何去应用它们，掌握精通每一部分的一到两种方法就可以了。
还想对爬虫了解更多的话继续往下看吧
反爬虫应对
当你能够独自爬取80%以上的网站后，再学点反爬技巧，爬虫之路不会有太大的阻碍。
一般爬虫过程中可能会碰到像奇奇怪怪的验证码、被封IP（例如豆瓣和github，在检测到某一客户端频繁访问后，会直接封锁ip）、userAgent访问限制、动态数据加载、加密数据等这种反爬虫的手段。
简单一点的根据User-Agent过滤，例如知乎，我们只需要设置为和浏览器相同即可。常规的解决办法通常有比如控制访问频率、抓包、反加密字体、验证码OCR处理、使用代理IP池等，简单一点的根据User-Agent过滤，例如知乎，我们只需要设置为和浏览器相同即可。能够掌握常规的反爬技巧，绝大部分的网站爬虫不是问题。
这里需要提示一点的是：不要去挑战某宝的反爬！后果很严重！
如果不满足自己的爬虫效率，觉得爬取速度太慢了，可以去学习爬虫框架scrapy和分布式爬虫。
爬虫框架scrapy：
Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试.
Scrapy框架主要由五大组件组成，分别是调度器(Scheduler)、下载器(Downloader)、爬虫（Spider）和实体管道(Item Pipeline)、Scrapy引擎(Scrapy Engine)。
在复杂的情况下，scrapy框架不仅能够便捷地构建request，还有强大的 selector 能够方便地解析 response，这是一个功能十分强大的爬虫框架，可以实现爬虫工程化和模块化。
分布式爬虫
企业级爬虫，能实现数据的大规模采集，通俗一点来理解就是它可以实现多台电脑使用一个共同的爬虫程序，同时将爬虫任务部署到多台电脑上运行，这样可以提高爬虫速度和效率，需要掌握 Scrapy + MongoDB + Redis 这三种工具。
但是分布式爬虫对电脑的CPU和网速都有一定的要求，这个看个人需要，如果你需要用于大规模的数据爬取，分布式爬虫可以帮你解决很多的麻烦。大部分情况下单一爬虫都能满足一般的爬取需要，只是爬取效率比不了分布式爬虫，有条件的可以尝试学学分布式爬虫。
新手小白掌握Python爬虫相对来说是比较简单的，只要大概掌握爬虫的每一步操作原理，能够熟练运用一到两个库就可以实现简单的爬虫，不过还是需要自己多学多练哦！
完整版的Python全套学习资料已经上传CSDN 朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。
