python爬虫入门教程pdf-Python爬虫实战入门教程.pdf

Python 爬虫实战入门教程 州的先生

《Python 爬虫实战入门教程》

作者：州的先生

微信公众号：州的先生 博客：

2018/3/24

1

Python 爬虫实战入门教程 州的先生

目录

目录 2

第一章：工具准备 3

1.1、基础知识 3

1.2、开发环境、 3

1.3、第三方依赖库 3

1.4、第三方库安装： 3

第二章：从一个简单的HTTP 请求开始 7

2.1、为什么从HTTP 请求开始 7

2.2、基本的HTTP 概念 9

2.3、用Python 进行HTTP 请求 10

第三章：简单的HTML 解析——爬取腾讯新闻 12

3.1、爬取腾讯新闻 12

第四章：使用Cookie 模拟登录——获取电子书下载链接 17

4.1 、使用Cookie 爬取看看都电子书下载链接 18

第五章：获取JS 动态内容—爬取今日头条 24

5.1、如何处理JS 生成的网页内容 24

5.2、爬取今日头条 25

第六章：提高爬虫效率—并发爬取智联招聘 31

6.1、分析URL 和页面结构 31

第七章：使用Selenium-- 以抓取QQ 空间好友说说为例 36

7.1、Selenium 简介 36

7.2、在Python 中使用Selenium 获取QQ 空间好友说说 36

7.3、代码简析 39

第八章：数据储存——MongoDB 与MySQL 42

8.1、MySQL 42

8.2、MongoDB 47

第九章：下一步 50

2

Python 爬虫实战入门教程 州的先生

第一章：工具准备

1.1、基础知识

使用Python 编写爬虫，当然至少得了解Python 基本的语法，了解以下几点即可：

? 基本数据结构

? 数据类型

? 控制流

? 函数的使用

? 模块的使用

不需要过多过深的 Python 知识，仅此而已。个人推荐《Python 简明教程》：

/abyteofpython_cn/ 、Python 官方的《Python 教程》

/translate/python_352/tutorial/index.html

如果需要PDF 版Python 入门资料，可以关注我的微信公众号：州的先生，回复关键字：

python 入门资料

1.2、开发环境、

? 操作系统：Windows 7

? Python 版本：Python 3.4

? 代码编辑运行环境：个人推荐PyCharm 社区版，当然，Python 自带的IDLE 也行，

Notepad++亦可，只要自己使用得习惯。

1.3、第三方依赖库

? Requests：一个方便、简洁、高效且人性化