Python 爬虫学习笔记（一）

视频教程： 慕课网 Python开发简单爬虫

1.简单爬虫架构

image.png

2.爬虫架构的运行流程

image.png

3.URL管理器

image.png

4.URL管理器的实现方式

image.png

5.网页下载器

image.png

6.网页下载器--urllib2
6.1

image.png

6.2

image.png

image.png

6.3

image.png

image.png

7.urllib2 实例代码演示

image.png

image.png

8.网页解析器
8.1介绍

image.png

8.2 有哪几种类型

image.png

8.3 结构化解析介绍

image.png

9.beautifulsoup4
9.1 安装并测试beautifulsoup4

image.png

9.2 beautifulsoup4语法

9.3 使用

image.png

9.4 查找节点

image.png

9.5 访问节点

image.png