Python爬虫开发

一、爬虫基础

二、基础库的使用

  1. urllib库
  2. requests库

三、网页解析方式

  1. 正则表达式:re模块
  2. xpath语法和lxml库
  3. BeautifulSoup4用法

四、数据库的使用

  1. Mysql数据库
  2. MongoDB数据库
  3.Redis数据库

五、爬虫进阶

  1. 多线程与多进程
  2. Ajax数据爬取原理
  3. Ajax数据爬取实战--以拉勾网为例
  4. 验证码的识别

六、Python爬虫框架

  1. pyspider框架
  2. scrapy框架

七、分布式爬虫

  1. scrapy-redis框架

八、其他

  1. Linux基础
  2. Python基础
  3. 数据结构和算法基础
  4. JavaScript基础
  5. 数据分析与机器学习

你可能感兴趣的:(Python爬虫开发)