聚焦Python分布式爬虫必学框架Scrapy打造搜索引擎(1-1)

1-1Python分布式爬虫打造搜索引擎简介
获取想要的数据
深入认识网络知识和编程知识

学习流程
1.环境配置和基础知识铺垫
2.爬取真实数据
3.Scrapy突破反爬虫技术
4.scrapy进阶
5.scrapy redis分布式爬虫
6.elasticsearch djiango实现搜索引擎

爬虫基础知识
1.正则表达式
2.深度优先和广度优先的遍历算法
3.URL去重的常见策略

scrapy的常见功能(网站结构和网络请求)
知名技术社区
知名问答网站
知名招聘网站

xpath+css来提取数据

scrapy进阶:scrapy的原理 基于scrapy的中间件开发

你可能感兴趣的:(聚焦Python分布式爬虫必学框架Scrapy打造搜索引擎(1-1))