【Python 爬虫数据采集和管理标准化项目】项目介绍与内容目录索引

「Python3 爬虫标准化项目」的教程导航，每周保证定期新增内容和补种，望君收藏。

另外可以留言定制各种网站的爬虫脚本。

内容介绍

本系列内容做为标准化爬虫的引导，为广大的爬虫工程师分享爬虫工作中的经验，用作者自身的经验去理解 Python 在进行爬虫工作中的经验。

全部内容采用Scrapy框架，文章有标注网站全套的数据抓取教程以及经验指导，只要我有力气每周都会更新的爬虫。

项目准备

• 1.Scrapy 爬虫框架

【Scrapy 爬虫框架】学习与应用内容目录索引

• 2.Gerapy 爬虫管理框架

【Gerapy 爬虫管理框架】学习与应用内容目录索引

• 3.Scrapy 爬虫项目设计

「Python3 爬虫标准化项目」环境搭建与爬虫框架Scrapy入门
「Python3 爬虫标准化项目」爬虫目标整理和数据准备
「Python3 爬虫标准化项目」标准化爬虫数据抓取通用代码编写模板

小技巧

「爬虫技巧」Centos7.x 火狐浏览器selenium的安装和使用
「爬虫技巧」将相对路径的Url一键处理成绝对路径
「爬虫技巧」解决无法定位页面中 iframe 数据框的问题

项目管理

如何用 Django 管理 Scrapy 几十万个爬虫脚本？

数据抓取

• 1.能源行业新闻网站
  【Scrapy 五分钟撸网站】[能源行业新闻]Scrapy实战中国煤炭新闻网全站数据抓取
  【Scrapy 五分钟撸网站】[能源行业新闻]Scrapy实战中国煤炭市场网全站数据抓取
  【Scrapy 五分钟撸网站】[能源行业新闻]Scrapy实战国家煤炭工业网全站数据抓取

• 2.科技行业新闻网站
  【Scrapy 五分钟撸网站】[科技行业新闻]Scrapy实战快科技全站数据抓取
  【Scrapy 五分钟撸网站】[科技行业新闻]Scrapy实战36氪全站数据抓取

• 3.健康行业新闻网站
  【Scrapy 五分钟撸网站】[健康行业新闻]Scrapy实战39健康网全站数据抓取
  【Scrapy 五分钟撸网站】[健康行业新闻]Scrapy实战99健康网全站数据抓取

• 4.旅游行业新闻网站
  【Scrapy 五分钟撸网站】[旅游行业新闻]Scrapy实战北京旅游网全站数据抓取

• 5.全国各省市新闻信息网站
  【Scrapy 五分钟撸网站】[各省市新闻信息]Scrapy实战中国甘肃网全站数据抓取