06_Scrapy爬虫框架

0、前言：

• 下载Scrapy的过程中报错了，之前我的pip是换过的源的，今天没办法又给conda换了源头，也搞清楚了一个用pip指令下载用的是pip的源，用conda指令下载使用的是Anaconda的源。最终今天是通过conda install scrapy下载的scrapy。
• 其实换源的目的是为了下载方便一些，如果你不嫌麻烦，可以记下几个常用的源（清华、百度），然后不论是使用pip还是使用conda的时候，都指定一下源，就可以下载了。
• 带指定源下载的pip指令（以清华源为）：pip install package_name -i https://pypi.tuna.tsinghua.edu.cn/simple
• conda指令（以清华源为）：conda install package_name pip -i https://pypi.tuna.tsinghua.edu.cn/simple
• 注意conda指令是在Anaconda prompt中运行的，pip在cmd和Anaconda prompt中都可以运行。

---

2、Scrapy框架介绍：

• 注意：框架的目的是解放生产力，把重复性工作变简单。
• Scrapy是一个基于Python开发的爬虫框架，用于从网站中爬取结构化数据，该框架提供了非常多爬虫相关的基础组件，架构清晰，可拓展性强，基于Scrapy，我们可以灵活高效的完成各种爬虫需求。

---

3、使用Scrapy项目初始化：