annaconda+scrapy构建爬虫环境

1.环境构建

1.下载Anaconda
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.0-Linux-x86_64.sh
2.安装Anaconda
bash source ./Anaconda3-5.0.0-Linux-x86_64.sh
3.conda创建虚拟环境（myspider）
conda create -n myspider
4.进入/退出conda虚拟环境（myspider）
进入：conda activate myspider
退出：conda deactivate
5.安装scrapy(进入虚拟环境后)
conda install -c conda- forge scrapy
6.初始化scrapy爬虫
scrapy startproject XXXXXX XXXX为爬虫名称
初始化之后的会在当前目录中创建一个与爬虫名称相同的文件夹
且文件夹结构如下：