scrapy抓取名人名言

roots.txt文件解读
通过一天多的努力，我终于成功搭建好了云服务器上的各种环境并去抓取了数据。在这个过程中，我先用了MobaXterm，后改用了Xshell。
*1. MobaXterm使用体验

MobaXterm首页.png

MobaXterm是一个很方便的软件，它免安装，连接迅速，并且代码书写界面美观。

连接云服务器.png

然而，在我使用了一段时间后，也发现了它的一些瑕疵。MobaXterm连接是不太稳定的，即使我更改过了设置，情况也没有改善。

alive设置.png

除此之外，我还遇上了上传文件权限不足的问题

文件操作权限不足.png

通过，多方查找，这是由于新用户并没有获得对文件进行操作的权限，这可以通过

sudo chmod 777 spiders(文件名)

命令来赋予用户权限。

*2. Xshell使用体验
相较于MobaXterm而言，Xshell需要安装

安装Xshell.png

连接云服务器成功界面

连接云服务器.png

但是，Xshell连接较稳定，页面简单。上传下载文件，Xshell需要安装Xftp软件，安装过后，我上传下载文件并没有受到权限限制，

下载文件.png

总的来说，就界面设计而言，我更喜欢MobaXterm，但是就使用体验来说，我更倾向由于Xshell。

*3. 抓取数据存成json格式并转换为xml
当在本地编写好spiders文件后（我使用的是Notepad++），将其上传到spiders目录下，执行scrapy crawl quot(爬虫名字)命令

代码.png

数据存储为json格式.png

我需要将爬取下来的数据存成json文件格式，使用以下命令：

scrapy crawl qout -o aaa.json

其中qout是爬虫名称，aaa.json是你想保存的json文件名称。爬取结束后，我们可以在spiders目录下看到新生成的aaa.json文件。

文件.png

接下来，可以用

sz aaa.json（文件名）

命令来下载该文件。下载下来的json文件里数据很多，所以，我找了一个比较投机取巧的方式来将它转换成xml格式。
JSON与XML互转这个网站能够将json与xml进行相互转换。
我抓取的json文件与转换后的xml文件：json文件与xml