实验报告：Dmoz—Business信息爬取

          实验报告：Dmoz—Business信息爬取

一.实验目的和要求

      爬取www.dmoz.org网站business分类下所有的网站信息（标题、url和简介）以json形式导出爬取的数据。

二.实验环境

本地环境： Win8: Python3.6.5, scrapy1.5.0, xshell, xftp

服务器： CentOS7:Python2.7.5, scrapy1.5.0

三. 实验内容

1.确定爬取内容

       先打开http://curlie.org/打开速度太慢不满意，换http://www.dmoztools.net/打开速度快多了，这两个都是一样的没什么区别。

        先点开business之后，不断的点他的子目录，直到点到它的最底层目录，如上图所示http://www.dmoztools.net/Business/Accounting/CPE_For_CPAs/。在这里就有我们要爬的数据，即标题、url和简介。

        所以可以确定我们的items.py。前3个就是标题，url，简介，其中还加了一个parent_url，它是网址的索引目录，不是它的网址，比如上图的parent_url就是Business/Accounting/CPE_For_CPAs/，而不是他的url（http://www.cpecredits.net/），这样是便于查看爬取的数据路径和来源。

2.确定爬取内容的xpathl路径

用开发人员工具查看他和确定他的xpath。

从我们要的第一条数据中，他是在一个 class=“title-and-desc”的div中，而我们要爬的数据。url就是在这个div中的一个a标签下的herf属性，标题就是在此div下a标签中一个的一个div中的文本数据，简介就是此div中的div中的文本数据。

所以这3个的xpath就是

//div[@class='title-and-desc']/a/@href  

//div[@class='title-and-desc'] /a/div/text()

//div[@class='title-and-desc']/div/text()

而parent_url的xpath是//head/meta[2]/@content

3.确定爬虫规则

确定spider.py

4.实验过程

因为服务器之前被我弄得有的问题，所以先再本地测试。先在本地cmd窗口，创建一个爬虫项目scrapy startproject dmoz。成功后在用pycharm打开这个项目，如图

       爬虫结构如图左所示。然后把items.py和spider.py写好，在settings.py里的# DOWNLOAD_DELAY = 3的注释去掉，就是添加一个爬取时间间隔。因为爬取的数据中没中文，所以没必要加 FEED_EXPORT_ENCODING ='utf-8'。爬虫写好了在本地爬虫目录下，Shift+鼠标右键->在此处打开命令窗口，在窗口中输入scrapy crawl dmoz，爬虫运行成功。本地运行成功。然后在服务器上测试。通过xftp直接把本地爬虫dmoz拷贝到云服务器上。通过xshell登录服务器，在爬虫dmoz目录下，运行scrapy crawl dmoz -o items.json -t json来生成json文件（因为没用配置pipelines.py文件）。运行结果如下

最后得到一个json的数据格式的文件，打开查看得到dmoz下的business类下的信息有67795条，文件大小为17.82MB。

5小时数据量

5.实验问题

1.在第一次试验性的爬取该网站后，爬了一会就会出403错误，就爬不到数据了，然后本地ip被封，要等好几个小时才解封。原因是蜘蛛程序爬的过快，会给服务器照成负担。听同学说在settings.py把#DOWNLOAD_DELAY = 3注释掉，之后试了的确可以，但是爬完67795条数据足足用了5个小时，后来发现其实把DOWNLOAD_DELAY = 1也是可以的。

2.之前一直用服务器运行和测试，不知道原因导致服务器很卡，试过各种方法都没用，包括重启服务器，百度，问同学，都没有解决，最后没办法直接重装服务器。

3.得到的json数据量太大，近18M。用markdown和记事本打开比较费劲，修改也比较麻烦，后来发现用dw打开比较快查看和修改。

4.本地安装scrapy出了许多问题，最后问同学用anaconda安装scrapy才安装成功的。

六. 总结

通过这次爬取dmoz-business的实验，我们了解了scrapy爬虫框架，对爬虫的爬取规则有了一定的认识，scrapy的各种设置对爬虫的效率有着很大的影响，下一步需要进一步研究如何提高爬虫的效率，本地运行环境和服务器上还是有很大差别的，要灵活运用和变通。