处理 bug 和问题
在开发过程中，我花了大量的时间调试、分析和优化我的爬虫。 实际上比我预期的时间多了很多。
除了挂掉3，内存泄漏4，变慢5，崩溃6和各种其他错误，我遇到了一系列意想不到的问题。
1. 内存管理
内存不是无限的资源 - 特别是在每月5美元的 DigitalOcean 虚拟机上。
事实上，我不得不限制在内存中一次存放多少个Python对象。 例如，调度员非常快地将URL推送给主控制器，比后者爬取它们要快得多。 同时，主控制器通常有8个爬取进程可供使用，因此这些进程需要不断地提供新的URL来爬取。
因此，我设置了一个阈值，确定主控制器上可以在内存中一次处理多少个URL。 这使我能够在内存使用和性能之间取得平衡。
2. 瓶颈
我很快意识到，我不能让我的网络爬虫不受约束，否则它会抓取整个网络-这根本不是我的目标。
因此，我将爬取深度限制为 1，这意味着只会抓取指定网址及其直接的子网址。这样我的爬虫可以自动发现它要特别寻找的大部分网页。
3. 动态生成的内容
我发现很多网站都是用JavaScript动态生成的。这意味着当你使用爬虫下载任意网页时，你可能没有它的全部内容。也就是说，除非你能够解释和执行其脚本来生成页面的内容。要做到这一点，你需要一个JavaScript引擎。
现在有很多方法可以解决这个问题，但我还是选择了一个非常简单的解决方案。我指定了一些主控制器，让它们只抓取动态生成的网页。
在那些主控制器上：
- 我安装了谷歌浏览器和Chrome驱动程序。
- 我安装了Selenium的Python绑定。
- 我安装了xvfb来模拟监视器的存在，因为Chrome有一个GUI，而CentOS默认没有。
因此，我有几个节点能够抓取动态生成的网页。
4. 极端情况
我已经知道，构建一个常规爬虫意味着要处理各种奇怪的API极端案例。但是网络爬虫呢？
好吧，如果你把网络看成是一个API，它肯定是巨大的，疯狂的，非常不一致的：
- 页面并非都是以同样的方式构建的。
- 页面通常包含无效字符（即与页面编码不兼容）。
- 服务器经常返回各种HTTP错误（500,404,400等等），包括自定义的错误（999，有人能告诉我这是啥不？）。
- 服务器经常无法访问，导致超时。域名/网站可能不再存在，或者可能存在DNS问题，或者可能是负载过重，或者服务器可能配置不正确或者…你明白的:)
- 有些页面是巨大的，有几十兆字节或者更多7。这意味着，如果你一次下载完全，并将它们全部加载到内存中的话，你很可能会在某个时刻耗尽内存8。
- 服务器有时返回不正确的HTML，或非HTML内容，如JSON、XML或其他内容。谁知道为什么？！
- 网页通常包含无效和不正确的URL。或你不想爬取的URL，比如像大的二进制文件（如PDF文件，视频，等等）。
以上只是网络爬虫需要处理的许多问题的一部分。
性能数据
使用网络爬虫，你通常会对爬取速度感兴趣，即每秒下载的网页数量。例如，每4个主控制器，每个使用8个子进程，我估计我的爬虫程序速率超过每秒40页。
但我更感兴趣的是，每小时我的原始数据集有多少记录得到正确的解析。因为，正如前面提到的，我爬虫的最初目的是通过抓取丢失的字段或刷新过时的字段来填充数据集中的空白。
因此，使用与上面相同的配置，每小时它能够解析大约2600条记录。当然，这是一个令人失望的数字，但仍然足够好了，因为大多数网页都是无用的，而且过滤掉了。
添加配置信息 在Scrapy项目的 settings.py中添加以下代码
MONGO_HOST = "127.0.0.1" #主机IP
MONGO_PORT = 27017 #端口号
MONGO_DB = "Spider" #库名
MONGO_COLL = "jobinfo" #collection名
# MONGO_USER = ""
# MONGO_PSW = ""