Google Search Appliance 抓取时间表

在指定要抓取的网址并配置了用于抓取的服务器之后，可以通过抓取并编制索引 >  抓取时间表页选择抓取模式，对于预定抓取模式，可以指定抓取您的服务器的次数。

抓取模式

Search Appliance 具有以下抓取模式：

• 持续抓取。 如果您想让抓取工具自动查找更新内容并编制索引，请选择该模式
• 预定抓取。 如果您想精确控制所有抓取的时间和持续时间，请选择该模式。 当出现以下情况时，预定抓取就会结束：
  • 已经超过您指定的时间限制
  • 抓取工具达到了您的许可指定的文档限制
  • 抓取工具达到了“抓取并编制索引 > 主机负载计划”页上“抓取网址数量上限”下设置的限制
  • 抓取工具已经抓取了所有可获得网址

这两种抓取模式都会使用“抓取网址”页上配置的相同网址。

要选择抓取模式：

1. 点击持续抓取或预定抓取模式的单选按钮
2. 点击保存抓取模式按钮

保存选择后，网页底部会显示所选抓取模式的相关信息：或是抓取时间表，或是持续抓取的抓取频度调节。 要了解有关配置预定抓取的更多信息，请参阅抓取时间表部分。

抓取时间表

抓取时间表允许您将抓取与发生在您的服务器上的其他任何系统活动（例如常规系统备份）结合起来。

您可以创建抓取时间表，也可以将抓取限制为指定的持续时间（以小时和分钟表示）。 如果您设置抓取时间限制，抓取工具会运行指定的小时数和分钟数，或者运行到抓取了所有网址时为止。 例如，如果您设置了两个小时的时间限制，并将开始时间安排为凌晨 2 点，那么除非抓取工具不到 2 个小时就完成抓取，否则它就会在凌晨 2 点到 4 点之间抓取您的服务器。

预定抓取：

1. 要选择日期，请在开始抓取下拉列表中进行选择
2. 要选择您希望开始抓取的时间，请在起始小时下拉列表中选择小时，并在起始分钟下拉列表中选择分钟
3. 要限制抓取的持续时间，请在下拉列表中选择持续时间。 您可以选择最长为 24 小时 45 分钟的时间长度
4. 点击保存抓取时间表按钮

点击添加更多的行按钮，可以创建更多的预定抓取。 这一操作会向时间表中增加更多行，用于添加额外的条目。

 

从上面可以知道，Google的几种抓取方式，一种是漫游器， 主要针对的是所有网站，它会一直运行，主要是用来收集网址。另外就是针对某一网站的限时抓取，所以怎么让搜索引擎在一定时间内索引到一定的页面就是SEO要做的内链的构建。同时搜索引擎一半在凌晨2点到4点之间大量抓取网页也是为了减轻目标服务器的压力。