搜素引擎蜘蛛的基本原理与工作流程详解【史上最全版】

    搜索引擎用来爬行和访问页面的程序被称为蜘蛛，也叫做机器人。 搜索引擎蜘蛛访问网站页面的时候就和你使用浏览器访问的过程一样，蜘蛛发出访问页面的请求，服务器会返回HTML代码，蜘蛛程序把这些代码存到原来页面的数据中，搜索引擎为了提高爬行和抓取的速度，都会使用多个蜘蛛分布爬行。

    一、搜素引擎蜘蛛的基本原理

    如果说互联网是一个蜘蛛网的话，那么搜索引擎蜘蛛就是在这个网上爬来爬去的蜘蛛。


    网络蜘蛛是通过网页的链接地址来寻找网页的，从网站的一个页面（首页）开始，读取网页的内容，找到网页中其他链接地址，通过这些链接地址寻找下一个网页，知道把这个网站所有的网页都找到。


    对于搜索引擎来说，要把互联网上所有的页面抓取下来几乎不可能，其中部分原因是技术问题，100亿网页的容量是100*2000G字节，这么多的数据下载需要很多机器下载很长时间才能把所有的网页下面，而且数据量太大，在搜索的时候有效率方面也会受到影响。


    所以搜索引擎只对一些重要的网页网页进行抓取，所以有些蜘蛛就对一些不太重要的网站设置了访问层数，所以你的网站如果有三层链接，但是蜘蛛限制访问的层数是两层，那么你第三层的网页便不会被蜘蛛所访问。对于网站设计者来说，扁平化的网站有利于搜索引擎抓取更多的网页。


    网络蜘蛛在访问网站网页的时候，经常会遇到加密数据和网页权限的问题，有些网页是需要会员权限才能访问。


    当然，网站的所有者可以通过协议让网络蜘蛛不去抓取，但对于一些出售报告的网站，他们希望搜索引擎能搜索到他们的报告，但又不能完全免费的让搜索者查看，这样就需要给网络蜘蛛提供相应的用户名和密码。


    网络蜘蛛可以通过所给的权限对这些网页进行网页抓取，从而提供搜索，而当搜索者点击查看该网页的时候，同样需要搜索者提供相应的权限验证。

    二、搜素引擎蜘蛛的页面抓取流程

    搜索引擎给用户呈现的每一条搜索结果都是对应互联网上的一个页面。每个搜索结果从产生到被搜索引擎呈现给用户都要经过四个步骤：抓取、过滤、建立索引和输出结果。

    抓取

    百度蜘蛛，是百度搜索引擎的一个计算机程序，专门抓取互联网上的信息。当你的网站出现新增内容时，蜘蛛会通过互联网上某个指向该页面的链接进行访问和抓取，假如你并没有设置任何外部链接指向网站中的新增内容，则蜘蛛是无法对它进行抓取的。对已经抓取过的内容，搜索引擎会对抓取的页面进行记录，并依据这些页面对用户的重要程度安排不同频次的抓取更新工作。

    过滤

    并非互联网中所有的页面都对用户有价值，例如：一些明显欺骗用户的网页，空白内容页面，死链接等，这种网页对用户、百度、站长来讲，都是没有价值的，因此百度会对其内容进行过滤，避免为用户和你的网站带来不必要的麻烦。

    建立索引

    百度会对抓取回来的内容进行标记和识别，并讲这些进行存储为结构化数据，百度会将网页中的关键词进行存储和识别，便于用户搜索的内容进行匹配。

    输出结果

    输入关键词之后，百度会对其进行一系列复杂的分析，并根据分析的结论在索引数据库中查找最匹配的网页，按照用户输入的关键词体现的需求强弱恶和网页的优劣打分，按最终的分数进行排列，呈现给用户。

通用的爬虫框架

    爬虫工作基本流程：

    1、首先在互联网中选出一部分网页，以这些网页的链接地址作为种子URL
    2、将这些种子URL放入待抓取的URL队列中，爬虫从待抓取的URL队列依次读取
    3、将URL通过DNS解析
    4、把链接地址转换为网站服务器对应的IP地址
    5、网页下载器通过网站服务器对网页进行下载
    6、下载的网页为网页文档形式
    7、对网页文档中的URL进行抽取
    8、过滤掉已经抓取的URL
    9、对未进行抓取的URL继续循环抓取，直至待抓取URL队列为空。
    其中，下载的网页文档一部分存储到页面库中，等待建立索引等后续处理，另一方面将网页中的URL存入已抓取URL库中，提供给步骤8进行过滤。

    三、搜素引擎蜘蛛的抓取策略

    由于蜘蛛为了能够抓取网上尽量多的页面，它会追踪网页上的简介，从一个页面爬到下一个页面，就好像是蜘蛛在蜘蛛网上爬行那样。整个互联网网站都是相互链接组成的，也就是说，搜索引擎蜘蛛从任何一个页面出发最终都会爬完所有页面。


    网站和页面链接结构太过于复杂，所以蜘蛛只有采用一定的方法才能够爬完所有页面，最简单的爬行策略有3种：

    1、最佳优先

    最佳优先搜索策略按照一定的网页分析算法，预测候选URL与目标网页的相似度，或与主题的相关性，并选取评价最好的一个或几个URL进行抓取，它只访问经过网页分析算法预测为“有用”的网页。


    存在的一个问题是，在爬虫抓取路径上的很多相关网页可能被忽略，因为最佳优先策略是一种局部最优搜索算法，因此需要将最佳优先结合具体的应用进行改进，以跳出局部最优点，据马海祥博客的研究发现，这样的闭环调整可以将无关网页数量降低30%~90%。

    2、深度优先

    深度优先是指蜘蛛沿着发现的链接一直向前爬行，直到前面再也没有其他链接，然后返回到第一个页面，沿着另一个链接再一直往前爬行。

    3、广度优先

    广度优先是指蜘蛛在一个页面发现多个链接时，不是顺着一个链接一直向前，而是把页面上所有链接都爬一遍，然后再进入第二层页面沿着第二层上发现的链接爬向第三层页面。


    从理论上说，无论是深度优先还是广度优先，只要给蜘蛛足够的时间，都能爬完整个互联网。

    四、搜索引擎蜘蛛工作中的信息收集

    信息收集模块包括“蜘蛛控制”和“网络蜘蛛”两部分，“蜘蛛”这个称呼形象的描述出了信息收集模块在网络数据形成的“Web”上进行信息获取的功能。


    总体而言，网络蜘蛛从种子网页出发，通过反复下载网页并从文档中寻找未曾见过的URL，达到访问其他网页得以遍历Web的目的。


    而其工作策略一般则可以分为累积式抓取（cumulative crawling）和增量式抓取（incremental crawling）两种。

    1、累积式抓取

    累积式抓取是指从某一个时间点开始，通过遍历的方式抓取系统所能允许存储和处理的所有网页。在理想的软硬件环境下，经过足够的运行时间，累积式抓取的策略可以保证抓取到相当规模的网页集合。


    但在马海祥看来由于Web数据的动态特性，集合中网页的被抓取时间点是不同的，页面被更新的情况也不同，因此累积式抓取到的网页集合事实上并无法与真实环境中的网络数据保持一致。

    2、增量式抓取

    与累积式抓取不同，增量式抓取是指在具有一定量规模的网络页面集合的基础上，采用更新数据的方式选取已有集合中的过时网页进行抓取，以保证所抓取到的数据与真实网络数据足够接近。


    进行增量式抓取的前提是，系统已经抓取了足够数量的网络页面，并具有这些页面被抓取的时间信息。面向实际应用环境的网络蜘蛛设计中，通常既包括累积式抓取，也包括增量式抓取的策略。


    累积式抓取一般用于数据集合的整体建立或大规模更新阶段，而增量式抓取则主要针对数据集合的日常维护与即时更新。


    在确定了抓取策略之后，如何从充分利用网络带宽，合理确定网页数据更新的时间点就成了网络蜘蛛运行策略中的核心问题。


    总体而言，在合理利用软硬件资源进行针对网络数据的即时抓取方面，已经形成了相对比较成熟的技术和实用性解决方案，马海祥觉得在这方面目前所需解决的主要问题是如何更好的处理动态网络数据问题（如数量越来越庞大的Web2.0数据等），以及更好的根据网页质量修正抓取策略的问题。

    五、数据库

    为了避免重复爬行和抓取网址，搜索引擎会建立一个数据库，记录已被发现还没有抓取的页面和已经被抓取的页面，那么数据库中的URL是怎么来的呢？

    1、人工录入种子网站

    这个简单的来说，就是我们建好一个新站后，向百度、Google或360提交的网址收录。

    2、蜘蛛抓取页面

    如果搜索引擎蜘蛛在爬取的过程中，发现了新连接URL，数据库中没有，就会存入待访问数据库（网站观察期）。


    蜘蛛按重要性从待访问数据库中提取URL，访问并抓取页面，然后把这个URL从待访问地址库中删除，放进已访问地址库中，所以马海祥建议各位站长在网站观察期的时候尽量有规律的更新网站是必要的。

    3、站长提交网站

    一般来说，提交网站只是把网站存入待访问数据库，如果网站持久不更新蜘蛛也不会光顾，搜索引擎收录的页面都是蜘蛛自己追踪链接得到的。


    所以你提交给搜索引擎其实用处不大，还是要根据后期你网站更新程度来考虑，搜索引擎更喜欢自己沿着链接发现新页面，当然如果说你的SEO技术够老练，并且有这能力，可以试一下，说不定会有意想不到的效果，不过，对于一般在站长来说，马海祥还是建议让蜘蛛自然的爬行和抓取到新站页面。

    六、吸引蜘蛛

    虽然理论上说蜘蛛可以爬行和抓取所有页面，但实际上是不可能完成的，那么SEO人员想要收录更多的页面就只有想办法引诱蜘蛛抓取。


    既然抓不了所有页面，那么我们就要让它抓取重要页面，因为重要页面在索引中起到重要决定，直接影响排名的因素，哪么那些页面算是比较重要的呢？对此，马海祥也特意整理了以下几个我认为比较重要页面，具体有这么几个特点：

    1、网站和页面权重

    质量高、年龄老的网站被给予很高的权重，这种网站上的页面蜘蛛爬行的深度比较高，所以会有更多的内页被收录。

    2、页面更新度

    蜘蛛每次爬行都会把页面数据储存起来，如果第二次爬行时发现此页面与第一次收录的内容完全一样，说明页面没有更新，蜘蛛也没必要经常再来爬行和抓取。


    如果页面内容经常更新，蜘蛛就会频繁的爬行和抓取，那么，页面上的新链接自然的会被蜘蛛更快的追踪和抓取，这也就是为什么需要每天更新文章。

    3、导入链接

    无论是外部链接还是同一个网站的内部链接，要被蜘蛛抓取，就必须有导入链接进入页面，否则蜘蛛根本不知道页面的存在。此时的URL链接起着非常重要的作用，内链的重要性发挥出来了。


    这也就是为什么大多数站长或SEO都要高质量友情链接，因为蜘蛛从对方网站爬行到你网站之次数多，深度也高。

    4、与首页点击距离

    一般来说网站首页权重最高，大部分外部链接都指向首页，蜘蛛访问最频繁的也是首页，离首页点击距离越近，页面权重越高，被蜘蛛爬行的机会也就越大。


    这也就是为什么要求网站框架建设点击三次就能查看完整个网站的意思。

    七、蜘蛛爬行时的复制内容检测

    一般都知道在搜索引擎索引环节中中会进行去重处理，其实在蜘蛛爬行的时候已经在进行检测，当蜘蛛爬行和抓取文件时会进行一定程度的复制内容检测，遇到权重低的网站上大量转载或抄袭内容时，很可能不再继续爬行。

    所以对于新站来说切莫采集和抄袭，这也就是为什么很多站长查看日志的时候发现了蜘蛛，但是页面从来没有被抓取的原因，因为爬行发现是重复内容那么它讲放弃抓取也就只停留在爬行过的阶段。