无源之水，无本之木

大家都知道"巧妇难为无米之炊"，同样对于搜索引擎而言，没有了输入内容这个“米”，“炊”自然也是无从谈起。不过首先我们来看看搜索引擎作为一个系统，它大概长什么样子。

搜索引擎框架

这个图展示了搜索引擎的框架，其实大部分的检索系统都采用类似的逻辑架构，所以我们可以把搜索引擎看作是一个超大型图书文献检索系统。（插播一个八卦：百度的李彦宏在大学时候的专业是图书馆系古典文学编目。）如图，系统通过“数据获取”模块从互联网上汲取网页信息，然后发送给后台“数据加工”模块进行索引再存入数据库。在右边面向用户端，系统通过搜索框入口获取用户需要检索的信息，并转发给检索服务器，检索服务器按照一定规则再从数据库中抽取匹配信息返还给用户。从顶层设计上来看，搜索引擎不是很复杂，而我们要做的就是实现其中每一个模块的技术细节。

本篇的重点我将谈谈图中的“数据获取”模块，即如何处理搜索引擎的输入源数据，也就是解决“米”的问题。对于站内搜索引擎而言，这个的问题是比较容易解决的。原因是网站可以直接索引站点自身的内容或者是用户提交的内容，这些对于网站的设计者而言都是可控的。比如网站设计者可以在每提交一个页面到服务器前，先把页面输入到站内搜索引擎，等搜索引擎索引完页面后再进行发布。又比如当用户提交的内容需要被检索的时候，网站首先将这些内容提交给站内搜索引擎，等搜索引擎索引完后再提交用户的内容到数据库中。对于如何恰当地平衡用户体验与系统索引耗时之间的关系是一门有趣的艺术，不同的网站设计者可能有不同的看法。

从技术上来说，获取一个网页是相当容易的，无论你使用哪种语言作为开发工具，它们一般都会提供类似http.get()这样的方法。读者甚至也可以直接使用socket套接字。http协议从本质上来说，只是使用socket套接字发送的一串文本而已。可以任选如下2种方式来验证这一点：

方法1:

手工使用socket套接字在本地搭建一个server，监听在3000端口，伪代码：

main()

{

         socket_handle=socket('0.0.0.0','3000').bind();

         listen(socket_handle);

         new_socket = accept(socket_handle, data);

         printf(data);

         return();

}

使用你的编程工具完成上述的编码后，运行一下。打开浏览器，在地址栏里输入"http://127.0.0.1:3000"，回车，看一下server程序在屏幕上的输出。

方法2：

如果你有linux操作系统，你可以使用netcat这个神奇的命令行工具。netcat也提供windows的版本，但是需要额外下载。笔者使用suse的linux，不同的linux在参数上可能略有差别。

在linux桌面模式下调出控制台并输入：

    netcat -l -p 3000

然后打开浏览器，在地址栏里输入"http://127.0.0.1:3000"，回车，看一下server程序在屏幕上的输出。

如果你尝试了上面任何一种方式，会在控制台上看到一个http的请求头，一般它会是这样的：

我不在这里过多地讨论http协议的细节，读者可以直接使用firefox或者chrome自带的web开发者工具来看看浏览器发送到其他网站的实际报文头。由于大部分现代的编程语言都会提供http协议的库或者方法，我们就直接忽略它的具体实现，而把更多的精力放到更重要的内容上，比如下载前系统要做些什么准备工作或者下载完成后系统接着该干些什么，诸如此类的。

通常我们需要提供一些url种子链接作为搜索引擎的初始下载目标，之后要做的就是从下载到的网页中解析出有价值的链接继续新的下载，同时对有价值的文本并做进一步的索引处理。这里主要涉及到如下几个需要解决的问题：

1：互联网上的网站数以千万计，搜索引擎在搜索网站时，是应该以深度优先呢，还是以广度优先？换句话说，是应该把一个网站的内容全部检索完后再进入下一个网站，还是应该尽量检索不同的网站，在这个基础上再考虑检索深度的问题。

2：网站上的网页，特别是中文网站上的网页，除了包含自身的主题信息外，常常还含有大量的广告信息，这些广告对于用户来说是毫无意义的。比如一个关于儿童皮肤问题的网页上可能含有女性服装的广告，如果系统不能区分这个网页是关于讨论儿童皮肤的问题，在用户检索女性服饰时，就会出现不相关的儿童皮肤问题的网页链接。如何剔除网页垃圾信息，获取有用的主题信息，是一个好的搜索引擎必须考虑的事情。

3：当我们打算提供中文搜索服务时，需要额外面对一个英语世界中不存在的问题，或者说英语的世界里这个问题是可以被忽略的，它就是“中文分词”。英语中语义是按单个字来表示的，一个字表示一个意思，那么很自然地可以在系统中按单个字进行拆分索引。而中文常常是使用多个字的组合来表示一个意思，单个字本身并不能代表这个词组的意思。比如“中文”这个词组指的是中国人使用的文字或者语言。单个字“中”和“文”，分别对应地理方位的正中间和文章，他们与“中文”的含义相去甚远。所以我们在做搜索引擎的时候，需要考虑如何来实现按词组来构建语义的中文分词系统。

4：我们从网页中获取url链接时，难免会遇到已经获取过的链接，如果系统不能辨识这些冗余链接地址，就会造成重复劳动，不仅浪费计算资源，最差情况下，系统会陷入无限循环处理同一个资源集合的深渊中。当链接地址上亿级的时候，发现重复链接就变成了一个挑战。

这几个问题我会在后面专门的专题中进行讲述，现在假设这些问题都已经解决了。我们来看看“数据获取”模块的实际实现。

数据获取模块

“HTTP进程调度”占据整个模块的心脏地位，它负责从“URL池管理器”处获取有效URL链接，然后调度起一个“http通信”进程去互联网上拿URL对应的网页，之后再把下载到的网页发送给“网页解析器”。“网页解析器”的主要工作是抽取网页中的有效文字信息和有效URL链接地址，并分别发送给下一级的“数据加工”模块和“URL池管理器”。“URL池管理器”解决我们前面提到的问题1和问题4。“网页解析器”则是解决问题2。问题3则是留给下一级的“数据加工”去处理了。