对搜索引擎技术的认识和发展
当有一天，我们通过Pojaa搜索引擎，击节键盘，轻点鼠标，用不了多长时间，一碗香喷喷的砂锅排骨米饭就被送到面前时，不要感到惊讶，这只不过是时间迟早的事，我们需要解决的就是网络平台信息的处理与城域配送体系的建立。
------题记
一
很遗憾，我本人对搜索引擎技术的发展关注不多，虽然日常精力喜欢放在互联网的大发展上，但也是很宏观的泛泛的视野。有人说，这是一个搜索崇拜的时代，大量的文字工作者离开搜索引擎的话，会造成很多媒体文字的苍白与新鲜感的丢失。搜索使大量的信息有了可筛选的可能，又使我们普通网迷有了寻找“需求”的工具。网络的发展史证明了人类在对自身所产生的庞大无匹的信息的控制能力的进步，大量的信息在通过网络传递时，其最本质的最有价值的东西被掩蔽了，冗余的重叠的失真的信息充斥了整个虚拟空间。
人类自混沌初逝，进入原始社会，直到现在多形态的社会制度，都在对自身存在的空间不断拓展，也在对认知自我与自然世界进行着信息的梳理、分类、筛选与取用。世界是由物质、能量与信息构成的，而人类又是认识与利用这些存在形态的主人。物质的世界与精神的世界，能量的转换与能量的表现，信息的形成与信息的存在，都需要人类去编码译码表达出来并借用各种媒介保存传递。马克思说纸与印刷术的发明对人类社会的进步产生了不可低估的推动。纸质媒介的出现，使得我们在对信息的掌握上前进了一大步，这一大步足以使人类对社会、历史、自然、生命的认识进化到新的高度，足以使我们在时间与空间上的信息传递加速。
电视广播媒介的发明更一步地使我们对自身周围的事件发生有了更真实的认识，于是“眼见为实”让我们眼睛解放了心灵，让心灵的窗口洞察了真实，让真实的场景改变了意识的偏执。面对着电视机，世界就在我们眼前。所以，我相信，上一个世纪的那次登陆月球的电视直播，阿姆斯特郎的名言“我的一小步，人类的一大步”，也是对我们创造的信息传播工具的一种深度的认识与表扬。
二
互联网的出现，彻底改变了人们对世界的认识，那种在现实生活中难以想象的科幻式的电影场面，也因为电脑与通信的进步，变成了触手可及的现实。获得信息的成本越来越低，时间越来越短，信息量也越来越大，使得我们的地球真正成为一个人类共同的村落。信息在一瞬间跨跃了时间与空间，“环球同此凉热”，世界就在你我手中。
但是，在信息贫泛与信息爆炸同时存在的时候，我们更倾向于讨论如何应对信息几何级增长这个问题。实际上，我们每个人在每天的日常生活中所面对的，即有信息贫泛，也有信息的过剩。只不过，有时不对称或是我们不承认，但事实是它的解存在，并困扰着许多人。一方面，少量的我们所急需要的信息必须付出一定的成本费用才能得到，另一方面，大量的无用的重复的信息却时时充斥着我们生活的每个角落，对我们选择可用信息造成了障碍与不必要的成本。
于是，如何利用网络，如何利用网络中的信息，就成了我们制造出机器后，如何控制使用机器的问题。一座机床制造出来，以前人们就用手工去控制，现在呢？数字电传操控。这完全使得我们控制机器的能力有了质的飞跃，也使得机器本身的性能有了质的飞跃。网络也是如此，如果现在我们上网，面对都是一些我们无法识别与选择的信息，那么我们创造网络也就没有太大的意义。制造机器与工具，是人类改造自然的能力提高，而建造与使用网络，也是人类控制与使用信息能力的提高。
当网络中的信息量很少时，只有几M，选择很容易。但当信息量数以几十亿M时，选择就成了一件很可怕的事情与工作，更何况这些信息结构无序、形态各异。我们都有过对信息爆炸的焦虑不安与痛苦无助的经历，很显然，我们遇到了一个悖论。在我们用智慧与财富制造并参与运转的机器的路上，原本是通往天堂的，但我们却被机器产生的果实树叶淹没在地狱。我们需要能挑选出果实的工具，这个工具就是搜索引擎，一个可以从海量信息中迅速寻找到与你所需相关的信息的工具。
搜索引擎的出现，整合了众多网站门户的海量信息，恰恰起到了信息导航与路灯的作用。同时，使互联网再起风云浪潮，需求造就了市场。
三
世界级的搜索引擎所创造的效益我们所无法估量的，因而Yahoo与Google的总市值会比微软与IBM的总和要大。通过使用搜索引擎，我们几乎可以胜任一切。我们鼠标一点，几百条或上万条相关的信息就能推到面前，这只是信息，包括新闻、图片、视频、音频等。当有一天，我们通过网络搜索引擎，击节键盘，轻点鼠标，用不了多长时间，一碗香喷喷的砂锅排骨米饭就被送到面前时，不要感到惊讶，这只不过是时间迟早的事，我们需要解决的就是网络平台信息的处理与城域配送体系的建立。这对于我们搜索技术的要求更加苛刻，这也代表着互联网应用的未来前景-------我们通过网络，不只是做信息传播，还能做实物交换，甚至是我们可以看病、就餐。
一位著名的在信息检索领域里有卓越成就的大师，总结我们对搜索的需求有三种：对信息的需求，对导航的需求，对交易的需求。这三种需求对于不同的网络使用者来说，都有其不同的定位，像如我这般的年轻人，上网就喜欢用百度搜索各种资料信息，而一个hao123网址之家就给了我一份精美的导航大餐，我还通过Alibaba与易趣网寻找小商机。
具体来说，我在看一部电影时，会千方面计地去搜索出关于它的影评，然后对于其中的演员也想有年了解。《漂流欲室》里的女主角扮演者徐情与导演金基德，我都在欣赏此片时，通过搜索引擎找到相关介绍与评论，因而更容易把影片看得深刻与明了。但这里面有一个问题，当我在输入框中输入《漂流欲室》后，搜索引擎推给我的并不是我想要的影评与演员导演的介绍，而是很多我都看不明白的信息，我得通过几个小时的尝试才能找到所需的东西。这很让人感吃力，对于我，更是如此。我更希望搜索引擎找到的东西能基本符合我的爱好与想法，也就是说，我可以注册订制搜索引擎，使我自己拥有一个与众不同的搜索引擎，它的名字就是霍明栋搜索。
还有时候，我想对比一下青岛本地的餐馆的情况，用百度与Google绝对不行。你得这样搜索，关键词设置为“青岛+美食”或“青岛+餐馆”，为什么？很显然，这些通用搜索引擎里的Spider BOT 根本不能判别用户的地域划分，即使能区分，它们也显得根本不能胜任这份工作。而更让人生气的是，如果你想通过搜索引擎找到“落叶满空山”式的秋景图片，那么你会疯狂的，这些搜索引擎只识别语义，还无法分析图像的意义。这就得出一个结论，在网络里，我们无法通过搜索引擎寻找到我们心中的所要找的信息与结果，搜索引擎还只是个智商15的“小白痴”。
四
解决上面的问题，要依靠搜索技术的进步，但技术至上主义也会有陷阱。当技术的提升无法满足人们的需求时，那就依靠市场策略。搜索引擎也是一种大众化的商品，是商品的话，一种面貌不会受到人们欢迎，我们更需要的是差别、个性、所搜即所需。
21世纪注定是网络时代，所以搜索无处不在，而又无所不包。通用搜索引擎，基本能满足初级互联网用户的需要，但不能满足用户的更深层次的需求。商品市场里，高举“差别创造价值”的大旗，使得世界多姿多彩。而同样的，搜索个性化的风暴即将来临，用户不仅需要能搜寻到信息的搜索引擎，他们更希望做信息消费的主人，让搜索引擎以“我”为中心，而不是“我”以搜索引擎为中心。
通用搜索引擎所表现的综合性能，使得我们得到了相关信息数量的精神满足。各方面、各学科、各行业的信息，使我们从信息海洋游到信息的湖泊里。而个性化、专题性的搜索引擎则是为了专门收录某一行业、某一主题和某一地区的信息而建立，非常实用，如有商机、购物、旅游、工作、房产、交友、美食、企业、人名、电子邮件地址查询和专业信息查询等等。这种专业化的搜索引擎是搜索未来的方向。
如何使我们的搜索引擎与市场策略体现专业化、个性化的趋势呢？我认为可以整合不同的行业搜索引擎（或叫垂直搜索引擎），将他们的搜索功能“移植”过来。这样不仅可以吸引初级网民，又能留住高级网民。对用户的搜索体验做到专精深，挖掘的不只是数量，还有质量，优中选优，精益求精。在这方面，现在做得较好的有普加加、深度与其它行业性门户搜索引擎。
而综合性的搜索引擎可以在原有的基础上建立具有专业特色的个性化引擎，如求职招聘搜索系统、个人网站搜索。搜索引擎个性化的核心是通过跟踪分析用户的搜索行为，充分地利用这些信息来提高用户的搜索效率与搜索质量。这种搜索行为分析技术是一种正在发展中的很有前途的搜索引擎人机界面技术。通过个性化的设置后搜索，我们用户体验得到了提升，时间成本支出也得到控制。
有人分析指出，社会学中的“群体行为分析” （比如“热门关键词”就是这种分析的运用结果）和“个性化、差异化搜索”将是未来搜索引擎的主攻方向。而后者是搜索行为分析技术最有前途的方向。通过积累用户的搜索个性化数据，将使用户的搜索更加精确。 比如，我搜索“成龙”关键词，那么搜索引擎推给我的是分门别类整理好的有关成龙先生的新闻、电影、音乐、图片、书籍等信息，这样一来，我就能很好地利用这些信息了。
当然，对于有交易需求的用户，垂直深度搜索更有前途。垂直搜索引擎是倒金字塔型，是对行业信息的梳理、再加工与编辑整理，是针对某一个行业的专业搜索引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。
垂直搜索引擎的应用方向很多，比如企业库搜索、供求信息搜索引擎、购物搜索、房产搜索、人才搜索、地图搜索、mp3搜索、图片搜索……几乎各行各业各类信息都可以进一步细化成各类的垂直搜索引擎。举个例子来说明会更容易理解，比如购物搜索引擎，整体流程大致如下：抓取网页后，对网页商品信息进行抽取，抽取出商品名称、价格、简介……甚至可以进一步将笔记本简介细分成“品牌、型号、CPU、内存、硬盘、显示屏、……”然后对信息进行清洗、去重、分类、分析比较、数据挖掘，最后通过分词索引提供用户搜索、通过分析挖掘提供市场行情报告。
五
我心目中最完美的搜索引擎应用是这样的，一个搜索引擎可以划分出数个行业的专业性垂直搜索，它是基于用户的，而不是基于网络的。当有一天，我们通过这个搜索引擎，击节键盘，轻点鼠标，用不了多长时间，一碗香喷喷的砂锅排骨米饭就被送到面前时，不要感到惊讶，这只不过是时间迟早的事，我们需要解决的就是网络平台信息的处理与城域配送体系的建立，当然更重要的是，我们搜索引擎技术的进步。
信息的不断增长，将注定互联网中会出整理数据信息的的服务，谁整理的细致精准，谁就握住了利用信息的实质。那种更具个性化色彩的Web 2.0，其实也就是搜索的下一个2.0。互联网的未来就是搜索的未来，当我们把更多的目光放在各个方面时，都需要牢牢把握住人类自身的需求，这些需求是有差别的，而正是这些差异的需求才带动了科学技术的发展进步与百花多彩。只有走在时代的前面，抓住市场的命脉，洞察到人类即将出现的需求，我们才能成功。
------题记
一
很遗憾，我本人对搜索引擎技术的发展关注不多，虽然日常精力喜欢放在互联网的大发展上，但也是很宏观的泛泛的视野。有人说，这是一个搜索崇拜的时代，大量的文字工作者离开搜索引擎的话，会造成很多媒体文字的苍白与新鲜感的丢失。搜索使大量的信息有了可筛选的可能，又使我们普通网迷有了寻找“需求”的工具。网络的发展史证明了人类在对自身所产生的庞大无匹的信息的控制能力的进步，大量的信息在通过网络传递时，其最本质的最有价值的东西被掩蔽了，冗余的重叠的失真的信息充斥了整个虚拟空间。
人类自混沌初逝，进入原始社会，直到现在多形态的社会制度，都在对自身存在的空间不断拓展，也在对认知自我与自然世界进行着信息的梳理、分类、筛选与取用。世界是由物质、能量与信息构成的，而人类又是认识与利用这些存在形态的主人。物质的世界与精神的世界，能量的转换与能量的表现，信息的形成与信息的存在，都需要人类去编码译码表达出来并借用各种媒介保存传递。马克思说纸与印刷术的发明对人类社会的进步产生了不可低估的推动。纸质媒介的出现，使得我们在对信息的掌握上前进了一大步，这一大步足以使人类对社会、历史、自然、生命的认识进化到新的高度，足以使我们在时间与空间上的信息传递加速。
电视广播媒介的发明更一步地使我们对自身周围的事件发生有了更真实的认识，于是“眼见为实”让我们眼睛解放了心灵，让心灵的窗口洞察了真实，让真实的场景改变了意识的偏执。面对着电视机，世界就在我们眼前。所以，我相信，上一个世纪的那次登陆月球的电视直播，阿姆斯特郎的名言“我的一小步，人类的一大步”，也是对我们创造的信息传播工具的一种深度的认识与表扬。
二
互联网的出现，彻底改变了人们对世界的认识，那种在现实生活中难以想象的科幻式的电影场面，也因为电脑与通信的进步，变成了触手可及的现实。获得信息的成本越来越低，时间越来越短，信息量也越来越大，使得我们的地球真正成为一个人类共同的村落。信息在一瞬间跨跃了时间与空间，“环球同此凉热”，世界就在你我手中。
但是，在信息贫泛与信息爆炸同时存在的时候，我们更倾向于讨论如何应对信息几何级增长这个问题。实际上，我们每个人在每天的日常生活中所面对的，即有信息贫泛，也有信息的过剩。只不过，有时不对称或是我们不承认，但事实是它的解存在，并困扰着许多人。一方面，少量的我们所急需要的信息必须付出一定的成本费用才能得到，另一方面，大量的无用的重复的信息却时时充斥着我们生活的每个角落，对我们选择可用信息造成了障碍与不必要的成本。
于是，如何利用网络，如何利用网络中的信息，就成了我们制造出机器后，如何控制使用机器的问题。一座机床制造出来，以前人们就用手工去控制，现在呢？数字电传操控。这完全使得我们控制机器的能力有了质的飞跃，也使得机器本身的性能有了质的飞跃。网络也是如此，如果现在我们上网，面对都是一些我们无法识别与选择的信息，那么我们创造网络也就没有太大的意义。制造机器与工具，是人类改造自然的能力提高，而建造与使用网络，也是人类控制与使用信息能力的提高。
当网络中的信息量很少时，只有几M，选择很容易。但当信息量数以几十亿M时，选择就成了一件很可怕的事情与工作，更何况这些信息结构无序、形态各异。我们都有过对信息爆炸的焦虑不安与痛苦无助的经历，很显然，我们遇到了一个悖论。在我们用智慧与财富制造并参与运转的机器的路上，原本是通往天堂的，但我们却被机器产生的果实树叶淹没在地狱。我们需要能挑选出果实的工具，这个工具就是搜索引擎，一个可以从海量信息中迅速寻找到与你所需相关的信息的工具。
搜索引擎的出现，整合了众多网站门户的海量信息，恰恰起到了信息导航与路灯的作用。同时，使互联网再起风云浪潮，需求造就了市场。
三
世界级的搜索引擎所创造的效益我们所无法估量的，因而Yahoo与Google的总市值会比微软与IBM的总和要大。通过使用搜索引擎，我们几乎可以胜任一切。我们鼠标一点，几百条或上万条相关的信息就能推到面前，这只是信息，包括新闻、图片、视频、音频等。当有一天，我们通过网络搜索引擎，击节键盘，轻点鼠标，用不了多长时间，一碗香喷喷的砂锅排骨米饭就被送到面前时，不要感到惊讶，这只不过是时间迟早的事，我们需要解决的就是网络平台信息的处理与城域配送体系的建立。这对于我们搜索技术的要求更加苛刻，这也代表着互联网应用的未来前景-------我们通过网络，不只是做信息传播，还能做实物交换，甚至是我们可以看病、就餐。
一位著名的在信息检索领域里有卓越成就的大师，总结我们对搜索的需求有三种：对信息的需求，对导航的需求，对交易的需求。这三种需求对于不同的网络使用者来说，都有其不同的定位，像如我这般的年轻人，上网就喜欢用百度搜索各种资料信息，而一个hao123网址之家就给了我一份精美的导航大餐，我还通过Alibaba与易趣网寻找小商机。
具体来说，我在看一部电影时，会千方面计地去搜索出关于它的影评，然后对于其中的演员也想有年了解。《漂流欲室》里的女主角扮演者徐情与导演金基德，我都在欣赏此片时，通过搜索引擎找到相关介绍与评论，因而更容易把影片看得深刻与明了。但这里面有一个问题，当我在输入框中输入《漂流欲室》后，搜索引擎推给我的并不是我想要的影评与演员导演的介绍，而是很多我都看不明白的信息，我得通过几个小时的尝试才能找到所需的东西。这很让人感吃力，对于我，更是如此。我更希望搜索引擎找到的东西能基本符合我的爱好与想法，也就是说，我可以注册订制搜索引擎，使我自己拥有一个与众不同的搜索引擎，它的名字就是霍明栋搜索。
还有时候，我想对比一下青岛本地的餐馆的情况，用百度与Google绝对不行。你得这样搜索，关键词设置为“青岛+美食”或“青岛+餐馆”，为什么？很显然，这些通用搜索引擎里的Spider BOT 根本不能判别用户的地域划分，即使能区分，它们也显得根本不能胜任这份工作。而更让人生气的是，如果你想通过搜索引擎找到“落叶满空山”式的秋景图片，那么你会疯狂的，这些搜索引擎只识别语义，还无法分析图像的意义。这就得出一个结论，在网络里，我们无法通过搜索引擎寻找到我们心中的所要找的信息与结果，搜索引擎还只是个智商15的“小白痴”。
四
解决上面的问题，要依靠搜索技术的进步，但技术至上主义也会有陷阱。当技术的提升无法满足人们的需求时，那就依靠市场策略。搜索引擎也是一种大众化的商品，是商品的话，一种面貌不会受到人们欢迎，我们更需要的是差别、个性、所搜即所需。
21世纪注定是网络时代，所以搜索无处不在，而又无所不包。通用搜索引擎，基本能满足初级互联网用户的需要，但不能满足用户的更深层次的需求。商品市场里，高举“差别创造价值”的大旗，使得世界多姿多彩。而同样的，搜索个性化的风暴即将来临，用户不仅需要能搜寻到信息的搜索引擎，他们更希望做信息消费的主人，让搜索引擎以“我”为中心，而不是“我”以搜索引擎为中心。
通用搜索引擎所表现的综合性能，使得我们得到了相关信息数量的精神满足。各方面、各学科、各行业的信息，使我们从信息海洋游到信息的湖泊里。而个性化、专题性的搜索引擎则是为了专门收录某一行业、某一主题和某一地区的信息而建立，非常实用，如有商机、购物、旅游、工作、房产、交友、美食、企业、人名、电子邮件地址查询和专业信息查询等等。这种专业化的搜索引擎是搜索未来的方向。
如何使我们的搜索引擎与市场策略体现专业化、个性化的趋势呢？我认为可以整合不同的行业搜索引擎（或叫垂直搜索引擎），将他们的搜索功能“移植”过来。这样不仅可以吸引初级网民，又能留住高级网民。对用户的搜索体验做到专精深，挖掘的不只是数量，还有质量，优中选优，精益求精。在这方面，现在做得较好的有普加加、深度与其它行业性门户搜索引擎。
而综合性的搜索引擎可以在原有的基础上建立具有专业特色的个性化引擎，如求职招聘搜索系统、个人网站搜索。搜索引擎个性化的核心是通过跟踪分析用户的搜索行为，充分地利用这些信息来提高用户的搜索效率与搜索质量。这种搜索行为分析技术是一种正在发展中的很有前途的搜索引擎人机界面技术。通过个性化的设置后搜索，我们用户体验得到了提升，时间成本支出也得到控制。
有人分析指出，社会学中的“群体行为分析” （比如“热门关键词”就是这种分析的运用结果）和“个性化、差异化搜索”将是未来搜索引擎的主攻方向。而后者是搜索行为分析技术最有前途的方向。通过积累用户的搜索个性化数据，将使用户的搜索更加精确。 比如，我搜索“成龙”关键词，那么搜索引擎推给我的是分门别类整理好的有关成龙先生的新闻、电影、音乐、图片、书籍等信息，这样一来，我就能很好地利用这些信息了。
当然，对于有交易需求的用户，垂直深度搜索更有前途。垂直搜索引擎是倒金字塔型，是对行业信息的梳理、再加工与编辑整理，是针对某一个行业的专业搜索引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。
垂直搜索引擎的应用方向很多，比如企业库搜索、供求信息搜索引擎、购物搜索、房产搜索、人才搜索、地图搜索、mp3搜索、图片搜索……几乎各行各业各类信息都可以进一步细化成各类的垂直搜索引擎。举个例子来说明会更容易理解，比如购物搜索引擎，整体流程大致如下：抓取网页后，对网页商品信息进行抽取，抽取出商品名称、价格、简介……甚至可以进一步将笔记本简介细分成“品牌、型号、CPU、内存、硬盘、显示屏、……”然后对信息进行清洗、去重、分类、分析比较、数据挖掘，最后通过分词索引提供用户搜索、通过分析挖掘提供市场行情报告。
五
我心目中最完美的搜索引擎应用是这样的，一个搜索引擎可以划分出数个行业的专业性垂直搜索，它是基于用户的，而不是基于网络的。当有一天，我们通过这个搜索引擎，击节键盘，轻点鼠标，用不了多长时间，一碗香喷喷的砂锅排骨米饭就被送到面前时，不要感到惊讶，这只不过是时间迟早的事，我们需要解决的就是网络平台信息的处理与城域配送体系的建立，当然更重要的是，我们搜索引擎技术的进步。
信息的不断增长，将注定互联网中会出整理数据信息的的服务，谁整理的细致精准，谁就握住了利用信息的实质。那种更具个性化色彩的Web 2.0，其实也就是搜索的下一个2.0。互联网的未来就是搜索的未来，当我们把更多的目光放在各个方面时，都需要牢牢把握住人类自身的需求，这些需求是有差别的，而正是这些差异的需求才带动了科学技术的发展进步与百花多彩。只有走在时代的前面，抓住市场的命脉，洞察到人类即将出现的需求，我们才能成功。