暗战：公共搜索引擎 VS 商业搜索引擎

这篇文章源自于我们研究小组的一个技术报告（关于一个数字图书馆的项目http://dris.hust.edu.cn/English/main.htm），这份报告还为IETF介绍了一种具有建设性的解决方案。

自从美国网景公司首次公开发行股票以后，商业搜索引擎、MSN、Yahoo、和Google相互导演了一部美妙的电影。胜利者将在未来的IT产业竞争中完全占主导地位。几十亿美元能使我们每个人都毫无招架之力。在这段时间里，投资者特别需要保持头脑冷静 。盲目的投资可能会毁了一家大公司，甚至会使.com这种域名格式的网站进入另一个冬天。

搜索引擎对于普通的用户来说几乎是一种难以理解的技术。了解它的近些年发展状况和它的前景是非常有用的。特别是在IT行业，忽视技术的发展是致命的错误。而这篇文章正好给出了一些提示。

我们已经听了太多关于对商业搜索引擎的称赞，现在透过皇帝的新装，让我们再来探讨一下目前搜索引擎的一些不足之处，然后预测一下它的未来。

完善的技术？

在地球上搜索引擎可能代表着最强大的技术。它能够在一秒钟之内从数十亿的网页当中为你提供你想要的结果。没有它们，万维网可能还是一个原始的信息海洋。但是当前的搜索引擎还很不完善。我们会发现在万维网上查找我们真正想要的东西仍然是一件没有明确答案的事情。你甚至无法把“谁是Google的创始人”从Google的数百万条搜索结果中区分开来。我们很容易感觉到目前搜索引擎的不足。任何时候在搜索引擎中输入查询单词，你将会获得数千条的搜索结果。太多的信息总是意味着没有信息。目前的搜索引擎也许是评定谁是谁的最好工具，但不是网上冲浪的工具。现今大多数的网页数据库平均每个月要更新一次。你从搜索引擎中获得的一些信息可能是一个月以前发生的。像“页面缓存”这样的一些技术也不能完全解决此类问题。此外，Google数据库中已经有50亿个网页，但是它仍然不足在互联网上所有网页的50%，这还是个乐观的估算。还有更多的动态网页无法被搜索到。许多其它的资源例如PDF、图片、视频等都不能有效地融合到当前的搜索引擎中。正如网页搜索引擎,随着网页的增加它不可能把整个网络上的网页编入索引库。搜索引擎能够对互联网上的所有信息资源进行处理也许仅仅是一个美好的梦想。信息的三个主要的特征：精确、新鲜、全面，但是当前的搜索引擎却无法确保这些。基于当前的架构，对商业搜索系统来说解决这些问题几乎是不可能的事。

理想的商业模式？

起初，搜索引擎只是一些著名门户网站的辅助工具。时至今日，许多搜索引擎通过提供搜索网站的服务赚取利润。但是从这些网站得到的利润是有限的。特别是当.com这种域名格式的网站处于衰退期时，没有公司会把注意力集中在没有利润的产品上。于是搜索引擎不得不自力更生。当所有的公司都在努力寻找新的金矿时，序幕是以创造了一个史无前例的构想拉开了，排名拍卖，搜索引擎的理想商业模式，现在搜索引擎成了许多.com公司经久不衰的金矿.但是自从它诞生以来，这种商业模式也经历了许多挫折。

究竟什么是web搜索引擎呢？就是一些私人公司在没有他人版权许可的情况下，从他们那里下载了大量的网页。然后他们可以在搜索过程中提供广告服务。甚至一些网站为了能够被编入索引库不得不付一些钱。恐怕没有人真正会赞同搜索引擎公司的这种方法，但是极少人对它们表示不满。正是这些少数的人给当前的搜索引擎带来了麻烦。假如商业搜索引擎公司要严格遵守版权保护法，那么可能没有一个公司能够生存得下去。

 搜索引擎最初只是为了方便于互联网客户的一种工具，但是搜索引擎公司不得不利用广告或者销售搜索排名突出程度来获得他们的经济利益，即使这样会使得信息检索有些不便。换句话说，搜索引擎赚钱是以牺牲多数互联网用户的便利为代价，而不是它的高质量搜索服务。为了维续他们的生存，搜索引擎公司不得不在搜索质量与金钱之间进行冒险的权衡。

商业搜索引擎真的是一个理想的商业模式吗？也许只是互联网上的一个“真实的谎言”。

推动信息技术？

信息业的泡沫时代垮台之后，Google便成为互联网的宠儿。可以说搜索技术带动着互联网诸多方面技术的进步，商业搜索引擎可能会给.com网站带来从生。这也许只是另一个幻想。这些年，伴随着网络带宽、无线技术、存储设备和图象处理的高速发展，根据摩尔定律 ，微处理器的处理能力还会继续提高，但是作为互联网上最重要的服务之一，网页搜索服务从1998年起却没任何明显的进步。虽然他们的网页数据库的数量增加了很多，但是仍然没有一个搜索引擎能够覆盖网络上一半以上的网页。平均的更新间隙甚至比过去还长。也许唯一的“进步”是一次查询可以得到更多的结果。除了搜索引擎，互联网上所有的服务都是基于公共协议的，例如E-mail, BBS和 FTP。互联网上已经没有什么秘密的技术，但是网络信息检索服务仍然被少数的搜索引擎公司所垄断，它也许是最重要的一种网络服务。它的最基本的算法"PageRank"已经是一项发明专利。许多专家也知道这个基本算法，但是没有人知道它的最高商业机密。没有公众的监督，没有真正透明的排序算法，所有人都清楚地知道另一个闻名世界的算法——“金钱可以提高排序分数”，这可能违背了互联网的基本原则——创造一个公开和自由的世界。

保密政策使得搜索引擎技术在一定程度上保留着它神秘的面纱，并且面向广告。这些年我们几乎无法对网络搜索引擎进行学术研究，截至目前为止大部分已经开发的搜索引擎，其所属公司都几乎没有公布它们的技术细节。商业搜索引擎也许不是信息技术的推动力，反而成了进一步开发新系统的障碍。虽然在1998年Google的创始人希望Google能作为全世界研究者和搜索器的资料来源，并且希望激发下一代的搜索引擎技术。然而，如今获取其数据几乎是不可能的事，其主要是因为考虑到它的商业价值。