DARPA宣布开源Memex搜索技术

Memex项目最早于2014年2月由美国国防部高级研究计划局（DARPA）发起。DARPA于2015年4月17日宣布了Memex项目，并开源各个组件，使得政府等机构和个人可以进行高度定制化的搜索。 Memex搜索引擎的研究发起者Chris White表示，“互联网比人们想得要庞大得多。据统计分析，Google、微软bing以及雅虎搜索只收录了网络上大约5%的内容。”“暗网”通常指互联网中无法被搜索引擎抓取到的部分（现在谷歌上已经能搜到一些暗网地址了）通常包含非法内容，包括不限于：色情、枪支弹药、毒品等。参与Memex项目的卡耐基梅隆大学教授Jeff Schneider之前表示，“该计划目前的重点是贩卖人口。但是用来研究人口贩运的算法也可以应用到其他领域。”

今年2月，美国国防部五角大楼的研究机构批准Scientific American新闻网对Memex进行了报道。美国国防部先进研究项目局的主管Dan Kaufman表示，“Memex的理念简化来说就是——如何挖掘不易被发现的东西。”目前，DARPA在Apache许可证下开源了Memex项目开发的工具。其中，大部分软件源代码托管在GitHub上。根据福布斯网站的公布，参与Memex项目的机构主要有：

• Uncharted Software开发了前端接口TellFinder和DIG；
• ArrayFire公司开发了通过GPU加速计算和网页搜索的软件库ArrayFile；
• 卡耐基梅隆大学开发了TJBatchExtractor，用于在广告中提取名字、位置等数据信息；
• Diffeo公司开发了Dossier Stack，主要负责分析用户的兴趣，为搜索结果的展示提供建议；
• Hyperion Gray公司的爬虫用来复制用户与网站的交互情况；
• Jet Propulsion Laboratory机构搭建了ImageCat、FacetSpace、LegisGATE和ImageSpace等四个组件，用于分析和操作图像和文字；
• MIT林肯实验室编写了Text.jl、MITIE和Topic三个自然语言处理工具；
• 纽约大学联合JPL和Continuum创建了Topic接口来帮组用户与爬虫进行交互；
• Sotera Defense Solution创造了Data Wake，用于收集用户可以点击、可能点击或者已经点击过的链接；
• SRI International开发了Hidden Service Forum Spider暗爬虫，用于从暗服务中抓取内容；
• 斯坦福大学开发了DeepDive，用于把文字和多媒体转变成为知识库，从而在不同人和组织之间创建连接关系。

通过这诸多机构的参与，Christ White表示，他们想要动摇谷歌、雅虎和微软控制的搜索行业。不过，不论Memex的能力有多强大，其目的只是降低犯罪率，而不是侵犯大多数人的隐私。同时，它也有助于更好的理解互联网信息的庞大性。

感谢魏星对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作，请邮件至[email protected]。也欢迎大家通过新浪微博（@InfoQ，@丁晓昀），微信（微信号：InfoQChina）关注我们，并与我们的编辑和其他读者朋友交流（欢迎加入InfoQ读者交流群）。