DARPA宣布开源Memex搜索技术

Memex项目最早于2014年2月由美国国防部高级研究计划局(DARPA)发起。DARPA于2015年4月17日宣布了Memex项目,并开源各个组件,使得政府等机构和个人可以进行高度定制化的搜索。 Memex搜索引擎的研究发起者Chris White表示,“互联网比人们想得要庞大得多。据统计分析,Google、微软bing以及雅虎搜索只收录了网络上大约5%的内容。”“暗网”通常指互联网中无法被搜索引擎抓取到的部分(现在谷歌上已经能搜到一些暗网地址了)通常包含非法内容,包括不限于:色情、枪支弹药、毒品等。参与Memex项目的卡耐基梅隆大学教授Jeff Schneider之前表示,“该计划目前的重点是贩卖人口。但是用来研究人口贩运的算法也可以应用到其他领域。”

今年2月,美国国防部五角大楼的研究机构批准Scientific American新闻网对Memex进行了报道。美国国防部先进研究项目局的主管Dan Kaufman表示,“Memex的理念简化来说就是——如何挖掘不易被发现的东西。”目前,DARPA在Apache许可证下开源了Memex项目开发的工具。其中,大部分软件源代码托管在GitHub上。根据福布斯网站的公布,参与Memex项目的机构主要有:

  • Uncharted Software开发了前端接口TellFinder和DIG;
  • ArrayFire公司开发了通过GPU加速计算和网页搜索的软件库ArrayFile;
  • 卡耐基梅隆大学开发了TJBatchExtractor,用于在广告中提取名字、位置等数据信息;
  • Diffeo公司开发了Dossier Stack,主要负责分析用户的兴趣,为搜索结果的展示提供建议;
  • Hyperion Gray公司的爬虫用来复制用户与网站的交互情况;
  • Jet Propulsion Laboratory机构搭建了ImageCat、FacetSpace、LegisGATE和ImageSpace等四个组件,用于分析和操作图像和文字;
  • MIT林肯实验室编写了Text.jl、MITIE和Topic三个自然语言处理工具;
  • 纽约大学联合JPL和Continuum创建了Topic接口来帮组用户与爬虫进行交互;
  • Sotera Defense Solution创造了Data Wake,用于收集用户可以点击、可能点击或者已经点击过的链接;
  • SRI International开发了Hidden Service Forum Spider暗爬虫,用于从暗服务中抓取内容;
  • 斯坦福大学开发了DeepDive,用于把文字和多媒体转变成为知识库,从而在不同人和组织之间创建连接关系。

通过这诸多机构的参与,Christ White表示,他们想要动摇谷歌、雅虎和微软控制的搜索行业。不过,不论Memex的能力有多强大,其目的只是降低犯罪率,而不是侵犯大多数人的隐私。同时,它也有助于更好的理解互联网信息的庞大性。

感谢魏星对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至[email protected]。也欢迎大家通过新浪微博(@InfoQ,@丁晓昀),微信(微信号:InfoQChina)关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入InfoQ读者交流群InfoQ好读者)。

你可能感兴趣的:(DARPA宣布开源Memex搜索技术)