微软首席架构师Yaniv Pessach谈微软大数据COSMOS(中文意思是宇宙)

微软首席架构师Yaniv Pessach谈微软大数据COSMOS(中文意思是宇宙)

参考:http://www.quora.com/Distributed-Systems/What-is-Microsofts-Cosmos

宇宙是微软内部大数据分析平台。

COSMOS宇宙是由分布式计算组件(有点相当于Hadoop的Map/Reduce了使用微软Dryad的解决方案,它(不像的map-reduce)允许计算任意DAG。
COSMOS宇宙支持类似SQL的语法(类似于HIVE/PIG),包括分布式存储组件(与HDFS);总体而言,宇宙提供了高度可扩展的,可靠的,容错以及自动缩放计算的海量数据集的操作。

根据文献[1],[3],宇宙允许使用类似SQL的语法,如

source = EXTRACT col1, col2 FROM “A”
Data = SELECT * FROM source where (condition)

用来提取数据,而不需要明确的Map/Reduce是由用户开发者原始的使用它。

SCOPE语言,就像SQL中,还支持[3]等操作符那里,连接,缩小,以及用户定义的操作符。这些包括减速器(基本上,输入解析)等可编程操作中用户代码[1,3],并且产生平行的,优化的[1]“执行计划”的定义的查询。

COSMOS宇宙是Microsoft内部使用广泛,在巨大的服务器[4]的数量,存储大量数据,并且每天处理数据量庞大的:“我们每一天以 处理数百个PB量级的数据从必应,AdCenter,MSN和Windows Live“[Software Development Engineer, Principal-BING Job] .


我认为这是所有至今所我们公布

参考公共资源: Page on MicrosoftStuff Yaron Finds Interesting http://hpts.ws/papers/2011/sessi...Page on MicrosoftCloud Storage @Microsoft (with the Cosmos Team) is hiring!

 

你可能感兴趣的:(微软首席架构师Yaniv Pessach谈微软大数据COSMOS(中文意思是宇宙))