摘要: 运行于云端的Hadoop——数据即服务的论证,预先知晓Hadoop3.0新特性。
阿里云E-Mapreduce动态
E-Mapreduce团队
1.3.2版本(已经发布):
1.4版本(正在研发):
- 用户执行计划及集群运行状态自定义报警
- 集群整体运行情况的仪表盘
- 集群的一些专家建议,例如:扩容提醒
- 集群一键重启
资讯
- 数博会巅峰对话:涂子沛、周涛VS舍恩伯格
就关于隐私、国家安全、因果性进行一系列讨论
- 运行于云端的Hadoop——数据即服务的论证
将Hadoop运行在云端将是企业大数据服务的一个考虑,传统的数据本地化等将在新的硬件、灵活性结构下不再是制约Hadoop上云的要素。
- 拥抱资本的“热恋”对象 看大数据时代下的创新与创造
2011年以来,大数据在以美国为代表的西方国家被热炒,成为越来越多人关注的焦点和热议的话题。说起大数据,大家可能都会觉得很熟悉。但若让你来解释,恐怕多数人都会说一句“臣妾做不到啊”。而大数据却像空气一般时刻存在在我们的生活中
- 打破信息孤岛 公开数据大有可为
“大数据等新一代互联网技术深刻改变了世界,也让各国站在科技革命的同一起跑线上。”5月25日,李克强总理在贵阳出席中国大数据产业峰会暨中国电子商务创新发展峰会时指出,中国曾屡次与世界科技革命失之交臂,今天要把握这一历史机遇,抢占先机,赢得未来
- 海量吞吐的实时NoSQL—HBase的七剑和20151111圣战
七剑:ExploringCompaction成为默认选举算法、Replication的优化、单元化及Diamond整合、MTTR1期、限制大scan请求的、源使用、混合存储、基于虚拟节点的跨ZK集群切库
- Hadoop3.0新特性预览
Hadoop3.0基于JDK1、8开发,引入了一些重要的功能和优化,包括HDFS 可擦除编码、多Namenode支持、MR Native Task优化、YARN基于cgroup的内存和磁盘IO隔离、YARN container resizing等
- Apache Spark作为编译器:深入介绍新的Tungsten执行引擎
Apache Spark 2.0中附带了第二代Tungsten engine。这一代引擎是建立在现代编译器和MPP数据库的想法上,并且把它们应用于数据的处理过程中。主要想法是通过在运行期间优化那些拖慢整个查询的代码到一个单独的函数中,消除虚拟函数的调用以及利用CPU寄存器来存放那些中间数据。
- Twitter Heron正式开源
Heron支撑Twitter的所有实时分析业务已经有两年多了。它替代了之前使用的Apache Storm系统。Heron有很多架构方面的改进,而且向后兼容Storm生态系统。