摘要: 本周关注:大数据部门、数据科学家、机器学习发展与机遇、spark2.0 Structured Streaming、Hbase运维、Sqoop、Flink的第一本书籍。
阿里云E-Mapreduce动态
E-Mapreduce团队
1.5.0版本(正在研发)
- 增加集群整体运行情况的仪表盘
- 访问OSS不需要写id、key,增强安全性
- 集群其中后,可以重启、修改配置及安装软件
1.6.0版本
资讯
- 在大数据时代,每家公司都要有大数据部门吗?
在大数据时代,每家公司都要有自己的大数据部门吗? 结论也不能下的太武断。如果这个问题换做是:在电气时代,每家公司都要有个发电厂吗?是不是会更好回答一些
- 机器之心首席技术顾问赵巍:机器学习技术的发展和机遇
人工智能的蜂巢很大的原因就是背后深度学习技术,尤其是计算机视觉方面叹为观止的成绩,才会带来这么多人谈论人工智能。赵巍表示,过度炒作深度学习也是一个错误,深度学习只是人工智能技术中比较有成绩的工作,人工智能的核心驱动力应该是机器学习技术
- 如何成为一名数据科学家?
什么是数据科学呢?本文围绕数据科学家这个词做出详细的探讨。
- Spark 2.0 Structured Streaming 分析
Spark 2.0 将流式计算也统一到DataFrame里去了,提出了Structured Streaming的概念,将数据源映射为一张无线长度的表,同时将流式计算的结果映射为另外一张表,完全以结构化的方式去操作流式数据,复用了其对象的Catalyst引擎。
- HBase运维实践-聊聊RIT的那点事
Hbase运维的一些实践
- 使用Sqoop从MySQL导入数据到Hive和HBase及近期感悟
数据流通是数据分析的前提,Sqoop是目前很多企业的标配。
- introduction-to-apache-flink
业界flink第一本书
国内大数据相关会议
| 会议 | 地点 | 时间 | 费用 |
| --- | --- | --- | --- |
| [2016杭州云栖大会] | 杭州 | 2016年10月 | 收费+免费 |