大数据和云计算技术周报（第141期)

导语

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

    

本期会给大家奉献上精彩的：数据分析、flink、CDH、MongoDB、数据湖、ES、Kafka、分布式调度框架。全是干货，希望大家喜欢！！！

1CDH

在本篇文章中，笔者将讲解和实战 Cloudera Manager（CM）升级，将 CM 5.16.2 升级到 CM 6.3.3，为 CDH 升级（CDH 5.16.2 -> CDH 6.3.3）做好准备。

https://mp.weixin.qq.com/s/C4_0TH26MXYSg87fjs9-JA

2数仓

从数仓到数据中台，谈技术选型最优解

https://mp.weixin.qq.com/s/50W-tas3I_kyKgsjTnZqEw

3MongoDB

本文讲述了关于MongoDB复制副本集的异步复制、慢操作、复制延迟和流控制、自动故障转移、读操作、事务等功能。

https://mongoing.com/archives/34647

4数据湖

企业数字化的转型必然产生大量数据，如何有效存储、治理和利用这些结构化和非结构化数据促进企业业务发展是所有企业面临的共同挑战。为解决这些挑战，业界提出了数据湖的新型数据架构。

https://mp.weixin.qq.com/s/i89779AihNtnA0nV4FBwCA

5Flink

本文分享一下爱奇艺会员服务团队在日志实时数据监控的探索与实践。

https://mp.weixin.qq.com/s/P2hJLa5IFghGgEHCIvhRWg

6Flink

本文首先对新的 TableEnvironment 的整体设计进行了介绍，并且列举了各种模式下TableEnvironment 的选择，然后通过具体的示例，展示了各种模式下代码的写法，以及需要注意的事项。

https://mp.weixin.qq.com/s/e_mgi2W7SlLozqd3UEu0Pg

7Elasticsearch

本文介绍Elasticsearch的一些非常基础但实战开发确非常有用的技术点。了解这些技术点会帮助你设计更易于维护的数据索引，预先知道PB级大数据索引实战中的坑，提升工作效率。本文从别名分类、索引别名实践、索引别名的好处、索引别名常见问题及坑解读、字段别名实践一把 五个方面进行详细解读。

https://mp.weixin.qq.com/s/9dAPy_dnXQW-8SbsqN05jA

8kafka

本文对比了如下几个kafka监控工具:Kafka Manager,Kafka center,Kafka Eagle,kafka-monitor, kafdrop

https://mp.weixin.qq.com/s/7Wm0uW26VXvHE0jBHrzHOQ

9数据可视化

如果你想要用Python进行数据分析，就需要在项目初期开始进行探索性的数据分析，这样方便你对数据有一定的了解。其中最直观的就是采用数据可视化技术，这样，数据不仅一目了然，而且更容易被解读。

https://mp.weixin.qq.com/s/zeqJaq8BB_AMbyhlFRAduQ

10分布式调度框架

分布式任务调度框架几乎是每个大型应用必备的工具，本文介绍了任务调度框架使用的需求背景和痛点，对业界普遍使用的开源分布式任务调度框架的使用进行了探究实践，并分析了这几种框架的优劣势和对自身业务的思考

https://mp.weixin.qq.com/s/aP41x-zhCFnRKxBKg_Xq6w

11开心一刻

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞

猜你喜欢

#大数据和云计算机技术社区#博客精选（2017）

NoSQL 还是 SQL ？这一篇讲清楚

阿里的OceanBase解密

#大数据和云计算技术#: "四有"社区介绍

大数据和云计算技术周报（第56期）

新数仓系列：Hbase周边生态梳理（1）

《大数据架构详解》第2次修订说明

简单梳理跨数据中心数据库

云观察系列：漫谈运营商公有云发展史

云观察系列：百度云的一波三折

云观察系列：阿里云战略观察

超融合方案分析系列（7）思科超融合方案分析

加入技术讨论群

《大数据和云计算技术》社区群人数已经6000+，欢迎大家加下面助手微信，拉大家进群，自由交流  

               

喜欢QQ群的，可以扫描下面二维码：

欢迎大家通过二维码打赏支持技术社区（英雄请留名，社区感谢您，打赏次数超过108+）：