大数据与云计算技术周报（第153期)
导语
“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。
本期会给大家奉献上精彩的：Hive、Flink、Binlog、Hbase、Kafka、TiDB、MongoDB、IDC。全是干货，希望大家喜欢！！！
1hive
这里Hive整理的是日常常用的函数，同时这也是Presto有的函数，只是函数名称、字段类型、参数的顺序不同而已。但是Presto这些函数都要求规范的数据类型，不然会报错的
https://mp.weixin.qq.com/s/pWf3XLtK5cxcGORaMHieJw
2Kafka
本文将围绕 Kafka 在马蜂窝大数据平台的应用实践，介绍相关业务场景、在 Kafka 应用的不同阶段我们遇到了哪些问题以及如何解决、之后还有哪些计划等。
https://mp.weixin.qq.com/s/10GaGbJs7Fe3um24nHMCwQ
3IDC
IDC 的一份新报告显示，在持续的数字化转型投入的助推下，2019年企业应用软件市场的全球收入同比增长7.5%，达到2246亿美元。https://mp.weixin.qq.com/s/h56gjf91y0bXIxJ9C0RLtQ
4TiDB
2017 年的时候，我们就已经开始关注 TiDB ，那时候的关注点主要在解决一些分库分表的问题上，从 2018 年底开始调研测试大数据，我们主要想去解决存储和计算的问题，2019 年初上线服务生产应用。目前生产上有近 58 个物理节点，同时服务 OLTP 和 OLAP 的业务，服务平稳。支撑了 2019 年双十一的大促，我们的 QPS 峰值在 12 万+，支持百亿级的插入和更新，TiSpark 支持业务在线的分钟级统计分析。实时 ETL 宽表建设，TiSpark 将实时和离线很好的串联起来，在分析上互为补充。
https://mp.weixin.qq.com/s/aN8ARvQxwPL_0Q4h2ykm4w
5MongoDB
本文讲述了MongoDB在大规模数据下实现高性能的关键因素中的数据建模和内存大小调整，数据建模主要考虑内嵌、引用方式因素，而内存大小主要考虑工作集适配于RAM；
https://mongoing.com/archives/73797
6MySql
MySql的Binlog日志工具分析：Canal、Maxwell、Databus、DTS
https://mp.weixin.qq.com/s/Nq6CrU6tqNxYG_8gL-VxGw
7NIO
零拷贝，从字面意思理解就是数据不需要来回的拷贝，大大提升了系统的性能。我们也经常在 Java NIO，Netty，Kafka，RocketMQ 等框架中听到零拷贝，它经常作为其提升性能的一大亮点
https://mp.weixin.qq.com/s/RqoRpxw_JxSuErFlhOXM3A
8Flink
本文用简单的本地示例来体验 Hive Streaming 的便利性并跟大家分享体验的过程以及我的心得，希望对大家上手使用有所帮助。。
https://mp.weixin.qq.com/s/ckuVUxc9pMdXfIpcqxHMqQ
9OLAP
介绍OLAP的类型及其代表产品，并分析主流开源OLAP产品的核心技术点。
https://mp.weixin.qq.com/s/J344EEhHUBnApdQ1FPoTzA
10HBase
HBase学习—高表与宽表的选择
https://mp.weixin.qq.com/s/1M8DVaO3BGQVxTt2x2-LTw
11开心一刻
一个人正吸着雪茄，吐着烟圈。他女朋友生气了发飙道，“你没看见包装盒上的警告么？吸烟有害健康！”那人回答道：“我是程序员。我们不关心警告，只关心错误。
致谢：
周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞
猜你喜欢
#大数据和云计算机技术社区#博客精选（2017）
NoSQL 还是 SQL ？这一篇讲清楚
阿里的OceanBase解密
#大数据和云计算技术#: "四有"社区介绍
大数据和云计算技术周报（第56期）
新数仓系列：Hbase周边生态梳理（1）
《大数据架构详解》第2次修订说明
简单梳理跨数据中心数据库
云观察系列：漫谈运营商公有云发展史
云观察系列：百度云的一波三折
云观察系列：阿里云战略观察
超融合方案分析系列（7）思科超融合方案分析
加入技术讨论群
《大数据和云计算技术》社区群人数已经6000+，欢迎大家加下面助手微信，拉大家进群，自由交流。
喜欢QQ群的，可以扫描下面二维码：
欢迎大家通过二维码打赏支持技术社区（英雄请留名，社区感谢您，打赏次数超过108+）：
