导语
“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。
本期会给大家奉献上精彩的:TensorFlow、Flink、Binlog、MVP、spark、知识图谱、数仓、Hudi。全是干货,希望大家喜欢!!!
1MVP
本文尝试从0到1实现一款轻量级大数据分析系统——MVP,以解决高频且具有较高时效性要求的问题。
https://mp.weixin.qq.com/s/3kk9oGJaoVrcWUONkYk38Q
2知识图谱
本篇描述了作者设计的基于社交图谱的标签传播算法,对近期的工作做一个总结,也为大家开拓思路抛砖引玉。
https://mp.weixin.qq.com/s/cqEpA-IAzh2Y5Yz0PTU4vA
3Spark
Spark通过DataSource和DataFrame API访问Iceberg table,或者进行Catalog相关的操作。由于Spark Data Source V2 API还在持续的演进和修改中,所以Iceberg在不同的Spark版本中的使用方式有所不同。本文主要介绍如何快速的通过Spark访问 Iceberg table。
https://www.iteblog.com/archives/9824.html
4数仓
数仓发展史
https://mp.weixin.qq.com/s/f81mW56F5wme9UdRX71GWg
5Hudi
本文主要讲述了Hudi安装的先决条件和框架版本和Hudi核心概念,然后讲述了spark集成hudi的初始设置和依赖项,最后使用CoW表做了代码演示。助。https://mp.weixin.qq.com/s/zkrotGEhPhEECuTrkPtXvQ
6Flink
SQL 作为 Flink 中公认的核心模块之一,对推动 Flink 流批一体功能的完善至关重要。在 1.11 中,Flink SQL 也进行了大量的增强与完善,开发大功能 10 余项,不仅扩大了应用场景,还简化了流程,上手操作更简单。
https://mp.weixin.qq.com/s/gfoOtuABkRPurFrFlX_qdA
75G
本周分享一篇5G的峰值速率计算。尤其是最大峰值的特殊配置和计算。
https://mp.weixin.qq.com/s/uTszkmERhfKniOU-FAe3iQ
8Binlog
本文讲述了小米Mysql数据实时同步到大数据数仓的LCSBinlog和Talos平台的架构和实践。
https://mp.weixin.qq.com/s/9JXuz058Nf6ny-71qQfn2A
9TensorFlow
https://mp.weixin.qq.com/s/RVPNYAc1OcvVNK4UVGt5mw
10知识图谱
你想知道百亿级图谱如何实现毫秒级查询吗?社区众多的图数据库中如何才能挑选到一款适合实际应用场景的图数据库呢?贝壳找房的行业图谱480亿量级的三元组究竟是如何存储的呢?
https://mp.weixin.qq.com/s/rnRjnVopN2XKzjmM5yMU1A
11开心一刻
程序猿跟产品经理一起看电视。每个节目看到一半程序猿就换台,看到一半就换台,几次之后产品经理终于忍无可忍的咆哮:老子刚看出点意思你就换、刚看出点意思你就换,到底还让不让人看啦?!程序猿淡定的盯着电视道:你半路改需求的时候我可没吱过声!
致谢:
周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞
猜你喜欢
#大数据和云计算机技术社区#博客精选(2017)
NoSQL 还是 SQL ?这一篇讲清楚
阿里的OceanBase解密
#大数据和云计算技术#: "四有"社区介绍
大数据和云计算技术周报(第56期)
新数仓系列:Hbase周边生态梳理(1)
《大数据架构详解》第2次修订说明
简单梳理跨数据中心数据库
云观察系列:漫谈运营商公有云发展史
云观察系列:百度云的一波三折
云观察系列:阿里云战略观察
超融合方案分析系列(7)思科超融合方案分析
加入技术讨论群
《大数据和云计算技术》社区群人数已经6000+,欢迎大家加下面助手微信,拉大家进群,自由交流。
喜欢QQ群的,可以扫描下面二维码:
欢迎大家通过二维码打赏支持技术社区(英雄请留名,社区感谢您,打赏次数超过108+):