大数据与云计算技术周报（第156期)

导语

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

    

本期会给大家奉献上精彩的：MongoDB、Flink、Kubernetes、kylin、spark、Alluxio、机器学习、Hredis。全是干货，希望大家喜欢！！！

1MongoDB

本文讲述了MongoDB分页top N通过修改业务SQL逻辑实现性能优化，分页翻页则skip改写实现性能优化，并在分页翻页中分析ESR、ER、ES索引的性能；

https://mongoing.com/archives/74118

2Kubernetes

Argo CD是基于GitOps模型的持续集成工具，搭配CI工具完成应用的自动构建并推送镜像到仓库中，配合CD完成应用的持续交付。

https://mp.weixin.qq.com/s/BEv8_gmKWL7PYDRZi4Du9w

3Flink

趣头条一直致力于使用大数据分析指导业务发展。目前在实时化领域主要使用 Flink+ClickHouse 解决方案，覆盖场景包括实时数据报表、Adhoc 即时查询、事件分析、漏斗分析、留存分析等精细化运营策略，整体响应 80% 在 1 秒内完成，大大提升了用户实时取数体验，推动业务更快迭代发展。https://mp.weixin.qq.com/s/rgmTm6tSccVNBj4b8gUTLQ

4Kylin

本文讲解了爱奇艺Kylin如何处理千亿级数据的最佳实践。

https://mp.weixin.qq.com/s/MnIf1RXhSD1Wu9Vk0PeycQ

5Spark

Spark3.0解决了超过3400个JIRAs，历时一年多，是整个社区集体智慧的成果。Spark SQL和Spark Cores是其中的核心模块，其余模块如PySpark等模块均是建立在两者之上。

https://mp.weixin.qq.com/s/Qj6m3PPM0b5OjlJYmK0yRA

6Alluxio

Alluxio是世界上第一个面向基于云的数据分析和人工智能的开源的数据编排技术。它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置从而能够更容易被访问。这还使得应用程序能够通过一个公共接口连接到许多存储系统。Alluxio内存至上的层次化架构使得数据的访问速度能比现有方案快几个数量级。

https://mp.weixin.qq.com/s/MawB-LRk-vOQXoimdvyS9A

7数据科学

经典数据结构和算法在数据科学中的作用

https://mp.weixin.qq.com/s/QIf0_YSPb2GggOkIfE1wKw

8Redis

Redis 双向同步系统中可能面临的问题，以及其中一种问题（分布式一致性）的部分处理方案 -- CRDT（Conflict-free ReplicatedData Types）

https://mp.weixin.qq.com/s/HG7XX8U-jVKns1BtRSuOfg

9在线数据迁移

在线数据迁移，是指将正在提供线上服务的数据，从一个地方迁移到另一个地方，整个迁移过程中要求不停机，服务不受影响。根据数据所处层次，可以分为 cache 迁移和存储迁移；根据数据迁移前后的变化，又可以分为平移和转移。

https://mp.weixin.qq.com/s/O33XpA7DTVyT7w0pQcXXGQ

10机器学习

滴滴机器学习团队从 2018 年 9 月开始调研和搭建自研推理引擎平台 IFX，在 2018 年 12 月开始对内提供服务，并在司机端和乘客端 APP 中落地。

https://mp.weixin.qq.com/s/Z80LXsXZE-JVEiktTNGmug

11开心一刻

在面对一个不想接的需求时，程序员的几个理由：

这个需求太out了目前服务器性能跟不上目前现有的技术实现不了去找老板排期吧，这个很费时间的

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞

猜你喜欢

#大数据和云计算机技术社区#博客精选（2017）

NoSQL 还是 SQL ？这一篇讲清楚

阿里的OceanBase解密

#大数据和云计算技术#: "四有"社区介绍

大数据和云计算技术周报（第56期）

新数仓系列：Hbase周边生态梳理（1）

《大数据架构详解》第2次修订说明

简单梳理跨数据中心数据库

云观察系列：漫谈运营商公有云发展史

云观察系列：百度云的一波三折

云观察系列：阿里云战略观察

超融合方案分析系列（7）思科超融合方案分析

加入技术讨论群

《大数据和云计算技术》社区群人数已经6000+，欢迎大家加下面助手微信，拉大家进群，自由交流。

喜欢QQ群的，可以扫描下面二维码：

欢迎大家通过二维码打赏支持技术社区（英雄请留名，社区感谢您，打赏次数超过108+）：