2019云栖大会会议概要

【前言】该文为笔者参加2019年云栖大会其中几场重要会议的总结，参考阿里云部分内容和网上总结的一些知识，部分来自云栖大会ppt，如有不妥，告知即删。

1. 云栖大会核心

• 数字政府：政府成立大数据局。
• 万物互联：5G技术的兴起，使万物智联新世界。
• 云原生：基于云原生的技术和管理方法，可以更好地把业务生于“云”或迁移到云平台，从而享受“云”高效和持续的服务能力。
• 实时化：实时数据飞速增长。
• Fast Data：流数据与批数据融合，采用实时的方式处理。

2. 市场与技术发展趋势

2.1 市场趋势

• 非结构化数据：指数据结构不规则或不完整，没有预定义的数据模型。包括办公文档，文本，音频，视频，html等

• 云边一体化：云计算+边缘计算
  边缘计算指的是在边缘设备端处理数据。

• 云边端一体化：如：IOT，自动驾驶，视频直播等

• Big Data (Volume数据量大, Variety种类和来源多样化, veracity数据质量, velocity数据增长速度快, value数据价值密度相对较低)

• Fast Data (Volume, Intelligence varity, realtime data, realtime compute, cloud edge integrated, value)

2.2 技术趋势

• HTAP: 是混合 OLTP 和 OLAP 业务同时处理的系统，2014年Garnter公司给出了严格的定义：混合事务/分析处理(HTAP)是一种新兴的应用体系结构，它打破了事务处理和分析之间的“墙”。它支持更多的信息和“实时业务”的决策。

• 软硬件一体化：RDMA（远程直接数据存取），Open-Channel SSD NVM 3DX Point

• 云边一体化：云计算+边缘计算；如：iot产品

• Serverless：不代表再也不需要服务器了，而是说：开发者再也不用过多考虑服务器的问题，计算资源作为服务而不是服务器的概念出现

3. 从阿里技术生态圈看行业方向

3.1 数字政府架构体系“1+2+2+N”

• 架构体系实践：浙政钉|浙里办
  只有大数据没有业务支撑相当于巨大的垃圾场，只有大的业务支撑，合理利用大量数据才能发挥它们的最大价值

3.2 云原生

• laas (Infrastructure as a service)基础设置即服务
• Pass (platform as a service)平台即服务
• Saas (Software as a service)软件即服务

3.3 实时数仓

• 对实时数仓的要求：
  无处不在的流数据，快速发掘数据价值，计算引擎批流融合的趋势

• 实时数仓设计挑战：
  实时，准确，高可用，低延迟（ms），高并发，灵活

• 实时数仓的构建难点：
  云原生架构的兼容性（多租户管理，扩展性）
  数据存储组织的复杂度（多系统存储维护开销，数据可见性问题）

• 阿里实时数仓架构
  

3.4 阿里新产品发布

• AnalyticDB for MySQL 3.0
  云原生架构，性能大幅提升，MySQL更兼容，读写强一致，弹性扩缩，数据更可靠
• AnalyticDB for PG 推出Greenplum 6.0版
  HTAP混合负载，更多新特效，更简单易用
• Data Lake Analytics 推出一键建仓
  更简单易用，更低的成本，更稳定高效
• 时序数据库-InfluxDB版正式发布
  数据高可靠，更完整的生态，更稳定的内核
• DataWorks V3.0 New Releases全新发布
  全域数据集成，智能数据开发，数据服务构建，数据应用开发，数据综合治理
• 机器学习平台PAI全新发布
  让调度更容易，让算法模型交易更容易，与开源生态对接更容易
• MaxCompute V3.0大数据智能云数仓发布
  打破数据量与成本线性相关，上云、开放和生态兼容，开启智能计算时代
• E-MapReduce V4.0发布
  大数据生态升级，EMR敏捷版本发布，基础能力升级
• Realtime Compute实时计算云原生版本发布
  开放，易用，增值，免费
• Interactive Analytics新一代实时交互式分析发布
  MaxCompute加速，构建实时数仓，支持实时数仓和MaxCompute的联邦查询
• GraphCompute&GraphStudio 图计算引擎+开发套件发布
  1-3个数量级性能领先，简单直观的建模与查询，阿里经济体内50+场景支持
• 阿里云Elasticsearch V2.0发布
  增强版ES，Logstash as a Service，阿里的NLP分词器，智能运维Eyou
• 开放搜索OpenSerch V2.0发布
  源于阿里经济体的场景化一站式高质量的智能搜索服务

4. 现在&未来

• 实时化，智能化是大势所趋
• 阿里技术生态 + 行业影响力
• 前端的重要性
• 交流与学习