释放数据价值，华为云的大数据之道
如果说石油定义了二十世纪，那么数据正在迅速改变着二十一世纪。尤其是数字化以前所未有的步伐前进，数据正在成为整个社会运转的基础。正如舍恩伯格在《大数据时代》中提到，大数据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启了一次重大的时代转型。
当下，企业无论是数字化转型还是智能化升级，都与数据密不可分。与石油必须经过提炼之后才能应用到千行百业类似，数据也必须经过整合、加工、处理之后才能被很好地分析挖掘与应用。
然而，从数据到数据价值实现这个全生命周期过程并不简单，当下由于数据规模庞大、数据类型众多、实时性高等要求，使得数据价值的实现依然存在着很高的技术门槛。如何降低数据价值实现的门槛，就成为千行百业数字化转型和智能化升级的关键所在。
数据湖，是一个并不新颖却被用户越来越重视的名词，被业界普遍认为是降低大数据技术门槛和加速实现数据价值的最佳方式。尤其是随着企业上云的步伐加速，云计算所带来的弹性、灵活、高效正在赋予数据湖前所未有的活力，也让越来越多用户将数据湖云服务作为数据价值实现的首选。
在众多数据湖解决方案中，华为云的智能数据湖FusionInsight在业界不可小觑，不仅仅因为华为云在数据湖领域拥有全面的技术、产品和方案，更因为华为云数据湖解决方案在金融、电信等行业的数据湖场景中得到了充分的实践与考验。
近日，在华为云TechWave 2020大数据专题日活动上，华为云介绍了其智能数据湖FusionInsight解决方案的最新动态，包括MRS大数据引领全球大数据技术发展，新一代全场景数据仓库GaussDB(DWS)，一站式融合、开放数据运营平台DAYU等产品，为大家勾勒出一副数据湖的全景图。
为了响应政企用户在IoT和运维监控等场景下对数据仓库时效性的需求，华为云还在TechWave 2020大数据专题日发布了GaussDB(DWS)实时数仓新品。
华为云人工智能领域总裁贾永利 发布华为云GaussDB(DWS)实时数仓
正如华为云人工智能领域总裁贾永利所言：“华为云希望通过大数据技术普惠创新，帮助千行百业真正释放数据价值。”
华为云FusionInsight：这个数据湖不一般
从2010年首次被提出开始，数据湖已然走过十年历史，其在数字化时代给用户带来的价值如今愈发清晰。
时至今日，数据其实已经成为数字化时代的一种最为重要的生产资料，数据正在加速重塑企业与组织的生产、经营、销售、服务等流程。数据湖最大的价值在于可以帮助用户梳理清楚从数据存储、数据汇聚到数据挖掘全过程。千万不要小看数据湖所能完成的这些处理过程，这恰恰是用户们在数字化时代发挥数据价值所必不可少的基础。
华为云人工智能总裁贾永利表示：“为了应对企业面临的各种挑战，华为云推出了智能数据湖FusionInsight，围绕客户在使用数据、管理数据全生命周期方面提供整体解决方案。”
华为云FusionInsight智能数据湖方案拥有构建大集群的能力，支持单集群2万节点，是行业中的标杆；采用湖仓一体的设计，让批处理和交互式查询融合，实现“0”数据搬移；数据T+0实时入库、消费、分析，大幅提升数据分析与应用的速度，很好地满足了实时性需求；此外，华为云FusionInsight作为统一的数据湖，在管理上很容易实现统一管理。
据悉，华为云FusionInsight智能数据湖包含MRS大数据、GaussDB(DWS)数据仓库、GES图计算、DAYU数据运营等多款强大的云服务。
其中，华为云FusionInsight MRS大数据、GaussDB(DWS)数据仓库，可以为用户在数字化转型中构建坚实的数据底座，并通过HetuEngine数据虚拟化引擎简化用数、提高效率。
同时，为标准化多样性数据，一站式数据运营平台DAYU向下可接入日志、文本、视频、音频、图片等各类型数据，基于多样性算力与CarbonData实现全局一份数据的统一格式存储；向上为伙伴开发50+数据集成开发API，使能数据，携手800+生态伙伴打造各行业应用。
除了强大的产品之外，华为云FusionInsight智能数据湖方案之所以在业界备受推崇，关键还在于行业龙头的核心场景中得到了充分验证。据悉，华为云FusionInsight相关产品已经应用于全球60个国家及地区，服务于3000+个客户，拥有800多家合作伙伴，广泛应用于金融、运营商、政府、能源、医疗、制造、交通等多个行业。
以工商银行为例，数据在银行等金融机构的作用日趋突出，工商银行作为一家世界级的商业银行，一直致力于探索数据驱动的金融服务新模式，有着大量基于数据的应用创新。华为云FusionInsight智能数据湖帮助工商银行构建起大数据云平台，很好地解决了工行大数据全场景生态化应用的存储、算力和算法挑战，支撑起工行企业级数据湖、数据仓库、集团信息库建设，推动工行数据智能服务由事后快速演进到事前、事中阶段，大幅加快了各项金融服务的创新速度。
GaussDB(DWS)：十年磨一剑的新数仓
数据仓库在大数据时代正在面临着巨大变革。随着数据规模越来越庞大、数据类型越来越丰富，以及数据实时分析需求越来越高，传统数据仓库已经无法应对各个行业对于数据分析的需求。
比如，以前数据仓库对接的数据源主要来自于企业内部的交易数据，而如今除了内部交易数据之外，企业希望数据仓库的数据源更加多元化，比如对接行为数据、CRM数据、财务数据等等。数据源的大幅增加，也使得数据量正在暴增，这对于数据仓库的架构、性能、稳定性都是极大的考验。
像数据仓库在大集群上经常会面临挑战，也即随着集群规模越来越大，数据仓库对于资源占用、连接占用呈现出指数级的增长，会带来端口占用、资源占用等一系列问题。要想解决这些问题，新一代数据仓库必须在架构上就实现突破。比如，在本次华为云TechWave 大数据专题日活动上，华为云GaussDB（DWS）新一代全场景云数据仓库就带来了全新的思路。
作为十年磨一剑的新产品，华为云GaussDB(DWS)新一代全场景云数据库拥有以下特点：
- 首先，GaussDB(DWS)从架构源头上采用了Share-Nothing无共享的分布式架构，突破了大规模通信、大规模集群管理等一系列的数据仓库大集群关键技术，支持单集群PB级以上的数据容量，设计规格最大可扩展至2048个节点，在从小集群规模逐步扩展到大集群规模过程中，随着节点数增加，集群的性能和容量线性增长，线性加速比>0.9。
- 其次，GaussDB(DWS)采用了全并行计算的架构，支持多个物理节点并行计算，在一个物理节点中支持多个CPU核心并行计算，在一个CPU核心的指令序列中支持SIMD指令，实现一个指令同时操作多条数据，充分聚合海量算力资源。同时，GaussDB(DWS)实现了新一代智能优化器技术、高效的算子算法、动态编译等核心技术，带来了高效的指令效率，在海量的算力资源和高效的指令效率的双倍加速下，数据仓库数据导入和分析速度都大幅领先。例如，TB级数据分钟级导入、百亿行数据的关联分析秒级响应等都已经在实际案例中得到实现。
- 另外，GaussDB(DWS)采用多层备份、多级保护机制，极大提升其稳定性和可靠性。例如，在GaussDB(DWS)的系统部署中，磁盘、交换机、网卡、主机电源等关键硬件都有冗余备份。所有的软件组件，如CN、DN、GTM、CM Server等都能实现实例多活或者Active-Standby的互备。同时，全方位的软硬件故障检测功能能够快速对集群进行快速检测和响应，实现自动故障切换，让业务持续可用。
从2011年开始，华为十年以来一直致力于GaussDB(DWS)产品的打造，并且在金融、电信、政府等多个行业获得了丰富的实践经验和场景严苛考验。目前，全球有超过500家大客户采用了华为GaussDB(DWS)产品。比如，工商银行作为全球最大的商业银行，已经实现了用GaussDB(DWS)对全球著名数据仓库产品的替代。
未来，华为云GaussDB(DWS)还将持续优化内核能力，以支持更大的集群规模、更强的实时分析能力、以及更高的系统可靠性；并将会发力打造Cloud-Native云数据仓库，面向云的环境，持续优化向导式、全流程、在线可视化运维能力，在线快速弹性扩缩容能力；此外，数据协同能力、新型硬件支持能力以及分析边界拓展也是华为云GaussDB(DWS)未来持续突破的重点。
普惠数据创新：华为云底气十足
在华为云智能数据湖FusionInsight解决方案中，除了华为云GaussDB(DWS)，还有CarbonData和DAYU其他两大数据“秘籍”。
华为云CarbonData是围绕数据存储进行数据格式一系列优化的引擎，可以实现全局一份数据，统一的格式存储，使用更加高效。华为云DAYU则是融合、开放的云化数据运营平台，它可以支持超过30+的数据源对接，实现全域联邦数据资产管理；其开放架构体系围绕数据使用构建起端到端完善的工具平台；此外，它共享型行业资产模型让数据资产化效率实现3倍提升，支撑伙伴快速构筑行业数据资产生态。
事实上，数据湖十年价值落地之路可谓是兜兜转转、起起伏伏。十年以来，有各种类型的厂商希望加速数据湖的落地，但一个有趣的现象愈发明显，即像华为云为代表的云服务提供商，正在成为数据湖落地的重要力量。
像华为云这样的云服务提供商之所以能够极大推动数据湖在各行各业的落地，是因为：
首先，数据湖并不是一项单点技术，而是多种跟数据相关技术的组合体系，需要发挥技术组合的威力，而像华为云这样的云服务提供商，恰恰可以提供全面和强大的产品、技术组合，加速了数据湖在用户中的落地应用。
其次，云服务的方式是数据湖落地的一个绝佳载体，云服务的方式屏蔽了传统模式的各种复杂性，提供了前所未有的灵活性、弹性和技术的快速迭代。在企业用户上云趋势下，云服务提供商将云计算的优势与数据湖结合。
另外，华为云FusionInsight智能数据湖解决方案已经在金融、电信、制造、政府等多个行业场景中得到了实践与考验，其方案的完整度、能力都有充分保障。
这些就是华为云在数据湖落地、加速帮助用户实现数据价值的底气所在。数据湖已经走过了十个年头，未来随着5G、物联网等更多技术的应用，用户对于数据湖的需求必然会再上一个台阶，而华为云智能数据湖FusionInsight有望迎来更大的施展舞台！