HCIP学习笔记-华为云原生应用的解决方案-10

1.华为云技术创新及解决方案概述

1.1 企业发展关注数字化转型

• 随着企业的数字化建设逐步进入智能升级阶段，企业需要充分享受云计算带来的红利.云对业务的价值不再是简单的资源供给，还要能以应用为中心，为业务赋能
• 数字挛生:充分利用仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程，有效降低实际生产的成本。

1.2 华为云全栈技术助力企业数字化

2.华为云EI企业智能解决方案

EI : Enterprise Intelligence

2.1 企业智能EI

• 华为云 EI 主要包含了大数据和 AI 解决方案两部分

2.2 华为云 EI 解决方案-全栈使能，全场景覆盖

• 标红为后续会继续学习的部分
• 华为云数据使能DAYU:
  • 致力于打通企业数据从资源到资产的通路，通过全域数据入湖，实现数据跨越孤立系统、能够进行业务感知，进行数据资源智能管理。从多角度、多层次、多粒度挖掘数据价值，实现数据驱动的数字化转型。
• 华为云AI使能ModelArts
  • ModelArts :面向开发者提供一站式 AI 开发平台。
• 训练框架:
  • MindSpore是华为开源自研 AI 框架。支持端边云全场景的深度学习训练推理框架，主要应用于计算机视觉、自然语言处理等 AI 领域。
• 算力:
  • NPU(Neural Network Processing Unit，简称NPU ): 神经网络处理器，是基于神经网络算法与加速的新型处理器总称。

2.3 什么是大数据

2.4 MapReduce服务MRS

• MRS是帮助客户一键式构筑数据接入、数据存储、数据分析和价值挖掘的统一大数据平台，与华为云IOT物联网、ROMA平台、数据湖工厂及数据可视化等服务对接，为客户轻松解决数据通道上云、大数据作业开发调度和数据展现困难的问题。
• MRS根据不同的场景提供了不同的大数据分析处理的组件，如果需要实时处理，我们可以选择流计算组件，例如如Flink，若需要离线批次计算，可以选择Spark或MapReduce。
• 备注: CarbonData是。种新型的Apache Hadoop本地文件格式，使用先进的列式存储、索引、压缩和编码技术，以提高计算效率，有助于加速超过PB数量级的数据查询可用于更快的交互查询。同时，CarbonData也是一种将数据源与Spark集成的高性能分析引擎。

2.5 MRS适用场景

• 海量数据分析场景下MRS的优势(环保行业 ):
  • 低成本:利用OBS实现低成本存储
  • 海量数据分析:利用Hive实现TB/PB级的数据分析
  • 可视化的导入导出工具: 通过可视化导入导出工具Loader，将数据导出到DWS完成BI分析。
• 海量数据存储场景下使用MRS优势(车联网行业 ):
  • 实时: 利用Kafka实现海量汽车的消息实时接入。
  • 海量数据存储: 利用HBase实现海量数据存储，并实现毫秒级数据查询
  • 分布式数据查询:利用Spark实现海量数据的分析查询。
• 实时数据处理场景下MRS的优势?（ 电梯行业 ):
  • 实时数据采集:利用Flume实现实时数据采集，并提供丰富的采集和存储连接方式。
  • 海量的数据源接入: 利用Kafka实现万级别的电梯数据的实时接入。

2.6 环保行业海量数据分析场景

• 可以将天气数据存储在OBS，定期转储到HDFS中进行批量分析

2.7 数据库探索DLI

• 用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索
• 应用场景为:海量日志分析、异构数据源联邦分析、大数据ETL处理

2.8 数据仓库服务DWS

• DWS是基于华为融合数据仓库GaussDB产品的云原生服务，GaussDB(DWS )基于Shared-nothing分布式架构，具备大规模并行处理引擎，由众多拥有独立且互不共享的CPU、内存、存储等系统资源的逻辑节点组成。在这样的系统架构中，业务数据被分散存储在多个节点上，数据分析任务被推送到数据所在位置就近执行，并行地完成大规模的数据处理工作，实现对数据处理的快速响应
• DWS提供了Web化的服务管理平台，即管理控制台，还提供了基于HTTPS请求的API方式管理DWS 集群。
• DWS常常配合云数据迁移(Cloud Data Migration，简称CDM)、数据接入服务( Data Ingestion Service，简称DIS)使用，CDM用于批量数据迁移，DIS用于流数据接入。

2.9 DWS应用场景

2.10 海量游戏运营数据分析（1）

2.11 海量游戏运营数据分析（2）

2.12 数据湖治理中心DGC

• 数据集成:多种方式异构数据源高效接入，DGC数据集成支持批量数据迁移和实时数据接入两种方式。
• 数据开发:一站式协同开发平台，提供可视化的图形开发界面、丰富的数据开发类型( 脚本开发和作业开发)、全托管的作业调度和运维监控能力等。
• 数据资产管理:全链路数据资产可视化，实现数据资产的数据血缘和数据全景可视提供数据智能搜索和运营监控
• 规范设计:数据建模可视化、自动化、智能化，通过统一指标平台建设，实现规范化指标体系，对外提供主题式数据查询与挖掘服务，
• 数据质量:可控可检验，数据质量模块支持对业务指标和数据质量进行监控，数据质量可检验，帮助用户及时发现数据质量问题。
• 数据安全: 全方位安全保障，实现网络安全和用户权限控制。针对规范设计、数据服务等关键流程，提供了审核流程。数据的分级分类管理，数据的全生命周期管理，保证数据的隐私合规、可回溯。
• 数据服务: 提升访问查询检索效率，DGC数据服务旨在为企业搭建统“的数据服务总线，帮助企业统一管理对内对外的API服务，支撑业务主题/画像/指标的访问、查询和检索，提升数据消费体验和效率，最终实现数据资产的变现。数据服务为您提供快速将数据表生成数据API的能力，同时支持您将现有的API快速注册到数据服务平台以统一管理和发布。

2.13 DGC适用场景

2.14 DGC应用-中长尾企业数据处理

• 长尾企业是指通过向许多客户出售少量难以找到的物品获取利润的企业，而不是简单地出售大量少量的日常用品
• 中长尾的企业想要数字化转型，数据技术、人才、资金的高门槛容易使企业望而却步吸需大数据行业的领导者，能做出企业的通用模式，节约数字化成本，降低用数门槛
• 华为云基于华为IT流程数据治理方法论推出华为云大数据轻量级解决方案，配合华为云资产可以轻资源、轻开发、轻部署、轻运维的快速数据治理体系，全Serverless方案对中长尾企业来讲使用灵活，企业无需关注底层技术栈、云资源性能，可按需使用降低运营成本。
• 华为云大数据相关服务提供数据全生命周期的一站式管理和开发，帮助中长尾企业大幅简化数据治理的流程，在这种轻模式的支持下，中长尾企业可以快速高效的应对大量数据的分析，降低用数门槛，加快企业数据变现，完成企业的数字化转型。

2.15 AI技术蓬勃发展

• 与大数据对应的是 AI 技术的蓬勃发展， AI 作为一种功能强大的技术，正在不断改变人们的生产和生活方式

2.16 一站式 AI 开发平台 ModelArts

• 繁多的AI工具安装配置、数据准备、模型训练慢等是困扰AI工程师的诸多难题。为解决这个难题，将一站式的AI开发平台( ModelArts )提供给开发者，从数据准备到算法开发、模型训练，最后把模型部署起来，集成到生产环境。一站式完成所有任务
• ModelArts是一个一站式的开发平台，能够支撑开发者从数据到 AI 应用的全流程开发过程。包含数据处理、模型训练、模型管理、模型部署等操作，并且提供AI Gallery功能，能够在市场内与其他开发者分享模型。
• ModelArts支持应用到图像分类物体检测、视频分析、语音识别30产品推荐、异常检测等多种AI应用场景。
• 红色标注为beta版本功能(截至2022.3)。

2.17 ModelArts全流程提升开发效率

• 数据处理:支持全数据格式、支持团队标注支持
• 训练:预制训练模型，加速AI应用落地，通过自研推理框架屏蔽底层软硬件差异提升推理运行性能;支持多厂商多框架多功能模型统一纳管
• 部署:部署支持高并发、低延时访问，并支持弹性伸缩，灰度发布、滚动升级。支持模型部署到多种生产环境，可部署为云端在线推理和批量推理，也可以直接部署到端和边。
• 市场: AI Gallery预置常用算法，支持模型在企业内部共享或者公开共享。

2.18 游戏场景模型训练（1）

• APPU公式：APPU=总收入/活跃用户数量

2.19 游戏场景模型训练（2）

• 华为云算法专家提供了算法引擎、sdk、API等资源，游戏公司可以直接调用进行训练同时可以通过华为云定制模型，显著提升算法开发效率。

2.20 ModelArts Pro

• ModelArts是一站式AI 开发管理平台，提供领先算法技术，保证AI 应用开发的高效和推理结果的准确，同时减少人力投入。ModelArts致力于底层模型专业开发、调参等。
• ModelArts Pro根据预置工作流生成指定场景模型，无需深究底层模型开发细节ModelArts Pro致力于解决通用API局限性、AI算法开发问槛蒿等难题，提供行业AI定制化开发套件，沉淀行业知识，让开发者聚焦自身业务，底层依托ModelArts平台。

2.21 ModelArts Pro能力全景图

• 华为云ModelArts Pro定位为企业AI生产力工具，提供了58种全新的行业AI落地方式将算法专家的积累和行业专家的知识沉淀在相应的套件和行业工作流( Workflow )中，真正实现赋能行业AI应用开发者，全面提升行业AI开发效率和落地效果
• ModelArts Pro底层依托一站式AI开发管理平台ModelArts提供的领先算法技术，保证AI应用开发的高效和推理结果的准确，同时减少人力投入。
• 套件中当前ModelArts Pro开放的预置套件有文件识别套件、自然语言处理套件、视觉套件和HiLens套件，后续还会开放更多行业套件。
• 工作流开发是面向AI开发者的。用户运用ModelArts Pro提供的原子组件(Atom)灵活编排新的行业工作流。基于AI市场，用户还可以相互分掌不同行业场景的行业AI工作流。ModelArts Pro以“授人以渔”的方式助力企业构建AI能力，赋能不同行业的AI 应用开发者，让AI变得触手可及。
• 应用开发面向企业和行业用户开放，提供特定行业场景的预置行业工作流，用户基于自身行业、场景的需求，进行快速自定制的需求，快速进行应用开发ModelArts Pro还能与AI市场对接，伙伴开发的行业工作流包、工作流、模型算法都可以发布到AI市场上，供其他客户购买使用，是共享生态繁荣的重要方式。

2.22 ModelArts Pro简化AI需求落地

• 传统的AI应用落地，AI厂商需要分析客户提出的定制需求，然后采集训练数据，再到模型训练、云服务开发、云服务测试，这几个过程一般需要1-3个月的时间，然后才到服务部署、服务调用阶段。一旦应用效果不好，或者客户提出新的需求，又要将上述过程重复一遍，非常费时费力。
• 基于ModelArts Pro的开发流程就简单多了，客户都可以自己开发，只需要选择对应的ModelArts Pro套件o比如OCR套件，然后选择工作流、8按步骤完成开发，如制作模板、选定模板、标注字段等，然后就可上线服务，整个过程只需要1-7天，大大节省了开发工作量。如果有迭代需求，也不需要重新开发，直接到中间那一步就可以了开发链路更短。

2.23 ModelArts Pro应用-蛋糕自动结算

2.24 AI开发社区- AI Gallery

• AI Gallery是在ModelArts基础上构建的开发者生态社区，提供算法、模型、数据集等内容的共享，为高校科研机构、AI应用开发商、解决方案集成商、企业级个人开发者等群体，提供安全、开放的共享及交易环节，加速AI资产的开发与落地，保障AI开发生态链上各参与方高效地实现各自的商业价值。
• 盘古大模型: 盘古大模型由NLP大模型、CV大模型、多模态大模型、科学计算大模型多个大模型构成，通过模型泛化，解决传统AI作坊式开发模式下不能解决的AI规模化、产业化难题，开启AI工业化开发新模式。
• 天筹AI求解器:将运筹学和AI相结合，突破业界运筹优化极限，针对线性和整数模型寻找最优解，助力企业量化决策和精细化运营

2.25 预集成智能解决方案-智能体

• 包括：政务智能体、交通智能体、医疗智能体、地理智能体、园区智能体、水智能体、供暖智能体、工业智能体、网络智能体

2.25.1 园区智能体

3.华为云物联网解决方案

3.1 物联网loT是什么

• 工厂数字化：工厂将产线设备连接到 loT 平台，对设备进行实时监控、分析与预警，提升设备使用效率，节省大量电费
• 优化产品设计：产品联接到华为云 loT 平台，采集用户及产品的大量数据，用于产品设计改进，甚至提供个性化服务

3.2 物联网发展的挑战

• 要发展物联网，就要迎接挑战，实现几个关键特性：万物联结、数据变现、生态/行业构建

3.3 华为云物联网全栈生态链

• 华为云的物联网解决方案可以实现从联到用的全流程支撑
• 万物互联，不仅仅是对物的感知，更重要的是让万物融入到智能世界，让企业、行业以及产业基于智能的物，加速其数字化升级。华为云IoT解决方案以云为基础，从物的泛在联接、物的场景化挛生、物与智能世界的全面协同三个维度，提出万物互联新范式，让万物生于端而长于云，将万物带入整个智能世界中。
• 首先是联结使能，实现物的泛在联接，万物互联首先要解决的是设备广泛接入的问题需要提供丰富的协议支撑，安全、可靠、稳定、高性价比的设备联接服务，帮助万物的接入更简单、高效，真正从能联接，到易联接。其次，要让万物相互认识,相互理解，才能让万物更好地融入到智能世界。以云为基础的万物互联，不仅仅是对万物的属性感知，更需要把物与物、物与人、物与应用之间的相互关系，全面的、简单的表达出来，把实体物变成智能世界中可识别、可协作的数字物，让万物融入到智能世界中，实现数据使能。最后，万物融入到智能世界，最终的目的仍然是回到生产生活，带动产业降本增效解决实际业务问题，同时通过构建行业生态来促进发展

3.4 华为云物联网解决方案架构图

• 物联网的数据来自设备，设备数据传递可以通过eSIM/vSIM卡，使用华为云全球SIM联结服务，在全球范围就近接入华为公有云站点，也可以通过直连或网关模式。
• 华为云提供了IoT边缘解决方案，支持数据本地处理，优化了因数据回传造成的延时等问题。
• IoTDA设备接入产品支持数据上云，能够快速完成设备联网及行业应用集成
• 通过IoTDP设备发放服务，可以轻松管理跨多区域海量设备的发放工作，实现单点发放管理，设备全球上线的业务目的
• loTA数据分析为开发者提供一站式服务，降低开发门槛，缩短开发周期，帮助快速实现物联网数据价值变现。
• AMQP ( Advanced Message Queuing Protocol): 高级队列消息协议

3.5 华为loT解决方案支持多种部署方式

3.6 loT边缘服务loT Edge

• 物联网面临挑战：设备产生大量数据回传云端；设备种类和协议繁多，连接困难；智能交通等行业对实时性要求高；服务创新对 AI 提出更高要求

3.7 全球SIM联接GSL

• 通用场景
  • 典型行业:三表 (电表、水表、气表)、POS机、共享电动车等
  • 跨国业务，享受本地资费: 典型行业:车企 (销售海外)、物流、运输、保健等。
  • 运营商切换，享受更低资费:典型行业:新零售、运输、汽车出海等

3.8 全场景设备接入服务 loTDA

3.9 loTDA适用场景

3.10 loT数据分析服务loTA

• 作为设备的运营方，企业需要掌握设备的运营数据，包括设备增长趋势统计，设备激活趋势统计，设备活跃时间段分布，设备告警统计等等
• 数字李生指在信息化平台内模拟物理实体、流程或者系统，类似实体系统在信息化平台中的双胞胎。借助于数字映射，可以在信息化平台上了解物理实体的状态，甚至可以对物理实体里面预定义的接口组件进行控制。
• 孪生建模: 图形化编辑方式，丰富计算算子 (30+)，无缝对接 AI
• 一站式服务:整合数据集成，清洗，存储，分析端到端环节，提升开发体验
• 提供行业套件：物流 RFID 数据分析套件，轧钢产线质量分析套件，智能交通套件等。
• 高性能: 10~15倍数据压缩率，亿级时间线，PB级数据处理

3.11 物联网智能探索-AloT

3.12 智能仓储

• 料箱和RFID tag存在对应关系，料箱和仓库门存在对应关系，货物在进出门的过程中产生了大量的RFID数据，IoTA基于Flink技术的实时流计算能力，可秒级判断出货物在该门下的进出方向，继而可自动与货单进行校对，实时告知仓库管理人员进出货物的情况。

4.华为云应用与数据基础解决方案

4.1 应用与数据开发常见困境

4.2 ROMA产品全景图

• ROMA Exchange
  • 企业数字资产管理和运营的统一平台，助力企业做活、做强、做大数字资产驱动持续运营。
• ROMA Service Core
  • 面向行业应用提供统。身份认证、移动化、可视化渲染3云边端协同等公共能力合集，快速构建应用解决方案和数字化系统，服务政企业务上云。
• ROMA Factory
  • ROMA Factory提供贯通应用全生命周期的DevOps敏捷能力，打通研发态运行态、运维态，使能企业多种应用简单、敏捷开发。ROMA Factory系列主要面向混合云销售，包含Appcube、Devcloud等产品，在公有云上，没有明显的此类说法，仅指向Devcloud。
• ROMA Connect
  • 全栈式的服务平台，聚焦应用和数据连接，提供数据、API、消息和设备集成能力，帮助企业快速联接云上云下，消除数字鸿沟，实现数字化转型。

4.3 资产管理运营平台ROMA Exchange

• 通过专业的组织统筹建设和运营，使用方就可以专注业务和做好应用，效率高，成本低。
• ROMA Exchange帮助企业实现平台统一建设，共建、共享、共用、共治，服务与数据天然拉通。

4.4 智慧城市管理-数字资产运营

• 汇聚企业内部的各种数据资产，包括应用，服务和集成资产等，提供一站式资产全生命周期管理能力。
  • 资产分类和可视化:基于标签、组织、业务等维度提供分层分级的可视化资产清单和分类管理。
  • 一站式资产管理中心:提供资产创建、注册、发布、审核、上架、订阅、部署开通、计量、运营等10+项能力，资产订阅后一键部署，通过编排快速和已有能力集成。
  • 多种资产注册模式:高效资产接入模式，支持从ROMA Factory和ROMAConnect直接发布资产
• 各级资产中心将共享的资产发布到共享空间，同一张网下的其他资产中心即可共享并在本资产中心对该资产进行管理和运营。
• 双方运营主体梳理资产拓扑关系以及资产运行依赖的底座和环境，由资产供应商完成资产交付。
• 通过公有云行业资产中心将复制的资产下沉到客户运营枢纽，跨网、跨域也可以实现资产流通。

4.5 应用使能服务ROMA Service Core

4.6 智慧城市管理-安全便捷的系统管理

4.7 应用开发平台ROMA Factory

• 支持Java、Go、PHP、Nodejs、Docker、Tomcat、ServiceComb、Dubbo及SpringCloud等运行环境，能帮助企业极大地提升应用管理和运维的效率，聚焦应用开发和业务创新，从而提升企业竞争力。

4.8 智慧城市管理-高效开发场景

• 云化在线开发，融合大数据、loT GIS等平台，资产复用率高
• AppCube:
  • 海量开箱即用的标准化能力/服务组件
  • 已开发的成熟服务，可以通过原生服务的方式，快速集成到AppCube平台，实现能力快速积累、减少开发工作量。
• Devcloud:
  • 敏捷项目管理功能强大: 敏捷需求模型(Epic-Feature-Story-Task)和迭代管理、工时管理、内在集成关联用例，关联代码提交 )
  • 知识协同:多人在线文档编辑、分享，沉淀项目知识
  • 支持云原生的CICD (容器、虚机多种部署): 预置华为云CCE/CCI部署插件支持常用技术栈。
  • 流水线自定义灵活编排，免构建环境搭建，开箱即用

4.9 集成平台ROMA Connect

• FDI: 例如集团企业场景中，企业与合作伙伴使用的数据源不一样，难以形成企业之间有效的信息传输。FDI提供了多种数据源之间转换的方式，支持MySQL、Kafka、API等主流格式之间的转换。FDI还可以配合其他服务，如数据仓库服务 Gauss200进行大数据的存储、转换、和分析。
• APIC: 例如集团与各地区子公司的IT系统集成，直接访问对方各类数据库方式过于复杂，且容易发生信息泄露风险，如果以API方式互相开放访问，同时加强API调用安全防护，就能实现跨网络跨地域协同办公。
• MQS:例如企业与合作伙伴使用的消息系统不一样，消息系统对接成本较高，而且难以保证对接之后消息传输的可靠性和安全性。企业之间可以约定使用Kafka通信协议那么MQS可以作为消息中转站，提供安全、可靠的消息传输通道。企业创建多个topic，设置每个合作伙伴订阅topic的权限，然后将消息发布到多个topic中。合作伙伴通过订阅topic，获取topic内的消息。
• LINK: 例如工业场景中，设备的信息和生产过程中的参数比较分散。生产线出现故障时，如果靠人工采集每一台设备的信息与参数，定位问题的过程缓慢。设备集成能够连接设备和IT系统、大数据平台，将设备的运行状态等信息上传到IT系统或大数据平台中，实现所有设备的信息可视化，一旦生产线出现故障，企业能够快速定位问题.

4.10 智慧城市管理-多系统联结

• 政企需要一种安全、可靠、高效的连接方案，在不打破组织安全边界的前提下，进行跨组织的API、数据、消息协同，ROMA Connect提供了这样的能力。
• ROMA提供融合集成能力，解决业务系统、设备、多种异构源数据的集成难题，基于ROMA连接的IT&OT数据，开发新应用时间降低50%。
• ROMA提供API网关和自定义后端能力，简化API开放，实现服务接口快速开发交付支持将各种数据表直接开放为RestfuL API供业务系统直接调用。

4.11 智慧城市管理- ROMA解决方案全景

• 打造城市办公端统一入口，实现政府内容的零跑动，随时随地掌握运行态势，决策指挥，“一个手机管理一座城”
• 打通移动应用与IT系统，快速集成交付。建设应用平台的集成中枢。
• 建立统一身份认证，梳理帐号，建立命名规范
• 内部用户的统一管理，提升政府内部的管理效率。

4.12 智慧城市管理实现效果

• 更全面的城市数据分析:
  • 多方数据集成，打破数据孤岛，实现跨云跨网数据汇聚
  • 实现实时数据监控，城市监管风险及时告警
• 更便捷的操作体验
  • 统一应用架构平台，支持多门户架构。
  • 统一体验入口，规范化流程管理，市民办事更便捷。
• 更安全的身份监管
  • 集中授权，集中鉴权。
  • 单点登录，简化登陆流程,实现安全监管。
  • 角色区分体验，实现权限可控。
• 更灵活的系统更新:
  • 集成管理，新老系统对接方便
  • 一站式软件开发管理，低代码加速项目落地。

思考题

完结撒花