云数据库(林子雨慕课课程)

文章目录

    • 6.云数据库
      • 6.1 云数据库概述
      • 6.2 云数据库产品
      • 6.3 UMP系统
        • 6.3.1 UMP系统概述
        • 6.3.2 UMP系统架构
        • 6.3.3 UMP系统功能
      • 6.4 Amazon云数据库
        • 6.4.1 Amazon和云计算的渊源
        • 6.4.2 Amazon AWS
        • 6.4.3 AWS平台上的云数据库
        • 6.5 微软云数据库SQL Azure

6.云数据库

6.1 云数据库概述

  • 云计算概念:通过网络以服务的方式为用户提供非常廉价的IT资源

    云数据库(林子雨慕课课程)_第1张图片

  • 云计算的八大优势

    • 按需服务

    • 随时服务

    • 通用性:满足各种不同类型的用户需求

    • 高可靠性:集群出现故障,通过备份机迅速提供服务

    • 极其廉价:只需要开通云计算服务,按照实际情况付费

    • 超大规模:云计算底层聚集大量的基础设施

    • 虚拟化技术:将底层资源统一放到资源池中去,进行统一调配和使用

      云数据库(林子雨慕课课程)_第2张图片

    • 可扩展性强

  • 云数据库继承云计算相关特点

    • 非常廉价
    • 可扩展性、可靠性
  • 云数据库优点:

    • 动态可扩展
    • 高可用性:可以保证不间断服务
    • 较低的使用代价:
    • 易用性
    • 免维护特性
    • 高性能
    • 安全:有安全保障团队保障其安全性
  • 腾讯云数据库和自建数据库比较

    云数据库(林子雨慕课课程)_第3张图片

  • 个性化存储需求

    • 通过云数据库满足大企业海量数据的存储需求

      云数据库(林子雨慕课课程)_第4张图片

    • 通过云数据库的投入成本低,降低中小企业的数据库投入成本

      云数据库(林子雨慕课课程)_第5张图片

    • 满足企业动态的存储需求

      云数据库(林子雨慕课课程)_第6张图片

  • 云数据库和其他数据库的关系

    • 数据模型角度

      云数据库(林子雨慕课课程)_第7张图片

    • 云数据库产品

      云数据库(林子雨慕课课程)_第8张图片

    • 云数据库一部分采用SQL存储,一部分采用NoSQL存储

      云数据库(林子雨慕课课程)_第9张图片

6.2 云数据库产品

服务:通过网络以服务的方式来获得

  • Amazon:提供了相关的云数据库服务

    • 亚马逊RDS:提供云上的关系型数据库
    • SimpleDB:在云中提供键值数据库
    • DynamoDB:在云中提供NoSQL数据库
    • Amazon ElastiCache:分布式内存缓存服务
  • Google:Google Cloud SQL

    云数据库(林子雨慕课课程)_第10张图片

    • 谷歌还提供带JDBC和DB-API支持的传统MYSQL数据库环境

    • 谷歌Cloud SQL优势:和Google APP Engine集成的

      云数据库(林子雨慕课课程)_第11张图片

  • 微软Microsoft-> Miscrosoft SQL Azure(基于关系型数据库)

    云数据库(林子雨慕课课程)_第12张图片

6.3 UMP系统

6.3.1 UMP系统概述
  • UMP:Unified MYSQL Platform

    云数据库(林子雨慕课课程)_第13张图片

  • UMP突出特性:

    • 低成本,高性能
    • 开源数据库
  • UMP在设计时要实现以下原则

    • 整个系统保持单一的对外访问入口

    • 消除单点故障,保持服务的高可用性(设置多个Controller)

    • 具有良好的可伸缩性,能够动态的增加、减少计算资源

    • 可以实现资源之间的相互隔离

      • 云数据库是多租户:一个服务部署在云端需要满足多个租户的需求

        云数据库(林子雨慕课课程)_第14张图片

      • 多租户带来问题?

        • 可能会出现某个用户消耗的资源过多
        • 可能会影响其他用户相关的应用程序执行
6.3.2 UMP系统架构
  • UMP系统的整体架构

    云数据库(林子雨慕课课程)_第15张图片

  • UMP系统中的各个角色和组件

    • Mnesia

      • 是一个分布式数据库管理系统

      • 支持事务,支持透明的数据分片,利用两阶段锁会实现分布式事务,可以线性扩展到至少50个节点

      • Mnesia的数据库模式(schema)可在运行时动态重配置

        云数据库(林子雨慕课课程)_第16张图片

      • Mnesia系统的特性优良,因此阿里巴巴将其纳入UMP系统的开发框架中

    • RabbitMQ:工业级的消息队列产品

      • 通过消息队列实现各个组件之间的异步信息传递

        云数据库(林子雨慕课课程)_第17张图片

      • 消息队列传递消息方式

        云数据库(林子雨慕课课程)_第18张图片

    • Zookeeper:提供高效协调服务

      • 统一命名服务、状态同步服务、集群管理、分布式锁
      • 在UMP系统中Zookeeper主要发挥的三个作用
        • 作为全局的配置服务器,很多服务器需要相同的配置文件,一旦一个服务器配置文件修改,会被zookeeper监听到,并通知其他服务器修改
        • 提供分布式锁(选出一个集群的“总管”):多个controller服务器中由zookeeper选出主管服务器
        • 监控所有MYSQL实例的正常运行:一旦监听到故障,zookeeper能够及时探测到,并启用其他备份
    • LVS Linux Virtual Server:Linux 虚拟服务器集群系统

      • UMP系统借助LVS实现集群内部的负载均衡
      • LVS集群采用IP负载均衡技术和基于内容的请求分发技术
      • 调度器是LVS集群系统的唯一入口点:调度器可以接受用户请求,并均匀分发到集群内部不同的服务器节点上去,实现负载均衡,且集群内部有服务器发生故障,其可以自动将其屏蔽
      • 整个服务器集群的结构对客户是透明的
    • Controller服务器:UMP集群的总管

      • 集群成员的管理

      • 元数据的存储

      • MYSQL实例管理

      • 故障恢复

      • 备份迁移扩容

      • Controller服务器上运行了一组Mnesia分布式数据库服务

        • 集群成员、用户的配置和状态信息、“路由表”
      • 为了避免单点故障

        云数据库(林子雨慕课课程)_第19张图片

    • Web控制台:帮助用户提供系统关系界面

      云数据库(林子雨慕课课程)_第20张图片

    • Proxy服务器:向用户提供访问Mysql数据库的服务

      • 使用MySQL数据库时下载客户端,连接MySQL服务器

        云数据库(林子雨慕课课程)_第21张图片

    • Agent服务器:部署运行MySQL进程的机器上,用来管理每台物理机上的MySQL实例

      云数据库(林子雨慕课课程)_第22张图片

    • 日志分析服务器:对整个日志进行分析

      • 分析一些较长查询的原因

        云数据库(林子雨慕课课程)_第23张图片

    • 信息统计服务器:记录系统运营数据

      云数据库(林子雨慕课课程)_第24张图片

    • 愚公系统:数据迁移

      • 系统允许在不停机的情况下,可以实现动态的扩容、缩容、迁移
6.3.3 UMP系统功能
  • 容灾:是云数据库必须要具备的基础功能

    • 主库和从库的状态由Zookeeper负责维护

    云数据库(林子雨慕课课程)_第25张图片

    • 主库发生故障时,如何进行主从切换?

      云数据库(林子雨慕课课程)_第26张图片

    • 如何进行主库的恢复

      云数据库(林子雨慕课课程)_第27张图片

  • 读写分离:充分利用主从库实现用户读写操作的分离,实现负载均衡

    云数据库(林子雨慕课课程)_第28张图片

  • 分库分表:UMP支持对用户透明的分库分表

    • 采用分库分表后,一个sql语句的表可能已经被分为多个子表,此时系统处理用户查询的过程如下:

      云数据库(林子雨慕课课程)_第29张图片

  • 资源管理:采用资源池机制对所有资源进行管理

    云数据库(林子雨慕课课程)_第30张图片

    • 具体MySQL实例的资源分配过程:

      云数据库(林子雨慕课课程)_第31张图片

  • 资源调度:

    • UMP系统中有三种用户:数据量、流量都非常小;中等规模用户、数据量非常大需要进行分库分表

      云数据库(林子雨慕课课程)_第32张图片

  • 资源隔离:UMP采用两种资源隔离方式

    云数据库(林子雨慕课课程)_第33张图片

  • 数据安全:UMP系统中提供了非常多数据安全机制

    云数据库(林子雨慕课课程)_第34张图片

6.4 Amazon云数据库

6.4.1 Amazon和云计算的渊源
  • 亚马逊和云计算的关系

    • 亚马逊开创了云计算的服务模式–把IT资源作为一种服务出租给美国中小企业
  • 亚马逊的云计算发展

    云数据库(林子雨慕课课程)_第35张图片

6.4.2 Amazon AWS
  • Amazon AWS架构图

    云数据库(林子雨慕课课程)_第36张图片

  • 架构图组成部分详细介绍

    • AES GLobal Insfrastructure(全球基础设施):Amazon在全球构建多个数据中心,构成了云计算服务的基础,云计算所有应用都部署在这些基础设施之上

      云数据库(林子雨慕课课程)_第37张图片

      • 其拓扑结构由大到小分为:Region(地区)、Availability Zone(可用区)、Edge Locations(边缘节点)

        云数据库(林子雨慕课课程)_第38张图片

    • Networking

      • 提供直连服务
      • VPN方式去跟亚马逊进行连接
      • 可以在云平台专门划分一块区域作为私有云,面向某个企业提供服务
      • Route 53:提供高可用的云域名解析系统
    • Compute

      • EC2,弹性计算云,相当于虚拟机,可以在上面运行、安装应用
      • ELB,提供负载均衡器,负责申请的多个EC2服务器的负载均衡
    • Storage

      • S3:简单对象存储服务
      • EBS:弹性块存储服务,专门针对EC2虚拟机设置
      • Glacier:用于较少使用的文档存储和备份,价格便宜
    • Database:

      • SimpleDB:基于云的键值存储服务
      • DynamoDB:性能高,容错性强,支持分布式
      • MySQL,SQL Server和Oracle等数据库
      • Amazon ElastiCache:数据库缓存服务
    • App Services:

      • 企业搜索级服务
      • 队列服务
      • 工作流服务
      • 内容分发服务
      • 弹性MapReduce:将Hadoop平台部署到了亚马逊平台
    • Deloyment& Administration(部署和管理服务)

      • 自动化一键部署
      • 提供相关的访问和认证服务
  • Amazon AWS产品分类

    • 计算类服务:

      云数据库(林子雨慕课课程)_第39张图片

    • 存储类

      云数据库(林子雨慕课课程)_第40张图片

    • 其还提供相关的工具支持

      云数据库(林子雨慕课课程)_第41张图片

  • Amazon EC2架构

    • 整体架构

      云数据库(林子雨慕课课程)_第42张图片

    • EC2最大特性:允许用户根据需求动态调整运行的实例类型和数量,实现按需付费

    • EC2平台包含内容:

      • EC2实例(AMI)
      • 弹性块存储
      • 弹性负载均衡
    • 如何将平时相关的应用部署到EC2

      云数据库(林子雨慕课课程)_第43张图片

    • EC2数据存储:

      云数据库(林子雨慕课课程)_第44张图片

      • EC2本地存储是实例自带的磁盘空间,但它并不是持久的
        • 若本地磁盘的相关服务已停止使用或本地磁盘的服务发生故障,本地磁盘的数据会被清空掉
      • 为了解决本地存储不可靠问题,EC2推出了EBS
      • EBS通过卷来组织数据,每个EBS卷只能挂载一个EC2实例
      • EBS卷并不与实例绑定,而是与用户帐号绑定
    • Amazon S3和EBS的区别

      云数据库(林子雨慕课课程)_第45张图片

    • EC2x虚拟机类型

      云数据库(林子雨慕课课程)_第46张图片

    • Amazon AWS云管理平台运行过程

      • 启动服务
      • 监控相关需求
      • 服务无人用时停止
      • 清楚相关资源

      云数据库(林子雨慕课课程)_第47张图片

    • Hadoop作业AWS操作流程

      云数据库(林子雨慕课课程)_第48张图片

      • 消息平台向Lauch Controller发送命令,将启动信息放在SimpleDB中,分配EC2
      • 启动Hadoop操作,EC2中执行大数据分析
      • 执行过程中通过Monitor Controller对状态信息进行监控,将监控信息更新到SimpleDB中,监控过程中会动态的增加或减少系统资源
      • 所有计算结束后,通过shoutdown Controller关闭EC2虚拟机和hadoop服务
      • Billing Controller根据消耗的资源出账单
6.4.3 AWS平台上的云数据库
  • AWS平台上提供云数据服务包括

    • 关系型数据库RDS
    • 键值数据库SimpleDB
    • NoSQL数据库SimpleDB
    • 数据仓库Redshift
    • 分布式内存缓存ElastiCache
  • SimpleDB

    云数据库(林子雨慕课课程)_第49张图片

  • DynamoDB

    • 避免如SimpleDB对多个键的索引

      image-20231009200950853

  • RDS

    云数据库(林子雨慕课课程)_第50张图片

  • 允许建立3TB数据,带三万个DB实例

6.5 微软云数据库SQL Azure
  • SQL Azure特点:将这个应用锁涉及到的相关数据都放到一个表组里

  • 数据模型

    • 必须将一个行组里的数组存在一起例如Id=34的两行数据都会被分到一个分区中
    • 在实现事务时,针对一个分区的行组实现一个事务
    • 可以针对行组实现一个事务,但是它不支持跨分区事务

    云数据库(林子雨慕课课程)_第51张图片

  • 提供数据冗余备份:一般一主二从

    云数据库(林子雨慕课课程)_第52张图片

    • 例如有四台服务器,分别放置了A、B、C、D四个分区,每个分区都有一个主副本和两个从副本

      云数据库(林子雨慕课课程)_第53张图片

  • SQL Azure四个组成部分

    云数据库(林子雨慕课课程)_第54张图片

    云数据库(林子雨慕课课程)_第55张图片

    • 全局分区管理器:维护分区映射表信息

    • 协议网关负责将用户的数据库连接请求转发到相应的主分区上

      云数据库(林子雨慕课课程)_第56张图片

你可能感兴趣的:(大数据应用,数据库)