个人觉得云计算认证考试是在ABC中比较困难的项目,一方面是接触的少,另一方面是云计算有很多技术,这些技术都是当前最近的概念。不过没关系,我们慢慢来,下面是官方给出的课程纲要和考试重点:
下面我将把这10大板块好好地梳理一遍:
先把产品文档的链接摆在这里:
https://cloud.baidu.com/doc/index.html
基本概念:
快照是您指定的数据集合的一个可用拷贝,该拷贝包括相应数据在您指定的时间点(拷贝开始的时间点)的镜像。快照的作用主要是在线数据备份与恢复,当设备发生应用故障或者文件损坏时可以快速恢复数据,将数据恢复到某个时间点的状态。快照的另一个作用是为您提供了另外一个数据访问通道,当原数据在处理线应用时,用户可以访问快照数据,还可以利用快照进行测试等工作。
回滚快照:
回滚快照是指将磁盘的状态恢复到创建快照时的系统状态。例如您在2015年5月20日17点整在磁盘A创建了快照A,如果您在2015年5月21日17点整选择回滚快照A,则磁盘A的系统信息将恢复到2015年5月20日17点整的状态,2015年5月20日17点到2015年5月21日17点之间的数据存储将丢失。
对于在CDS磁盘创建的快照,回滚之前请先将CDS磁盘从挂载的BCC实例中卸载。
注意:
操作步骤:
点击指定快照所处栏中的“回滚快照”,弹出快照“回滚前确认”对话框。
点击“发送验证码”,系统将验证码发送至您绑定手机,请查收并填写收到的验证码。
点击确认,完成回滚快照操作。
基本概念:
镜像是BCC实例运行环境的模板,包括操作系统和已安装的软件及配置信息。您可以使用镜像创建BCC实例和更换BCC实例的系统盘。百度智能云提供了多种公共镜像供您在创建BCC实例时选择。您还可以基于某一时刻的BCC系统盘创建您专属的自定义镜像,该镜像只能您自己看到。
镜像跨地域复制:
镜像跨地域复制适用于跨地域部署实例、跨地域备份数据。您可以复制某一地域中的自定义镜像到其他百度云地域,并使用该镜像在相应地域创建BCC实例,实现在不同的地域部署环境相同的BCC实例。
镜像是一种地域性资源,自定义镜像归属于其被创建时的地域。不同场景的使用方式如下表所示:
场景 | 操作步骤 | 描述 |
---|---|---|
跨地域同账号复制 | 按下文描述操作即可 | 跨地域复制完成后,在目标地域生成一个新镜像,新镜像具有唯一的镜像ID。 |
跨地域跨账号复制 | 先按下文步骤进行操作,完成后再按共享自定义镜像操作 | 跨地域复制镜像到目标地域后,再共享镜像给目标账号。 |
使用限制:
操作步骤:
说明 : 状态为复制中时,您可以随时单击取消复制。取消任务后,目标地域的镜像列表中不再显示该自定义镜像。
产品配额默认如下,若需更多配额,请发工单申请。
产品配额默认如下,若需更多配额,请发工单申请。
说明:
官方文档:云服务器BCC实例类型
降低IT支出成本
对于初创团队来说,传统方式运营的基础设施成本高,负担极重。使用百度智能云服务器,无需硬件设施及机房,兼具优质扩容能力,门户网站、社区网站、电商网站均可得益于此,免除硬件配置与升级的忧虑,专注于服务功能的开发,大大减少网站IT基础设施成本及运维成本,是很多创业团队的福音。
弹性扩展云服务器
当服务器需求不固定、预先估计不准确时,用户可按需购买云服务器,免于复杂的用量估计,随买随用、精确调配、灵活扩展,从而告别访问量激增猝不及防,享受风驰电掣般扩容响应。此外,用户可将BCC与CDS配合使用,轻松摆脱投入不足的压力和投入过多的浪费。
搭建网站
BCC作为Web服务器为您高效搭建网站提供灵活扩容的基础服务。同时可通过CDN为您的网站对外承载用户HTTP请求,BLB做后端请求的负载均衡,热点数据通过SCS缓存,RDS提供关系型数据库,网页的静态js/css/image等文件存储于BOS中。
基本概念:
不同类型数据的使用方式、访问频率均有不同,同时数据也存在老化曲线。随着数据逐渐老化,其访问频率逐步降低,进入归档状态。分级存储是一种方法论,即将不同类别数据存放到不同存储类型,以降低总存储成本,同时满足服务要求。
BOS 针对不同存储场景,提供了标准存储、低频存储、冷存储和归档存储四种存储类型。 您可以在上传文件时指定 Object 的存储类型,此时 Object 的存储类型以上传时指定的为准。此外,您还可以设置 Bucket 的默认存储类型,如果上传文件时未指定存储类型,则文件继承 Bucket 的默认存储类型。
Object
在BOS中,用户操作的基本数据单元是Object。
每个Object包含Key、Meta和Data。其中,Key是Object的名字;Meta是用户对该Object的描述,由一系列Name-Value对组成;Data是Object的数据。
Bucket
Bucket是存放数据的容器,可以当成是存储桶。
Bucket具有区域属性,只能位于一个区域。因为Bucket名称创建后不能修改名称和所属区域,所以建议根据业务情况就近存储,方便上传和下载以提高访问速度。Bucket名称具有全局唯一性。每个Object必须都包含在某个Bucket中。一个用户最多可创建100个Bucket,但每个Bucket中存放的Object的数量和大小总和没有限制,用户不需要考虑数据的可扩展性。
Referer白名单
Referer白名单即准入列表,是一种基于HTTP header referer字段的防盗链方法,目的是防止用户存储在BOS上的数据被其他人盗链。
用户可以通过BOS控制台设置Referer字段的白名单。设置白名单后,只有Referer字段在白名单内的用户才可以访问Bucket中存储的数据,不在白名单内的请求会被拒绝。但如果用户的Referer为空,默认可以访问,不受白名单限制。
Region
Region代表一个独立地域。
百度智能云中的服务除了极少数如账号服务全局有效之外,绝大部分服务都是区域间隔离的。每个区域的服务独立部署互不影响。服务间共享数据需要通过显式拷贝完成。
计费项类型
BOS 服务的计费项包括存储费用、流量费用、请求费用、数据处理费用共 4 大类计费项,且每一项包含不同的子计费项。当您使用某一种子计费项对应的服务后,会产生对应的价格。若您未使用计费项对应的服务,那么该项不收取费用。
计费公式
BOS 账单总费用 = 存储费用单价 × 使用时长 + 请求费用单价 x 使用规格 + 流量费用单价 x 使用规格 + 数据处理费用单价 x 使用规格
更多细节请查看产品文档:
https://cloud.baidu.com/doc/BOS/s/2k8dzoj86
CIDR(无类别域间路由,Classless Inter-Domain Routing),主要用于为用户分配IP地址和有效地路由IP数据包,是对IP地址进行归类的有效方法。
百度智能云可选的地址空间有
允许的块大小在/24 网络掩码与/16 网络掩码之间。
中继VPC可以转发非源自本VPC的流量,该VPC内的路由源网段自定义配置可以是任意网段,包括0.0.0.0/0网段以及其他非本VPC网段。大大增加了对等连接等连接类产品灵活性,同时为避免网络拓扑环路的风险,直接相连的两个VPC不能同时为中继VPC。
开启路由中继功能后,该VPC将成为中继VPC,路由表可以转发非源自本VPC的流量,该路由源网段自定义配置可以是任意网段,包括0.0.0.0/0网段以及其他非本VPC网段。该选项默认关闭,即路由表默认仅会转发源自本VPC的流量,该路由源网段自定义配置的网段只能在子网内。
创建安全组:
用户可通过控制台对VPC网络内的安全组进行创建操作。创建安全组的规则如下:
更多细节请查看官网文档:安全组
将EIP实例与BCC实例绑定:
背景信息
用户可将EIP实例与同区域BCC实例进行绑定或解绑,灵活匹配用户业务变更需求。用户可以在EIP实例列表中执行绑定或解绑操作,也可以在BCC实例列表中执行该操作。本节仅介绍在EIP实例列表中的操作方法。
操作步骤
1.点击链接“管理控制台”,进入“实例列表”界面。
2.点击“更多操作->绑定到BCC”。
3.从弹出菜单中选择BCC实例,点击“确定”。
4.系统在后台进行EIP实例与BCC实例的绑定操作,当EIP状态为“已绑定”时,表示绑定成功。
说明: 处于NAT专属子网中的BCC无法挂载EIP实例。
共享带宽:
共享带宽是一种多主机共享网络带宽总量的带宽模式。通过共享带宽,用户可以管理一份共享带宽实现流量共享,错开高峰网络连接等需求。
一份共享带宽,由一个公网带宽和一组公网IP组成。区别于 EIP 的“一个IP上配置一份带宽”的带宽购置方式,共享带宽中的所有公网IP可以共享这份带宽,从而增加带宽使用的灵活性、降低公网IP管理的复杂度。
每个用户最多能够创建5组共享带宽,如需更多配额,可以提工单申请。
说明:目前,已经购买的EIP 实例不支持加入共享带宽。
百度负载均衡BLB(Baidu Load Balance)通过将同一区域的多台百度智能云服务器虚拟成一个组,设置一个内网或外网的服务地址,将前端并发访问转发给后台多台云服务器,实现应用程序的流量均衡,性能上实现业务水平扩展。负载均衡还通过故障自动切换及时地消除服务的单点故障,提升服务的可用性。
部署思路
创建公网访问BLB实例:
1.登陆BLB控制台,选择“创建负载均衡”。
2.选择配置信息。
说明: 负载均衡BLB和其绑定的后端服务器BCC需要建立在同一个私有网络VPC 下。目前,”华东-苏州”区域BLB的内网IP是用户子网IP,用户在创建BLB实例时需要指定子网;其他区域的BLB内网IP属于预留网络IP,无需用户指定子网。
说明: 用户在创建BLB实例时,可直接进行BLB实例自动释放设置,BLB实例会在设定的时间进行自动释放。
3.(可选,如果未启用公网访问,系统将自动跳过此步骤) 配置EIP实例信息,有关EIP实例的配置方法,请参看创建EIP实例。
4.根据系统提示,完成订单确认及支付。创建成功后,用户将收到短信提示。
添加后端服务器:
1.选择“产品服务>负载均衡BLB”,进入负载均衡BLB列表。
2.点击“负载均衡ID/名称”列的ID链接,进入实例详情页。
3.点击“后端服务器”页签,添加需要进行负载均衡的BCC服务器。
4.设置BLB实例中BCC服务器的权重。
权重是用来针对不同的后端服务器实例设置不同的请求转发比例。权重值是一个相对值,如果设置成相同数值,其转发比例是一样的。
添加TCP监听器:
配置监听包括“配置信息”和“健康检查设置”两部分。
配置信息
可根据页面提示进行监听器端口的相关设置。
健康检查设置
可根据页面提示进行设健康检查的相关参数设置。
查看监控数据:
完成BLB实例、后端服务器及监听器配置后可以查看BLB实例的监控数据。点击BLB的详情页的“实例监控”页签,就可以看到监控的各项图表数据:包括实例监控信息和端口监控信息。
百度智能云 NAT 网关支持用户的私有子网中的BCC、DCC、BBC实例连接 Internet 网络或其他百度智能云服务。
NAT网关支持SNAT和DNAT功能。如需使用DNAT,您可以提交工单申请。
NAT网关有三种类型,以下绑定多个公网IP仅支持使用共享带宽:
适用场景:
配置前您需要了解:
简介:
NAT(Network Address Translation)网关主要为私有网络提供访问 Internet 服务,支持多台云服务器共享公网IP 主机访问 Internet。NAT 网关可以绑定 EIP 实例及共享带宽包,为云服务器实现从内网IP 到公网IP 的多对一或多对多的地址转换服务。
NAT 网关基本功能:
子网类型分为通用型子网和 NAT 专属型子网,绑定 EIP 的云服务器放在通用型子网中;通过 NAT 网关访问公网的云服务器放在 NAT 专属型子网中。NAT 专属型子网的实例无法绑定EIP。
场景一
如下图所示,绑定 EIP 的云服务器放在通用型子网 A 中,通过 NAT 网关访问公网的云服务器放在 NAT 专属型子网B中,NAT网关绑定EIP。
场景二
用户购买共享带宽,将共享带宽多个IP绑定到 NAT 网关,实现多对多的地址转换服务。
在场景一的基础上,NAT 网关从绑定 EIP 改为绑定共享带宽。
场景三
用户前期已完成服务部署,后续由于业务调整,之前通过 NAT 网关访问公网的云服务器需要重新绑定 EIP 直接访问公网。在迁移子网的过程中,云服务器需要重启,服务会有短暂的中断。
如下图所示,用户前期已完成服务部署,后来由于业务的调整需要将少量的云服务器从 NAT 专属型子网 B 中迁移到通用型子网 A。
类似的,用户前期已完成服务部署,后来由于业务的调整,之前通过 EIP 访问公网的云服务器需要通过 NAT 网关访问公网,迁移子网的过程中云服务器需要重启,服务会有短暂的中断。
如下图所示,用户前期已完成服务部署,后来由于业务的调整需要将少量的云服务器从通用型子网 A 中迁移到 NAT 专属型子网 B。
场景四
用户业务复杂,受条件限制无法迁移云服务器,在同一个子网中部分云服务器通过绑定 EIP 访问公网,其他云服务器通过 NAT 网关访问公网。其配置复杂灵活,用户需要格外细心。
如下图所示,在通用型子网 A 中,将通过 NAT 网关访问公网的 BCC 与绑定 EIP 直接访问公网的 BCC 混合在一起。
具体操作流程请查看官方文档:NAT网关最佳实践
基本操作流程如下图所示:
1.域名备案:使用 CDN 服务前需要进行待接入域名的ICP备案。
2.开通 CDN 服务:完成准备工作后,进入控制台开通 CDN 服务。
3.接入 CDN 服务:添加新域名接入CDN。
4.绑定CNAME:绑定CNAME,使用CDN提供的缓存服务。
5.启动域名:配置生效后,该域名所有的请求都将转向百度智能云CDN的节点。
完成实名认证和备案后,可参考以下操作步骤进行开通与接入CDN服务。
1.登录控制台后,选择“产品服务>存储和CDN>内容分发网络CDN”,进入“开通内容分发网络CDN”页面。
2.用户根据需要选择“按使用流量计费”或“按日带宽峰值计费”,计费详情可点击“查看计费文档”。
3.点击“创建域名加速”或“进入域名列表”,进入内容分发网络CDN服务页面,服务开通成功。
IP地址、源站域名或BOS Bucket三种源站类型都支持配置主源站地址和备源站地址,其中主源站地址必须指定。
IP地址最多添加10个,多个IP间需要用换行符分隔;
百度智能云CDN可准备精确源站IP地址的优先级,支持自定义源站权重设置。用户可在配置IP地址时,定义每个ip地址的对应权重是多少,CDN将根据权重值分配回源的流量。主备源站分别设置权重,对应IP权重总和分别为100%;权重项默认不设置,若您不进行权重设置则默认IP地址权重等值。
举例:比如1G的回源流量,2个ip,一个ip权重是80%,令一个是20%,那一个ip就会有大约800M的回源流量,另一个有大约200M的回源流量。
说明:在新增泛域名时,您可开启“允许共享缓存”,若开启共享缓存,则此泛域名下的域名均共享缓存。
已停止或已欠费的域名可以选择“启动加速”重新加速域名。
分布式拒绝服务DDoS(Distributed Denial of Service )攻击是指借助于客户/服务器技术,将多个计算机联合起来作为攻击平台,对一个或多个目标发动DDoS攻击,从而成倍地提高拒绝服务攻击的威力。
通常,攻击者使用一个偷窃帐号将DDoS主控程序安装在一个计算机上,在一个设定的时间主控程序将与大量代理程序通讯,代理程序已经被安装在Internet上的许多计算机上。代理程序收到指令时就发动攻击。利用客户/服务器技术,主控程序能在几秒钟内激活成百上千次代理程序的运行。
HTTP Flood,是针对Web服务在 OSI 协议第七层协议发起的攻击,攻击者极力模仿正常用户的网页请求行为,发起方便、过滤困难,极其容易造成目标服务器资源耗尽无法提供服务。
针对Web应用发起的攻击,包括但不限于以下攻击类型:SQL注入、XSS跨站、Webshell上传、命令注入、非法HTTP协议请求、非授权文件访问等。
系统漏洞通常是指云服务器上的应用软件或操作系统软件在设计上存在的缺陷或错误。
Web漏洞通常是指网站程序上的漏洞,可能是由于代码编写者在编写代码时考虑不周全等原因而造成的漏洞,常见的WEB漏洞有SQL注入、CSRF、XSS漏洞、上传漏洞、任意文件读取漏洞、命令执行、文件包含等。
0day漏洞通常泛指被发现或披露后立即被恶意利用的安全漏洞。由于这类漏洞从披露到发布官网漏洞补丁中间存在时间差,攻击往往具有很大的突发性与破坏性。
DDoS 基础防护能够为百度智能云上用户提供免费 DDoS 防护能力,满足日常安全运营需求,主要为遭受攻击概率不大,攻击流量不超过5Gbps的云上用户业务提供防护。
WAF应用防火墙应用在金融、电商、o2o、互联网+、游戏、政府、保险、政府等各类网站的Web应用安全防护。主要解决问题包括但不限于:
主机安全客户端HOSTEYE主要功能有防暴力破解、异地登录检测、网站后门检测、安全基线检查等。应用场景如下:
安全检测服务 SRD可以帮助用户快速的发现业务系统中存在的问题,及时修复,提升业务安全性和稳定性。应用场景如下:
百度智能云云安全解决方案链接:
https://cloud.baidu.com/solution/security.html
云数据库 RDS (Relational Database Service)是专业、高性能、高可靠的云数据库服务。云数据库 RDS 提供 Web 界面进行配置、操作数据库实例,还为您提供可靠的数据备份和恢复、完备的安全管理、完善的监控、轻松扩展等功能支持。相对于自建数据库,云数据库 RDS 具有更经济、更专业、更高效、更可靠、简单易用等特点,使您能更专注于核心业务。
Web网站
云数据库 RDS 提供了一键式快速部署功能,便于您快速部署您的网站。同时,监控、备份、安全防护等多项辅助运维能力和天生的主备高可用架构,使您无需为运维工作伤神,助您专注于网站发展。
数据分析
随着大数据时代的到来,云数据库 RDS 将成为您在大数据时代把握时代数据脉搏、进行高效数据分析的得力助手。
数据管理
云数据库 RDS 做为云上的关系型数据库服务通过控制台进行简单、方便的数据管理,并通过高可靠的架构确保您的数据安全。
学习研究
云数据库 RDS 使用简单、容易上手,无论是用于数据库应用教学,还是做相关研究都是不错的选择。
云数据库 DRDS (Distributed Relational Database Service)是百度智能云提供的基于中间件的分布式关系型数据库系统服务。云数据库 DRDS 可以基于普通服务器和横向扩展的方式,构建支持海量数据存储和访问的数据库系统,从而实现无限扩容和弹性扩展。相比云数据库 RDS,云数据库 DRDS 提供了更高规格的存储和 QPS,满足用户持续增长的海量数据存储需求以及持续增长的业务请求压力。
海量数据存储
满足物联网、智能家居等超大规模业务数据存储需求,提供海量数据的集群化存储管理服务,解决业务数据增长的后顾之忧。
高并发应用场景
满足电商、金融、社交应用等超高并发业务场景下的数据库服务需求,提供远高于单机性能的超高并发性能。
大数据存储分析
提供高性能的读写能力支撑用户基于海量历史数据做相关业务分析。
百度智能云数据库 DocDB for MongoDB 产品,100% 兼容业界 MongoDB 协议,为云上的金融、游戏、电商等客户提供了高可靠、高弹性、免运维的云上文档数据库服务。
互联网应用
适用于社交、工具、电商等各类互联网应用,可对写入数据进行有效的半结构化存储,并通过高弹性特点应对互联网业务流量突增
物联网及大数据
对于终端设备产生的数据,云数据库 DocDB for MongoDB 提供了实时数据的存储能力,并对接云上专用计算引擎进行大数据分析
游戏业务
MongoDB Schema-Free的特点,有效帮助游戏产品随时灵活调整数据存储结构,并支持分区分服游戏业务的数据管理
云数据库 SCS for Redis(Simple Cache Service for Redis)提供稳定、高效以及高可扩展性的分布式缓存服务。云数据库 SCS for Redis 兼容 Redis/Memcached 协议,基于 Redis 提供标准版和集群版的架构模式,并支持自定义副本数量,为您提供多样化的数据结构支持。云数据库 SCS for Redis 双副本实例默认支持主从热备,实现故障自动切换、故障迁移、数据备份、实例监控等运维管理功能。相对于自建 Redis,使用云数据库 SCS for Redis 具有更经济、更专业、更高效、更可靠、简单易用等特点,使您能更专注于核心业务。
缓存
搭配持久化存储使用,缓解后端存储服务的压力。随着用户对应用延迟的容忍度越来越低,基于磁盘的随机数据访问性能却没有革命性的提升,数据访问性能成为产品性能短板。使用分布式缓存服务可以将有效访问数据放在缓存,缓存与后端的磁盘存储系统通过同步或异步的机制保持数据一致,大部分的数据访问请求可以直接命中缓存,提供比磁盘访问降低好几个数量级的响应时间,当数据访问请求缓存不命中时,需要访问磁盘存储系统并更新缓存。
键值存储
在需要快速响应的业务中可以将分布式缓存单独使用。随着缓存服务可靠性越来越高,使用越来越方便,当某些产品的数据不需要很强的事物支持、强一致的时候,通过弱化对事务、数据一致性的支持,用户的所有数据全部存放在缓存中,键值存储能够提供丰富的数据存储模式,在互联网场景下对业务更为友好,而且获取到了更高的扩展能力、性能和可靠性。
Feed 流行业应用
Feed 流行业中存在对 Redis 大量使用,比如可以使用 Redis 过滤用户的下发历史,使用户获取的 Feed 流推荐不重复;Feed 流中各种点赞和评论也可以放在 Redis 中来存储,实现用户和 Feed 流的快速交互。
金融行业应用
在金融行业的风控场景中大量使用 Redis 存储风控的检查项,能实现秒级用户画像;在绑卡流程中,用户的身份信息存储在 Redis 中,达到很好的用户反馈。
AI 行业应用
在各种 AI 对话式服务中,机器人和用户的对话 Session 常存储在 Redis 缓存中,AI 应用能通过 Session 的多次处理实现多轮交互,达到更高水平的智能对话。
访问计数
可利用 Redis 的原子计数, INCR, INCRBY 等命令实现最典型的 Redis 应用,支持过期配置过期策略,并有批量操作支持,可以保证系统拥有高性能。
Profile
借助内置的 Hash 或 List 等数据结构,用于存储个人 Profile,该类数据有读写量大,每条数据长度不大,并且经常会对特定字段更新操作。
排行榜
有关排名或拉链等业务,有排序需求,并且支持实时更新,避免排序逻辑放置在业务代码带来的性能损失。
Cache
相对其他 Cache 类服务,Redis 独有多数据结构支持,高效快捷。Redis 引擎内部支持多种数据淘汰算法。
缓冲队列
可以使用 List 实现简单的数据队列缓存,给系统提供高性能支持。
分布式锁 DLM
对于分布式加锁的业务,Redis 可以提供高性能的分布式锁服务。如:秒杀,全局递增 ID 等。
云数据库 TableStorage 是构建在百度自研的分布式表格存储Table上的Nosql数据存储服务,提供海量结构化、半结构化数据的存储和实时访问。
大数据分析系统
云数据库 TableStorage 提供低成本、高并发、低延时的海量数据存储与在线访问,满足大数据分析场景中的高性能要求。同时云数据库 TableStorage 灵活的数据模型便于支持复杂的业务分析场景,如不同前端页面分别的站点广告流量和点击量分析等。
IM社交产品
在社交产品中,人与人之间每天产生大量信息,包括IM聊天,评论、跟帖和点赞等。云在存储这些社交数据的同时,也需为开发者提供更便捷的数据与信息对应关系的存储记录方式,便于下一步业务流中基于索引的查询和分析。云数据库 TableStorage 提供的强索引特性刚好满足了社交产品的存储需要。
物联网&车联网
物联网场景中,各类智能终端每天产生大量的采集数据,Schema-Free数据模型、单表超大的数据规模及高TPS,轻松接入不同车辆设备或IOT设备的监控数据,并便于快速查询和分析。
广告&电商推荐
基于高可用、低延时的特点,可保证用户大量的历史交易订单或信息的快速存储和访问,支持实时广告竞价平台或电商推荐系统。
游戏应用
对于游戏app中产生的大量玩家信息、交易数据、对战状态甚至其中的图片资源等提供存储及快速查询的能力。同时,游戏应用具有变化快的特点,云数据库 TableStorage Schema-Free的特点也不需开发者为后续数据存储结构的调整而烦恼。
云数据库 HTAP for CockroachDB 是百度智能云基于全球最新的 NewSQL 开源数据库 CockroachDB 打造的一款同时支持联机事务处理(OLTP)和联机分析处理(OLAP)两种业务的融合型分布式数据库产品;支持强一致性的多副本数据安全,分布式事务,水平弹性扩容,异地多活及自动故障恢复,兼容 PostgreSQL 协议,使迁移使用成本降到极低。
最佳实践:https://cloud.baidu.com/doc/CRDB/s/Kjx1q07x0
云数据库 FusionDB 是一种在线分布式云数据库,提供了简单、快速、高性能、高可靠的大规模并行处理(MPP)数据仓库服务。云数据库 FusionDB 基于开源Greenplum Database项目开发,提供了完善的监控、安全管理等功能,同时可以轻松实现在线扩展。云数据库 FusionDB 具有良好的兼容性,可以轻松使用PostgreSQL相关生态工具,对海量数据进行分析处理,在使用方便、高效、可靠的同时,让您更专注于业务处理。
经营分析决策
在金融、电信、零售等领域,需要对订单、流水、财务等业务数据进行汇总分析,以便通过数据掌握公司经营情况以及服务情况,提高决策精度及效率。通过ETL工具将各类数据导入云数据库 FusionDB 中,结合高性能并行处理能力,协助业务快速决策。
海量日志分析
互联网、游戏等领域,各类海量的日志数据,结构化及半结构化数据,通过云数据库 FusionDB 可以使用SQL语句直接对其进行高效分析。
百度智能云时序数据库(Time Series Database,简称TSDB)是一种存储和管理时间序列数据的专业化数据库,为时间序列的存储提供高性能读写、低成本存储、强计算能力和多生态支持的多种能力。
物联网设备状态监控存储分析
各种物联网设备通过百度智能云天工物联网平台接入上云,设备的状态数据实时高效写入到时序数据库中。
互联网业务性能监控服务
互联网服务可以将用户的访问延迟、查询返回效率、业务服务指标监控数据写入时序数据库中,时序数据库可以做多维度的聚合分析和监控项展示。举个例子,一个音视频点播的服务商,需要将每个房间的清晰度、流畅度、是否卡顿等监控信息实时记录下来,即可以将这些监控项以一定的频率写入时序数据库。
百度智能云针对MySQL、SQL Server和PostgreSQL分别提供了不同的数据迁移方式。
MySQL:百度智能云的数据传输服务 DTS 提供了数据迁移和数据同步功能,更多关于 MySQL 数据库迁移内容的介绍可以参考数据迁移
SQL Server:百度智能云为云数据库 RDS for SQL Server提供内嵌的数据迁移功能,详细操作请参考数据库迁移
Postgre SQL:云数据库 RDS for PostgreSQL 支持用户使用离线的方式完成对自建数据库迁移的需求,详细操作请参考PostgreSQL数据库上云迁移
简介
随着云计算的兴起,考虑到数据库的稳定性和运维成本,越来越多的企业,会将运行在本地服务器或是其他虚拟服务器上的数据库迁移到云上。当前将数据库迁移到RDS for Mysql的方法包括停机迁移、不停机迁移,下面将详细介绍这两种上云迁移方法的不同方案,我们推荐您使用DTS来进行迁移。
迁移方法:
如果应用程序可以接受一定时间的停服,那么停机迁移是最简单的方案。目前有2种方案可以选择:
mysqldump方式具体步骤如下:
mysqldump –u dbuser –p dbpass -h dbhost -Pdbport -A > data.sql
mysql -u dbuser -p dbpass -h rdsdns -Pdbport < data.sql
DTS数据迁移方式(推荐方式)具体步骤如下:
一般情况下,应用程序希望在不停服的情况下,将数据库迁移到云上,而且如果迁移数据库的数据量很大的时候,停服时间将很长,这也是不可接受的。目前,不停机迁移有3种方案可以选择:
mysqldump + 主从复制方式
此方法只适用于开启GTID的Mysql,具体步骤如下:
mysqldump –u dbuser –p dbpass -h dbhost -Pdbport -A > data.sql
mysql -u dbuser -p dbpass -h rdsdns -Pdbport < data.sql
xtrabackup方式
此方法需要发工单联系RDS值班人员来恢复数据,具体步骤如下:
innobackupex --user=dbuser --password=dbpass --host=dbhost --port=dbport /path/to/BACKUP-DIR/
DTS增量迁移方式(推荐方式)
具体步骤如下:
可以通过数据同步实现数据库灾备。即新购买一个同源实例同规格的新实例用于灾备,然后两个实例间通过DTS实现数据实时同步。
概述:
在数据库的使用过程中,如果遇到误操作导致的数据删除、数据篡改等问题,可以通过RDS克隆实例功能实现数据修复。克隆实例的数据恢复方式分为如下两种:
前置条件:
注意事项:
常见的数据恢复过程举例:
时间点 | 操作日志 |
---|---|
09:18 | 误操作删除了部分数据 |
10:10 | 感知到数据异常问题 |
10:15 | 操作RDS克隆实例功能,恢复的时间点指定到09:18 |
12:10 | 克隆实例恢复完成(注意:克隆实例中不包含09:18后新写入的数据) |
12:30 | 经过数据比对和校验,将误操作涉及到的部分数据恢复到线上 |
具体操作方法请查看官方文档:
https://cloud.baidu.com/doc/RDS/s/Ejxlmi8qg
智能运维(AIOps)踏着人工智能的时代浪潮应运而生。智能化运维不仅可以将运维人员从繁琐的工作中解放出来,还能大大提升运维效率。
整个运维过程大概经历4个阶段:
人工运维——工具运维——Devops——AIOps
简单说, AIOps = AI + 运维数据 + 自动化处理 = AI + Devops
基础原则:
无损上线,上线变更不能停服务
智能异常检测:
智能根因检测:
智能流量调度单机房故障自动处理:
容器的本质,其实就是一组受到资源限制,彼此间相互隔离的进程。实现起来也并不复杂,隔离所用到的技术都是由linux内核本身提供的(所以说目前绝大部分的容器都是必须要跑在linux里面的)。
总的来说容器就是一种基于操作系统能力的隔离技术,这和基于hypervisor的虚拟化技术(能完整模拟出虚拟硬件和客户机操作系统)复杂度不可同日而语。
Kubernetes中文社区
Kubernetes是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效。
换句话说,Kubernetes是容器集群管理系统,是一个开源的平台,可以实现容器集群的自动化部署、自动扩缩容、维护等功能。
具体步骤请查看官方技术文档:
https://cloud.baidu.com/doc/CCE/s/zjxpoqohb
微服务的基本概念:
“将单个应用程序拆分成多个独立运行的小型服务;服务间基于轻量级机制通信,比如基于Http协议的Restful API ;每个服务承担独立的业务功能,并且能够独立部署;服务通过去中心化的方式进行管理;服务可以各自使用不同的编程语言, 并使用不同的数据存储技术。”
Service Mesh 又译作“服务网格”,作为服务间通信的基础设施层。
如果用一句话来解释什么是 Service Mesh,可以将它比作是应用程序或者说微服务间的 TCP/IP,负责服务之间的网络调用、限流、熔断和监控。对于编写应用程序来说一般无须关心 TCP/IP 这一层(比如通过 HTTP 协议的 RESTful 应用),同样使用 Service Mesh 也就无须关系服务之间的那些原来是通过应用程序或者其他框架实现的事情,比如 Spring Cloud、OSS,现在只要交给 Service Mesh 就可以了。
Service Mesh 有如下几个特点:
百度天工平台链接:
https://cloud.baidu.com/solution/iot/index.html
天工平台的四大服务:
物接入(IoT Hub)是面向物联网领域开发者的全托管云服务,通过主流的物联网协议(如MQTT)通讯,可以在智能设备与云端之间建立安全的双向连接,快速实现物联网项目。
物接入分为设备型(原物管理)和数据型两种项目类型。设备型适用于基于设备的物联网场景;数据型适用于基于数据流的物联网场景。
百度智能云时序数据库(Time Series Database,简称TSDB)是一种存储和管理时间序列数据的专业化数据库,为时间序列的存储提供高性能读写、低成本存储、强计算能力和多生态支持的多种能力。
物可视提供拖拽式的交互方式、丰富的可视化组件、预置的视觉模板、支持多数据源接入可视化,助您29分钟轻松完成可视化应用开发。
百度智能边缘(Baidu IntelliEdge,简称BIE)旨在将云计算能力延伸至用户现场,提供可以临时离线、低延时的计算服务,包括设备接入、数据处理、数据上报、流式计算、函数计算、AI 推断等功能。
BIE整体包括 边缘本地运行包 和 云端管理套件 两部分:
具体接入方法请查看官方文档:
https://cloud.baidu.com/doc/IOT/s/Yjwvy71a9
数据管理
支持时间序列数据的写入、查询和删除
数据时效
可以开启数据时效,系统可以自动清除不在有效期内的数据
数据导入导出
提供数据导入导出接口
音视频直播LSS(Live Streaming Service)是一个直播PaaS服务平台,为用户提供快速接入、稳定流畅、低延迟、高并发的音视频直播服务,旨在帮助企业及个人开发者快速搭建自己的直播平台及应用。
基本概念:
输入文件格式:
音频编码标准:AAC,MP3,speex等 视频编码标准:H.265,H.264等
输出文件格式:
音频编码标准:AAC及原始输入文件格式(即不进行转码直接输出) 视频编码标准:H.265, H.264及原始输入文件格式(即不进行转码直接输出)
基本操作流程如下图所示:
具体操作步骤请查看LSS官方文档:
https://cloud.baidu.com/doc/LSS/s/jjyqyruz4