华为云数据仓库服务(Data Warehouse Service,简称DWS)是一种即开即用、安全可靠的在线数据仓库服务,为用户提供海量数据的存储、挖掘和分析能力。
数据仓库服务提供专业高效的服务管理控制平台,让用户自助完成数据仓库的管理与维护,系统可用性高。用户可以快速创建数据仓库服务集群并开展业务。
本指南提供创建集群、连接集群并从OBS导入样例数据的操作指导,指导您快速上手数据仓库服务。
创建集群
步骤
① 登录DWS控制台。
如果您还没有公有云帐户,请单击“免费注册”先注册一个账户,并完成实名认证,然后再登录。
② 单击“购买数据仓库集群”。
如果用户需要在华为云环境中使用GaussDB(DWS) ,首先要创建一个数据仓库集群。创建数据仓库集群时默认采用按需付费方式,即节点按实际使用时长计费,计费周期为一小时。这种购买方式比较灵活,可以即开即停,按实际使用时长计费。您可根据业务需要,定制相应计算能力和存储空间的GaussDB(DWS) 集群。您也可以购买折扣套餐,这种购买方式是按月/按年预付费,相比按需付费方式更优惠,具体操作请参见购买折扣套餐。
本章节为您介绍如何在GaussDB(DWS) 管理控制台创建一个数据仓库集群。
创建集群前的准备
您可以根据数据量、业务负载以及性能需求,选择能够支撑业务应用的节点数量,数量越多,存储与计算能力越强。GaussDB(DWS) 集群中,每个节点上的DataNode实例数根据集群规格不同而不同,一般为1~4个。DataNode实例负责存储业务数据(支持行存、列存、混合存储)、执行数据查询任务以及返回执行结果的模块。
刚开始使用GaussDB(DWS) 服务时,您也可以先创建一个规格较小的集群,今后随着数据量和业务负载的变化,再自由调整集群规模和节点规格,自由扩展而不中断业务。
根据业务应用需要,规划合适的可用区并准备网络配置,使数据仓库集群与用户的其他公有云业务隔离。
创建集群
1.登录GaussDB(DWS) 管理控制台。
2.单击左侧导航栏的“集群管理”。
3.在“集群管理”页面,单击“创建数据仓库集群”。
4.选择“区域”。
表1 区域参数说明 |
||
参数名 |
参数解释 |
样例值 |
区域 |
选择集群节点实际工作区域。 有关区域的详细信息,请参见地区和终端节点。 |
华北-北京四 |
可用区 |
选择集群工作区域下关联的可用区。 关于区域和可用区的描述,请参见区域和可用区。 |
通用可用区 |
5.选择“产品类型”、“CPU架构”和“节点规格”。
参数名 |
参数解释 |
样例值 |
产品类型 |
产品类型有: · 云数仓:针对使用EVS盘的规格,支持用户在可选范围内自定义集群使用的存储类型与存储容量;话单计费上,第二代EVS盘规格采用存储资源独立计费的方式。 · 标准数仓:OLAP,支持10PB级超大规模数据在线查询、离线分析能力,可扩展至1024节点。不支持用户自定义存储类型与存储容量。 · 实时数仓:提供时序计算和时序压缩服务。 说明: · · 对于BMS、本地盘非EVS存储的规格,创建集群时不支持用户自定义存储类型和存储容量,与当前版本能力一致,只支持用户选择规格类型。 · 实时数仓当前处于公测阶段,欢迎试用。 |
云数仓 |
CPU架构 |
CPU架构有: · X86 · 鲲鹏 说明: X86和鲲鹏只是底层架构不一致,应用层不感知,sql语法一致,如果创建集群时提示X86售罄,可以选择鲲鹏架构。 |
X86 |
节点规格 |
请根据业务需求合理选择节点规格。在节点规格列表中展示了每一种节点规格单个节点的vCPU、内存和建议使用场景。 GaussDB(DWS) 支持的节点规格及其价格详情,请参见GaussDB(DWS)价格详情。 |
dws2.m6.4xlarge.8 |
存储类型 (云数仓参数) |
存储类型有: · 超高I/O |
超高I/O |
每节点可用存储(云数仓参数) |
每节点可用存储容量。 说明: 您申请的存储空间会有必要的文件系统开销,这些开销包括索引节点,以及数据库运行必须的空间。存储空间的数值必须为100的整倍数。 |
- |
节点数量 |
选择集群中的节点个数。 支持的节点数范围为3~32。 |
3 |
总容量(GB) |
显示集群的总容量。 各个规格对应的存储容量均为数据库存储数据的实际空间,所展示存储容量已扣除副本、RAID所消耗的磁盘空间。 |
- |
折扣套餐节点数量 |
显示当前区域内所选节点规格的折扣套餐节点数量。 · 如果当前未购买过折扣套餐,也可以单击“购买折扣套餐”进行购买,请参考购买折扣套餐。 · 如果已购买折扣套餐,折扣套餐的节点数量范围内的节点在订单有效期内将不再另外收费(因为您前期购买折扣套餐时已经支付过费用),若所选的集群节点数量超过折扣套餐的节点数量,超过的部分按需计费。 例如:当前选择“节点数量”为3,若“折扣套餐节点数量”为2,那么2个节点在套餐订单有效期内不再另外收费,1个节点按需计费。 · |
- |
表3 规格说明 |
||||
节点规格 |
vCPU核数 |
内存大小(GB) |
架构 |
规格类型 |
dws2.olap.4xlarge.m6 |
16 |
128 |
X86 |
ECS/存算分离EVS |
dws2.olap.8xlarge.m6 |
32 |
256 |
X86 |
ECS/存算分离EVS |
dws2.olap.16xlarge.m6 |
64 |
512 |
X86 |
ECS/存算分离EVS |
dws2.olap.4xlarge.kc1 |
16 |
64 |
ARM |
ECS/存算分离EVS |
dws2.olap.4xlarge.km1 |
16 |
128 |
ARM |
ECS/存算分离EVS |
dws2.olap.6xlarge.km1 |
24 |
192 |
ARM |
ECS/存算分离EVS |
dws2.olap.8xlarge.km1 |
32 |
256 |
ARM |
ECS/存算分离EVS |
dws2.olap.12xlarge.km1 |
48 |
384 |
ARM |
ECS/存算分离EVS |
dws2.m6.4xlarge.8 |
16 |
128 |
X86 |
ECS/EVS |
dws2.m6.8xlarge.8 |
32 |
256 |
X86 |
ECS/EVS |
dws2.m6.16xlarge.8 |
64 |
512 |
X86 |
ECS/EVS |
dws2.km1.4xlarge.8 |
16 |
128 |
ARM |
ECS/EVS |
dws2.km1.6xlarge.8 |
24 |
192 |
ARM |
ECS/EVS |
dws2.km1.8xlarge.8 |
32 |
256 |
ARM |
ECS/EVS |
dws2.km1.12xlarge.8 |
48 |
384 |
ARM |
ECS/EVS |
dws2.km1.xlarge |
4 |
32 |
ARM |
ECS/EVS |
dws2.kc1.4xlarge |
16 |
64 |
ARM |
ECS/EVS |
dws2.olap.4xlarge.i3 |
16 |
128 |
X86 |
ECS/本地直通 |
dws2.olap.8xlarge.i3 |
32 |
256 |
X86 |
ECS/本地直通 |
dws2.olap.16xlarge.i3 |
64 |
512 |
X86 |
ECS/本地直通 |
dws2.olap.4xlarge.ki1 |
16 |
64 |
ARM |
ECS/本地直通 |
dws2.olap.8xlarge.ki1 |
32 |
128 |
ARM |
ECS/本地直通 |
dws2.olap.16xlarge.ki1 |
64 |
228 |
ARM |
ECS/本地直通 |
dws2.physical.ki1ne.4xlarge |
128 |
512 |
ARM |
BMS |
dws2.physical.ki1ne.4xlarge.a |
128 |
512 |
ARM |
BMS |
dws2.physical.c6sd.6xlarge |
104 |
768 |
X86 |
BMS |
dws2.physical.c6sd.6xlarge.7 |
104 |
768 |
X86 |
BMS |
dws2.physical.c6sd.6xlarge.7.cbg |
104 |
768 |
X86 |
BMS |
dws2.physical.c6sd.6xlarge.a.7 |
104 |
768 |
X86 |
BMS |
dws2.physical.io6.3xlarge.4a |
104 |
384 |
X86 |
BMS |
dws2.physical.c6d.6xlarge.3a.cbg |
88 |
768 |
X86 |
BMS |
dws2.physical.c6sd.6xlarge.a.7.cbg |
104 |
768 |
X86 |
BMS |
dws2.physical.c6sd.6xlarge.1.cbg |
104 |
768 |
X86 |
BMS |
表4 规格说明(仅在专属云DEC场景下支持) |
||||
节点规格 |
vCPU核数 |
内存大小(GB) |
架构 |
规格类型 |
dwsx2.2xlarge.dec |
8 |
64 |
X86 |
ECS/存算分离EVS |
dwsx2.8xlarge.dec |
32 |
256 |
X86 |
ECS/存算分离EVS |
dwsx2.16xlarge.dec |
64 |
512 |
X86 |
ECS/存算分离EVS |
dwsk2.2xlarge.dec |
8 |
64 |
ARM |
ECS/存算分离EVS |
dwsk2.8xlarge.dec |
32 |
256 |
ARM |
ECS/存算分离EVS |
dwsk2.12xlarge.dec |
48 |
384 |
ARM |
ECS/存算分离EVS |
dws2.olap.4xlarge.i3.dec |
16 |
128 |
X86 |
ECS/本地直通 |
dws2.olap.8xlarge.i3.dec |
32 |
256 |
X86 |
ECS/本地直通 |
dws2.olap.16xlarge.i3.dec |
64 |
512 |
X86 |
ECS/本地直通 |
dws2.olap.4xlarge.ki1.dec |
16 |
64 |
ARM |
ECS/本地直通 |
dws2.olap.8xlarge.ki1.dec |
32 |
128 |
ARM |
ECS/本地直通 |
dws2.olap.16xlarge.ki1.dec |
64 |
228 |
ARM |
ECS/本地直通 |
6.填写“集群配置”参数。
表5 集群配置参数说明 |
||
参数名 |
参数解释 |
样例值 |
集群名称 |
设置数据仓库集群的名称。 集群名称长度为4到64个字符,必须以字母开头,可以包含字母、数字、中划线或者下划线,不能包含其他的特殊字符。字母不区分大小写。 |
dws-demo |
集群版本 |
显示集群中安装的数据库实例版本。图片仅供参考,请以实际显示版本号为准。 |
8.1.1.200 |
默认数据库 |
显示集群的默认数据库名称“gaussdb”。 说明: “gaussdb”为默认数据库名称,暂不支持修改。 |
gaussdb |
管理员用户 |
设置数据库的管理员用户名称。 用户命名要求如下: · 只能由小写字母、数字或下划线组成。 · 必须以小写字母或下划线开头。 · 长度为6~64个字符。 · 用户名不能为GaussDB(DWS) 数据库的关键字。GaussDB(DWS) 数据库的关键字,具体请参见《SQL语法参考》中关键字章节。 |
dbadmin |
管理员密码 |
设置数据库管理员用户的密码。 密码复杂度要求如下: · 密码长度为8~32个字符。 · 不能与用户名或倒序的用户名相同。 · 密码至少包含大写字母、小写字母、数字和特殊字符四类中的三类,其中可输入的特殊字符为:(~!`?,.:;-_'"(){}[]/<>@#%^&*+|\=)。 · 弱口令检查。 说明: 请妥善保管并定期更新密码,避免安全风险。 |
- |
确认密码 |
重复输入一次数据库管理员用户的密码。 |
- |
数据库端口 |
设置客户端或应用程序连接集群数据库时使用的端口。 支持的端口范围为8000~30000。 |
8000 |
图2 集群参数
7.配置“网络”。
图3 网络参数
表6 网络参数说明 |
||
参数名 |
参数解释 |
样例值 |
虚拟私有云 |
指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。 首次创建数据仓库集群时,如果未配置过虚拟私有云,可以单击“查看虚拟私有云”进入虚拟私有云管理控制台,新创建一个满足需求的虚拟私有云。 如何创建虚拟私有云,具体请参见《虚拟私有云用户指南》中的创建虚拟私有云和子网章节。 在下拉框中选择一个虚拟私有云后,单击“查看虚拟私有云”可以进入虚拟私有云管理控制台查看虚拟私有云的详细信息。 单击可以刷新“虚拟私有云”下拉框中选项值。 |
vpc-dws |
子网 |
指定虚拟私有云的一个子网。 集群使用子网实现与其他网络的隔离,并独享所有网络资源,以提高网络安全。 |
subnet-dws |
安全组 |
指定虚拟私有云的安全组。 安全组限制安全访问规则,加强集群与其它服务间的安全访问。 · 自动创建安全组 系统默认选中“自动创建安全组”,设置为该选项时,系统将会自动创建一个默认安全组。 · 默认安全组的规则如下:出方向允许所有访问,入方向只开放用户设置的GaussDB(DWS) 集群的数据库端口。 · 默认安全组的名称,其格式如下:dws-<集群名称>-<GaussDB(DWS) 集群的数据库端口>,例如,dws-dws-demo-8000。 · 说明: · 如果安全组和安全组规则的配额不足,提交创建集群申请后系统会报错,用户可以选择已有的安全组后重试。 · · 手动创建并配置安全组 用户也可以登录VPC管理控制台手动创建一个安全组,然后回到GaussDB(DWS) 创建集群页面,单击“安全组”下拉列表旁边的按钮,刷新后在“安全组”下拉列表中选择新建的安全组。 · 为了使GaussDB(DWS) 客户端可以连接集群,用户需要在新建的安全组中添加一条入规则,开放GaussDB(DWS) 集群的数据库端口的访问权限。入规则示例如下,详情请参见添加入方向规则: · · 协议:TCP。 · 端口范围:8000。指定为创建GaussDB(DWS) 集群时设置的数据库端口,这个端口是GaussDB(DWS) 用于接收客户端连接的端口。 · 源地址:选中“IP地址”,然后指定为客户端主机的IP地址,例如“192.168.0.10/32”。 |
自动创建安全组 |
公网访问 |
指定用户是否可以在互联网上使用客户端连接集群数据库。支持如下方式: · “暂不使用”:暂不使用弹性IP。如DWS使用于生产环境,则需绑定ELB,则不选择使用弹性IP,通过绑定ELB后,再从ELB页面进行弹性IP绑定。 · “现在购买”:用户指定弹性IP的带宽,系统将自动为集群分配独享带宽的弹性IP,通过弹性IP可以从互联网对集群进行访问。自动分配的弹性IP的带宽名称都是以集群名称开头的。 · “使用已有”:为集群绑定指定的弹性IP。如果下拉框中没有可用的弹性IP,可以单击“创建弹性IP”进入弹性公网IP页面创建一个满足需要的弹性IP。带宽可根据用户需要设置。 说明: · 使用BMS发放的集群暂不支持使用指定弹性IP,仅ECS发放的集群支持。 · 使用BMS发放的集群,不支持创建成功后再绑定弹性IP,也不支持进行解绑定弹性IP操作,建议有公网访问需求的用户在创建集群时选择“现在购买”。ECS发放的集群不受此影响。 · 每个区域的每个项目首次使用弹性IP绑定功能时,系统将提示创建名称为“DWSAccessVPC”委托以授权GaussDB(DWS) 访问VPC。授权成功后,GaussDB(DWS) 可以在绑定弹性IP的虚拟机故障时切换至健康虚拟机。 · 默认情况下,只有华为云帐号或拥有Security Administrator权限的用户才具备创建委托的权限。帐号中的IAM用户,默认没有创建委托的权限,需联系有权限的用户在当前页面完成对GaussDB(DWS) 的委托授权。 · 公网访问选择“暂不使用”,即不启用公网访问集群。在集群创建成功后,如果用户想通过公网访问集群,可以先为集群绑定弹性IP再创建公网域名,详情请参见创建公网域名。 · 如果是生产环境,集群创建完后需要绑定弹性负载均衡(ELB),再通过ELB绑定弹性公网IP,此处选择“暂不使用”。 |
现在购买 |
带宽 |
当“公网访问”选择“现在购买”时,需指定弹性IP的带宽,设置范围:1~100Mbit/s。 |
50Mbit/s |
配置集群所属的企业项目。已开通企业项目管理服务的用户才可以配置该参数。默认值为default。企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。
您可以选择默认的企业项目“default”或其他已有的企业项目。如果要创建新的企业项目,请登录企业管理控制台进行创建,详细操作请参考《企业管理用户指南》。
设置高级配置。选择“自定义”时,您可以设置以下高级配置参数,若选择“默认配置”,以下参数将使用它们的默认值。
图4 自定义高级配置
表示开启自动快照策略,默认为开启。开启后,系统会按照设定的时间和周期自动创建快照。开启时请设置以下快照策略参数。如图4所示的值即为快照参数的默认值。
表7 快照策略参数说明 |
|
参数名 |
参数解释 |
保留天数 |
设置自动创建的快照的保留天数,可设置范围为1~31天。 说明: 用户不能手动删除自动创建的快照,自动快照保留天数超期后,系统会自动删除。 |
快照执行周期 |
设置创建自动快照的周期。可以设置每周哪几天创建自动快照,以及创建自动快照的频率,支持每天创建一次或者每天间隔几个小时创建一次自动快照。 |
CN即协调节点(Coordinator),负责接收来自应用的访问请求,并向客户端返回执行结果,此外,协调节点还负责分解任务,并调度任务分片在各DN上并行执行。
取值范围为2~集群节点数,最大值为20,默认值为3。在大规模集群下,建议部署多个CN。
参数模板是一组适用于数据仓库的参数集合。在“参数模板”下拉列表中选择一个参数模板与集群相关联。可以选择默认的参数模板或者自定义创建的参数模板。默认情况下,集群关联系统默认的数据库参数模板。
有关参数模板的更多信息,请参见管理参数模板。
标签(Tag)用于标识集群的键值对。“键”和“值”请参见表8。默认未给集群添加标签。
有关标签的更多信息,请参见标签简介。
表8 标签配置参数 |
||
参数 |
参数说明 |
样例值 |
键 |
您可以选择: · 在输入框的下拉列表中选择预定义标签键或集群已有的资源标签键。 说明: · 如果添加预定义标签,用户需要预先在标签管理服务中创建好预定义标签,然后在“键”的下拉框中进行选择。用户可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签”页面,然后单击“创建标签”来创建新的预定义标签。更多信息请参见《标签管理服务用户指南》中的创建预定义标签。 · · 在输入框中输入标签键名称。输入标签键的最大长度为36个字符,不能为空字符串。 只能包含数字、英文字母、下划线、中划线和中文。 · 说明: · 同一集群中的键名不能重复。 · |
key01 |
值 |
您可以选择: · 在输入框的下拉列表中选择预定义标签值或集群的资源标签值。 · 在输入框中输入标签值。输入标签值的最大长度为43个字符,不能为空字符串。 只能包含数字、英文字母、下划线、点、中划线和中文。 · · |
value01 |
表示不启用数据库加密功能,默认为不启用。
表示开启数据库加密功能。开启后,GaussDB(DWS) 将使用KMS(密钥管理服务)为集群及其快照的数据启用加密功能。
每个区域的每个项目首次启用数据库加密时,系统会弹出一个“创建委托”的对话框,单击“是”创建名为“DWSAccessKMS”的委托以授权GaussDB(DWS) 访问KMS,若单击“否”将不会启用加密功能。然后在“密钥名称”的下拉列表中选择已创建的KMS密钥。如果没有KMS密钥,可以登录KMS服务进行创建,详细操作请参见《数据加密服务用户指南》。
默认情况下,只有华为云帐号或拥有Security Administrator权限的用户才具备创建委托的权限。帐号中的IAM用户,默认没有创建委托的权限,需联系有权限的用户在当前页面完成对GaussDB(DWS) 的委托授权。
图5 加密数据库
须知: