阿里云maxcopute+dataworks+datav 实践

阿里云 大数据

离线仓库架构

本例架构图

电商网站搭建

ECS 镜像:
Magento 开源电子商务系统(含演示数据)｜LNMP （Centos8)
公网IP
RDS 白名单加上ECS，
创建数据库magento utf8、创建用户dbusr，给读写权限
启动后访问 公网IP进行Magento搭建 输入db信息 管理员的信息 其他都下一步就行，安装完毕之后 注册个普通用户登陆上去

#原装的有点问题 需要执行下面的命令搞定下
chown nginx: -R /var/lib/php/
systemctl disable dnf-automatic.timer
systemctl stop dnf-automatic.timer

qiut登陆ok

Dataworks Maxcompute

工作空间

dataworks 中创建工作空间 选择引擎的时候跳到maccompute 按量服务购买

选择引擎

引擎详情

数据集成 创建数据源

dataworks 控制台 进入数据集成

将如下 ip加道rds白名单中 dataworks 需要直接访问库

ip加道rds白名单

在数据源中新增一个数据源（该数据源为电商业务数据库）

填写数据源信息并测试联通性通过再完成

将dataworks所在地域的ip列表 加到RDS白名单

数据开发

数据同步

进入数据开发

右键业务流程 -新建业务流程

拖入离线同步节点 然后 双击该节点

配置业务库为源 ODPS默认库位去向(需要点击以减生成目标表 来生成新表)

修改表名

点击运行

点击确定

验证数据是否同步过来

数据处理

新建表ADS-增加最终需要的字段并保存

添加中文名并提交到生产

拖入ODPSsql 修改名称 并关联第一个node，双击进入

填入如下sql

truncate table sales_datav2;
insert into sales_datav2
select  sum(total_qty_ordered) AS total_quantity,
 sum(grand_total) AS total_sales
from ods_sales_order2
where ds=${bizdate};

设置参数

保存-运行-查看数据

数据服务 Lightning数据源API开发

进入数据服务

新增数据源

新增postgreql

odps.max_xxt 为空间名
jdbc:postgresql://lightning.cn-beijing.maxcompute.aliyun-inc.com/odps.max_qst
JDBCURL 不同地域的endpoint 参见
https://help.aliyun.com/document_detail/89754.html

新增业务流程

创建业务流程-如果没有API分组去API网关创建

创建API分组

绑定域名

生成API

API元数据

API内容对应哪个表的哪个字段

返回分页 保存并测试

测试成功

点击发布

发布后可在公网测试访问

curl -i --get --include 'http://abc.aaa.com/abctest?pageNum=1&pageSize=10' -H 'Authorization:APPCODE 12'
abc.aaa.com 为之前绑定的域名 abctest为之前的APIPath
12 为下图中获取的AppCode

APPcode、key、secret 获取

从具体API中的自定义示例代码中获取

datav 大屏展示

datav新增数据源

修改大屏展示

配置数据源-过滤器-自动更新请求-value

设置数据源具体内容

过滤器

api返回及过滤后的结果

预览和发布

发布

由于我测试api使用的是http ，datav在调用api的时候 是从前台嗲用 如果 datav本身是https 调http的api是调不通的 所以 把datav改成http访问才能调通http的api

购买测试

原来销售量为6

随便添加一个商品到购物车

点击购物车及结账

下一步&下单

数据开发中运行 业务员流程 对号显示执行ok

变成了7

自动同步处理

节点1自动调度配置

节点2自动调度配置

业务流程提交