大数据平台项目总结

大数据中台“基金营销大数据平台”包含的功能模块有：数据开发，任务调度，指标中心，数据服务，数据源，标签管理，用户权限系统，数据权限中心功能

负责测试内容，

1.测试数据中台系统所用的功能

1.API接口测试（离线数据同步hbase，数据推送，API接口有两种方式1.通过ES查询，2.是直接调用HABSE表查询，校验API出参数据逻辑，配置自动化用例，Jmeter压测API接口），

2.任务调度测试（参数配置，定时任务，任务管理新建调度任务，设置调度任务，任务监控管理等等），

3.数据开发测试（新建离线作业，实时作业，数据同步等），数据服务（新建API接口，上线下线API，绑定发布API接口，监控API调用日志等），

4.实时数据流测试，测试Kafka数据实时推送，检查数据的时效，和根据实时流作业，检查推送的数据逻辑是否正确，检查hive对应的hbase映射表的数据

5. 测试基金货币和非货币的持仓收益（计算平均成本，累计收益，昨日收益，持仓收益，持仓收益率，持仓成本等等），区间盈亏接口宝类或非宝类（核算期初资产，期末资产，总收益，期初累计成本，期末累计成本等等）

6数据处理流程：

读取原系统的文件—》加载到外部表—》经过离线作业的处理写到内部表—》TA标准层对数据通过离线作业建简单的数据处理（ODS）---》PMD离线做作业处理数据—》PUB层离线作业处理数据

数据通过PUB的处理以后，可以拿出来再进一步加工：1.做成指标数据，2.做成报表，3.做成API的接口，4.做成标签数据等等

   7.稽核规则配置，新增稽核规则，测试稽核规则，配置稽核规则任务

使用过的数据工具：hive,impala, DBeaver,navicat,hbase

接口工具：jmeter, loadrunner,Postman，EOLINKER测试API接口