数据成本治理

1 为什么要做成本治理

最主要的原因应该是减少企业成本，让企业走提效降本的可持续发展道路。

2 目前存在的问题

2.1 机器利用率低

比如所有任务都是在晚上跑，白天机器大部分空闲，直接导致资源浪费，利用率非常低

2.2 存储周期过长，存储资源增长过快

有的表，大家没有设置生命周期，或者没有定时删除分区，导致分区太多，数据膨胀，存储资源需要补充

2.3 成本没有量化标准

用阿里云服务器还好，会有实际的账单，但是如果是自己买的服务器搭建的大数据生态，可能不知道怎么去量化成本，然后做成本治理

2.4 降本意识薄弱

数据开发或者需求方，没有成本治理的意识，满足需求后就没有进一步优化

2.5 任务优化空间非常大，尤其是离线计算

数据开发的开发水平参差不齐，所以对于任务来说，是有非常大的优化空间的，可以从各方面取调优，比如数据倾斜，小文件，存储，压缩

3 问题解决