问题-为什么需要搭建数据平台

一、首先要明确一个问题，什么是数据平台？

包括3部分：

1. 数据相关的工具、产品、技术。比如数据采集的flume、sqoop，离线处理的hive，分布式计算引擎spark

2. 数据资产。公司业务产生的；公司运作产生的；从外界购买、爬虫得来的。

3.数据管理。有了工具和资产，还必须对数据进行管理才能让数据产生最大价值。数据管理的概念和工具：数仓、数据建模、数据探查、数据质量管理、数据安全、元数据管理

数据建模一般用维度建模技术。

二、为什么数据平台必须要用hadoop。数仓也可以用比如sqlserver、oracle或者mpp架构的Teradata等来替代，但都很贵且不可线性扩展。

三、为什么搭建大数据平台，有什么好处？

1.实现数据的统一管理和标准化。各部门之间避免数据冗余，实现硬件资源共享，提高效率

2.面向大数据、面相分析决策、主要针对非结构化数据。

为下游的ai、数据分析、报表应用提供数据支撑