大数据实验报告总结体会_建设大数据中台架构思考与总结

简介

本文介绍完善的大数据中台架构了解这些架构里每个部分的位置，功能和含义及背后原理及应用场景。

帮助技术与产品经理对大数据技术体系有个全面的了解。

数据中台定义：集成离线数仓与实时数仓，并以多数据源统一整合采集到kafka,再通过kafka进行离线数据仓库及实时数据仓库，并集用户标签，统一数据资产管理(对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示，以一种更直观的方式展现企业的数据资产，提升企业的数据意识)提供给客户以及上层领导进行数据分析、数据运营等功能。

直观框架图如下：

整个数据流程分为五个环节

从数据采集-->数据传输-->数据存储-->数据计算及查询-->数据可视化及分析。

1、数据采集

根据平台产生的日志，将数据采集后写入到HDFS，HBase，Hive ，提供后续计算流程进行消费使用。

数据来源有网络的Python爬虫数据、java后台日志数据、还有各种 API 接口及数据文件等等，汇聚到服务器本地磁盘。针对不同的数据来源有各自的采集方式，其中因为日志数据有数据量多，数据结构多样，产生环境复杂等特点，属于主要采集的对象。日志采集框架挑应用较广泛的