(一)大数据---Hadoop整体介绍(架构层)----(组件(3)

复杂性: 体现在数据的管理和操作上。如何抽取,转换,加载,连接,关联以把握数据内蕴的有用信息已经变得越来越有挑战性

二、大数据技术有哪些(重点

===================================================================================

基础的技术包含数据的采集、数据预处理分布式存储、NoSQL数据库数据仓库机器学习并行计算可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架,

主要分为下面几个方面数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。

(一)大数据---Hadoop整体介绍(架构层)----(组件(3)_第1张图片

(一)大数据---Hadoop整体介绍(架构层)----(组件(3)_第2张图片

详细:参考

根据服务对象和层次分为:数据来源层、数据传输层、数据存储层、资源管理层、数据计算层、任务调度层、业务模型层。

你可能感兴趣的:(程序员,大数据,hadoop,架构)