【大数据 hadoop】hadoop生态圈

hadoop生态圈

【大数据 hadoop】hadoop生态圈_第1张图片

hadoop提供的功能,利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理

核心组件:
A、HDFS 分布式文件系统
B、YARN 运算资源调度系统
C、MAPREDUCE 分布式运算编程框架

生态圈

sprak

storm

flume

hive

hbase

hadoop在大数据、云计算中的位置和关系

云计算是分布式计算、并行计算、网络计算、多核计算、网络存储、虚拟化、负载均衡等传统计算机技术和互联网技术融合发展的产物。借助laas(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等业务模式,把强大的计算能力提供给终端用户

现阶段,云计算的2大底层支撑技术:虚拟化、大数据技术

hadoop是云计算的PaaS层的解决方案之一

应用场景

1、用户画像 数据分析
2、网站点击流日志分析 数据挖掘
3、数据服务基础平台建设


基础

离线计算

实时

内存计算

你可能感兴趣的:(数据开发--hadoop)