Hadoop入门

1.大数据

大数据主要解决,海量数据的采集、存储和分析计算问题
大数据特点
Volume(大量):
Velocity(高速):在海量数据面前,处理数据的效率很重要
Variety(多样性):数据可分为结构化数据(数据库/文本)和非结构化数据(音频、视频、图片),这些多类型的数据对数据的处理能力提出了更高的要求。
Value(低价值密度):海量数据中,更多的是一些低价值信息,所以要求我们能够快速对有价值的信息进行提纯。
应用场景:抖音里面的视频推荐、电商网站里面的广告推荐、人工智能

2.Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要用于海量数据的存储和分析计算。
Hadoop有三大发行版本:Apache(2016)、Cloudera(对应产品CDH,2008)、Hortonworks(对应产品HDP,2011)
Hortonworks现在被Cloudera公司收购,推出新产品CDP(需付费)。
Hadoop优势
高可靠性:Hadoop底层维护多个数据副本
高扩展性:可在集群中动态增加或减少服务器
高效性:在MapReduce的思想下,Hadoop是并行工作的,能加快任务处理速度
高容错性:能够自动将失败的任务重新分配
Hadoop组成

Hadoop入门_第1张图片

3.HDFS(Hadoop Distributed File System):一个分布式文件系统

Hadoop入门_第2张图片

4.Yarn(Yet Another Resource Negotiator):是Hadoop的一个资源管理器

Hadoop入门_第3张图片

 5.MapReduce架构

Hadoop入门_第4张图片

6. 大数据技术生态体系

Hadoop入门_第5张图片

你可能感兴趣的:(大数据,hadoop,大数据,分布式)