【Hadoop生态圈】

什么是HADOOP以及HADOOP生态圈以及各组成部分的简介

对海量数据进行分布式处理3.HADOOP的核心组件有A.HDFS（分布式文件系统）B.YARN（运算资源调度系统）C.MAPREDUCE（分布式运算编程框架）4.广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP
peng_0129·2018-05-31 16:17

hadoop,zookeeper,hive,hbase对比总结

广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈。
奔放小现实·2018-05-25 21:59

Cloudera Manager和CDH5.8离线安装

CDH5.8是目前比较新的版本，自带hadoop2.0以上的hadoop，而且已经包含了很多组件，也是我们接下来需要学习的hadoop生态圈中的组件。
大数据从业者FelixZh·2018-05-24 12:00

2018-05-17

1.hadoop的广义和狭义的理解广义是指hadoop生态圈，狭义是指hadoop2.hadoop三大组件是什么?分别是做什么?
CrUelAnGElPG·2018-05-17 10:48

2018-05-17

1.hadoop的广义和狭义的理解广义是指hadoop生态圈，狭义是指hadoop2.hadoop三大组件是什么?分别是做什么?
CrUelAnGElPG·2018-05-17 10:48

Hadoop、Hive、Spark 之间是什么关系？

大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。
刘喵酱·2018-05-15 16:30

Hadoop入门篇

 快速入门HADOOP快速入门HADOOP快速入门HADOOP产生背景HADOOP在大数据、云计算中的位置和关系国内外HADOOP应用案例介绍国内HADOOP的就业情况分析及课程大纲介绍分布式系统概述HADOOP
Andrew_Yuan·2018-05-14 10:22

大数据：Hive - ORC 文件存储格式

转自ORCFile文件结构ORC的全称是(OptimizedRowColumnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自ApacheHive，用于降低
cnhome·2018-05-08 16:34

zookeeper集群搭建

工作这么久了，想把hadoop生态圈有关的东西整理一下，把之前会的整理一下，不会的再自己摸索一下。
focuson_·2018-04-30 23:45

关于Hadoop的基础面试题

（ABC）A.单机版B.伪分布式C.完全分布式1.1.4列举几个hadoop生态圈的组件并做简要描述1）Zookeeper:是一个开源的分布式
卡其色的夏日·2018-04-28 19:18

flume的介绍以及配置

是HADOOP生态圈的一个组件,主要应用与实时数据的流方式,比如一旦有某事件触发可以将实时的日志数据发向HADOOP文件系统HDFS中,Flume可以将数量庞大的数据从各项数据资源集中起来存储的工具/服务
Se_cure·2018-04-24 18:30

走进hadoop生态圈

hadoop介绍：说白了，hadoop就是一个生态圈,它是HDFS、MapReduce、Hive和ZooKeeper等组成，一系列的运行就像一条生态链1）Pig：一个基于Hadoop的大规模数据分析平台，为海量数据的并行计算，提供了一个简单的操作和编程接口2）Hive：就是一个工具，有完整的SQL查询的功能，可以将sql语句转换为MapReduce任务进行运行，当然也要基于hadoop3）ZooK
CJ_forever·2018-04-01 09:04

走进hadoop生态圈

hadoop介绍：说白了，hadoop就是一个生态圈,它是HDFS、MapReduce、Hive和ZooKeeper等组成，一系列的运行就像一条生态链1）Pig：一个基于Hadoop的大规模数据分析平台，为海量数据的并行计算，提供了一个简单的操作和编程接口2）Hive：就是一个工具，有完整的SQL查询的功能，可以将sql语句转换为MapReduce任务进行运行，当然也要基于hadoop3）ZooK
CJ_forever·2018-04-01 09:04

Hadoop基础原理

大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，
zenge_blog·2018-03-19 18:14

十小时入门大数据

慕课网十小时入门大数据课程笔记hadoopHDFSYARNSPARKhadoophadoop生态圈包括以下各个组成部分：HDFS：用于分布式文件存储,切分成块，多副本存于多台机器。
Lylofe·2018-03-19 13:14

Hadoop生态圈中的调度组件-YARN

一、YARN：Hadoop集群中的同一资源调度系统。Hadoop2.0后引入，主要功能有：负责集群中资源的统一调度，响应客户端的请求。优缺点二、YARN核心组件及架构1.ResourceManger（RM）：全局资源管理器，集群中只有一个活跃的RM，具体功能包括：处理客户端的请求；启动监控ApplicationMaster；监控NodeManger；资源的分配和调度。2.ApplicationMa
_duangduang·2018-02-24 15:46

基于ambari搭建hadoop生态圈大数据组件

Ambari介绍ApacheAmbari是一种基于Web的工具，支持ApacheHadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等。ApacheAmbari支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcata
Mr_Luffy·2018-01-22 14:42

大数据技术原理与应用：大数据处理架构Hadoop生态圈

Hadoop生态圈概述Hadoop简介什么是Apachehadoop？
行书以鉴·2018-01-10 02:37

大数据技术原理与应用：大数据处理架构Hadoop生态圈

Hadoop生态圈概述Hadoop简介什么是Apachehadoop？
行书以鉴·2018-01-10 02:37

【Hadoop】Hadoop生态圈基本组件介绍

1.HDFSHDFS（Hadoop分布式文件系统）源于Google在2003年10月发表的GFS论文，HDFS是GFS的实现。HDFS通过流式数据访问，适合大数据集访问的应用程序。HDFS有一次写入多次读取的机制，数据已块的形式，同时分布在集群的不同物理机器上。2.MapReduceMapReduce（分布式计算框架）源于Google在2004年12月发表的MapReduce论文，HadoopMa
NextAction·2018-01-07 09:58

Docker生态会重蹈Hadoop的覆辙吗？

目录一、Docker的兴起和hadoop何其相似二、大数据从狂热走向了理性三、Hadoop生态圈的演进四、Docker的生态圈五、Docker公司的战略野心受生态圈狙击六、Docker生态圈的演进七、开源技术也需要商业的成功八
似水流年·2017-12-28 17:14

大数据基础知识点---hadoop生态圈

大数据基础知识点：javaList特点：元素有放入顺序，元素可重复，Set特点：元素无放入顺序，元素不可重复。数据库的三大范式：原子性、一致性、唯一性对象和引用对象：对象就是好没有初始化的对象，引用对象即使对这个对象进行了初始化ArrayList和Vector：采用数组方式存储数据的,是根据索引来访问元素的，都可以根据需要自动扩展内部数据长度，以便增加和插入元素，都允许直接序号索引元素，但是插入数
m0_37758017·2017-12-17 13:38

Hadoop生态圈之Pig

简介配置local模式mapreduce模式经典案例简介Pig是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫PigLatin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。[1]相比Java的MapReduceapi，Pig为大型数据集的处理提供了更高层次的抽象，与MapReduce相比，Pig提供了更丰富的数据结构，一般都是
xun-ming·2017-11-29 11:38

scala - 基础知识

1.def定义的是一个方法，用下划线可以转换为方法2.window换行符是/r/nlinux/n《逐云》Scala概述2.11.8优雅，速度快，融合hadoop生态圈。
R角落里·2017-11-28 09:16

对Hadoop生态圈的一个理解

来源：知乎作者：XiaoyuMa链接：https://www.zhihu.com/question/27974418/answer/38965760大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈
BabyFish13·2017-11-17 11:59

Hadoop生态圈之Sqoop

1、sqoop是什么2、安装配置2.1安装sqoop2.2配置环境变量3、数据表导出3.1创建hive表3.2导入数据到hive表3.3导出到mysql3.4批量导入到mysql3.5数据覆盖更新4、Password配置别名4.1生成别名4.2使用别名5、参考博文6、问题—字符编码7、问题—hive到mysql1、sqoop是什么Sqoop是一个用来将Hive和Mysql中的数据相互转移的工具，也
xun-ming·2017-11-09 11:20

hadoop生态圈各产品基本概念梳理

hbase：是一个适合于非结构化数据存储的数据库，是基于列的而不是基于行的模式，HBase利用HadoopMapReduce来处理HBase中的海量数据。HDFS:是GFS的一种实现，他的完整名字是分布式文件系统，类似于FAT32，NTFS，是一种文件格式，是底层的。Hive与Hbase的数据一般都存储在HDFS上。HadoopHDFS为他们提供了高可靠性的底层存储支持。==hive==：是一个数
kse_music·2017-10-28 12:25

实时可靠的开源分布式实时计算系统——Storm

在Hadoop生态圈中，针对大数据进行批量计算时，通常需要一个或者多个MapReduce作业来完成，但这种批量计算方式是满足不了对实时性要求高的场景。
csdn大数据·2017-10-20 00:00

[大数据概念]-- 大数据的技术生态比喻

大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之
highfei2011·2017-09-15 08:21

了解Hadoop生态圈

ApacheHadoop是什么简介相关项目HIVEHadoop1.0与2.0的比较YARN项目背景附录Hadoop简单历程Hadoop发展历程参考ApacheHadoop是什么简介ApacheHadoop是Apache基金会下的开源的(遵循ASF2.0)软件项目，提供可靠的、可扩展的、分布式计算。ApacheHadoop软件库是一种框架，允许开发人员，仅使用简单的编程模式，基于计算机集群的，实现大
枫林之·2017-08-16 20:51

Hadoop生态圈之分布式环境搭建

0、服务器配置0.1、服务器磁盘阵列（分区）0.2、centos系统安装0.3、编码1、安装模式1.1、单机模式1.2、伪分布模式1.3、完全分布式模式2、环境搭建3、添加新节点4、初步实战5、数据误删除恢复5.1、回收站恢复5.2、快照恢复5.3、编辑日志恢复6、常见问题0、服务器配置0.1、服务器磁盘阵列（分区）Dell服务器做磁盘阵列3个及3个以上磁盘适合做raid50.2、centos系统
xun-ming·2017-08-11 14:12

spark mapreduce

scala，java5.交互模式6.可独立运行，不依托yarn，hdfs(不是必须）mapreduce1.单次读取，类似ETL（抽取转换加载），跑批2.JAVA3.没有交互模式4.磁盘io存储换内存5.基于hadoop
博瑜·2017-07-27 11:40

HADOOP生态圈以及各组成部分的简介

重点组件：HDFS：分布式文件系统MAPREDUCE：分布式运算程序开发框架HIVE：基于大数据技术（文件系统+运算框架）的SQL数据仓库工具HBASE：基于HADOOP的分布式海量数据库ZOOKEEPER：分布式协调服务基础组件Mahout：基于mapreduce/spark/flink等分布式运算框架的机器学习算法库Oozie：工作流调度框架Sqoop：数据导入导出工具Flume：日志数据采集
乐搏学院Learnbo·2017-07-26 17:03

大数据入门基础：Hadoop简介

3.Hadoop提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理4.广义上来说，Hadoop通常是指一个更广泛的概念----hadoop生态圈1.2
乐搏学院Learnbo·2017-07-25 17:03

大数据入门基础：Hadoop简介

3.Hadoop提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理4.广义上来说，Hadoop通常是指一个更广泛的概念----hadoop生态圈1.2
大数据部落·2017-07-25 16:54

数据仓库学习笔记1

主要为学习《基于Hadoop生态圈的数据仓库实践》专栏的笔记专栏参照点击打开链接操作型系统：面向过程、事务处理分析型系统：面向主题、分析式操作型系统里面的数据------》ETL（抽取（extract）
Hyacinth_Yuan009·2017-07-18 19:04

ambari-server安装(ubuntu、deepin、debian通用)

其具有创建、管理、监视Hadoop（指Hadoop生态圈，包括hbase，hive等）的集群的功能。OK，进入正题。
code_better·2017-07-06 00:40

每个人心中都有一个Hadoop生态圈

说到现在什么技术最火，想必你一定会想到一个就是Hadoop，你可能经常听说，现在的人们生活在大数据时代，而Hadoop或多或少已经成了大数据的一个代名词。从狭义上来说Hadoop是Apache旗下的一个开源软件平台，它不是像CRM\ERP这样的特定功能的软件，而是一个框架，它提供这样一种功能——利用服务器集群，根据用户自定义功能，对海量数据进行分布式处理，这是Hadoop本身的基本概念。从广义上来
IT钱岩·2017-07-03 19:39

hadoop生态圈的详解

学习和使用hadoop有一年了，这里主要分享一下对hadoop整体上的理解，分门别类的介绍一下相关组件，最后提供了建议的学习路线，希望对hadoop的初学者有参考作用。1.Hadoop核心件组有哪些?广义hadoop指什么?核心组件有：Hdfs、Yarn、MapReduce;广义上指一个生态圈，泛指大数据技术相关的开源组件或产品，如hdfs、yarn、hbase、hive、spark、pig、zo
cpaqyx·2017-06-25 14:14

hadoop生态圈详解

学习和使用hadoop有一年了，这里主要分享一下对hadoop整体上的理解，分门别类的介绍一下相关组件，最后提供了建议的学习路线，希望对hadoop的初学者有参考作用。1.Hadoop核心件组有哪些?广义hadoop指什么?l核心组件有：Hdfs、Yarn、MapReduce;l广义上指一个生态圈，泛指大数据技术相关的开源组件或产品，如hdfs、yarn、hbase、hive、spark、pig、
RocChenKing·2017-06-24 21:31

Kudu:支持快速分析的新型Hadoop存储系统

Kudu是Cloudera开源的新型列式存储系统，是ApacheHadoop生态圈的新成员之一（incubating），专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。
两榜进士·2017-05-11 17:23

大数据常用组件总结

Hadoop生态圈各常用组件介绍Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
wangqianqjl·2017-04-26 19:12

大数据学习脑图以及7个入门教程！

近些年，大数据的火热可谓是技术人都知道啊，很多人呢，也想学习大数据相关，所以，这里分享几个大数据脑图，希望可以让你清楚明白从哪里入门大数据，知道该学习以及掌握哪些知识点；大数据相关脑图：hadoop生态圈
实验楼·2017-04-14 14:00

大数据学习脑图以及7个入门教程！

近些年，大数据的火热可谓是技术人都知道啊，很多人呢，也想学习大数据相关，所以，这里分享几个大数据脑图，希望可以让你清楚明白从哪里入门大数据，知道该学习以及掌握哪些知识点；大数据相关脑图：hadoop生态圈
实验楼·2017-04-14 14:00

Hadoop生态圈完全分布式集群环境搭建

阅读更多一：事前准备工作：1.最少4台服务器，当然也可以为虚拟机2.hadoop、hbase、spark、jdk、zookeeper的安装包（需要版本都是相互兼容的，这个可以从官网看到）3.系统为centos7如果是新学者可以看我另一篇关于单节点大数据环境部署和安装的文章二：Linux系统配置更改linux名称hostnamectlset-hostnamehost1（host1代表需要修改的主机名
三年计划·2017-04-08 10:00

Hadoop生态圈完全分布式集群环境搭建

阅读更多一：事前准备工作：1.最少4台服务器，当然也可以为虚拟机2.hadoop、hbase、spark、jdk、zookeeper的安装包（需要版本都是相互兼容的，这个可以从官网看到）3.系统为centos7如果是新学者可以看我另一篇关于单节点大数据环境部署和安装的文章二：Linux系统配置更改linux名称hostnamectlset-hostnamehost1（host1代表需要修改的主机名
三年计划·2017-04-08 10:00

Hadoop生态圈完全分布式集群环境搭建

阅读更多一：事前准备工作：1.最少4台服务器，当然也可以为虚拟机2.hadoop、hbase、spark、jdk、zookeeper的安装包（需要版本都是相互兼容的，这个可以从官网看到）3.系统为centos7如果是新学者可以看我另一篇关于单节点大数据环境部署和安装的文章二：Linux系统配置更改linux名称hostnamectlset-hostnamehost1（host1代表需要修改的主机名
三年计划·2017-04-08 10:00

HDP 2.5安装搭建部署

前言HDP全称HortonworksDataPlatform(HDP)，是Hortomworks公司提供的一个大数据平台，它整合了开源hadoop生态圈的大部分组件，能够很简单便捷的帮助我们搭建起Hadoop
风格lu·2017-04-07 00:27

azkaban入门

======Azkaban入门======自整，懒得加图片了Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程，应用于Hadoop
han25926·2017-03-22 17:18

（第3篇）HDFS是什么？HDFS适合做什么？我们应该怎样操作HDFS系统？

https://my.oschina.net/ijj/blog/861355HDFS文件系统Hadoop附带了一个名为HDFS(Hadoop分布式文件系统)的分布式文件系统，专门存储超大数据文件，为整个Hadoop
chitan2235·2017-03-17 14:00
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他