Hadoop2.X

简述Hadoop 1.X 系统原理

一、hadoop1.x结构HDFS：hadoop分布式存储系统MapReduce：分布式计算框架，包含资源管理和任务调度等（hadoop2.x中被分离到Yarn组件）。
duchao·2018-01-10 00:00

全Hadoop2.x版本安装套路（以Hadoop2.6.0为例）

引言本人是一枚大学生，初探大数据Hadoop安装套路，详细描述安装过程及其我所认知的步骤因果，作为一段时间学习的成果，也希望能与大家一起交流。众所周知，自“大数据”概念劈头盖脸袭来后，各路人士都跃跃欲试想开一开大数据的车，那么鼎鼎大名的Hadoop理所当然被大家盯上啦，所以想掀开大数据的面纱就先得老老实实把Hadoop这头小象把玩一番。话不多说，今天的重头戏是Hadoop的安装。再吐槽一下，互联网
chanson_22·2018-01-07 20:28

客户端向yarn提交MR作业流程简述

yarn在hadoop2.x系列中被加入的资源管理器，取代hadoop1.x中的jobtracker，将资
qq_26369213·2018-01-04 22:46

Hadoop2.x伪分布模式(HDFS)

概述参考官网地址WhatIsApacheHadoop?TheApache™Hadoop®projectdevelopsopen-sourcesoftwareforreliable,scalable,distributedcomputing.TheApacheHadoopsoftwarelibraryisaframeworkthatallowsforthedistributedprocessingo
彬彬囝囝·2018-01-03 17:03

Flume日志采集应用架构升级与重构

一、升级与重构的原因上图为旧有架构，主要服务于Hadoop2.x离线计算(T+1)以及Spark的实时计算（T+0），但在数据采集、数据流动、作业调度以及平台监控等几个环节存在的一些问题和不足
mob01srv·2017-12-25 00:00

大数据知识点第1节

1、hadoop2.x版本有哪三个组件HDFSYarnMapReduce2、分别是做什么的HDFS:存储Yarn:计算MapReduce:资源调度和作业调度3、jdk默认，我们部署在哪个路径下，假如那个路径不存在
CoderF·2017-12-18 15:29

Hadoop集群搭建(HDFS和Yarn集群)

上传hadoop的安装包到服务器hadoop-2.7.4-with-centos-6.7.tar.gz解压安装包tarzxvfhadoop-2.7.4-with-centos-6.7.tar.gz注意：hadoop2
developer兴·2017-12-11 16:55

hadoop2.x高可用集群的搭建

hadoop2.0集群的搭建使用四台虚拟物理机搭建集群集群各角色的分配搭zookeeper集群解压解压zookeeper包修改文件名修改zookeeper的配置文件，将其重命名修改文件修改/etc/profile，加上zookeeper的bin目录设置路径将dataDir目录改为自己规划的目录追加在文件最后加上zookeeper体系三个节点的ip:2888:3888创建手动创建zk，并创建文件my
Apache-Wang·2017-11-18 11:13

Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境建立Linux虚拟机(全节点)客户机操作系统：CentOS-6.5-x86_64。网络连接：host-only。
padluo·2017-11-16 17:17

Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境

环境：阿里云服务器CentOS7x86_64安装介质：jdk-7u75-linux-i586.tar.gz，hadoop-2.4.1.tar.gz安装jdktar-zxvfjdk-7u75-linux-i586.tar.gz配置环境变量：#vi.bash_profileJAVA_HOME=/root/training/jdk1.7.0_75exportJAVA_HOMEPATH=$JAVA_HOM
padluo·2017-11-16 17:49

6.2 开发YARN的应用程序

Hadoop2.x、MapReduce、Pig和Hive都有AM的库和对应的客户端。开发人员可以使用YARNAPI编写自己的应用并运行在现有的Hadoop框架内。
Avalonist·2017-11-16 12:15

hadoop2.x完全分布式环境搭建 | 适用于hadoop完全分布式集群环境搭建

转载请注明出处：http://blog.csdn.net/coder__cs/article/details/78571366本文出自【elon33的博客】hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFSHA、YARN等。最新的hadoop-2.4.1又增加了YARNHA注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C
gamedevv·2017-11-05 13:55

Hadoop2.x 一些知识，MapReduce历史服务配置启动查看，YARN的日志聚集功能配置使用

四个模块1.common2.hdfs存储数据NameNode(存储文件系统的元数据，命名空间namespace)DataNode(存储数据)SecondaryNameNode(辅助NameNode工作，合并两个文件（定时周期性）)3.YARNHadoop操作系统Data操作系统ContainerResourceManager(整个集群资源的管理和调度)NodeManager(管理每个节点的资源与调
卡搜偶·2017-11-04 14:06

Hadoop实战（7）_Apache Hadoop安装和配置Hue

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式Hadoop实战（3）_虚拟机搭建CDH的全分布模式Hadoop实战
padluo·2017-10-31 23:05

Hadoop实战（5）_Hadoop的运维经验

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式Hadoop实战（3）_虚拟机搭建CDH的全分布模式Hadoop实战
padluo·2017-10-29 12:09

hadoop2.x的编译过程总结

hadoop2.x的编译过程总结所有编译过程都可以在说明xml中得到有关信息，要进行编译的目的是，hadoop2.x中的lib包是32位的，而我们实际学习和生产的机器大都是64位，这使得我们要重新进行编译
gamedevv·2017-10-28 09:11

Hadoop实战（4）_Hadoop的集群管理和资源分配

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式Hadoop实战（3）_虚拟机搭建CDH的全分布模式DataNode
padluo·2017-10-26 19:07

Yarn实现的Hadoop集群高可用

Hadoop2.x也就是Yarn，分别用两个进程来管理这两个任务：ResourceMangerApplicationMaster需要注意的是，在Yarn中我
「已注销」·2017-10-25 10:34

Hadoop实战（3）_虚拟机搭建CDH的全分布模式

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式建立Linux虚拟机(全节点)客户机操作系统：rhel-server
padluo·2017-10-24 21:31

Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境建立Linux虚拟机(全节点)客户机操作系统：CentOS-6.5-x86_64。网络连接：host-only。
padluo·2017-10-23 19:31

hadoop ha 高可用实现原理

转自：http://www.aboutyun.com/thread-22935-1-1.html问题导读：1、Hadoop1.x和Hadoop2.x架构有哪些区别？2、什么是QJM？
孩子加油孩子·2017-10-18 10:28

Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境

环境：阿里云服务器CentOS7x86_64安装介质：jdk-7u75-linux-i586.tar.gz，hadoop-2.4.1.tar.gz安装jdktar-zxvfjdk-7u75-linux-i586.tar.gz配置环境变量：#vi.bash_profileJAVA_HOME=/root/training/jdk1.7.0_75exportJAVA_HOMEPATH=$JAVA_HOM
padluo·2017-10-14 20:00

IntelliJ IDEA 远程调试Hadoop

IntelliJIDEA2017.1.3JDKVERSIONjdk1.8Hadoop版本hadoop1.0.0虚拟机完全分布式node1172.16.20.101masternode2172.16.20.102slave1node3172.16.20.103slave2由于当前关于Hadoop2
Angel_Heart_Java·2017-09-15 10:13

初识hadoop

一、什么是hadoop狭义：软件，分布式系统基础架构褒义：以hadoop为主的生态圈二、hadoop1.X和hadoop2.X区别组件hadoop1.Xhadoop2.X作用HDFS有有存储MapReduce
dingguanyi·2017-09-09 22:40

Hadoop2.7.4 MapReduce开发部署步骤

一、目标基于Hadoop2.X开发及部署MapReduce任务l案例需求计算在1949年-1951年，每年温度最高的前3天l思路：1.按年份升序排序，同时每一年中温度按降序排序2.按年分组，每一年对应一个
仁者无敌1987·2017-09-08 14:57

大数据协作框架简介

“大数据协作框架”其实就是一个统称，实际上就是Hadoop2.x生态系统中几个辅助hadoop2.x框架。
象在舞·2017-09-01 21:28

CentOS7下Hive-2.1.1安装

一、安装说明：hive在安装前需要确保已安装并运行hadoop集群（hadoop2.x版本），java环境强烈推荐使用java1.8版本（详细参考官网：https://cwiki.apache.org/
烟波人·2017-08-27 20:44

Hadoop 2.x环境搭建

Hadoop2.X环境搭建准备工作一Linux环境1.查看主机名,[不能数字开头.不能特殊字符]2.查看主机映射Windows下主机映射C:\Windows\System32\drivers\etc\hosts3
James__Tao·2017-08-24 23:19

hive的基本简介及安装、配置、使用（一）

hive架构图安装前的准备Java1.7(preferred)Hadoop2.x(preferred),1.x(notsupportedbyHive2.0.0
kinglyjn·2017-08-23 18:45

HBase系列 1：开发环境搭建

Hbase单机部署需事先准备安装好hadoop2.x，单机版部署即可。
长歌而行·2017-08-09 23:59

hadoop2.x入门：编写mapreduce对气象数据集求每日最高气温和最低气温

1.下载气象数据集气象数据集下载地址为：-ftp://ftp.ncdc.noaa.gov/pub/data/noaa我们下载国内的气象数据，使用下面命令进行下载wget-D--accept-regex=REGEX-Pdata-r-cftp://ftp.ncdc.noaa.gov/pub/data/noaa/2017/5*国内气象站ID区间为50001-59998详细的可以在《1951—2007年中
erygreat·2017-07-23 19:04

hadoop面试常见问题及相关总结

为什么最佳分片大小应该和块（block）大小相同（hadoop2.x默认是128Mb，hadoop1.x是64Mb）？答：因为它
YQlakers·2017-07-21 00:00

HDFS上传文件和读文件的流程

这里描述的是一个256M的文件上传过程①由客户端向NameNode节点节点发出请求②NameNode向Client返回可以可以存数据的DataNode这里遵循机架感应原则③客户端首先根据返回的信息先将文件分块（Hadoop2
ccj_zj·2017-07-06 20:44

Mac下安装hadoop2.x后，ResourceManager无法启动问题解决

startingresourcemanager,loggingto/Users/hadoop/hadoop-2.7.3/logs/yarn-hadoop-resourcemanager-MacBook-Pro-2.local.outnohup:can'tdetachfromconsole:InappropriateioctlfordeviceMac下的nohup似乎有问题，所以我们干脆不用进入到h
DASEason·2017-07-06 15:30

构建完全分布式的Hadoop2.x

最近开始学Hadoop，嗨，也是一把辛酸泪，找到适合的好书不容易啊，不唠叨了，开始吧。这次我只用了两台机子，一个自己的笔记本电脑，deepin系统，作为Master节点，另一个阿里云服务器，Ubuntu系统，作为node节点（其实也够了，第三、第四台的配置和第二台是一样的，只是名字不同，哈哈）第一步，配置hosts文件，主要用于确定各个节点主机的IP地址，方面后续访问（每个主机都需要添加同样的内容
code_better·2017-07-04 20:57

基于centos的Hadoop2.x环境搭建

hadoop2.0环境搭建1.安装vmware这里就不介绍如何安装了，不清楚可在网上找一些教程2.vmware安装centos62.1centos系统安装打开vmware点击文件，点击文件->新建虚拟机新建虚拟机选择“典型”点击“下一步”选择“安装程序光盘映像文件”，选择指定的centos系统的iso文件，点击下一步填写一下信息。点击下一步例如全名：zkpk密码：zkpk确认：zkpk虚拟机名称：
彩笔程序猿zxxxx·2017-07-03 00:06

HDFS工作机制

负责客户端请求的响应,负责管理整个文件系统的元数据3.DataNode负责管理用户的文件数据块4.文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上，默认大小在hadoop2
zhi_fu·2017-07-01 06:01

Hadoop日记——Hadoop2.x介绍

Haddop2.x在1.x基础上做了很多的改进，主要增加和改进了4个部分：HA，Federation，YARN，MapReduceOnYARN1.HAHadoop中的NameNode好比是人的心脏，绝对不可以停止工作。在Hadoop1.x时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是Hadoop1.x中的单点问题，也是Hadoop1.x不
饥渴计科极客杰铿·2017-06-25 15:13

Hadoop日记——Hadoop2.x介绍

Haddop2.x在1.x基础上做了很多的改进，主要增加和改进了4个部分：HA，Federation，YARN，MapReduceOnYARN1.HAHadoop中的NameNode好比是人的心脏，绝对不可以停止工作。在Hadoop1.x时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是Hadoop1.x中的单点问题，也是Hadoop1.x不
饥渴计科极客杰铿·2017-06-25 15:13

走向云计算之HBase的shell命令和JavaAPI详解

在hadoop2.x中，启动hadoop推荐使用start-hdfs.sh和start-yarn.sh两个命令来代替start-all.sh。
xiaokang123456kao·2017-06-16 15:00

Hadoop1.X 与 Hadoop2.X区别及改进

版本hadoop1.0指的是1.x(0.20.x),0.21,0.22hadoop2.0指的是2.x,0.23.xCDH3,CDH4分别对应了hadoop1.0hadoop2.0二、Hadoop1.X与Hadoop2
c929833623lvcha·2017-06-13 09:00

hadoop2.x的简要说明，新特性yarn的加入

在hadoop2.x中出现了YARN，资源管理模块则交由YARN实现，这样为了让MapReduce框架运行在YARN上，仅需要一个ApplicationMaster组件完
独照松月冷别赋·2017-06-08 16:44

Hadoop2.x的yarn

hadoopmapreduce1.x中的问题原理在1.x中主要使用的是JobTracker和TaskTracker这两个组件管理系统中的资源step1：客户端提交任务step2：JobTracker从namenode获取输入文件的数据块的列表信息step3：JobTracker会根据第二步中获取到的数据块的列表信息将任务提交到离数据块尽可能近的位置上运行step4：TaskTracker跟踪监控该
qq_21050291·2017-06-06 11:00

hadoop高可靠性HA集群

概述简单hdfs高可用架构图在hadoop2.x中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。
jjjyyy66·2017-05-15 14:42

hadoop2.x eclipse插件编译

原文地址http://blog.csdn.net/rongyongfeikai2/article/details/45014901原文中写道：build.xml文件：为编译不通过，报错：BUILDFAILED/home/hadoop/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin/build.xml:77:destinationd
梦回侏罗纪·2017-05-10 10:53

配置高可用的Hadoop平台

1.概述在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（HighAvailable高可用）。
邹君安·2017-05-09 15:44

hadoop高可靠性HA集群

简单hdfs高可用架构图在hadoop2.x中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。
jjjyyy66·2017-05-05 16:58

基于linux centos6.5 hadoop2.x伪分布式搭建

基于linuxcentos6.5hadoop2.x伪分布式搭建一.环境搭建搭建测试环境所需的软件包括：操作系统LinuxCentOS6.5，jdk1.8.0_111，hadoop-2.4.0_32bit.tar.gz。jdk-8u111-linux-i586.tar.gz。总体的流程：1，创建hadoop账户2、实现linux的ssh无密码验证配置.3、在linux下安装jdk，并配好环境变量4、
IshmaelM·2017-04-26 17:00

Hadoop配置Yarn

Hadoop配置-Yarn篇作者：秦景坤时间：2017-4-23YARN是Hadoop2.x中的内容（伪分布式不启动YARN也可以，一般不会影响程序执行）有的读者可能会疑惑，怎么启动Hadoop后，见不到书上所说的
秦景坤·2017-04-24 22:18

hadoop2.x配置

hadoop2.x配置1.独立模式没有运行的守护程序，所有程序运行在一个JVM中。适合开发期间运行MapReduce程序，源于他的易于测试和调试。
兮小熙·2017-04-10 17:08
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他