Hadoop2.x

Hadoop1.x版本升级Hadoop2.x

引言随着企业数据化和Hadoop的应用越加广泛，hadoop1.x的框架设计越来越无法满足人们对需求，Apache一直在对Hadoop1.x进行修改，最后推出了新一代的Hadoop2.x。
YU文武�·2016-04-21 10:56

Hadoop1.x版本升级Hadoop2.x

引言随着企业数据化和Hadoop的应用越加广泛，hadoop1.x的框架设计越来越无法满足人们对需求，Apache一直在对Hadoop1.x进行修改，最后推出了新一代的Hadoop2.x。
YU文武貝·2016-04-21 10:56

Hadoop2.X中HDFS的高可用性实现原理

在Hadoop2.0.0之前，NameNode(NN)在HDFS集群中存在单点故障（singlepointoffailure），每一个集群中存在一个NameNode，如果NN所在的机器出现了故障，那么将导致整个集群无法利用，直到NN重启或者在另一台主机上启动NN守护线程。主要在两方面影响了HDFS的可用性：（1）、在不可预测的情况下，如果NN所在的机器崩溃了，整个集群将无法利用，直到NN被重新启动
AnneQiQi·2016-04-17 21:00

Hadoop安装配置、运行第一个WordCount示例程序

目录如下：一：Hadoop运行环境安装：java1.6安装配置Hadoop用户创建SHH安装及配置二：安装Hadoop2.x下载安装配置三：WordCount示例程
qq_23617681·2016-04-17 11:45

Hadoop安装配置、运行第一个WordCount示例程序

目录如下：一：Hadoop运行环境安装：java1.6安装配置Hadoop用户创建SHH安装及配置二：安装Hadoop2.x下载安装配置三：WordCount示例程
qq_23617681·2016-04-17 11:00

Ubuntu安装hadoop2.7.1----伪分布搭建

先上传hadoop的安装包到服务器上去/home/hadoop/注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop伪分布式需要修改5个配置文件3.1配置hadoop第一个：
幸运六叶草·2016-04-16 21:13

Ubuntu安装hadoop2.7.1----伪分布搭建

先上传hadoop的安装包到服务器上去/home/hadoop/   注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop   伪分布式需要修改5个配置文件   3.1配置hadoop
AnneQiQi·2016-04-16 21:00

MapReduce Input Split（输入分/切片）详解

Hadoop2.x默认的block大小是128MB，
光于前裕于后·2016-04-14 13:44

MapReduce Input Split（输入分/切片）详解

Hadoop2.x默认的block大小是128MB，
光于前裕于后·2016-04-14 13:44

MapReduce Input Split（输入分/切片）详解

Hadoop2.x默认的block大小是128MB，
Dr_Guo·2016-04-14 13:00

初步掌握HDFS的架构及原理

目录HDFS是做什么的HDFS从何而来为什么选择HDFS存储数据HDFS如何存储数据HDFS如何读取文件HDFS如何写入文件HDFS副本存放策略Hadoop2.x新特性1、HDFS是做什么的HDFS（HadoopDistributedFileSystem
ljc520313·2016-04-13 15:00

Hadoop1.x和Hadoop2.x中fsimage和edits合并实现

Hadoop1.x中fsimage和edits合并实现用过Hadoop的用户应该都知道在Hadoop里面有个SecondaryNamenode进程，从名字看来大家很容易将它当作NameNode的热备进程。其实真实的情况不是这样的。SecondaryNamenode是HDFS架构中的一个组成部分，它是用来保存namenode中对HDFSmetadata的信息的备份，并减少namenode重启的时间而
levy_cui·2016-04-13 14:00

hadoop2.x常用端口、定义方法及默认端口

以hadoop2.2为例完全分布式最新高可靠安装文档http://www.aboutyun.com/thread-7684-1-1.htmlhadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比http://www.aboutyun.com/thread-7513-1-1.htmladoop2.X使用手册1：通过web端口查看主节点、slave1节点及集群运行状态http://
aibati2008·2016-04-13 11:00

编译安装方式部署Hadoop 2.x集群

编译安装方式部署Hadoop2.x两节点集群步骤：1.安装编译程序必须的软件，如gcc,cmake,libtool,ncurses-devel,openssl-devel2.下载jdk，hadoop源码包
carter115·2016-04-11 14:00

hadoop yarn配置的一点小问题

hadoop2.x中的yarn配置的项都比较多，因此需要比较小心，一个不小心输错了，错误比较难发现，本人最近几天就在配置yarn的过程中遇到了一些问题，找了很久才发现问题所在。
brandonroy347·2016-04-10 12:43

Hadoop 2.2 & HBase 0.96 Maven 依赖总结

http://blog.csdn.net/huoyunshen88/article/details/39083247由于Hbase0.94对Hadoop2.x的支持不是非常好，故直接添加Hbase0.94
buster2014·2016-04-06 09:00

hadoop2.x集群的log4j配置文件

log4j.properties：log4j.rootLogger=INFO,stdout#log4j.logger.org.springframework=INFO#log4j.logger.org.apache.activemq=INFO#log4j.logger.org.apache.activemq.spring=WARN#log4j.logger.org.apache.activemq.
u014028392·2016-04-05 19:00

免安裝、免設定的 Hadoop 開發環境 - cloudera 的 QuickStart VM

下載後解壓縮，可直接以VirtualBox、VMWare、Docker、KVM任一虛擬機，開啟Hadoop2.x執行環境，並可用內建本地模式的Eclipse開發工具，開發、執行Hadoop程式碼。
WizardWu·2016-04-02 14:00

免安裝、免設定的 Hadoop 開發環境 - cloudera 的 QuickStart VM

下載後解壓縮，可直接以VirtualBox、VMWare、Docker、KVM任一虛擬機，開啟Hadoop2.x執行環境，並可用內建本地模式的Eclipse開發工具，開發、執行Hadoop程式碼。
WizardWu·2016-04-02 14:00

分布式配置 tachyon 并运行Hadoop例子 MapReduce

blog.csdn.net/u012587561/article/details/51039977)笔者运行环境：tachyon0.8.2hadoop2.7.1ubuntu14.04（虚拟机共三台）使用Hadoop2
u012587561·2016-04-01 23:00

大数据作协框架Oozie

案例实现mapreduce运行四hive案例实现shell五coordinatetimetrigger六coodernate实例七总结一，概述大数据协作框架是一个桐城，就是Hadoop2生态系统中几个辅助的Hadoop2
youfashion·2016-03-31 18:00

Linux下Ant编译Hadoop-eclipse-plugin-2.x.x.jar插件

一、介绍因为一开始想做关于MapReduce任务的远程提交，在这个过程中有幸试验了Hadoop2.x版本的eclipse插件的编译方法，这里总结一下，方便新手学习二、过程1、下载Hadoop2.xplugin
u011518678·2016-03-31 15:00

Hadoop2.x配置HA

各节点配置参考表主机NameNodeDataNodeZookeeperZKFCJournalNodeResourceManagerNodeManagernode11111node2111111node31111node4111文件配置：core-site.xml hadoop.tmp.dir /csh/hadoop/hadoop2.7.2/tmp fs.defaultFS hdfs://myc
u011642663·2016-03-27 12:00

配置Hadoop2.x的HDFS、MapReduce来运行WordCount程序

主机HDFSMapReducenode1NameNodeResourceManagernode2SecondaryNameNode&DataNodeNodeManagernode3DataNodeNodeManagernode4DataNodeNodeManager1.配置hadoop-env.shexportJAVA_HOME=/csh/link/jdk2.配置core-site.xml fs.
u011642663·2016-03-25 13:00

Hadoop生态系统

分布式并行计算框架MapReduceHadoop2.0稳定版本2.2.01.HadoopCommon2.分布式文件系统HDFS3.分布式并行计算框架MapReduce4.YARN               Hadoop2
问候你爸·2016-03-20 19:00

HDFS之节点

在hadoop1.x中HDFS为了给NameNode备份信息，唯一的选择是使用从节点(SecondaryNameNode)，Hadoop2.x中引入了检查节点和备份节点，这样以来能更高效的保证NameNode
sucre·2016-03-16 22:00

浅析SNN，CN,BN,HA,Federation

SNN的作用现在（Hadoop2.x）可以被两个节点替换CheckpointNode和BackupNode。 CheckpointNode可以理解为与SecondaryNameNode的作用
sucre·2016-03-16 22:00

hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比

问题导读：1.DataNode的http服务的端口、ipc服务的端口分别是哪个？2.NameNode的http服务的端口、ipc服务的端口分别是哪个？3.journalnode的http服务的端口、ipc服务的端口分别是哪个？4.ResourceManager的http服务端口是哪个？5.NodeManager的http服务端口是哪个？6.Master的http服务的端口、ipc服务的端口分别是哪
wuruiaoxue·2016-03-13 10:00

Ubuntu14.0.4下，shell编译-打包-运行Hadoop2.7.2的MapReduce程序

   运行在本地模式  本文是根据对网上【作者：给力星】的文件的实践，作者原文在：   http://www.powerxing.com/hadoop-build-project-by-shell/一、Hadoop2
Veechange·2016-03-08 12:00

云计算学习

Hadoop2.x深入浅出基础课程笔记1、什么是Hadoop？“谁说大象不能跳舞？！Hadoop——轻松应对海量数据存储和分析所带来的挑战！
cy1046090768·2016-03-07 23:06

04_Apache Hadoop 生态系统

内容提纲： 1）对ApacheHadoop生态系统的认识（Hadoop1.x和Hadoop2.x）2）ApacheHadoop1.x框架架构原理的初步认识3）ApacheHadoop1.x安装的三种模式
YouxiBug·2016-03-04 15:00

hadoop2.x 动态添加节点

假设添加的节点主机名为slave031.在各个节点上修改hosts文件添加islave03(确定防火墙已经关闭)2.配置namenode节点和resourcemanager节点到slave03的免登录3.拷贝slave02(datanode节点)所有的hadoop文件到slave03上4.在/hadoop/zookeeper-3.4.5/conf/zoo.cfg添加(server.3表示之前已经存
jiangpeng59·2016-03-03 20:00

Hadoop2.X 64位编译

1编译Hadoop2.X64位1.1软硬件环境说明节点使用CentOS系统，防火墙和SElinux禁用，创建了一个shiyanlou用户，并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限（一般做法是root用户在根目录下创建/app目录，并修改该目录拥有者为shiyanlou(chown–Rsh
DeryLiu·2016-03-03 19:03

Hadoop2.x 与1.x 架构对比说明

Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更：（1）HDFS的NameNode可以以集群的方式布署，增强了NameNodes的水平扩展能力和高可用性，分别是:HDFS Federation与HA；（2）MapReduce将JobTracker中的资源管理及任务生命周期管理（包括
zhuxtqw·2016-03-03 08:17

《精通Hadoop》：第 1 章　Hadoop 2.X

第1章Hadoop2.X“没有什么是不能通过搜索引擎或互联网找到的。”——埃里克·施密特，谷歌执行主席在大规模、高并行和分布式计算处理这个行业中，Hadoop实际上是大家所使用的一种开源框架标准。
GarfieldEr007·2016-02-28 16:36

hadoop2.x源码编译

转载请标明出处：http://blog.csdn.net/zwto1/article/details/50733753；介绍本篇主要会涉及以下内容:学会编译hadoop2.x源码编译hadoop源码为什么要编译由于
FlinkMe·2016-02-24 22:00

hadoop2.x源码编译

转载请标明出处：http://blog.csdn.net/zwto1/article/details/50733753；介绍本篇主要会涉及以下内容:学会编译hadoop2.x源码明白如何将hadoop项目导入
u013067629·2016-02-24 22:00

maven hadoop hbase 依赖

由于Hbase0.94对Hadoop2.x的支持不是非常好，故直接添加Hbase0.94的jar依赖可能会导致问题。    
huangxia73·2016-02-17 13:00

hadoop2.x常用端口及定义方法

端口Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS,YARN,HBase,Hive,ZooKeeper:组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.add
奋起直追CDS·2016-02-09 20:16

hadoop2.x常用端口及定义方法

端口Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS,YARN,HBase,Hive,ZooKeeper:组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.add
Dustin_CDS·2016-02-09 20:00

Hadoop2.x动态添加或删除datanode

 1涉及到的命令：hadoop-daemon.shstartnamenode hadoop-daemon.shstartdatanode yarn-daemon.shstartresourcemanager yarn-daemon.shstartnodemanager yarnnode-list ./hdfsdfsadmin-refreshNodes ./hdfsdfsadmi
username2·2016-01-31 12:31

MapReduce-Join中级优化-hadoop自带datajoin的解决方法

如果是hadoop2.x则该包在${HADOOP_HOME}/share/hadoop/tools/lib下面把包引入工程中就可以使
doegoo·2016-01-29 14:00

Hadoop 5、HDFS HA 和 YARN

NameNode压力过大，内存受限，影响系统扩展MapReduce存在问题JobTracker单点故障JobTracker压力过大，影响系统扩展难以支持除MapReduce以外的计算框架如Spark、Strom等；Hadoop2
拉斐尔[Raphael]·2016-01-29 11:00

【Spark 1.5.1】 安装

一、Hadoop2.x安装Hadoop2.x安装 http://my.oschina.net/u/204498/blog/519789二、Spark1.5.1安装1.下载spark1.5.1http:/
wilbur·2016-01-27 16:00

Spark架构模型介绍

SparkContext来协调，这个对象一般在我们的main程序里面，通常称为驱动程序，特别的，为了能够在集群上运行，SparkContext对象支持集成了大多数集群调度比如，Spark自己的standalone，Hadoop2
qindongliang1922·2016-01-25 18:00

【Hadoop】Hadoop0.20.2的安装

x版本，而且力推2.x版本，然而现在市面上大多数书籍与资料都是经典的hadoop-0.20.2.tar.gz版本，据说，其属于Hadoop1.x版本体系，Hadoop1.x版本的安装是大同小异，区别于Hadoop2
yongh701·2016-01-25 16:00

Spark架构模型介绍

SparkContext来协调，这个对象一般在我们的main程序里面，通常称为驱动程序，特别的，为了能够在集群上运行，SparkContext对象支持集成了大多数集群调度比如，Spark自己的standalone，Hadoop2
·2016-01-25 10:00

怎么编译hadoop2.x的eclipse插件

Hadoop2.x之后，已经发布了稳定的版本hadoop2.2.0.但是由于没有eclipse插件工具，辅助，开发调试相对起来，会稍显麻烦，特别是基于Java开发的工程师们，虽然写完MR任务后，也可以采用打成
weitao1026·2016-01-24 11:00

四步来完成编译eclipse插件的过程

在Hadoop2.x中，已经不支持eclipse的插件了，不过可以
weitao1026·2016-01-23 21:00

Hadoop伪分布式搭建-（3）

安装hadoop2.4.1（或其他更高版本）注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop伪分布式需要修改5个配置文件3.0上传hadoop并解压到指定目录同jdk一样
戴暉戴暉·2016-01-19 17:15
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他