Hadoop2.x

如何在win7下的eclipse中以local模式调试Hadoop2.2.0的程序

hadoop2.2.0,如果你使用的还是hadoop1.x的版本，那么，也没事，散仙在以前的博客里，也写过eclipse调试1.x的hadoop程序，两者最大的不同之处在于使用的eclipse插件不同，hadoop2
qindongliang1922·2014-06-10 21:00

如何在win7下的eclipse中以local模式调试Hadoop2.2.0的程序

hadoop2.2.0,如果你使用的还是hadoop1.x的版本，那么，也没事，散仙在以前的博客里，也写过eclipse调试1.x的hadoop程序，两者最大的不同之处在于使用的eclipse插件不同，hadoop2
qindongliang1922·2014-06-10 21:00

如何在win7下的eclipse中以local模式调试Hadoop2.2.0的程序

hadoop2.2.0,如果你使用的还是hadoop1.x的版本，那么，也没事，散仙在以前的博客里，也写过eclipse调试1.x的hadoop程序，两者最大的不同之处在于使用的eclipse插件不同，hadoop2
qindongliang1922·2014-06-10 21:00

如何在win7下的eclipse中以local模式调试Hadoop2.2.0的程序

hadoop2.2.0,如果你使用的还是hadoop1.x的版本，那么，也没事，散仙在以前的博客里，也写过eclipse调试1.x的hadoop程序，两者最大的不同之处在于使用的eclipse插件不同，hadoop2
qindongliang1922·2014-06-10 21:00

如何在win7下的eclipse中以local模式调试Hadoop2.2.0的程序

hadoop2.2.0,如果你使用的还是hadoop1.x的版本，那么，也没事，散仙在以前的博客里，也写过eclipse调试1.x的hadoop程序，两者最大的不同之处在于使用的eclipse插件不同，hadoop2
qindongliang1922·2014-06-10 21:00

如何在Centos6.5下部署hadoop2.2单机伪分布式

hadoop2.x的稳定版本，已经发布多时了，散仙一直都用的hadoop1.x的版本，最近有项目用到hadoop2.x，所以就开始折腾hadoop2.x了，在hadoop2.x的版本里，目前最新版本已经到
qindongliang1922·2014-06-10 20:00

如何在Centos6.5下部署hadoop2.2单机伪分布式

hadoop2.x的稳定版本，已经发布多时了，散仙一直都用的hadoop1.x的版本，最近有项目用到hadoop2.x，所以就开始折腾hadoop2.x了，在hadoop2.x的版本里，目前最新版本已经到
qindongliang1922·2014-06-10 20:00

如何在Centos6.5下部署hadoop2.2单机伪分布式

hadoop2.x的稳定版本，已经发布多时了，散仙一直都用的hadoop1.x的版本，最近有项目用到hadoop2.x，所以就开始折腾hadoop2.x了，在hadoop2.x的版本里，目前最新版本已经到
qindongliang1922·2014-06-10 20:00

如何在Centos6.5下部署hadoop2.2单机伪分布式

hadoop2.x的稳定版本，已经发布多时了，散仙一直都用的hadoop1.x的版本，最近有项目用到hadoop2.x，所以就开始折腾hadoop2.x了，在hadoop2.x的版本里，目前最新版本已经到
qindongliang1922·2014-06-10 20:00

如何在Centos6.5下部署hadoop2.2单机伪分布式

hadoop2.x的稳定版本，已经发布多时了，散仙一直都用的hadoop1.x的版本，最近有项目用到hadoop2.x，所以就开始折腾hadoop2.x了，在hadoop2.x的版本里，目前最新版本已经到
qindongliang1922·2014-06-10 20:00

如何在Centos6.5下部署hadoop2.2单机伪分布式

hadoop2.x的稳定版本，已经发布多时了，散仙一直都用的hadoop1.x的版本，最近有项目用到hadoop2.x，所以就开始折腾hadoop2.x了，在hadoop2.x的版本里，目前最新版本已经到
qindongliang1922·2014-06-10 20:00

如何在CentOS6.5下编译64位的Hadoop2.x

hadoop2.x在apache官网直接下载的并没有64位直接能用的版本，如果我们想在64位系统使用，那么就需要重新编译hadoop，否则直接使用32位的hadoop运行在64位的系统上，将会出现一些库不兼容的异常
qindongliang1922·2014-06-09 18:00

如何在CentOS6.5下编译64位的Hadoop2.x

hadoop2.x在apache官网直接下载的并没有64位直接能用的版本，如果我们想在64位系统使用，那么就需要重新编译hadoop，否则直接使用32位的hadoop运行在64位的系统上，将会出现一些库不兼容的异常
qindongliang1922·2014-06-09 18:00

如何在CentOS6.5下编译64位的Hadoop2.x

hadoop2.x在apache官网直接下载的并没有64位直接能用的版本，如果我们想在64位系统使用，那么就需要重新编译hadoop，否则直接使用32位的hadoop运行在64位的系统上，将会出现一些库不兼容的异常
qindongliang1922·2014-06-09 18:00

如何在CentOS6.5下编译64位的Hadoop2.x

hadoop2.x在apache官网直接下载的并没有64位直接能用的版本，如果我们想在64位系统使用，那么就需要重新编译hadoop，否则直接使用32位的hadoop运行在64位的系统上，将会出现一些库不兼容的异常
qindongliang1922·2014-06-09 18:00

如何在CentOS6.5下编译64位的Hadoop2.x

hadoop2.x在apache官网直接下载的并没有64位直接能用的版本，如果我们想在64位系统使用，那么就需要重新编译hadoop，否则直接使用32位的hadoop运行在64位的系统上，将会出现一些库不兼容的异常
qindongliang1922·2014-06-09 18:00

如何在CentOS6.5下编译64位的Hadoop2.x

hadoop2.x在apache官网直接下载的并没有64位直接能用的版本，如果我们想在64位系统使用，那么就需要重新编译hadoop，否则直接使用32位的hadoop运行在64位的系统上，将会出现一些库不兼容的异常
qindongliang1922·2014-06-09 18:00

hadoop2.x整合手册【4】---mahout0.9安装部署与测试

基本过程和0.8版本的安装http://blog.csdn.net/xqj198404/article/details/9619265的一致需要在bin目录下的mahout文件的头部添加如下环境变量HADOOP_CONF_DIR="hadoop的配置目录需要以/结尾" HADOOP_HOME="hadoop的安装目录需要以/结尾" MAHOUT_HEAPSIZE=2000mahout可以调用的内存
xqj198404·2014-06-05 11:00

hadoop2.x整合手册【3】---编译sqoop的jar以及client的api调用

编译sqoop在windows下使用mvn编译的时候jre的环境是不够的，必须安装jdk，并且设置JAVA_HOME这个环境变量设置完成后使用cmd进入到sqoop目录下的client目录然后调用mvnmaven安装路径\mvncompile进行编译，调用maven安装路径\mvnpackage-Pbinary打包成jar成功后在target目录里生成sqoop-client-1.99.3.jar
xqj198404·2014-05-26 14:00

hadoop2.x整合手册【2】---sqoop1.9.x安装与部署

sqoop1.9简介此版本的sqoop分为服务器和客户端两个部分,服务端可以独立安装hadoop集群的任意一台节点，甚至此节点的hadoop服务可以不处于运行状态。在启动服务端后任意安装客户端即可。在新的架构下，各种命令的执行全部放在了客户端。类似redis的客户端使用方式。安装步骤1.修改server/conf下的sqoop.properties中的hadoop的配置项路径,以及logging.
xqj198404·2014-05-23 17:00

hadoop2.x整合手册【1】--hadoop2.x安装与配置

前置工作此处阅读需要曾经有1.x版本的安装部署经验ssh无密码配置如同1.X版本和防火墙需要关闭，而需要的java环境也要准备好将hadoop集群进行网络隔离，服务请求以及数据请求不要直接访问hadoop集群安装步骤一、核心配置文件以及配置（此处配置来源于官网）conf/core-site.xmlParameterValueNotesfs.defaultFSNameNodeURIhdfs://ho
xqj198404·2014-05-21 15:00

hadoop2.x的安装

可以自己从官网编译打包也可以直接下载官网的.gz包。自己编译打包的过程如下：1、查看是否安装cmake、svn、openssl、ncurses，没有的直接安装上yumlist|grepcmakeyumlist|grepncursesyuminstall-yncurses.i386ncurses-devel.i386yumlist|grepopensslyuminstall-yopenssl-dev
在路上.......·2014-05-19 15:00

hadoop ha配置

HADOOPHA配置hadoop2.x的ha配置，此文档中描述有hdfs与yarn的ha配置。此文档的假定条件是zk已经安装并配置完成,其实也没什么安装的。
hongs_yang·2014-05-15 20:00

hadoop-ha配置

HADOOPHA配置hadoop2.x的ha配置，此文档中描述有hdfs与yarn的ha配置。此文档的假定条件是zk已经安装并配置完成,其实也没什么安装的。
u014393917·2014-05-15 20:00

[置顶] Hadoop2.x的学习路线

从接触hadoop2.x开始，已经有很长一段时间，总结一下自己的学习路线：1：原理篇HDFS原理（计划中）MapReduce原理（计划中）YARN原理（计划中）2：运维hadoop2.2.0测试环境搭建
book_mmicky·2014-05-13 15:00

mahout0.9 + hadoop2.2 中文文本分类实战（上）

到我写这个的时候，mahout还是0.9版本，官网上发行的0.9版本不能跑在hadoop2.x上。不过最新的代码已经支持hadoop2.x了。所以自己编译一下也是ok的，因为实在不想换hadoop。
一只小桃子·2014-05-08 22:00

hadoop2.x常用端口及定义方法

Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS,YARN,HBase,Hive,ZooKeeper:组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addre
没有到不了的明天·2014-05-04 16:35

hadoop2.x配置 - 启用snappy

Snappy是一个压缩/解压缩库。它的压缩率并非最高，但是它在保证一定压缩率情况下，压缩及解压缩速度非常快。基于以上特点，Snappy非常适合用于HadoopMapReduce中间数据压缩。Snappy详情参见：http://code.google.com/p/snappy/。本文将介绍如何在Hadoop2中启用Snappy压缩。1、下载Snappy的rpm包：http://www.rpmfind
mrknowledge·2014-04-28 10:11

hadoop2.x配置 - 启用snappy

Snappy是一个压缩/解压缩库。它的压缩率并非最高，但是它在保证一定压缩率情况下，压缩及解压缩速度非常快。基于以上特点，Snappy非常适合用于HadoopMapReduce中间数据压缩。Snappy详情参见：http://code.google.com/p/snappy/。本文将介绍如何在Hadoop2中启用Snappy压缩。1、下载Snappy的rpm包：http://www.rpmfind
Mrknowledge·2014-04-28 10:00

Hadoop2.x解决NN单点故障问题

hadoop解决单点故障问题主要是通过两种方式：1、NFS文件共享2、QJM方式CLOUDERA提出的在Hadoop2.x中有两个nn,一个是activenamenode状态是active，另一个是standynamenode
蓝狐乐队·2014-04-27 11:00

Hadoop2.x在Ubuntu系统中编译源码

本文主要记录Hadoop2.x在Ubuntu 12.04下编译源码的主要步骤和注意点： ［一］、基础环境 Ubuntu 12.04 LTS 64  位 Hadoop2.2.0
sjsky·2014-04-22 14:00

Hadoop2.x在Ubuntu系统中编译源码

本文主要记录Hadoop2.x在Ubuntu 12.04下编译源码的主要步骤和注意点： ［一］、基础环境 Ubuntu 12.04 LTS 64  位 Hadoop2.2.0
sjsky·2014-04-22 14:00

Hadoop 2.x中fsimage和edits合并实现

在《Hadoop1.x中fsimage和edits合并实现》文章中，我们谈到了Hadoop1.x上的fsimage和edits合并实现，里面也提到了Hadoop2.x版本的fsimage和edits合并实现和
Mrknowledge·2014-04-15 15:00

Twitter Storm进阶初步，Storm能做什么

以及后续会放出的几篇Storm高级特性以及最终将Storm融入Hadoop2.x的YARN中。目的读者是已经进阶大数据的Hadoop，Spark用户，或者了解Storm想深入理解Storm的读者用户。
震秦·2014-04-13 13:00

hadoop2.x和hadoop1.x的区别

hadoop2.0解决了hadoop1.x版本的一些问题如：1.解决了namenode单点故障问题。2.解决namenode内存压力过大难以扩展问题。3.解决JobTracker单点故障问题。4.解决JobTracker访问压力过大问题。5.解决对MapReduce之外的框架支持问题。
蓝狐乐队·2014-04-11 11:00

Hadoop日志存放路径详解

本文基于Hadoop2.x版本进行说明的，其中有些地方在Hadoop1.x中是没有的，请周知。一、Hadoop系统服务输
Mrknowledge·2014-04-09 17:00

Hadoop2.2.0的eclipse插件的编译

Hadoop2.x之后，已经发布了稳定的版本hadoop2.2.0.但是由于没有eclipse插件工具，辅助，开发调试相对起来，会稍显麻烦，特别是基于Java开发的工程师们，虽然写完MR任务后，也可以采用打成
cxin917·2014-04-01 21:00

Hadoop从入门到精通之 如何从Hadoop1.x转到Hadoop2.x

Hello大家好，我是stefan，今天来和大家分享下如何将Hadoop1.x迁移至Hadoop2.x。
guoshenglong11·2014-04-01 14:00

Hadoop2.x Yarn作业提交（服务端）

 RM接收到客户端作业提交请求时会通过RPCserver做回应，其实客户端就是通过ApplicationClientProtocol的RPC客户端提交作业的，客户端的提交流程参见上篇文章，在提交阶段的代码中，首先会调用getNewApplication来获得一个GetNewApplicationResponse，该返回类中包含了APP的ApplicationId，调度器资源信息。需要注意的是在RM
lihm0_1·2014-03-27 14:00

Hadoop2.x Yarn作业提交（客户端）

YARN作业提交的客户端仍然使用RunJar类，和MR1一样，可参考 http://blog.csdn.net/lihm0_1/article/details/13629375在1.x中是向JobTracker提交，而在2.x中换成了ResourceManager，客户端的代理对象也有所变动，换成了YarnRunner，但大致流程和1类似，主要的流程集中在JobSubmitter.submitJo
lihm0_1·2014-03-26 16:00

Hadoop2.x NodeManager启动之服务启动

在NM各服务初始化完毕之后，会进入启动阶段，该阶段的调用栈如下由于NM也是一个综合服务类，所以他会进入CompositeService的serviceStart循环启动各个服务，代码如下：protectedvoidserviceStart()throwsException{ //获得服务列表 Listservices=getServices(); if(LOG.isDebugEnabled()){
lihm0_1·2014-03-21 20:00

eclipse插件的编译――Hadoop2.2.0版

下面开始进入正题，散仙来详细介绍下，怎么编译hadoop2.x的eclipse插件，在这里首先，你得具备如下几个条件，Ant工具，hadoop2.2.0的压缩包，eclipse插件的压缩包（散仙在后面已经上传
DavideyLee·2014-03-21 16:16

Hadoop2.x NodeManager启动之服务初始化

 NM和RM类似，也是以服务的形式启动，但服务相对于RM来说少些，也经历服务初始化和服务启动两个阶段，NM继承自CompositeService。NM的服务初始化列表如下：NM的启动入口publicstaticvoidmain(String[]args){ //异常处理 Thread.setDefaultUncaughtExceptionHandler(newYarnUncaughtExcepti
lihm0_1·2014-03-21 15:00

Hadoop-2.2.0集群安装配置实践

Hadoop2.x和1.x已经大不相同了，应该说对于存储计算都更加通用了。
zhu_9527·2014-03-21 15:00

Hadoop2.x ResourceManager启动之服务启动

YARNResourceManager启动之服务启动RM是个综合服务类，内部包含了多个服务，所有的服务被放在列表中，通过循环逐个启动，其他服务的列表如下：每个服务的启动都遵循一定的流程，服务的启动流程如下：1、ResourceManager.java中的serviceStart调用父类的serviceStart//ResourceManager.java protectedvoidserviceS
lihm0_1·2014-03-19 14:00

hadoop2.x配置 - override log4j.properties in hadoop

Question:HowdoIoverridethedefaultlog4j.propertiesinhadoop?IfIsetthehadoop.root.logger=WARN,console,itdoesnotprintthelogsontheconsole,whereaswhatIwantisthatitshouldn'tprinttheINFOinthelogsfile.Iaddedal
Mrknowledge·2014-03-19 11:00

Hadoop2.x ResourceManager启动之服务初始化

 在RM的启动过程中有两个重要的步骤，1、服务初始化2、启动服务。在初始化阶段会将RM中各个功能以服务的形式保存到RM的服务列表中（ArrayList）并执行初始化操作，RM中几乎所有的重要组件都是以服务的形式提供的，RM对服务做了抽象，方便统一管理。下面我们先看RM的服务初始化阶段做了哪些事情.publicstaticvoidmain(Stringargv[]){ //未捕获异常处理类 Thre
lihm0_1·2014-03-18 14:00

从 Yarn 回滚到 Hadoop 1.x

upgrade后没有执行过finalizeUpgrade的操作，否则将会导致回滚失败、NameNode不能正常启动：2、设置、启用Hadoop1.x的环境变量3、更改‘dfs.data.dir’目录的权限Hadoop2
samhacker·2014-03-16 10:00

从Hadoop 1.x升级到Yarn

1、停掉所有的Hadoop1.x进程2、copyHadoop2.x项目文件到所有节点上3、设置Hadoop2.x的环境变量4、编辑Hadoop2.x的配置文件值得注意的是：需要使用之前版本的HDFS的metadata
samhacker·2014-03-15 17:00

Ubuntu上使用Hadoop 2.x 六 HDFS cluster搭建

准备多个虚拟机将前文Ubuntu上使用Hadoop2.x四Multi-nodecluster基本设置的hd1虚拟机hostname修改为namenode,IP:192.168.1.71然后以此克隆出虚拟机
sheismylife·2014-03-09 20:00
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他