hadoop2.2.0)

Hadoop 2.2.0 (YARN)搭建笔记

最近工作需要，摸索着搭建了Hadoop2.2.0(YARN)集群，中间遇到了一些问题，在此记录，希望对需要的同学有所帮助。    
twlkyao·2013-12-21 15:00

Hadoop2.2.0使用之初体验

安装使用Hadoop2.2.0务必要先搞清除OS是32位还是64位的，由于Apache社
zhangzhaokun·2013-12-21 12:00

[置顶] Hadoop2.2.0源码分析（一）——Eclipse运行WordCount.java

  学习一门技术，并不仅仅要会用，还要知道它的原理，这里简单分析一下Hadoop样例程序源码，便于后边的学习（分析的不到位，还望各位指教）。  在hadoop-2.2.0.tar.gz文件下没有找到源码（新版本不但没有Eclipse插件，也没有源码，只有.class字节码文件），可以下载hadoop-2.2.0-src.tar.gz，解压，然后在hadoop-mapreduce-examples/
twlkyao·2013-12-20 23:00

Hadoop 2.2.0单机版安装

环境：centos6.2,jdk7_u45,hadoop2.2.0   下载，解压过程就不说了，直接环境配置（包括JAVA_HOME的配置，以及HADOOP_HOME的环境变量配置，都略过了）。
时间在追我·2013-12-19 18:00

Hadoop2.2.0 hive0.12 hbase0.94 配置问题记录

环境：centos6.2 Hadoop2.2.0 hive0.12 hbase0.94   1>hadoop配好之后，跑任务老失败，yarn失败，报out of memory错误，然后怎么调整内存大小都不行
·2013-12-19 17:00

fedora 20 上的hadoop 2.2.0 x64 编译过程

hadoop2.2.0有了本地依赖，由于其不提供编译好的64位的依赖库，所以我们得自己编译。首先是依赖的软件包这里面可能有一部分fedora已经自带了，有的可能没有，不同的发行版情况可能不一样。
流浪的洋葱·2013-12-19 16:00

简单的MapReduce程序（Hadoop2.2.0）

继上篇文章： 配置Hadoop开发环境（Eclipse） http://blog.csdn.net/zythy/article/details/17397153我们以简化版的气温统计为例，演示如何开发一个MapReduce程序。 Eclipse中新建一个MapReduce项目，命名为MaxTemperature。源代码文件新建以下3个类文件，代码依次如下：MaxTemperatureDriver.
zythy·2013-12-18 18:00

Hadoop2.2.0的eclipse插件的编译

Hadoop2.x之后，已经发布了稳定的版本hadoop2.2.0.但是由于没有eclipse插件工具，辅助，开发调试相对起来，会稍显麻烦，特别是基于Java开发的工程师们，虽然写完MR任务后，也可以采用打成jar包的方式，上传调试，但是这种方式，也有点繁琐，不过网上也好像有一些，使用程序能够自动打包任务的程序，散仙没具体用过，在这里，就不多涉及了，有知道的朋友们，欢迎分享。下面开始进入正题，散仙
qindongliang1922·2013-12-17 13:00

Hadoop2.2.0的eclipse插件的编译

Hadoop2.x之后，已经发布了稳定的版本hadoop2.2.0.但是由于没有eclipse插件工具，辅助，开发调试相对起来，会稍显麻烦，特别是基于Java开发的工程师们，虽然写完MR任务后，也可以采用打成jar包的方式，上传调试，但是这种方式，也有点繁琐，不过网上也好像有一些，使用程序能够自动打包任务的程序，散仙没具体用过，在这里，就不多涉及了，有知道的朋友们，欢迎分享。下面开始进入正题，散仙
qindongliang1922·2013-12-17 13:00

Hadoop2.2.0的eclipse插件的编译

Hadoop2.x之后，已经发布了稳定的版本hadoop2.2.0.但是由于没有eclipse插件工具，辅助，开发调试相对起来，会稍显麻烦，特别是基于Java开发的工程师们，虽然写完MR任务后，也可以采用打成jar包的方式，上传调试，但是这种方式，也有点繁琐，不过网上也好像有一些，使用程序能够自动打包任务的程序，散仙没具体用过，在这里，就不多涉及了，有知道的朋友们，欢迎分享。下面开始进入正题，散仙
qindongliang1922·2013-12-17 13:00

Hadoop2.2.0的eclipse插件的编译

Hadoop2.x之后，已经发布了稳定的版本hadoop2.2.0.但是由于没有eclipse插件工具，辅助，开发调试相对起来，会稍显麻烦，特别是基于Java开发的工程师们，虽然写完MR任务后，也可以采用打成jar包的方式，上传调试，但是这种方式，也有点繁琐，不过网上也好像有一些，使用程序能够自动打包任务的程序，散仙没具体用过，在这里，就不多涉及了，有知道的朋友们，欢迎分享。下面开始进入正题，散仙
qindongliang1922·2013-12-17 13:00

Hadoop2.2.0的eclipse插件的编译

Hadoop2.x之后，已经发布了稳定的版本hadoop2.2.0.但是由于没有eclipse插件工具，辅助，开发调试相对起来，会稍显麻烦，特别是基于Java开发的工程师们，虽然写完MR任务后，也可以采用打成jar包的方式，上传调试，但是这种方式，也有点繁琐，不过网上也好像有一些，使用程序能够自动打包任务的程序，散仙没具体用过，在这里，就不多涉及了，有知道的朋友们，欢迎分享。下面开始进入正题，散仙
qindongliang1922·2013-12-17 13:00

Hadoop2.2.0的eclipse插件的编译

Hadoop2.x之后，已经发布了稳定的版本hadoop2.2.0.但是由于没有eclipse插件工具，辅助，开发调试相对起来，会稍显麻烦，特别是基于Java开发的工程师们，虽然写完MR任务后，也可以采用打成jar包的方式，上传调试，但是这种方式，也有点繁琐，不过网上也好像有一些，使用程序能够自动打包任务的程序，散仙没具体用过，在这里，就不多涉及了，有知道的朋友们，欢迎分享。下面开始进入正题，散仙
qindongliang1922·2013-12-17 13:00

Hadoop2.2.0版本多节点集群安装及测试

摘要：本文记录了Hadoop2.2.0版本多节点集群安装过程，并做了基本配置，启动运行和测试了一个单词统计例子。 
zhu_9527·2013-12-17 11:00

[置顶] Hadoop2.2.0的Eclipse插件

  Hadoop2.2.0还算比较新的，还没有配套的Eclipse插件，在Github上看到有高手编译的插件，就下来编译，可是速度奇慢，还好经过搜索找到了别人根据此Github项目编译生成的插件，拿来分享
twlkyao·2013-12-15 15:00

[置顶] Hadoop常用端口（以Hadoop2.2.0为例，不保证其他版本）

  在进行Hadoop开发的时候，经常需要在可视化界面中查看当前运行状态，可以通过一些特定端口查看，这里将Hadoop常用端口进行总结，备忘（我使用的是伪分布式，请按照自己的实际情况进行地址修改）。1.ResourceManagehttp://localhost:80882.NameNodehttp://localhost:500703.NodeManagerhttp://localhost:80
twlkyao·2013-12-14 11:00

Hadoop-2.2.0 Linux 64位系统本地库编译

Hadoop2.2.0提供了YARN，相信很多朋友都跃跃欲试。但是Apache下载的版本默认只提供32位的。
震秦·2013-12-11 13:00

Hadoop2.2.0 Ubuntu12.04单节点安装

摘自：http://blog.csdn.net/twlkyao/article/details/16801753一：环境准备：基于WindowsServer下VMWare的ubuntu12.04-64server.下载免费的VMwareWorkstation并安装好;下载免费的Ubuntu12.04server版并在VMware中安装好；二：基础安装：执行如下命令升级部分软件和把ssh安装好：  
jiayuboxin·2013-12-11 10:00

Hadoop2.2.0安装配置手册

第一部分Hadoop2.2下载     Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译（10楼评论中提供了一个解决方法链接）。下载地址:http://apache.claz.org/hadoop/common/hadoop-2.2.0/如下图所示，下载红色标记
cnxk·2013-12-06 01:00

Hadoop 2.2.0 Symlink的使用

Hadoop2.2.0允许创建软连接并且允许MapReduce程序直接处理这些Symlink。
zuochanxiaoheshang·2013-12-04 17:00

Hadoop 2.2.0 Symlink的使用

Hadoop2.2.0允许创建软连接并且允许MapReduce程序直接处理这些Symlink。
sdzzboy·2013-12-04 16:00

hadoop2.2.0集群安装

说明：目前官方hadoop2.2只有32位的版本，安装到64位肯定有问题，比如执行jar包会提示没有本地库。。。。。。。。。如果要安装64位的，需要自己编译，这里不做阐述，一下都以32位说明。环境：试验使用的虚拟机ubuntu12.04（32位）。Jdk使用的1.7（1.6也可以）。网络配置好，相互可以ping通，java环境安装完毕。第一部分Hadoop2.2下载Hadoop我们从Apache官
jiangheng0535·2013-12-02 17:00

hadoop2.2.0集群安装

说明：目前官方hadoop2.2只有32位的版本，安装到64位肯定有问题，比如执行jar包会提示没有本地库。。。。。。。。。如果要安装64位的，需要自己编译，这里不做阐述，一下都以32位说明。环境：试验使用的虚拟机ubuntu12.04（32位）。Jdk使用的1.7（1.6也可以）。网络配置好，相互可以ping通，java环境安装完毕。 第一部分Hadoop2.2下载     Hadoop我们从A
jiangheng0535·2013-12-02 09:00

hadoop2.2.0编译1 准备

下载的hadoop2.2.0默认是32位的，如果不重新编译启动会报莫名其妙的错误 1 、安装 jdk7  maven3  ant1.9.4 在/etc/profile中设置好 JAVA_HOME
qqggcc·2013-11-29 23:00

Hadoop2.2.0 单节点安装

如果是基于学习的目的而需要使用Hadoop，建议下载Linux虚拟机，比如Ubuntu，然后在虚拟机中安装Hadoop。可以Google一下VMWarePlayer和Ubuntu，并下载安装到本地。你也可以下载其他一些工具以方便您操作虚拟机，比如Putty。请参考各自相关文档。如果不具备操作Linux的基本知识，建议先熟悉Linux的基本操作。（本人也不是Linux高手，但是可以进行基本操作，比如
zythy·2013-11-29 11:00

hadoop2.2.0集群环境部署详细步骤

探讨问题的同胞们可以加QQ群：3153090061.windows下安装vmware workstation 9 2.vm虚拟网络编辑器选择添加网络 VMnet0 NAT，子网IP 192.168.2.0 3.install debian6，最简化安装，不从镜像下载安装 4.安装完成，以root身份登录debian系统 5.apt-cache search openssh 6.apt-get in
williams·2013-11-28 23:00

hadoop2.2.0 的fairscheduler 遇到的一个问题

在使用hadoop2.2.0的fairscheduler的时候，出现了下面的一个问题：当多个客户端提交任务的时候，发现生成的appatempt没有进入fairscheduler的eventQueue，导致
baiyangfu·2013-11-28 16:00

Hadoop分布式文件系统架构部署

今天我们来实际搭建一下Hadoop2.2.0版，实战环境为目前主流服务器操作系统CentOS
wgkgood·2013-11-27 13:29

Hadoop分布式文件系统架构部署

今天我们来实际搭建一下Hadoop2.2.0版，实战环境为目前主流服务器操作系统CentOS5
吴光科·2013-11-27 13:29

hadoop2.2.0 centos 编译安装详解

废话不讲，直切正题。搭建环境:Centosx6.464bit1、安装JDK我这里用的是64位机，要下载对应的64位的JDK,下载地址：http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html，选择对应的JDK版本，解压JDK，然后配置环境变量,vi/etc/profile注：
w13770269691·2013-11-26 14:00

CentOS6.4安装hadoop2.2.0集群Pass总结

http://blog.csdn.net/licongcong_0224/article/details/12972889  这篇Blog对细节部分介绍的很好，但我站在一个才接触hodoop的新手的角度来看，有些东西讲的有点杂乱，不好理解。我的意思并不是说前面的Blog写的不好，我还是非常感谢作者的分享。我只是在其基础上，将其重要的需要注意的地方总结一下，方便大家，也方便自己以后查阅。1.集群的安
zwj0403·2013-11-23 00:00

启动hadoop2.0中nfs网关服务的步骤

需要解决两个问题，一是如何启动portmap和nfs网关，二是如何在客户端挂载hdfs；以下适用于ubuntu10.04系统及hadoop2.2.0；启动portmap和nfs网关编译源码后启动nfs网关需要拷贝的文件目录
zlx0615·2013-11-22 11:34

hadoop2.2.0安装与启动

转自：http://blog.csdn.net/jiushuai/article/details/16817311SetupnewestHadoop2.x(2.2.0)onUbuntuInthistutorialIamgoingtoguideyouthroughsettinguphadoop2.2.0environmentonUbuntu.Prerequistive[java]viewplainc
白发缓歌·2013-11-21 14:42

hadoop2.2.0安装与启动

转自：http://blog.csdn.net/jiushuai/article/details/16817311SetupnewestHadoop2.x(2.2.0)onUbuntuInthistutorialIamgoingtoguideyouthroughsettinguphadoop2.2.0environmentonUbuntu.Prerequistive[java]viewplainc
白发缓歌·2013-11-21 14:42

Hadoop2.2.0版本多节点集群安装及测试

摘要：本文记录了Hadoop2.2.0版本多节点集群安装过程，并做了基本配置，启动运行和测试了一个单词统计例子。
javastart·2013-11-19 22:00

hadoop2.2.0安装与启动

  SetupnewestHadoop2.x(2.2.0)onUbuntuInthistutorialIamgoingtoguideyouthroughsettinguphadoop2.2.0environmentonUbuntu.Prerequistive$sudoapt-getinstallopenjdk-7-jdk $java-version javaversion"1.7.0_25" Op
jiushuai·2013-11-19 08:00

hadoop2.2.0 + hbase 0.94 + hive 0.12 配置记录

  一开始用hadoop2.2.0 + hbase 0.96 + hive 0.12 ，基本全部都配好了。只有在hive中查询hbase的表出错。
·2013-11-14 17:00

[置顶] Hadoop2.2.0中HDFS的高可用性实现原理

在Hadoop2.0.0之前，NameNode(NN)在HDFS集群中存在单点故障（singlepointoffailure），每一个集群中存在一个NameNode，如果NN所在的机器出现了故障，那么将导致整个集群无法利用，直到NN重启或者在另一台主机上启动NN守护线程。主要在两方面影响了HDFS的可用性：（1）、在不可预测的情况下，如果NN所在的机器崩溃了，整个集群将无法利用，直到NN被重新启动
w397090770·2013-11-14 15:00

ganglia3.6 监控 hadoop2.2.0

既然hadoop都用了最新版本，那ganglia干脆也用最新的，下面记录一下使用ganglia3.6监控hadoop2.2.0遇到问题：ganglia3.6安装：1、编译安装gangliatarxfganglia
baiyangfu·2013-11-14 11:00

hbase在hadoop2.2.0编译安装，及常见问题

我的环境是：hadoop2.2.0 hbase0.94.11有5台机器：baby19,baby18,baby17,baby16,baby15一.编译；1.下载hbase，解压2.hbase的pom.xml
teddeyang·2013-11-12 17:00

hadoop2.2.0 hbase0.96 安装snappy

在hadoop2.2.0集群上安装了一下snappy，安装过程很简单，可以看一下这个博客：http://shitouer.cn/2013/01/hadoop-hbase-snappy-setup-final-tutorial
baiyangfu·2013-11-12 15:00

Hadoop 2.2.0 单节点安装

Hadoop2.2.0已经发布，网上有很多教程说明安装的过程，不过总有些问题存在……这里把我安装的过程分享一下。建议采用Ubuntu12.04.3LTSServerx64版本或者其他长期支持版本。
ichsonx·2013-11-09 10:00

[置顶] Hadoop2.2.0完全分布式集群平台安装与设置

作者:过往记忆 | 新浪微博：左手牵右手TEL | 可以转载,但必须以超链接形式标明文章原始出处和作者信息及版权声明博客地址:http://www.iteblog.com/文章标题:《Hadoop2.2.0
·2013-11-07 09:00

安装CDH5 hadoop2.2.0遇到的配置问题(二)

hadoop版本：hadoop-2.2.0-cdh5.0.0-beta-1 今天在安装hadoop后，启动了namenode，在执行hadoop fs -put /tmp/test.dat /test命令后，报了下面的一个错： 13/11/05 23:40:36 WARN util.NativeCodeLoader: Unable to load native-hadoop lib
tangjunliang·2013-11-06 18:00

安装CDH5 hadoop2.2.0遇到的配置问题

hadoop版本: cloudera hadoop2.2 CDH5     今天在安装hadoop后，启动start-yarn.sh后，nodemanager起不起来，后来查看DN节点的日志，报了以下一个错误： FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error sta
tangjunliang·2013-11-06 18:00

Hadoop2.2.0 实例测试 WordCount程序

装好的hadoop测试一1个示例程序WordCount，首先需要在操作系统上新建两个任意文件，然后上传到hadoop，再运行该程序统计文件中单词的个数，最后查看结果。在操作系统上新建任意文件：例如：[hadoop@hadoop01input]$lstest1.txt test2.txt查看hadoop的文件系统目录[hadoop@hadoop01input]$hadoopfs-ls/Found1i
tanqingru·2013-11-06 14:00

Hadoop2.0 Namenode HA实现方案介绍及汇总

基于社区最新release的Hadoop2.2.0版本，调研了hadoopHA方面的内容。
zbf8441372·2013-11-05 15:00

Hadoop2.2.0来了，大数据各框架又风起云涌！

    2013年10月15日Hadoop2的稳定版本2.2.0发布了！它解决了NameNode的水平扩转问题，也解决了NameNode的单点故障问题，也引入了引领大数据下一轮次革命的具有划时代意义的资源管理框架YARN！    话说大数据2.0时代的来临就是以YARN为基础的新一代Hadoop框架的发布为起点。    原来的Hadoop上只跑一个MapRedeuce来进行离线计算，大不了再结合下
zhangzhaokun·2013-11-04 22:00

HBase安装笔记

从官网下载Hbase(0.96.0)和Hadoop(2.2.0), 因为服务器是64bit的，所以只能下载hadoop2.2.0的源码，自己编译。 1.1 如果要编译本地库
qicen·2013-11-01 17:00

hadoop2.2.0遇到NativeLibraries错误的解决过程

问题描述        在安装好hadoop进行测试学习时，遇到下面的问题。hadoop为2.2.0，操作系统为oraclelinux6.364位。[hadoop@hadoop01input]$hadoopdfs-put./inDEPRECATED:Useofthisscripttoexecutehdfscommandisdeprecated.Insteadusethehdfscommandfor
tanqingru·2013-10-30 10:00
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他