hadoop2.5.2

VMware Hadoop2.5.2分布式环境搭建

1. Centos安装主流虚拟机软件有VirtualBox和Vmwareworkstation，后者为商用软件，主推后者，对于这两款软件的使用，在本文中就不赘述了，不会的同学可以参考https://github.com/judasn/Linux-Tutorial/blob/master/CentOS-Install.md（judasn整理了很多学习资料，在这向他学习致敬）2. 虚拟网络配置使用VM
FuYung·2016-04-22 23:00

Win7下用Eclipse向Hadoop2.5.2集群提交MapReduce程序的注意事项

 主要描述下，在Win7环境下，通过eclipse往集群提交MapReduce程序的过程。一、环境说明：开发环境：WIN7Eclipse版本：eclipse-jee-indigoHadoop版本：Hadoop2.5.2MR运行模式：Yarn 二、使用MapReduce的Eclipse插件：插件名称：hadoop-eclipse-plugin-2.5.2.jar可以网上下载，本文档附件中也有上传。将
szjian·2016-04-14 11:00

Win7下用Eclipse向Hadoop2.5.2集群提交MapReduce程序的注意事项

阅读更多主要描述下，在Win7环境下，通过eclipse往集群提交MapReduce程序的过程。一、环境说明：开发环境：WIN7Eclipse版本：eclipse-jee-indigoHadoop版本：Hadoop2.5.2MR运行模式：Yarn二、使用MapReduce的Eclipse插件：插件名称：hadoop-eclipse-plugin-2.5.2.jar可以网上下载，本文档附件中也有上传
szjian·2016-04-14 11:00

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

一.概述1.1hadoop1.0的单点问题Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。如下图所示，便是hadoop1.0的架构图；1.2hadoop2.0对hadoop1.0单点问题的
·2016-04-12 11:00

Hadoop2.5.2 map reduce 多目录自定义文件名输出

mos可以和content一起用packagejyw.test;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.NullWritable;importorg.apa
bobboy007·2016-04-08 15:58

Nutch2.3.1 新闻分类爬虫

Contents项目介绍配置文件本地抓取分布式环境配置开发环境配置solr4.10.3配置hadoop2.5.2安装部署项目下载地址联系作者项目介绍本项目基于https://github.com/xautlx
lqleo323·2016-03-23 16:00

用C++进行hadoop程序开发（hadoop Pipes）

系统配置：在Linux系统上已安装好hadoop2.5.2版本（本人系统为CentOS7.0（64位系统）。
萌面女xia·2016-01-28 10:42

Ubuntu14搭建Hadoop2.5.2伪分布式开发环境

环境说明linux版本：ubuntu-14.04.1-desktop-amd64下载地址：http://www.ubuntu.com/download/desktophadoop版本：hadoop-2.5.2下载地址：http://hadoop.apache.org/releases.htmljava版本：jdk1.7.0_67下载地址：http://pan.baidu.com/s/1bncVBm
Jumay0612·2015-12-24 16:37

搭建hadoop/spark集群环境

hadoop2.5.2的安装可以参照:http://blog.csdn.net/greensurfer/article/details/39450369jdk下载地址:http://www.oracle.com
openthings·2015-12-24 13:00

Hive启动报错： Found class jline.Terminal, but interface was expected

启动hive时报如下错误： 条件：hive1.2.1 hadoop2.5.2 原因： hadoop目录下存在老版本jline：/hadoop-2.5.2/share/hadoop/yarn/lib：-rw-r
weigang.gao·2015-11-30 22:00

hadoop2.5.2 eclipse 插件编译

原文地址：http://aub.iteye.com/blog/2162155插件地址：https://github.com/winghc/hadoop2x-eclipse-plugin  1.下载并解压hadoop2.x，下载地址http://hadoop.apache.org/releases.html#Download（我下载的是编译好的包） 2.下载并解压eclipse(我的是4.4.1版本
larntin2002·2015-11-27 19:00

Call to localhost/127.0.0.1:9000 failed on connection exception:java.net.ConnectException

今天启动自己编译好的的hadoop2.5.2[ubuntu12.04x86]，在执行hadoopdfsadmin-report之后遇到如下错误：report:CallFromjava.net.UnknownHostException
larntin2002·2015-11-26 10:00

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

Hadoop2.5.2HA高可靠性集群搭建(Hadoop+Zookeeper)阅读目录一.概述二.Hadoop（HA）集群的搭建三.集群的启动四.测试HA的高可用性一.概述1.1hadoop1.0的单点问题Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了
·2015-11-19 15:00

hadoop problem

启动hadoop2.5.2遇到的datanode启动不了日志信息如下： 简单的操作是将这个节点上hadoop工作目录中内存删除就行了  2.Hadoop开启关闭调试信息开启：exportHADOOP_ROOT_LOGGER
weigang.gao·2015-11-14 22:00

hadoop2.5.2学习及实践笔记（二）—— 编译源代码及导入源码至eclipse

生产环境中hadoop一般会选择64位版本，官方下载的hadoop安装包中的native库是32位的，因此运行64位版本时，需要自己编译64位的native库，并替换掉自带native库。 源码包下的BUILDING.txt，包含官方介绍，如：如何在linux、windows下编译；编译过程中的错误处理；将源码导入eclipse中的步骤等，推荐看一看。   本文环境同：hadoop
·2015-11-11 06:45

hadoop2.5.2学习及实践笔记（六）—— Hadoop文件系统及其java接口

  文件系统概述 org.apache.hadoop.fs.FileSystem是hadoop的抽象文件系统，为不同的数据访问提供了统一的接口，并提供了大量具体文件系统的实现，满足hadoop上各种数据访问需求，如以下几个具体实现（原表格见《hadoop权威指南》）：   文件系统 URI方案 Java实现 （org.apache.hadoop）
·2015-11-11 00:51

hadoop2.5.2学习及实践笔记（四）—— namenode启动过程源码概览

对namenode启动时的相关操作及相关类有一个大体了解，后续深入研究时，再对本文进行补充   >实现类 HDFS启动脚本为$HADOOP_HOME/sbin/start-dfs.sh，查看start-dfs.sh可以看出，namenode是通过bin/hdfs命令来启动 $ vi start-dfs.sh # namenodes NAMENODES=$($HA
·2015-11-11 00:50

hadoop2.5.2学习及实践笔记（五）—— HDFS shell命令行常见操作

附：HDFS shell guide文档地址 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/FileSystemShell.html   启动HDFS后，输入hadoop fs命令，即可显示HDFS常用命令的用法 [hadoop@localhost hadoop-2.5.2]$ ha
·2015-11-11 00:50

hadoop2.5.2学习及实践笔记（三）—— HDFS概念及体系结构

    注：文中涉及的文件路径或配置文件中属性名称是针对hadoop2.X系列，相对于之前版本，可能有改动。     附： HDFS用户指南官方介绍： http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html  
·2015-11-11 00:49

hadoop2.5.2学习及实践笔记（一）—— 伪分布式学习环境搭建

软件 　　工具：vmware 10 　　系统：centOS 6.5  64位 　　Apache Hadoop: 2.5.2  64位 　　Jdk:  1.7.0_75  64位 安装规划 　　/opt/softwares/       ************* 软件包路径 　　&nb
·2015-11-11 00:48

Hadoop2.5.2完全分布式 运行wordcount

[hadoop@lrts216bin]$./hdfsdfs-mkdir-p/lrts/zhangzk13/12/1922:20:41WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable[hadoop@lrts216bin]
shubingzhuoxue·2015-11-09 10:00

Ubuntu 14.04安装Hadoop2.5.2单机+伪分布式

Ubuntu14.04安装Hadoop2.5.2(单机模式)http://www.linuxidc.com/Linux/2015-03/115173.htmUbuntu14.04安装Hadoop2.5.2
shubingzhuoxue·2015-11-08 15:00

Ubuntu 14.04安装Hadoop2.5.2(单机模式)

http://www.linuxidc.com/Linux/2015-03/115173p2.htm
shubingzhuoxue·2015-11-08 15:00

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

http://www.open-open.com/lib/view/open1436855630959.html
八戒_o·2015-10-28 10:00

hadoop2.5.2 运行实例 /home/hadoop/tmp due to 权限不够

[hadoop@master ~]$ [hadoop@master ~]$hadoopjar/opt/hadoop-2.5.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar pi100100Errorcreatingtempdirinhadoop.tmp.dir/home/hadoop/tmpdueto权限不够[hadoop@
八戒_o·2015-10-28 00:00

hadoop2.5.2 ExitCodeException exitCode=-107374151

ErrorMessage:        "Theprogramcan'tstartbecauseMSCVR100.dllismissingfromyour computer.Tryreinstallingtheprogramtofixthisissue"解决方法:下载 dff_fdp2-msvcr100.exe安装即可。参考上下文:https://issues.apache.org/jira/b
八戒_o·2015-10-22 23:00

hadoop2.5.2安装

 安装之前，想好自己的安装顺序，我的安装顺序        1确定安装集群的数量和namenode,datanode分配，然后修改对应的osts配置文件        2让集群之间实现ssh无密码登陆（hadoop集群中，namenode节点需要能够ssh无密码访问datanode节点）       3配置详细环境，主要为jdk包和hadoop包 本章主要介绍安装过程，详细的配置文档请点击--》h
MR.洋·2015-10-07 23:00

hadoop2.5.2 启动 发现DataNode没有启动启来？

hadoop2.5.2启动成功后，用jps查看：感觉少了DataNode确实少了DataNode。
八戒_o·2015-09-21 22:00

hadoop2.5.2 配置免密码登录

配置免登录Ø创建或者修改密钥目录权限假设本机的IP为“192.168.1.100”，配置免登录的操作步骤如下： 1.以hadoop用户登录各服务器。 2.执行以下命令，修改“.ssh目录”权限。    chmod755~/.ssh  说明：如果“.ssh”目录不存在，请在/home/hadoop目录执行mkdir~/.ssh命令创建。 a)若“.ssh目录”不存在，创建”.ssh目录”。mkdir
八戒_o·2015-09-08 22:00

Hadoop2.5.2 64bit 完全分布式安装

Hadoop2.5.264bit完全分布式安装1.安装环境Windows764bitVMwareWorkstation10CentOS6.564bitjdk版本：jdk-7u9-linux-x64.tar.gzhadoop版本：hadoop-2.5.2-src.tar.gzhadoop集群3个节点，一主两从，如下：角色ip用户运行进程master192.168.1.100hadoopJobHist
jihuanliang·2015-08-27 23:22

Hadoop2.5.2完全分布式集群安装

阅读更多《Hadoop2.5.2集群安装》1、环境介绍操作系统：CentOSX646.5物理机器：192.168.170.130(node1)、192.168.170.131(node2)、192.168.170.132
ych0108·2015-08-21 21:00

Hadoop2.5.2完全分布式集群安装

阅读更多《Hadoop2.5.2集群安装》1、环境介绍操作系统：CentOSX646.5物理机器：192.168.170.130(node1)、192.168.170.131(node2)、192.168.170.132
ych0108·2015-08-21 21:00

Hadoop2.5.2完全分布式集群安装

《Hadoop2.5.2集群安装》1、环境介绍操作系统：CentOS X646.5物理机器：192.168.170.130(node1)、192.168.170.131(node2)、192.168.170.132
ych0108·2015-08-21 21:00

Hadoop2.5.2+HA+zookeeper3.4.6详细配置过程

前言本文主要通过对hadoop2.5.2集群配置的过程加以梳理，所有的步骤都是通过自己实际测试。文档
carribean·2015-07-29 14:00

NUTCH2.3 hadoop2.7.1 hbase1.0.1.1 solr5.2.1部署(二）

master192.168.1.105->slave/regionservershbase部署直接下载hbasebin文件hbase1.0.1.1 还有hbase0.98.13 和hadoop2.7.1/hadoop2.5.2
butyesbutno·2015-07-23 15:00

求助hadoop2.X分布式搭建两个NameNode均无法正常启动

场景描述：hadoop2.5.2分布式部署，按照《传智播客7天视频》里第五天的教程部署，部署完成后，在主节点上启动hdfs，两个nameservers上的nameNode服务都没有启动（第一次是有一个启动成功
hyz301·2015-07-22 12:00

求助hadoop2.X分布式搭建两个NameNode均无法正常启动

场景描述：hadoop2.5.2分布式部署，按照《传智播客7天视频》里第五天的教程部署，部署完成后，在主节点上启动hdfs，两个nameservers上的nameNode服务都没有启动（第一次是有一个启动成功
hyz301·2015-07-20 19:00

hadoop学习路线之：ant简介及其使用

因为学习hadoop需要编译hadoop2.5.2的eclipse插件，故需要学习下apacheant。
hyz301·2015-07-15 11:00

hadoop学习路线之：ant简介及其使用

因为学习hadoop需要编译hadoop2.5.2的eclipse插件，故需要学习下apacheant。
hyz301·2015-07-15 11:00

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

一.概述转载请出自出处：http://eksliang.iteye.com/blog/22269861.1hadoop1.0的单点问题Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。如下图
eksliang·2015-07-13 17:00

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

一.概述转载请出自出处：http://eksliang.iteye.com/blog/22269861.1hadoop1.0的单点问题Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。如下图
eksliang·2015-07-13 17:00

使用Maven开发Hadoop

环境为Hadoop2.5.2（如何搭建环境教程），在pom.xml中加入以下配置文件。     
爱兔一生·2015-07-08 10:00

CentOS6.6搭建Hadoop2.5.2伪分布式环境

虽然目前工作中不需要使用这个，但是，技多不压身，经过虚拟机很多遍的尝试，终于将Hadoop2.5.2的环境顺利搭建起来了。    
爱兔一生·2015-07-07 16:00

Hadoop2.5.2集群部署

一、环境转载请出至出处：http://eksliang.iteye.com/blog/2223784准备3台虚拟机，安装Centos64-bit操作系统。192.168.177.131mast1.commast1192.168.177.132mast2.commast2192.168.177.133mast3.commast3其中mast1充当NameNade节点、mast2、mast3充当Dat
eksliang·2015-07-02 16:00

Hadoop2.5.2集群部署

一、环境转载请出至出处：http://eksliang.iteye.com/blog/2223784准备3台虚拟机，安装Centos64-bit操作系统。192.168.177.131mast1.commast1192.168.177.132mast2.commast2192.168.177.133mast3.commast3其中mast1充当NameNade节点、mast2、mast3充当Dat
eksliang·2015-07-02 16:00

关于Hadoop学习的感悟（一）

这里需要注意的是找对Hadoop的版本和对应的安装教程例如Hadoop2.5.2的Apache文档可以直接到地址找到安装教程（个人感觉Apache的安装教程较为清楚，所以如果有条件还是按照官网的来吧）。
zjx409·2015-06-27 14:00

Hadoop集群搭建

为了跟上时代步伐，附上新版本hadoop2.5.2的安装教程链接http://blog.csdn.net/shubingzhuoxue/article/details/49718095在这个教程中需要注意几点
iwantknowwhat·2015-06-23 20:00

hadoop 2.5.2 完全分布式集群环境搭建 (1)

经过一番艰辛的过程，搭建好hadoop2.5.2的完全分布式集群环境，本文描述环境的搭建，后续文章将描述开发环境及HDFSAPI及MapReduce例程编写及运行过程，转载请注明出处(http://blog.csdn.net
kylindai·2015-06-21 22:11

hadoop学习笔记(六)——hadoop2.5.2全分布模式实现的部署

环境：centos7+hadoop2.5.2+jdk1.7已经在前两篇博客中出现的步骤具体细节一笔带过，不再展示，具体可以参考ssh免密码登陆，伪分布1) SSH免密码登陆2) 主节点安装jdk和hadoop，并配置环境变量3) 配置主节点hadoop配置文件除了需要额外配置slave，其他的跟伪分布一致。yarn-site.xml配置文件需要额为一下信息 yarn.nodemanager.au
thinkpadshi·2015-06-19 13:00

【Hadoop十六】Capacity Scheduler

在Hadoop2.5.2中，默认的资源调度器默认使用的算法是计算能力调度器，配置文件位于/etc/hadoop/capacity-scheduler.xml,不做任何修改，它的配置文件内容如下，默认配置中显示了一些可用的配置参数以及这些配置参数的默认值
bit1129·2015-06-13 13:00
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他