E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop2.5.1
Hadoop HA 高可用集群搭建
搭建环境:环境版本地址地址CentOS6.564x点击下载
hadoop2.5.1
点击下载Zookeeper3.4.5点击下载HadoopHa配置null点击下载nullnullnullch01192.168.128.121NNDNRMch02192.168.128.122NNDNNMch03192.168.128.123DNNM
wespten
·
2022-07-16 12:38
ELK
Hadoop
Spark
大数据安全
大数据
hadoop学习记录之hadoop版本升级问题解决
hadoop学习记录之hadoop版本升级问题解决我之前用的是hadoop2.4.1是32位的,在运行程序时发现不行了,必须得升级,
hadoop2.5.1
开始支持64位的了。
JustInToday
·
2020-08-21 16:54
hadoop学习笔记
Hadoop:Centos6.5(64bit)
Hadoop2.5.1
伪分布式安装记录
注意:以下安装步骤在Centos6.5操作系统中进行,安装步骤同样适于其他操作系统,如有同学使用Ubuntu等其他Linux操作系统,只需注意个别命令略有不同。注意一下不同用户权限的操作,比如关闭防火墙,需要用root权限。单节点的hadoop安装出现的问题会在如下几个方面:JDK环境的配置、防火墙是否关闭、root用户和hadoop用户的不同操作等。在搭建的过程中细心一点,按照下面的步骤做,基本
weixin_30781631
·
2020-08-19 04:47
vmware10上三台虚拟机的
Hadoop2.5.1
集群搭建
本环境采用编译后的
hadoop2.5.1
。
baixlzju
·
2020-07-09 13:06
Spark集群部署
Spark集群集群环境基于hadoop集群64bit(
hadoop2.5.1
、jdk1.7)CentOS6.4下安装配置Spark-0.9集群Spark是一个快速、通用的计算集群框架,它的内核使用Scala
Garry1115
·
2020-07-09 06:27
spark
Centos6.5源码编译安装
Hadoop2.5.1
[plain]viewplaincopyCentos6.5(64bit)jdk7ant1.9.4maven3.1.1findbugs3.0.0protobuf2.5.0hadoop2.5.1源代码文件二、安装以上所需的所有软件1.yum可安装的软件[html]viewplaincopyyuminstallsvnncurses-develgcc*lzo-develzlib-develautoconf
程序员成长史
·
2020-07-07 13:09
Hadoop
Linux
Azkaban2.5.0与
Hadoop2.5.1
的集成
本文主要介绍Azkaban与
Hadoop2.5.1
、Hive0.13.1的集成安装部署。
tambac
·
2020-06-26 19:15
大数据
Hadoop
Hadoop-2.5.1安装步骤及异常处理
目标在vmware14.1.1中的三个虚拟机上安装
hadoop2.5.1
稳定版本。由于hadoop2.x.x都是同一个系列,所以其他hadoop2.x.x版本的安装可以参照这篇步骤来做。
钟镇刚
·
2020-06-24 16:28
hadoop
大数据学习
精华创作
Azkaban2.5.0与
Hadoop2.5.1
的集成
Azkaban2.5.0与
Hadoop2.5.1
的集成2014-10-2917:371042人阅读评论(2)收藏举报分类:Hadoop(1)大数据(4)版权声明:本文为博主原创文章,未经博主允许不得转载
滑过的板砖
·
2020-06-23 15:17
Azkaban
Hadoop2.5.1
完全分布式安装
机器类型,64位centos;列表:masterslave1slave2slave3slave40准备工作0.1修改每台机器的hostname为列表中的名字如master就做如下修改:[root@master~]#vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=master[root@master~]#vi/etc/hosts#127.0.0.1loc
猫又全宗
·
2020-06-21 19:13
hadoop
Hadoop2.5.1
完全分布式搭建
搭建环境:Vmware12+Centos6.4备注:基于虚拟机搭建hadoop完全分布式集群(没有截图!!!)&&前期准备工作:将vmware设置为桥接模式(即直接同外网连接,不用通过主机上网)vmware中克隆虚拟机后,会出现以下三个问题:网络的配置和源机一样用户名称与源机一样用户的hosts与源机一样1)修改网络配置1)vim/etc/udev/rules.d/70-persistent-ne
安多的风ch
·
2020-06-21 09:55
Linux
Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群(也可访问该网页查看:http://tn.51cto.com/article/562)所需软件:(1)下载
Hadoop2.5.1
爱情89757
·
2018-04-10 20:31
Hadoop
大数据
云计算
hadoop 集群HA高可用搭建以及问题解决方案
HA高可用搭建目录大纲1.hadoopHA原理2.hadoopHA特点3.Zookeeper配置4.安装Hadoop集群5.HadoopHA配置搭建环境环境版本地址地址CentOS6.564x点击下载
hadoop2.5.1
Zero麒麟
·
2017-02-20 19:22
apache
zookeeper
apache
hadoop
eclipse链接
hadoop2.5.1
时报错Error:Call From roo/10.30.12.xxx to hostname1:9000 failed on connection excep
问题:我用eclipse(Mar.2Release(4.5.2))连接
hadoop2.5.1
时报错:Error:CallFromroo/10.30.12.xxxtohostname1:9000failedonconnectionexception
u013226462
·
2016-04-28 16:00
一个namenode能正常启动,状态为active,另一个namenode无法启动
简介:我在搭建
hadoop2.5.1
的HDFS(HAWithQJM)时遇到了上述问题。在此先强调一点:我之前做过HA,现在要重做。
u013226462
·
2016-04-28 11:00
Eclipse JDBC连接Hive 两种方法 hiveserver hiveserver2
环境:CentOS6.5,
Hadoop2.5.1
,Hive0.13.1,使用mysql作为元数据库安装Hadoop、Hive的过程就不说了,网上一大堆Eclipse创建项目创建java项目:HiveJdbcClientBuildPath
黄大仙儿
·
2016-03-31 17:51
大数据
hadoop2.5.1
reduce阶段报错
hadoop2.5.1
运行报错错误记录如下:Could not find any valid local directory for hadoop/local/usercache/hadoop/appcache
yuansen1999
·
2016-02-20 16:00
hadoop2.5.1+Hbase0.98安装
一、
Hadoop2.5.1
编译zlib的安装与使用zlib是一个很好的压缩解压缩库,今天我们分别介绍如何在Linux与Windows上安装与使用:一:Linux平台首先看看自己的机器上是不是已经安装好zlib
wzq6578702
·
2015-12-11 14:00
windows
hadoop
压缩
linux
hbase
vmware10上三台虚拟机的
Hadoop2.5.1
集群搭建
本环境采用编译后的
hadoop2.5.1
。
·
2015-11-11 13:22
hadoop2
OS X Yosemite下安装
Hadoop2.5.1
伪分布式环境
最近开始学习Hadoop,一直使用的是公司配好的环境。用了一段时间后发现对Hadoop还是一知半解,故决定动手在本机上安装一个供学习研究使用。正好自己用的是mac,所以没啥说的,直接安装。 总体流程 1.安装jdk并配置好环境变量。因为Hadoop是使用java开发的,所以JDK是必须的。 2.实现ssh无密码验证配置 可以用ssh无需登陆连接到localhost。Hadoop并不要求
·
2015-11-11 12:40
hadoop2
fedora20安装hadoop-2.5.1
到hadoop官网去copy一下链接地址(
hadoop2.5.1
的地址http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.1/hadoop-2.5.1
·
2015-11-11 11:01
hadoop
在fedora20下配置
hadoop2.5.1
的eclipse插件
(博客园-番茄酱原创) 在我的系统中,hadoop-2.5.1的安装路径是/opt/lib64/hadoop-2.5.1下面,然后hadoop-2.2.0的路径是/home/hadoop/下载/hadoop-2.2.0,我的eclipse的安装路径是/opt/programming/atd-bundle/eclipse。 因为老师需要我们写mapreduce程序,所以现在需要配置hadoop的
·
2015-11-11 06:52
eclipse插件
32位Ubuntu12.04搭建
Hadoop2.5.1
完全分布式环境
准备工作 1、准备安装环境: 4台PC,均安装32位Ubuntu12.04操作系统,统一用户名和密码 交换机1台 网线5根,4根分别用于PC与交换机相连,1根网线连接交换机和实验室网口 2、使用ifconfig查看各PC的IP地址,并确保可以相互ping通 pc1 192.168.108.101 pc2 192.168.108.146 pc3 192.168.1
·
2015-10-31 10:56
hadoop2
大数据之Hadoop平台(二)Centos6.5(64bit)
Hadoop2.5.1
伪分布式安装记录,wordcount运行测试
注意:以下安装步骤在Centos6.5操作系统中进行,安装步骤同样适于其他操作系统,如有同学使用Ubuntu等其他Linux操作系统,只需注意个别命令略有不同。注意一下不同用户权限的操作,比如关闭防火墙,需要用root权限。单节点的hadoop安装出现的问题会在如下几个方面:JDK环境的配置、防火墙是否关闭、root用户和hadoop用户的不同操作等。在搭建的过程中细心一点,按照下面的步骤做,基本
chaun
·
2015-04-14 11:00
mapreduce
分布式
hdfs
yarn
hadoop2.5.1
大数据之Hadoop平台(二)Centos6.5(64bit)
Hadoop2.5.1
伪分布式安装记录,wordcount运行测试
注意:以下安装步骤在Centos6.5操作系统中进行,安装步骤同样适于其他操作系统,如有同学使用Ubuntu等其他Linux操作系统,只需注意个别命令略有不同。注意一下不同用户权限的操作,比如关闭防火墙,需要用root权限。单节点的hadoop安装出现的问题会在如下几个方面:JDK环境的配置、防火墙是否关闭、root用户和hadoop用户的不同操作等。在搭建的过程中细心一点,按照下面的步骤做,基本
kobe_gino
·
2015-04-14 11:00
mapreduce
分布式
hdfs
yarn
hadoop2.5.1
Centos源码编译安装Hadoop2.6
Centos6.5(64bit) jdk7 ant1.9.4 maven3.1.1 findbugs3.0.0 protobuf2.5.0
hadoop2.5.1
源代码文件
ihanxiao2100
·
2015-03-25 15:00
java
源代码
profile
Export
Hadoop2.5.1
在Ubuntu14中的伪分布配置+wordcount测试+eclipse环境配置
Hadoop2.5.1
在Ubuntu14中的伪分布配置+wordcount测试+eclipse环境配置一.安装前须知系统:Ubuntu14.04(64位)Hadoop安装包:hadoop-2.5.1.tar.gzJavajdk
Angela_xiaoli
·
2015-01-19 20:51
hadoop
hadoop2.5.1
伪分布式部署
可参阅官方文档http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html文件下载:http://mirrors.hust.edu.cn/apache/hadoop/common/注:可直接使用2.5.2或2.6.0版本 都解决了2.5.1中不稳定bug 1 伪分布式
xuanxiangyu
·
2015-01-04 14:25
伪分布式部署
hadoop2.5.1
Spark集群部署
Spark集群集群环境基于hadoop集群64bit(
hadoop2.5.1
、jdk1.7)CentOS6.4下安装配置Spark-0.9集群 Spark是一个快速、通用的计算集群框架,它的内核使用Scala
zwx19921215
·
2014-12-09 11:00
spark
集群部署
分布式安装
hadoop2.5.1
集群部署(完全分布式)
hadoop2.5完全分布式环境介绍:环境介绍:3台虚拟机安装centos6.464位、jdk1.764位、hadoop2.5.164位 主机配置规划1.修改主机名和/etc/hosts文件1)修改主机名(非必要)vi/etc/sysconfig/network HOSTNAME=m1重启后生效。2)/etc/hosts是ip地址和其对应主机名文件,使机器知道ip和主机名对应关系,格式如下:修改
zwx19921215
·
2014-12-09 09:00
hadoop
集群
安装
分布式
hadoop2
hadoop2.5.1
安装到虚拟机
1.虚拟机安装系统版本RHEL6.32.虚拟机ip配置采用共享方式(nat): 默认:使用vmnet8将虚拟机设置成使用dhcp方式上网,windows下选择"自动获取ip",linux下开启dhcp服务即可。 手动设置: ip设置与vmnet8同网段, 网关设置成vmnet8的网关, DNS服务器设置与主机相同, 实现虚拟机<--->主机虚拟机<---->互联网通信。vim/etc/syscon
暗夜孤灯
·
2014-12-01 17:00
Hadoop2.5.1
集群安装
首先准备环境测试使用3台rebhatlinux5.4VM中安装Linux计算机名分别为LinuxMainLinuxNode1LinuxNode2Hadoop2.5.1版本第一步:配置三台linux的IP地址。不懂可以参照下面链接http://blog.163.com/xiao_long/blog/static/2176511742014928111355143第二步:修改计算机名可能有人会问为什么
koudailidexiaolong
·
2014-11-27 17:00
hadoop2
hadoop2.5.1
单机模式简易安装教程
必要安装:JDK1.7(JDK1.6.0_20以下的话会有问题,JDK1.6.0_20以上也行)SSHclient和service(hadoop通过脚本连接ssh管理远程节点)免密码SSH登陆由于hadoop需要通过ssh管理系统级守护进程,并且在运行hadoop命令时使用的是当前操作者的用户名去登陆其他机器的SSH,所以所有节点必须使用同一个账户(密码可以不同),并建立信任连接,否则管理hado
tinico
·
2014-11-24 09:00
Spark 1.1 和
hadoop2.5.1
搭配
[root@localhostjava]#cdspark [root@localhostspark]#gitbranch --*branch-1.1 [root@localhostspark]#ls assemblyconfdistexampleslib_managedmllibpythonsbtsqltox.ini bagelcoredockerexternallib_managed_bak
MtrS
·
2014-11-19 08:00
centos6.5 64位下编译
hadoop2.5.1
源码
需要的工具:centos6.5-64bit jdk1.7.0.71 maven3.23 (http://mirrors.cnnic.cn/apache/maven/maven-3/3.2.3/binaries/apache-maven-3.2.3-bin.tar.gz)ant1.9(http://mirrors.cnnic.cn/apache//ant/binaries/apache-ant-1
逸风如梦
·
2014-11-15 01:00
hadoop
源码编译
Hadoop2.5.1
运行wordcount
转载自http://blog.csdn.net/zhangzhaokun/article/details/17427835[hadoop@lrts216bin]$hdfsdfs-mkdir-p/lrts/zhangzk13/12/1922:20:41WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform..
renzeGIS
·
2014-11-10 21:00
mapreduce
hadoop
Hadoop伪分布模式搭建
环境1:Redhat5.0(很久前在VMware虚拟机下安装的,很老的版本了)hadoop1.0.3(也很老的版本了)环境2:CentOS6.5 (2013.12月发布)
hadoop2.5.1
(2014.9
prstaxy
·
2014-11-05 23:00
hadoop2.5.1
集群搭建:(四)配置historyServer
1.在mapred-site中配置 <property> <name>mapreduce.jobhistory.address</name> <value>hadoop
yehao0716
·
2014-11-03 23:00
hadoop2.5.1
集群搭建:(三)搭建yarn集群
搭建yarn集群 ======================================== 修改配置文件 yarn-site.xml <property> <name>yarn.resourcemanager.hostname</name> <value>crxy1</value> <
yehao0716
·
2014-11-03 23:00
hadoop2 集群 yarn
hadoop2.5.1
集群搭建:(二)搭建自动切换HA的HDFS集群
搭建自动切换HA的HDFS集群(比手工切换ha集群,多了zookeeper集群) ---------------------------------------------------------------------------------------------- zookeeper:hadoop2-1、hadoop2-2、hadoop2-3 namenode:hadoop2-1
yehao0716
·
2014-11-03 23:00
hadoop2.5.1
集群搭建:(一)搭建手工切换ha的hdfs集群
----------------------------- 1.搭建手工切换HA(high availibility)的HDFS集群 ----------------------------- namenode:hadoop1和hadoop2 datanode:hadoop3、hadoop4、hadoop5、hadoop6 journalnode:hadoop1、hadoop2
yehao0716
·
2014-11-01 11:00
CentOS编译
hadoop2.5.1
源码
在linux编译
hadoop2.5.1
源码 首先安装google的protobuf yum install glibc-headers yum install 
yehao0716
·
2014-11-01 10:00
Centos6.5源码编译安装
Hadoop2.5.1
] viewplaincopy Centos6.5(64bit) jdk7 ant1.9.4 maven3.1.1 findbugs3.0.0 protobuf2.5.0
hadoop2.5.1
lifuxiangcaohui
·
2014-10-30 10:00
hadoop2.5.1
伪分布式部署
环境:Ubuntu12.10 jdk1.7JDK和SSH下载安装不用再细说了,网上一大堆资料。配置免登录命令: $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys前面已经将源码编译好了,将/data/hadoop-2.5.1-src/hadoop-dist/h
Road
·
2014-10-28 17:00
hadoop2.5.1
单节点安装
hadoop2.5.1
单节点安装 环境信息操作系统:VMwareRedHat6.464bitCUP:2*1软件信息hadoop2.5.1javajdk1.7.45创建用户与组$groupadd-g501hadoop
yvigmmwfn
·
2014-10-23 14:00
hadoop
hadoop2.5.1
单节点安装
hadoop2.5.1
重新编译native驱动
hadoop2.5.1
重新编译native驱动 环境信息 操作系统:RedHat6.464bit 注:此机器必须能连网软件列表
Hadoop2.5.1
Jdk1.7.45
yvigmmwfn
·
2014-10-23 09:00
hadoop
redhat
native
2.5.1
大数据之Hadoop平台(四)Centos6.5(64bit)
Hadoop2.5.1
、Zookeeper3.4.6、Hbase0.98.6.1安装使用过程中错误及解决方法
一、Hadoop相关1.运行wordcount例子错误信息:Containerkilledonrequest.Exitcodeis143 Containerexitedwithanon-zeroexitcode143 14/10/1117:19:49INFOmapreduce.Job:TaskId:attempt_1413018622391_0001_r_000002_2,Status:FAIL
PicassoLoveCoding
·
2014-10-17 11:00
mapreduce
linux运维
yarn
hadoop2.5.1
hbase0.98.6.1
Hadoop(2.5.1)伪分布式环境CentOS(6.5 64位)配置
首先感谢下面两篇文章给出的指导,本文是两者技术路线在CentOS6.564位版本下对
Hadoop2.5.1
伪分布式环境的一个实践。
纪俊
·
2014-10-01 23:04
hadoop
分布式
大数据
centos
数据挖掘
开发技术
Hadoop(2.5.1)伪分布式环境CentOS(6.5 64位)配置
首先感谢下面两篇文章给出的指导,本文是两者技术路线在CentOS6.564位版本下对
Hadoop2.5.1
伪分布式环境的一个实践。
blow_jj
·
2014-10-01 23:00
hadoop
centos
数据挖掘
分布式
大数据
上一页
1
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他