E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop-2.2.0
ZooKeeper 3.4.5 分布式环境搭建详解
概述上一篇中,我们说到了关于
Hadoop-2.2.0
集群的搭建。在这个系列中,Zookeeper是必不可少的。本文会介绍Zookeeper-3.4.5的安装,后面会介绍HBase-0.96的安装。
u013761665
·
2016-05-18 17:00
hadoop
zookeeper
大数据
hbase
环境搭建
flume搭建
jdk配置/etc/profile修改环境变量exportJAVA_HOME=/usr/java/jdk1.8.0_77 exportHADOOP_HOME=/lj/
hadoop-2.2.0
exportPATH
JackLi31742
·
2016-05-05 23:00
Flume
hadoop2.2.0伪分布下安装hive
1.环境及软件介绍:CentOS-6.4-x86_64-bin-DVD1.iso
hadoop-2.2.0
hive-0.12.0 mysql(为CentOS6.4自带版本为MySQL5.1.66).2
u014432433
·
2016-01-19 18:00
hadoop
hive
【2-3】HDFS之DataNode
做个试验先删去hadoop之前所有的东西,再上传一个130M的jdk,由于,Linux文件系统之上有一个HDFS,HDFS上的数据还要保存在Linux系统上【比如哪个磁盘上】itcast/
hadoop-
tianbwin2995
·
2016-01-07 14:00
ssh协议与免密码登陆
接下来,我们回到初始设定的文件夹/itcast/
hadoop-2.2.0
/然后ls一下,看一眼,有如下几个bin etc include lib libexec logs sbin share tmp我们上一节启动
tianbwin2995
·
2016-01-05 20:00
安装Hadoop,启动hadoop(每次都用),设置免密码登陆
根目录下创建一个文件,以后Hadoop统一放入其中tar-zxvfhadoop-2.2.0-64bit.tar.gz-C/itcast/(解压到指定目录)3、配置hadoop伪分布式cd/itcast/用ls查看是否有
hadoop
sherri_du
·
2016-01-04 15:13
Hadoop
hadoop-2.2.0
升级 2.6.0
hadoop-2.2.0
升级2.6.0hadoop-2.2.0 准备通过一次全面的fsck检查现有系统是否健康,并可记录下fsck的输出信息,用于升级后的对比。.
fireinwind
·
2015-12-24 14:00
64位操作系统下重新编译
hadoop-2.2.0
操作系统oraclelinux5.864bit1.yum光盘源设置vi/etc/yum.repos.d/rhel-debuginfo.repo[base]name=ServerLocalSourcesbaseurl=file:///media/Serverenabled=1gpcheck=1gpgkey=file:///media/RPM-GPG-KEY-oracle2.因为是最小化安装的系统,需
houston123
·
2015-11-30 16:00
hadoop
hadoop2.0编译安装步骤
使用2中方法解决:临时办法:exportHADOOP_COMMON_LIB_NATIVE_DIR=/home/grid/
hadoop-2.2.0
/lib/nativeexport
nicegege
·
2015-11-15 21:00
hadoop2.0编译安装步骤
使用2中方法解决:临时办法:exportHADOOP_COMMON_LIB_NATIVE_DIR=/home/grid/
hadoop-2.2.0
/lib/nativeexportHAD
nicegege
·
2015-11-15 21:00
hadoop-2.2.0
HA配置
采用的是4台真实机器: namenode:qzhong node27 datanode:qzhong node27 node100 node101 操作系统环境:qzhong(Ubuntu-14.0) node27、node100、node101(CentOS 64bits) HA配置方式:采用的是journalNode方式,而不是采用NFS方式 hdfs-site.xml:
·
2015-11-13 02:41
hadoop
spark 1.X standalone和on yarn安装配置
安装Hadoop2.x至少HDFSspark-env.shexport JAVA_HOME=export SCALA_HOME=export HADOOP_CONF_DIR=/opt/modules/
hadoop
jethai
·
2015-11-11 22:16
spark详解
Hadoop/CDH
spark 1.X standalone和on yarn安装配置
Hadoop2.x 至少HDFSspark-env.shexport JAVA_HOME= export SCALA_HOME= export HADOOP_CONF_DIR=/opt/modules/
hadoop
jethai
·
2015-11-11 22:16
spark详解
hive 安装mysql作为元数据
下载hive的安装包解压在hadoop集群上的任何一台机器上都可以mysqljdbc驱动拷贝到hive的lib目录下hive-env.shHADOOP_HOME=/opt/modules/
hadoop-
jethai
·
2015-11-11 17:43
hive
安装
hive 安装mysql作为元数据
下载hive的安装包解压在hadoop集群上的任何一台机器上都可以mysqljdbc驱动拷贝到hive的lib目录下hive-env.shHADOOP_HOME=/opt/modules/
hadoop-
jethai
·
2015-11-11 17:43
hive
安装
Hadoop/CDH
hive 安装mysql作为元数据
下载hive的安装包解压在hadoop集群上的任何一台机器上都可以mysqljdbc驱动拷贝到hive的lib目录下hive-env.shHADOOP_HOME=/opt/modules/
hadoop-
jethai
·
2015-11-11 17:53
安装
hive
hive 安装mysql作为元数据
下载hive的安装包解压在hadoop集群上的任何一台机器上都可以mysqljdbc驱动拷贝到hive的lib目录下hive-env.shHADOOP_HOME=/opt/modules/
hadoop-
jethai
·
2015-11-11 17:53
hive
安装
Hadoop/CDH
使用Maven将Hadoop2.2.0源码编译成Eclipse项目
下载Hadoop2.2.0源码包 http://mirror.bit.edu.cn/apache/hadoop/common/
hadoop-2.2.0
/hadoop-2.2
·
2015-11-11 06:54
eclipse
在fedora20下配置hadoop2.5.1的eclipse插件
(博客园-番茄酱原创) 在我的系统中,hadoop-2.5.1的安装路径是/opt/lib64/hadoop-2.5.1下面,然后
hadoop-2.2.0
的路径是/home/hadoop/下载/
hadoop
·
2015-11-11 06:52
eclipse插件
hadoop2的伪分布部署
通过我们前面的操作,已经可以编译并且打包产生适合本机的hadoop包,目录是/usr/local/hadoop-2.2.0-src/hadoop-dist/target/
hadoop-2.2.0
。
·
2015-11-11 00:47
hadoop2
64位ubuntu下重新编译hadoop2.2流水账
hadoop官方网站中只提供了32位的hadoop-2.2.0.tar.gz,如果要在64位ubuntu下部署
hadoop-2.2.0
,就需要重新编译源码包,生成64位的部署包。
·
2015-11-08 14:39
hadoop2
hadoop安装和配置
本文hadoop的版本为
hadoop-2.2.0
一、安装java jdk 1、下载java jdk1.7版本,放在/home/software目录下, &
·
2015-11-02 16:20
hadoop
hadoop2.2.0 单机伪分布式(含64位hadoop编译) 及 eclipse hadoop开发环境搭建
hadoop中文镜像地址:http://mirrors.hust.edu.cn/apache/hadoop/core/
hadoop-2.2.0
/第一步,下载 wget 'http://archive.apache.org
·
2015-10-31 17:53
eclipse
Hadoop-2.2.0
中国文档—— MapReduce 下一代 -- 公平调度
目的 此文档描写叙述了 FairScheduler, Hadoop 的一个可插入式的调度器,同意 YARN 应用在一个大集群中公平地共享资源。 简单介绍 公平调度是一种分配资源给应用的方法。以致到最后,平均上全部应用获得相等的资源。 Hadoop NextGen 可以调度多种类型的资源。默认的, Fair Scheduler 仅以内存为基础作公平调度决策。可以用Gh
·
2015-10-31 11:22
mapreduce
Hbase 0.96 比 hbase 0.94的改变
转载:http://blog.csdn.net/hxpjava1/article/details/20043703 环境: hadoop:
hadoop-2.2.0
hbase:hbase
·
2015-10-31 10:56
hbase
Could not locate executable null 解决办法
\
hadoop-2.2.0
\
hadoop-2.2.0
\bin\winutils.exe in the Hadoop binaries.该如何解决?1.创建
·
2015-10-27 12:45
table
2.Hadoop集群搭建
nbsp; 在master这台机器上安装Hadoop 2.2.0,Hadoop 2.2.0的下载地址为: http://mirror.bit.edu.cn/apache/hadoop/common/
hadoop
·
2015-10-27 11:04
hadoop
Hadoop-2.2.0
中文文档——Common-Hadoop HTTP web控制台认证
简单介绍 此文档描写叙述了怎样配置Hadoop HTTP web控制台,去要求用户认证。 默认地,Hadoop HTTP web控制台(JobTracker, NameNode, TaskTrackers 和 DataNodes)不须要不论什么认证就同意訪问。 与Hadoop RPC相似, Hadoop HTTP web控制台能够被配置为须要使用HTTP SPNEGO协议认证(由Fir
·
2015-10-21 12:49
HTTP Web
hadoop-2.2.0
vm 安装
hadoop vmwarecentos安装hadoop教程,以及个人的简单笔记http://note.youdao.com/share/?id=9d81cf075c81d06972e38c3b0588451b&type=note
郭彩峰
·
2015-09-25 17:25
hadoop之vmware安装
ddddddddddddd
注意:apache提供的
hadoop-2.2.0
的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装
hadoop-2.2.0
就需要重新在64操作系统上重新编译
小刘同学
·
2015-09-09 00:00
Hadoop2.2.0 HA高可用分布式集群搭建(hbase,hive,sqoop,spark)
1需要软件Hadoop-2.2.0Hbase-0.96.2(这里就用这个版本,跟
Hadoop-2.2.0
是配套的,不用覆盖jar包什么的)Hive-0.13.1Zookeepr-3.4.6(建议使用Zookeepr
edentyin
·
2015-09-07 23:15
hadoop
spark
sqoop2安装启动
45 Hadoop版本:hadoop2.6.0 Sqoop2版本:sqoop-1.99.4-bin-hadoop200 hadoop安装目录:/usr/local/hadoop/
hadoop
王上京小伙
·
2015-08-18 10:52
sqoop2安装启动
Centos6.5下Hbase配置
每台安装有
hadoop-2.2.0
的Linux服务器均需安装Hbase和Zookeeper每台服务器若无特殊说明,默认均在hadoop用户下操作确保防火墙关闭,确保各个服务器的/etc/hosts文件中含有集群下所有服务器各自
u011414200
·
2015-08-15 15:00
hadoop yarn 配置
步骤一:上传hadoop-2.2.0.tar.gz并解压到/home/hadoop/yarn目录,此时在yarn目录中解压出
hadoop-2.2.0
目录sudochown-Rhadoop:hadoophadoop
guotong1988
·
2015-07-29 17:00
hadoop
yarn
hadoop-2.2.0
安装方法详解
ResourceManager、NodeManager、secondarynamenode等5个进程,模拟分布式运行的各个节点 完全分布式模式:正常的Hadoop集群,由多个各司其职的节点构成
hadoop
gnail_oug
·
2015-07-21 10:00
hadoop
安装和配置
hadoop-2.2.0安装
hadoop-2.2.0
集群上运行Hive 0.13 出错的解决方案
集群配置IP地址主机名运行进程192.168.1.104cluster04QuorumPeerMain(ZooKeeper进程)Master(SparkMaster进程)DataNodeJournalNodeResourceManager(Yanr资源管理器)NodeManagerWorker192.168.1.105cluster05NameNodeQuorumPeerMain(ZooKeepe
lovehuangjiaju
·
2015-07-13 22:00
hadoop
hive
64位操作系统下 maven编译
hadoop-2.2.0
源码
启动start-dfs.sh出现WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable出现原因:hadoop本地库只有32位在64位机子上会出现上述问题解决方法官方提供的本地库只有32位的,所以需要我们在64位系统重新编译源
liliang_68
·
2015-05-11 09:00
hadoop
Spark(一)-- Standalone HA的部署
首先交代一下集群的规模和配置集群有六台机器,均是VM虚拟机,每台256M的内存(原谅楼主物理机硬件不太给力)主机名分别是cloud1~cloud6每台机器上都装有jdk6,和
hadoop-2.2.0
其中
qq1010885678
·
2015-05-11 00:00
spark
Hue安装配置实践
Hadoop-2.2.0
?Hive-0.14?Python-2.6.6基于上面的软件工具,要保证正确安装和配置。需要说明的是,我们通过Hue来执行Hive查询,需要启动HiveServer2服务:
alentain
·
2015-04-27 17:35
mysql
用户
local
新建
软件工具
Hue安装配置实践
Hadoop-2.2.0
?Hive-0.14?Python-2.6.6基于上面的软件工具,要保证正确安装和配置。需要说明的是,我们通过Hue来执行Hive查询,需要启动HiveServer2服务:
alentain
·
2015-04-27 17:35
mysql
用户
新建
Hue安装配置实践
Hadoop-2.2.0
?Hive-0.14?Python-2.6.6基于上面的软件工具,要保证正确安装和配置。需要说明的是,我们通过Hue来执行Hive查询,需要启动HiveServer2服务:
alentain
·
2015-04-27 17:35
mysql
用户
local
新建
软件工具
hadoop2.2+zookeeper+hbase安装详解
------------------------天津九安医疗电子--吴伟一、需要软件Jdk1.8.0_linuxHadoop-2.2.0(Apache官网Stable版本)Hbase-0.96.2(与
Hadoop
hogface
·
2015-04-20 10:00
软件下载地址记录
软件下载地址记录: hadoop2.2: http://mirror.bit.edu.cn/hadoop/common/
hadoop-2.2.0
/hadoop-2.2.0.tar.gz  
beat_it_
·
2015-04-11 21:00
下载
鼓捣了好几天hadoop2.2集群(关于节点删除+ssh免密码登陆)
如下: dfs.hosts.exclude /home/hadoop/
hadoop-2.2.0
/etc/hadoop/excludes Names a file that contains
jade_liucui
·
2015-03-23 13:00
关于节点删除
ssh免密码登陆
hadoop2.2.0集群安装和配置
注意:apache提供的
hadoop-2.2.0
的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装
hadoop-2.2.0
就需要重新在64操作系统上重新编译集群规划
qq1010885678
·
2015-03-20 15:00
hadoop
zookeeper
HADOOP集群
hadoop2.2.0安装
官方目前是提供了linux32位系统可执行文件,下载地址:http://apache.claz.org/hadoop/common/
hadoop-2.2.0
/,因为操作系统我选择的是CentOS-6.5
u010022051
·
2015-03-14 13:00
企业级Hadoop 2.x入门系列之九Hadoop核心配置文件的默认配置解读
Hadoop核心配置文件的默认配置解读9.1默认配置文件4个核心的默认配置文件在$HADOOP_HOME/share/hadoop/目录下:
hadoop-2.2.0
\share\hadoop\common
云帆大数据
·
2015-01-03 11:17
企业级Hadoop
2.x入门
Hadoop学习(一) - 搭建环境&示例程序
环境: CentOSrelease6.5(Final)
hadoop-2.2.0
下载地址:http://archive.apache.org/dist/hadoop/core/
hadoop-2.2.0
/
waw
·
2014-12-15 19:00
hadoop
ubuntu下
hadoop-2.2.0
搭建
环境:vmware10、ubuntu12.04、jdk1.7.0_51、Hadoop2.2.0安装vmware10;在虚拟机上安装ubuntu12.04;1.安装Java环境:在oracle官网下载jdk,桌面新建tools文件夹并放入里面;这里笔者用的是jdk1.7.0_51;解压:hp@hp-ubuntu:~/Desktop/tools$tar-zxvfjdk-7u51-linux-i58
nana_93
·
2014-12-13 19:00
在
hadoop-2.2.0
集群上使用TotalOrderPartitioner进行排序时遇到的新旧接口问题
最近我所在的一个项目进行了Hadoop版本迁移,由hadoop-0.20.2迁移至
hadoop-2.2.0
,旧版的mapreduceJob虽然都是用旧的API写的,但在新环境下基本上都是兼容的,只有两个涉及到
李克然
·
2014-11-29 19:19
排序
新旧API
上一页
1
2
3
4
5
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他