E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop2.6.0
hadoop2.6.0
配置模板
hadoop2.6.0
配置模板core-site.xml hadoop.tmp.dir /home/hadoop/hadoop/tmp fs.defaultFS hdfs://master:9000
寒翼
·
2015-05-14 16:00
hadoop
yarn
spark1.3.1配置模板
spark1.3.1搭配
hadoop2.6.0
,同时支持standalone和yarnspark-env.shexportSCALA_HOME=/home/hadoop/scala-2.11.6 #standalone
寒翼
·
2015-05-14 16:00
spark
安装
hadoop2.6.0
伪分布式环境
集群环境搭建请见:http://blog.csdn.net/jediael_lu/article/details/45145767 一、环境准备 1、安装linux、jdk 2、下载
hadoop2.6.0
·
2015-04-27 18:00
hadoop2
安装
hadoop2.6.0
伪分布式环境
集群环境搭建请见:http://blog.csdn.net/jediael_lu/article/details/45145767一、环境准备1、安装linux、jdk2、下载
hadoop2.6.0
,并解压
jediael_lu
·
2015-04-27 18:00
hadoop学习(五)------源码编译
maven请参考http://blog.csdn.net/happyanger6/article/details/452058772.编译安装hadoop依赖protobuf2.5.0(必须使用这个版本,
hadoop2.6.0
happyAnger6
·
2015-04-26 09:00
apache
源码
hadoop
hadoop
spark
大数据
HADOOP集群
hadoop2.6.0
伪分布式和集群环境搭建
伪分布式 blog.csdn.net/stark_summer/article/details/43484545(搭建Hadoop2.6是参考此文档的) doc.okbase.net/baolibin528/archive/124744.html www.powerxing.com/install-hadoop/ 集群 blog.csdn.net/stark_summer
xinklabi
·
2015-04-23 13:00
hadoop2
搭建
hadoop2.6.0
集群环境
一、规划(一)硬件资源10.171.29.191master10.171.94.155 slave110.251.0.197slave3(二)基本资料用户: jediael目录:/mnt/jediael/二、环境配置(一)统一用户名密码,并为jediael赋予执行所有命令的权限#passwd #useraddjediael #passwdjediael #vi/etc/sudoers 增加以下一行
jediael_lu
·
2015-04-20 07:00
搭建
hadoop2.6.0
集群环境
一、规划 (一)硬件资源 10.171.29.191 master 10.171.94.155 slave1 10.251.0.197 slave3 (二)基本资料 用户: jediael 目录:/mnt/jediael/ 二、环境配置 (一)统一用户名密码,并为jediael赋予执行所有命令的权限 #passwd # user
·
2015-04-20 07:00
hadoop2
每天一点hadoop第六篇(搭建伪分布)
hadoop2.6.0
伪分布搭建搭建环境:centos6.5(64位虚拟机)工具:编译好的hadoop2.6.0JDK1.7(1.6编译不通过)搭建过程:1,设置静态ip:vi/etc/sysconfig
zzlzzh
·
2015-04-18 22:00
hadoop
环境
每天一点hadoop第五篇(
hadoop2.6.0
编译)
昨天总结编译了一下
hadoop2.6.0
的版本,今天就总结一下
hadoop2.6.0
的编译过程。这是在centos64位,jdk1.7的环境下编译的。
zzlzzh
·
2015-04-17 10:00
maven
编译
Hadoop2-6
在32bit win7下安装测试
Hadoop2.6.0
etc纪要
根据官网指导(http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html),按照wiki(http://wiki.apache.org/hadoop/Hadoop2OnWindows)的步骤进行,如果你的wiki安装步骤都顺利,那么往下也不用看了。
SINCE1978
·
2015-04-16 10:00
hadoop2
Hbase完全分布式集群安装配置(Hbase1.0.0,
Hadoop2.6.0
)
1.安装软件 OS:centos6.5 Hadoop:
hadoop2.6.0
Hbase:hbase.1.0.0 JDK:jdk1.7.0_51集群机器: 192.168.153.130
kobe_gino
·
2015-04-15 15:00
hadoop
zookeeper
centos
hbase
yarn
Hbase完全分布式集群安装配置(Hbase1.0.0,
Hadoop2.6.0
)
1.安装软件 OS:centos6.5 Hadoop:
hadoop2.6.0
Hbase:hbase.1.0.0 JDK:jdk1.7.0_51集群机器: 192.168.153.130
chaun
·
2015-04-15 15:00
hadoop
centos
zookeeper
hbase
yarn
搭建
hadoop2.6.0
HA及YARN HA
搭建hadoop2.6.0HA及YARNHA以前用hadoop2.2.0只搭建了hadoop的高可用,但在hadoop2.2.0中始终没有完成YARNHA的搭建,直接下载了hadoop最新稳定版本2.6.0完成了YARNHA及HADOOPHA的搭建流程,没有仔细看hadoop的官方文档,貌似hadoop2.2.0不支持YARNHA,如果说错了谢谢指正呀,下面总结一下我的搭建流程:首先完成虚拟机的搭
qq_16365849
·
2015-04-14 17:00
hadoop
zookeeper
集群
yarn
HA
hadoop2.6.0
dfs.blocksize
在hdfs-site.xml中配置了dfs.blocksize的大小,那么通过命令行上传至HDFS的文件就按照dfs.blocksize的大小进行分块。如果是通过eclipse进行文件上传,那么文件块的大小就按照Map/ReduceLocations的Advancedparameters中的dfs.blocksize的大小决定。以上设置的文件快大小受到dfs.namenode.fs-limits.
caiandyong
·
2015-04-12 21:00
hadoop2.6.0
dfs.bloc
dfs.blocksize
【CentOS6】
Hadoop2.6.0
介绍、安装、配置、验证
介绍首先不穿别人的破鞋,要穿一手鞋,既然都开始了,不如花点时间看看官网,出自于哪家大户。Apache旗下顶级项目,官网:http://hadoop.apache.org/耍下流氓就看看百度百科,介绍还算可以,比维基百科讲的全,也可以看出hadoop在国内的热火:http://baike.baidu.com/link?url=BRQsh1t3cOeZP-uV5q8WQjjyIWn96SzgGFf1q
Hi徐敏
·
2015-04-12 13:00
在mac中导入
hadoop2.6.0
源代码至eclipse
一、环境准备1、安装jdk、maven等2、下载hadoop源代码,并解压3、将tools.jar复制到Classes中,具体原因见http://wiki.apache.org/hadoop/HowToSetupYourDevelopmentEnvironmentcd$JAVA_HOMEmkdirClasses cplib/tools.jarClasses/classes.jar否则会出现以下异常
jediael_lu
·
2015-04-12 09:00
hadoop2.6.0
的maven的pom配置
4.0.0 mr mr 0.0.1-SNAPSHOT mr org.apache.zookeeper zookeeper 3.4.6 org.apache.hadoop hadoop-client 2.6.0 org.apache.hadoop hadoop-common 2.6.0 org.apa
baolibin528
·
2015-04-11 15:00
[置顶]
Hadoop2.6.0
+ zookeeper集群环境搭建
前提:已安装好centos6.5操作系统 hadoopHA(QJM)集群配置规划IPHostname备注192.168.100.101h1m1NN(active)、RM、ZKFC192.168.100.102h1m2NN(standby)、RM、ZKFC192.168.100.103h1s1DN、NM、JN、QP
yhao2014
·
2015-04-08 11:00
hadoop
centos
集群
zookeeper
hadoop2.6.0
nodemanager启动后过一段时间就自动关闭
hadoop2.6.0
集群启动后,在slave节点上jps能够看到nodemanager进程,但是过一会nodemanager进程就不见了.查看日志发现是因为配置错误导致的,更改后所有的配置文件内容如下
caiandyong
·
2015-04-07 21:38
hadoop
hadoop2.6.0
nodemanager启动后过一段时间就自动关闭
hadoop2.6.0
集群启动后,在slave节点上jps能够看到nodemanager进程,但是过一会nodemanager进程就不见了.查看日志发现是因为配置错误导致的,更改后所有的配置文件内容如下
caiandyong
·
2015-04-07 21:00
hadoop2.6.0
hadoop2.6.0
nodemana
nodemanager自动关闭
hadoop2.6.0
控制集群节点个数
要控制集群节点的个数,只需要更改主控节点(master)上Hadoop安装目录下面./etc/hadoop下面的slaves文件,通过添加或删除slave的ip或ip映射的名字,然后在主控节点执行start-all.sh就可以了.1.slaves里面放一个slaveslave1启动集群后,查看状态:hadoop@master:/opt/hadoop$jps2735NameNode3389Jps31
caiandyong
·
2015-04-05 13:00
hadoop控制集群节点个数
Hadoop2.6.0
分布式集群环境配置
在VMWare中构建第二、三台虚拟机,机器命名为Slave1、Slave2,如下图在/etc/hostname中修改主机名vim/etc/hostname修改为Master、Slave1、Slave2,重启后生效step1:在各主机中修改主机名与ip对应关系打开/etc/hosts修改成如下所示测试连接MasterpingMaster在Slave1、Slave2中增加所有ip与主机名把Master
didadidadige
·
2015-04-04 12:19
云计算
hadoop
64位Ubuntu14.04下安装hadoop2.6单机配置和伪分布配置详解
环境系统:Ubuntu14.0464bitHadoop版本:
Hadoop2.6.0
(stable)JDK版本:oraclejdk7第一步在Ubuntu下创建hadoop用户组和用户 创建hadoop用户组
panjf2000
·
2015-04-03 16:00
ubuntu14.04
hadoop2.6
Hbase完全分布式集群安装配置(Hbase1.0.0,
Hadoop2.6.0
)
1.安装软件 OS:centos6.5 Hadoop:
hadoop2.6.0
Hbase:hbase.1.0.0 JDK:jdk1.7.0_51集群机器: 192.168.153.130
wuwenxiang91322
·
2015-03-27 23:00
hadoop
zookeeper
centos
hbase
yarn
Hbase完全分布式集群安装配置(Hbase1.0.0,
Hadoop2.6.0
)
1.安装软件OS:centos6.5Hadoop:hadoop2.6.0Hbase:hbase.1.0.0JDK:jdk1.7.0_51集群机器:192.168.153.130(hadoop130namenode)192.168.153.131(hadoop131datanode)192.168.153.132(hadoop132datanode)2.安装步骤如下安装步骤假设的JDK已经安装,如果
dawuafang
·
2015-03-27 23:00
hadoop2
hadoop2.6.0
完全分布式安装教程
最近用最新的
hadoop2.6.0
版本搭了一个环境步骤如下:首先介绍一下软硬件:台式机win8.1,用VMware11.1建了三个Linuxcentos6.564位的虚拟机。
KJ_Chen
·
2015-03-26 18:21
CentOS 64位上编译
Hadoop2.6.0
由于hadoop-2.6.0.tar.gz安装包是在32位机器上编译的,64位的机器加载本地库.so文件时会出错,比如:java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V 所以需要重新编译
oDaiLiDong
·
2015-03-26 15:00
centos
64位上编译Hadoop2
hadoop2.6编译
hadoop2.6.0
在eclipse下面调试程序看不到日志的解决方法
使用Hadoop2.6.0,在eclipse下面调试mapreduce程序的时候,控制台不打印程序运行时的日志,而是显示如下信息:log4j:WARNNoappenderscouldbefoundforlogger(org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARNPleaseinitializethelog4jsyst
caiandyong
·
2015-03-24 23:00
HDFS Java API 详解
Hadoop版本:
Hadoop2.6.0
连接HDFSString URL="hdfs://hadoop001:9000"; Configuration conf = new Configuration
忙碌的键盘
·
2015-03-24 17:00
hadoop
hdfs
Hadoop2.6.0
mac 安装
1. 单机模式 (1) ssh设置远程登录: xiaolan:~ xiaolan $@ssh-keygen -t rsa -P "" xiaolan:~ xiaolan $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 登录测试 xiaolan:~ xiaolan $ ssh loca
RoomFourteen224
·
2015-03-09 11:00
hadoop2
Hadoop 1.2.1升级2.6.0的一次崎岖之旅(包括Hive、HBase对应的升级)
直到最近,我们的利用了
Hadoop2.6.0
和HBase的0.98.8的API的ETL系统正式
Pun_C
·
2015-03-07 17:00
hadoop
大数据
hadoop2.6.0
版本搭建伪分布式环境
由于个人需要在自己的笔记本上搭建hadoop伪分布环境,为了方便自己使用,如想看机器也看之前的一篇博客:
hadoop2.6.0
版本集群环境搭建一台虚拟机,配置信息如下:内存:1G,cpu:一个core,
stark_summer
·
2015-02-06 15:00
mapreduce
hadoop
hdfs
yarn
NameNode
hadoop2.6.0
版本搭建伪分布式环境
阅读更多由于个人需要在自己的笔记本上搭建hadoop伪分布环境,为了方便自己使用,如想看机器也看之前的一篇博客:
hadoop2.6.0
版本集群环境搭建一台虚拟机,配置信息如下:内存:1G,cpu:一个core
Stark_Summer
·
2015-02-06 15:00
hadoop
mapreduce
namenode
hdfs
yarn
hadoop2.6.0
版本搭建伪分布式环境
由于个人需要在自己的笔记本上搭建hadoop伪分布环境,为了方便自己使用,如想看机器也看之前的一篇博客:
hadoop2.6.0
版本集群环境搭建一台虚拟机,配置信息如下:内存:1G,cpu:一个core,
Stark_Summer
·
2015-02-06 15:00
mapreduce
hadoop
hdfs
yarn
NameNode
hadoop2.6.0
版本搭建伪分布式环境
阅读更多由于个人需要在自己的笔记本上搭建hadoop伪分布环境,为了方便自己使用,如想看机器也看之前的一篇博客:
hadoop2.6.0
版本集群环境搭建一台虚拟机,配置信息如下:内存:1G,cpu:一个core
Stark_Summer
·
2015-02-06 15:00
hadoop
mapreduce
namenode
hdfs
yarn
hadoop2.6.0
版本搭建伪分布式环境
由于个人需要在自己的笔记本上搭建hadoop伪分布环境,为了方便自己使用,如想看机器也看之前的一篇博客:
hadoop2.6.0
版本集群环境搭建一台虚拟机,配置信息如下:内存:1G,cpu:一个core,
Stark_Summer
·
2015-02-06 15:00
mapreduce
hadoop
hdfs
yarn
NameNode
hadoop2.6.0
版本搭建伪分布式环境
由于个人需要在自己的笔记本上搭建hadoop伪分布环境,为了方便自己使用,如想看机器也看之前的一篇博客:
hadoop2.6.0
版本集群环境搭建一台虚拟机,配置信息如下:内存:1G,cpu:一个core,
stark_summer
·
2015-02-06 15:00
mapreduce
hadoop
hdfs
yarn
NameNode
编译
hadoop2.6.0
--- 64位源代码(能力工场原创)
今天有朋友在群里找hadoop最新的2.6.0的源代码,其实这个源代码在hadoop的官方网站是有下载的(应该是32位的),还有一个src,不过给的是maven版本,需要自己在机器上编译一下(我的机器用的是64位的,所以要在上面进行开发,就要自己编译成64位的).如果你需要32位的,请直接去官方下吧:地址http://mirrors.cnnic.cn/apache/hadoop/common/st
malijava
·
2015-01-29 20:32
hadoop
hadoop2
编译hadoop2
Hadoop
编译
hadoop2.6.0
--- 64位源代码(能力工场原创)
今天有朋友在群里找hadoop最新的2.6.0的源代码,其实这个源代码在hadoop的官方网站是有下载的(应该是32位的),还有一个src,不过给的是maven版本,需要自己在机器上编译一下(我的机器用的是64位的,所以要在上面进行开发,就要自己编译成64位的).如果你需要32位的,请直接去官方下吧:地址http://mirrors.cnnic.cn/apache/hadoop/common/st
malijava
·
2015-01-29 20:32
hadoop
hadoop2
编译hadoop2
hadoop多次格式化namenode造成datanode无法启动问题解决
今天在机器上新装了
hadoop2.6.0
想体验一把新版本特征,安装好后发现启动dfs时datanode老是启动不了查看namenode日志发现以下问题:按日志内容来看,namenode和datanode
yhao浩
·
2015-01-28 10:13
Hadoop
FAQ
hadoop
datanode
启动失败
hadoop多次格式化namenode造成datanode无法启动问题解决
今天在机器上新装了
hadoop2.6.0
想体验一把新版本特征,安装好后发现启动dfs时datanode老是启动不了查看namenode日志发现以下问题:按日志内容来看,namenode和datanode
yhao2014
·
2015-01-28 10:00
hadoop
启动失败
datanode
开启
Hadoop2.6.0
出现ssh无法解析主机名等错误提示的解决办法!
问题描述:开启Hadoop时,出现如下信息:[root@hd-m1/]#./hadoop/hadoop-2.6.0/sbin/start-all.shThisscriptisDeprecated.Insteadusestart-dfs.shandstart-yarn.sh15/01/2320:23:41WARNutil.NativeCodeLoader:Unabletoloadnative-had
yoyo优
·
2015-01-25 15:37
hadoop
ssh
开启
Hadoop2.6.0
出现ssh无法解析主机名等错误提示的解决办法!
问题描述:开启Hadoop时,出现如下信息:[root@hd-m1/]#./hadoop/hadoop-2.6.0/sbin/start-all.shThisscriptisDeprecated.Insteadusestart-dfs.shandstart-yarn.sh15/01/2320:23:41WARNutil.NativeCodeLoader:Unabletoloadnative-had
yoyo优
·
2015-01-25 15:37
ssh
Hadoop
开启
Hadoop2.6.0
出现ssh无法解析主机名等错误提示的解决办法!
问题描述:开启Hadoop时,出现如下信息:[root@hd-m1/]#./hadoop/hadoop-2.6.0/sbin/start-all.shThisscriptisDeprecated.Insteadusestart-dfs.shandstart-yarn.sh15/01/2320:23:41WARNutil.NativeCodeLoader:Unabletoloadnative-had
yoyo优
·
2015-01-25 15:37
hadoop
ssh
Hadoop2.6.0
伪分布环境搭建
Hadoop2.6.0
伪分布环境搭建用到的软件:一、安装jdk:1、要安装的jdk,我把它拷在了共享文件夹里面。(用优盘拷也可以)2、我把jdk拷在了用户文件夹下面。
鲍礼彬
·
2015-01-21 00:39
开发工具
Hadoop旅程
Hadoop2.6.0
伪分布环境搭建
Hadoop2.6.0
伪分布环境搭建用到的软件:一、安装jdk:1、要安装的jdk,我把它拷在了共享文件夹里面。 (用优盘拷也可以)2、我把jdk拷在了用户文件夹下面。
baolibin528
·
2015-01-21 00:00
hdfs 的namenode无法启动
在安装
hadoop2.6.0
的linux上格式化hdfs文件系统hadoopnamenode-format启动hdfs和MapReduce守护进程(start-dfs.sh、start-yarn.sh)
朱志云
·
2015-01-15 15:00
Hadoop 2.6.0 重要特性之 Docker Container Executor (DCE)
DockerContainerExecutor(DCE)是
Hadoop2.6.0
包含的一个重要特性:至此,大数据的巨人Hadoop也终于可以利用当前虚拟化/云计算领域的宠儿Docker的强大能力了。
samhacker
·
2015-01-12 20:00
hadoop
大数据
云计算
docker
container
hadoop2.6.0
的eclipse插件编译和设置
编译
hadoop2.6.0
的eclipse插件下载源码:gitclonehttps://github.com/winghc/hadoop2x-eclipse-plugin.git编译源码:cdsrc/contrib
ggz631047367
·
2015-01-07 18:00
ubuntu
配置
plugin
编译
hadoop2.6.0
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他