E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop2.6
Ubuntu14.04搭建Hadoop 2.6 伪分布环境
本文是第一篇,记录了如何在Ubuntu14.04搭建
Hadoop2.6
伪分布环境,以及运行自带的wordcount实例的详细步骤。
heamon7
·
2015-06-18 21:48
Hadoop2.6
Ha 安装
Hadoop2.6
安装文档版本说明:hadoop2.6linux-64位Zookeeper3.4.6jdk1.7.0_751、Ssh无密码ssh-keygenvimauthorized_keys把每台机子上的
smarthhl
·
2015-06-17 16:00
Hadoop2.6
(NN/RM)高可用集群安装与部署
Hadoop2对HDFS的改进很大,支持HDFS(NameNode)和ResourceManager高可用性,避免集群中单点故障造成整个集群不可用。那么,从本文开始将部署一套高可用Hadoop集群及家族中相关开源系统,具体根据下面规划来,本文只部署高可用Hadoop集群,后续很快更新其他软件部署及使用。一、部署前准备操作系统:CentOS7_x64安装目录:/opt1.节点分配HostNameIP
李振良OK
·
2015-06-12 17:21
hdfs
ha
yarn
Hadoop
Hadoop2.6
(NN/RM)高可用集群安装与部署
Hadoop2对HDFS的改进很大,支持HDFS(NameNode)和ResourceManager高可用性,避免集群中单点故障造成整个集群不可用。那么,从本文开始将部署一套高可用Hadoop集群及家族中相关开源系统,具体根据下面规划来,本文只部署高可用Hadoop集群,后续很快更新其他软件部署及使用。一、部署前准备操作系统:CentOS7_x64安装目录:/opt1.节点分配HostNameI
zhenliang8
·
2015-06-12 17:21
hdfs
yarn
HA
HA
HA
hadoop2.6
ResourceManager
Hadoop2.6
(NN/RM)高可用集群安装与部署
Hadoop2对HDFS的改进很大,支持HDFS(NameNode)和ResourceManager高可用性,避免集群中单点故障造成整个集群不可用。那么,从本文开始将部署一套高可用Hadoop集群及家族中相关开源系统,具体根据下面规划来,本文只部署高可用Hadoop集群,后续很快更新其他软件部署及使用。一、部署前准备操作系统:CentOS7_x64安装目录:/opt1.节点分配HostNameI
zhenliang8
·
2015-06-12 17:21
hdfs
yarn
HA
HA
HA
hadoop2.6
ResourceManager
spark之
hadoop2.6
环境搭建笔记
一spark、hadoop、yarn关系spark:计算hadoop:存储yarn:资源管理在这里主要配置hdfs和yarnhdfsyarnmapreduce(计算框架,spark)yarn:主进程:resourcemanageryarn的开:sbin/start-yarn.shyarn的关闭:sbin/stop-yarn.sh登录的url:http://localhost:8088hdfs:na
pzw_0612
·
2015-06-09 20:00
hadoop
spark
Hadoop源码导入eclipse及怎么通过pietty连接linux
hadoop2.6
的源码,都是一个模块,一个project,我怎么吧这些源码导入eclipse中了? 1.选择你要导入了模块。
kainever7
·
2015-06-09 12:00
eclipse
hadoop2.6
源码导入mvn出错Missing tools.jar问题解决方案
1、定义JAVA_HOME: JAVA_HOME=$(/usr/libexec/java_home) 2、拷贝文件 cd $JAVA_HOME mkdir Classes cp lib/to
lswq_love_221
·
2015-06-06 13:00
eclipse
源码
mac
hadoop2.6
Hadoop2.6
伪分布式按照官网指点安装(1)
hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html 照抄:安装成功:
Hadoop2.6
dotjar
·
2015-05-28 01:00
hadoop2
Hadoop2.6
伪分布式按照官网指点安装(1)
阅读更多参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html照抄:安装成功:
Hadoop2.6
dotjar
·
2015-05-28 01:00
Hadoop2.6
深入伪分布安装(CentOS 6.5)
一、安装前准备CentOS6.5(64bit)hadoop-2.6.0-64.tar.gzjdk-7u67-linux-x64.tar.gz二、安装1、关闭防火墙和SELinuxserviceiptablesstatus(查看)serviceiptablesstopchkconfigiptablesoff(永久关闭)vi/etc/sysconfig/selinux设置SELINUX=disable
李国冬
·
2015-05-27 22:36
Hadoop
玩转Hadoop
hadoop2.6
完全分布式安装HBase1.1
需要通过hbase-site.xml文档来配置本机的HBase特性,由于各个HBase之间通过zookeeper来进行通信,因此需要维护一组zookeeper系统,关于zookeeper的安装使用,参考《
hadoop2.6
boonya
·
2015-05-26 20:00
hadoop
hbase
Ubuntu14.04下
Hadoop2.6
源码编译
1.准备工作:(1)所需相关类库的安装:apt-get install gccapt-get install makeapt-get install zlib1g-devapt-get install libssl-devapt-get install automakeapt-get install libtool(2)ant安装:apt-get install ant测试:ant --ver
Deng2012web
·
2015-05-26 19:00
源码编译
ubuntu14.04
hadoop2.6
hadoop环境搭建
Tachyon0.6.4+Spark1.3+hadoop2.6.0 配置教程详解
前言本文在安装前已经配置好了spark1.3和
hadoop2.6
,因项目需求需要搭建tachyon,但是搭建过程中遇到了很多很多很多的问题,写下本文用来记录这一路上所踩过的坑吐槽一句:tachyon的官方文档不是很完善啊
wzq294328238
·
2015-05-20 11:00
hadoop本地库与系统版本不一致
hadoop本地库与系统版本不一致引起的错误解决方法(suse11上部署
hadoop2.6
遇到的问题,网上搜的资料,待验证)集群中设置支持gziplzo压缩后,在对压缩文件进行读取或者对输入文件压缩的时候要使用到
liws2010
·
2015-05-13 21:00
【Hadoop】MAC下
hadoop2.6
安装以及执行wordcount
首先简单介绍下博主的配置环境MAC10.10.0hadoop2.6JDK1.6(可以在shell里用jdk-version查询)hadoop安装安装的话推荐使用mac下面的brew,理由就是用brew安装的话,它会自动给帮你配置好相应的路径。当然也可以到官网下载,注意jdk和hadoop版本要对应。brewinstallhadoop安装好了之后,可以使用brewlisthadoop来查看。位置应该
gshengod
·
2015-05-13 10:00
hadoop
环境
hadoop2.6
安装配置过程摘要
今天心血来潮,学习一下hadoop,现将安装配置过程记录如下,供以后查阅。1.运行环境相关 1、两台VMWare虚拟机,RHEL6.4(64位)、jdk1.7,相关安装过程省略。 2、master192.168.36.129 slave1192.168.36.130,并将主机IP配置信息添加到/etc/hosts中 3、Linux中创建hadoop用户,hadoop安装目录为/us
yingkongshi99
·
2015-05-09 19:00
hadoop
云计算
Hadoop2.6
和2.7中几个重要的新特征
Hadoop2.71.YARN-1492-Automaticshared,globalcachingofYARNlocalizedresources(beta)HadoopDistributedCache大家应该比较熟悉。它的局限是只能在一个Job间共享file,该特性期望实现多个job间共享file。不过Hadoop2.7中,该特征为Beta版本,社区希望在Hadoop2.8中实现正式版。2.M
c77_cn
·
2015-05-05 15:04
Hadoop
centos7.0 编译
hadoop2.6
hadoop编译&集群centos7.0 将所有的需要的软件拷贝到/usr/local/softs目录下所有软件都安装在/usr/lib1.安装jdk1.7,配置环境变量2.安装maven,配置环境变量在conf/setting.xml找到/path/to/local/repo取消注释改为/usr/lib/apache-maven-3.3.3/repo在maven目录下创建repo/setting
os_vc
·
2015-04-29 19:00
hadoop2.6
集群搭建
下面是自己在公司的测试服务器上面搭建的HA #nohup java -jar puv_view.jar >> puv_out.file 2>&1 & #*/2 * * * * sh /usr/local/puv_jar/exc.sh 卸载centos自带的jdk yum -y remove java java-1.7.0-openjdk-1.7.
hadasione
·
2015-04-29 12:00
hadoop2
搭建基于
hadoop2.6
的eclipse开发平台
首先需要编译eclipse插件。下载源代码:gitclonehttps://github.com/winghc/hadoop2x-eclipse-plugin.git注意编译之前,需要安装ant。未安装时候,到apache官网下载安装包http://ant.apache.org/bindownload.cgi下载完成hadoop-eclipse插件后,在当前目录下会有一个文件夹hadoop2x-e
xygl2009
·
2015-04-24 16:00
hadoop2.6.0伪分布式和集群环境搭建
伪分布式 blog.csdn.net/stark_summer/article/details/43484545(搭建
Hadoop2.6
是参考此文档的) doc.okbase.net/baolibin528
xinklabi
·
2015-04-23 13:00
hadoop2
基于
hadoop2.6
安装hive与pig的问题
安装hive、pig时,需要在/etc/profile添加下面的环境变量exportHIVE_HOME=/usr/local/hive exportPIG_HOME=/usr/local/pig exportHIVE_CLASSPATH=/usr/local/hadoop/etc/hadoop/ exportPIG_CLASSPATH=/usr/local/hadoop/etc/hadoop/首先
xygl2009
·
2015-04-20 19:00
hadoop2.6
和hbase1.0单机版安装配置
环境系统:Ubuntu14.04hadoop版本:2.6.0hbase版本:1.0jdk版本:1.8下载地址:Apache上慢慢找吧~~jdk的环境配置这里就不列出来了,首先讲一下hadoop配置吧。hadoop安装1.安装位置:/opt2.创建hadoop用户组sudoaddgrouphadoop3.创建hadoop用户sudoadduser-ingrouphadoophadoop4.给hado
xanxus46
·
2015-04-19 23:00
hadoop
安装
配置
ubuntu
hbase
Spark 操作 HBase 详解 spark1.4 hbase1.0
本文内容大部分基于Hbase源码官方文档及网络博客UserAPIReferenceHBaseRefguide所有代码基于spark1.3、hbase1.0和
hadoop2.6
环境配置首先操作hb
wzq294328238
·
2015-04-17 17:00
spark
hbase
64位Ubuntu14.04下安装
hadoop2.6
单机配置和伪分布配置详解
环境系统:Ubuntu14.0464bitHadoop版本:Hadoop2.6.0(stable)JDK版本:oraclejdk7第一步在Ubuntu下创建hadoop用户组和用户 创建hadoop用户组sudo addgroup hadoop 2.创建hadoop用户sudo adduser -ingroup hadoop hadoop 3.给hadoop用户添加权限,打开/etc/sudo
panjf2000
·
2015-04-03 16:00
ubuntu14.04
hadoop2.6
64位Ubuntu14.04编译
hadoop2.6
编译前准备hadoop-2.6.0-src.zipmavenJDK7(注意,需要是JDK7,JDK8因为兼容性问题无法编译成功)开始编译安装JDK安装方法请参见:http://my.oschina.net/u/2282865/blog/395739安装maven sudo apt-get install maven mvn --version 安装依赖库 sudo apt-get instal
panjf2000
·
2015-04-03 16:00
hadoop
编译
Hadoop集群和Hbase集群搭建
(本人亲自验证过,可行)1、准备:Hadoop2.6+hbase0.98.1+jdk1.7Linuxcentos6.52、
hadoop2.6
完全分布式的安装部署Linux系统:centos6.532位2.1
jimoshazhouleng360
·
2015-03-26 17:58
Java
Centos源码编译安装
Hadoop2.6
Centos6.5(64bit) jdk7 ant1.9.4 maven3.1.1 findbugs3.0.0 protobuf2.5.0 hadoop2.5.1 源代码文件 二、安装以上所需的所有软件1.yum可安装的软件[html] viewplaincopy yum install svn ncurses-devel gcc* lzo-devel zlib-de
ihanxiao2100
·
2015-03-25 15:00
java
源代码
profile
Export
hadoop 2.6 hive 1.2 jline 错误
在配置
hadoop2.6
,hive1.2的时候,会报一个错误。
internetafei
·
2015-03-13 17:00
hadoop2.6
编译
1、 mvnpackage-Pdist,native,docs-DskipTests-Dtar-Dmaven.javadoc.skip=true Exitcode:1-/home/lpf/devTool/hadoop-2.6.0-src/hadoop-common-project/hadoop-annotations/src/main/java/org/apache/hadoop/classifi
internetafei
·
2015-03-12 17:00
【Hbase】hbase入门使用教程
该文章的前期准备hadoop安装zk安装本文所用的hbase版本是0.98.9在安装hbase前,先确保下依赖组件的各个版本,本文的hadoop版本是2.6,在官网上没有给出支持的相关说明,但是我们仍然来使用
hadoop2.6
chiweitree
·
2015-03-03 16:00
centos单机安装
Hadoop2.6
集群安装:http://blog.csdn.net/linghe301/article/details/9184453Hadoop2.6单机安装一,安装环境硬件:虚拟机操作系统:Centos6.464位IP:10.51.121.10主机名:datanode-4安装用户:root二,安装JDK安装JDK1.6或者以上版本。这里安装jdk1.6.0_45。下载地址:http://www.oracle.
woshisunxiangfu
·
2015-03-02 23:03
JAVA
hadoop2.6
编译过程(64位)
1.安装JDK,使用java-version查看jdk版本,确定JDK版本是64位。(必须是jdk7的4版本以上)(1)解压jdk$tar-xvzfjdk-7u72-linux-x64.tar.gz(2)设置环境变量vim/etc/profile#=============javaenv============exportJAVA_HOME=/usr/local/jdk1.7.0_72export
njiang
·
2015-02-28 20:02
Hadoop
win7
Hadoop2.6
Eclipse插件制作
1.安装jdk、ant、eclipse 2.下载源码 https://github.com/winghc/hadoop2x-eclipse-plugin.git 3.编译 进入到hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin目录执行如下命令: ant jar -Dversion=2.6.0 -
limengyu
·
2015-02-06 17:00
hadoop
win764bit下Eclipse连接ubuntu中
hadoop2.6
经验总结
作为初学者,总结一下配置
hadoop2.6
的心得体会。 首次配置时采用虚拟机中运行Ubuntu14.04,直接配置
hadoop2.6
,并在其中运行Eclipse。
slocum
·
2015-02-06 10:18
eclipse
win7
ubuntu
hadoop2.6
【hadoop 2.6】hadoop 2.6源码编译过程,redhat 5.8操作系统进行编译【附:软件下载】
大家在官网下载
hadoop2.6
安装完使用的时候,总是在控制台有这样一句 WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform
chiweitree
·
2015-02-04 16:00
hadoop
源码编译
如何远程读取CDH的hadoop上的HDFS数据?
以前,散仙曾写过一篇如何在win上使用eclipse远程读取HDFS上的数据,不过当时使用的hadoop是1.2版本的,而且还是apache的,今天hadoop的最新版本已经到
hadoop2.6
了,而我们服务器上的
qindongliang1922
·
2015-01-26 21:00
eclipse
mapreduce
hadoop
hdfs
如何远程读取CDH的hadoop上的HDFS数据?
以前,散仙曾写过一篇如何在win上使用eclipse远程读取HDFS上的数据,不过当时使用的hadoop是1.2版本的,而且还是apache的,今天hadoop的最新版本已经到
hadoop2.6
了,而我们服务器上的
qindongliang1922
·
2015-01-26 21:00
eclipse
mapreduce
hadoop
hdfs
如何远程读取CDH的hadoop上的HDFS数据?
以前,散仙曾写过一篇如何在win上使用eclipse远程读取HDFS上的数据,不过当时使用的hadoop是1.2版本的,而且还是apache的,今天hadoop的最新版本已经到
hadoop2.6
了,而我们服务器上的
qindongliang1922
·
2015-01-26 21:00
eclipse
mapreduce
hadoop
hdfs
如何远程读取CDH的hadoop上的HDFS数据?
以前,散仙曾写过一篇如何在win上使用eclipse远程读取HDFS上的数据,不过当时使用的hadoop是1.2版本的,而且还是apache的,今天hadoop的最新版本已经到
hadoop2.6
了,而我们服务器上的
qindongliang1922
·
2015-01-26 21:00
eclipse
mapreduce
hadoop
hdfs
如何远程读取CDH的hadoop上的HDFS数据?
以前,散仙曾写过一篇如何在win上使用eclipse远程读取HDFS上的数据,不过当时使用的hadoop是1.2版本的,而且还是apache的,今天hadoop的最新版本已经到
hadoop2.6
了,而我们服务器上的
qindongliang1922
·
2015-01-26 21:00
eclipse
mapreduce
hadoop
hdfs
如何远程读取CDH的hadoop上的HDFS数据?
以前,散仙曾写过一篇如何在win上使用eclipse远程读取HDFS上的数据,不过当时使用的hadoop是1.2版本的,而且还是apache的,今天hadoop的最新版本已经到
hadoop2.6
了,而我们服务器上的
qindongliang1922
·
2015-01-26 21:00
eclipse
mapreduce
hadoop
hdfs
Hadoop2.6
集群环境搭建
Hadoop2.6
集群环境搭建(HDFSHA+YARN)原来4G内存也能任性一次。
老王课程
·
2015-01-18 21:44
vmware
虚拟化
【hadoop 2.6】
hadoop2.6
伪分布模式环境的搭建测试使用
首先下载安装,这个就不说了,去apache官网下载安装,貌似186M,很大解压后,我们看下目录结构如下:[
[email protected]
]#lltotal64drwxr-xr-x220000200004096Nov1405:20bindrwxr-xr-x320000200004096Nov1405:20etcdrwxr-xr-x220000200004096Nov1405:20inc
chiweitree
·
2015-01-14 15:09
hadoop
【hadoop 2.6】
hadoop2.6
伪分布模式环境的搭建测试使用
首先下载安装,这个就不说了,去apache官网下载安装,貌似186M,很大解压后,我们看下目录结构如下:[
[email protected]
]#ll total64 drwxr-xr-x220000200004096Nov1405:20bin drwxr-xr-x320000200004096Nov1405:20etc drwxr-xr-x220000200004096Nov1405:2
chiweitree
·
2015-01-14 15:00
hadoop
2.6
Java及Web程序调用
hadoop2.6
1.hadoop集群:1.1系统及硬件配置: hadoop版本:2.6;三台虚拟机:node101(192.168.0.101)、node102(192.168.0.102)、node103(192.168.0.103);每台机器2G内存、1个CPU核; node101: NodeManager、 NameNode、ResourceManager、DataNode; node102:N
fansy1990
·
2015-01-11 01:00
yarn
web调用hadoop
windows调用Hadoop
其他网站博客收藏
Hadoop2.6
集群环境搭建(HDFSHA+YARN)http://www.linuxidc.com/Linux/2015-01/111461.htmhttp://www.linuxidc.com/Linux
Colben
·
2015-01-08 12:00
编译安装
hadoop2.6
准备:1.安装gccyuminstallgccyuminstallgcc-c++2.安装jdk(注意必须jdk,jre不行)3.ProtocolBuffer2.5.0wgethttps://protobuf.googlecode.com/files/protobuf-2.5.0.tar.bz2tarjxvfprotobuf-2.5.0.tar.bz2cdprotobuf-2.5.0.tar.bz2
dearls
·
2015-01-07 17:40
bigdata
编译安装
hadoop2.6
准备: 1.安装gcc yum install gcc yum install gcc-c++ 2.安装jdk(注意必须jdk,jre不行) 3.ProtocolBuffer 2.5.0 wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.bz2 tar jxvf protobuf-2.5.0.tar.bz2
dearls
·
2015-01-07 17:00
hadoop2
上一页
1
2
3
4
5
6
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他