E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop-2.6.0
DataNode中block的存放位置和大小
我的DataNode中存放Block的位置是/usr/local/myHadoop/
hadoop-2.6.0
/tmp/dfs/data/current/BP-1425842400-192.168.1.101
安静平和
·
2016-03-05 07:22
Hadoop
Hadoop2.6DataNode服务未启动
很奇怪查看日志,之后发现原因是hadoop安装好之后,格式化多次,VERSION版本不同,造成的clusterid主从节点不一样[
[email protected]
]$cat/usr/local/
hadoop
1350368559
·
2016-02-28 15:27
hadoop
服务
datanode
eclipse开发hadoop环境搭建
1.jdk安装hadoop集群的搭建,不再详述,参考http://kevin12.iteye.com/blog/2273556;下面运行下hadoop自带的wordcount例子:2.先将
hadoop-
Kevin12
·
2016-02-14 12:00
java
eclipse
hadoop
eclipse开发hadoop环境搭建
1.jdk安装hadoop集群的搭建,不再详述,参考http://kevin12.iteye.com/blog/2273556;下面运行下hadoop自带的wordcount例子:2.先将
hadoop-
Kevin12
·
2016-02-13 14:00
eclipse
hadoop
java
大数据 IMF传奇行动 如何 搭建 8台设备的 hadoop分布式集群
exportHADOOP_HOME=/usr/local/
hadoop-2.6.0
exportPATH
duan_zhihua
·
2016-02-07 14:00
开启Hadoop2.6.0出现ssh无法解析主机名等错误提示的解决办法!
/hadoop/
hadoop-2.6.0
/sbin/start-all.shThisscriptisDeprecated.Insteadusestart-dfs.shandstart-yarn.sh15
kernel_32
·
2016-02-04 18:00
hadoop-2.6.0
分布式环境搭建详细过程
组网:3台虚拟机centos6.5vm1(master)、vm2(slave1)、vm3(slave2)一:准备工作1、配置java2、配置sshmaster无密码访问vm2、vm33、下载hadoop-2.6.0.tar.gz我把这个压缩包放在/usr/local/下,tar-xvfhadoop-2.6.0.tar.gz4、先创建3个文件夹mkdirhadoop-2.6.0/tmpmkdirha
y0367
·
2016-01-23 20:00
hadoop2.6.0 Win7 环境下myeclipse插件安装
二、配置
hadoop-2.6.0
环境变量 下载hadoop-2.6.0.tar.gz,解压。
Linn_y
·
2016-01-16 16:00
linux常用命名
root删除user/root目录及其内容hdfsdfs-rm-ruser/root将一个文件从linux实际目录复制到hdfs的user/root下hdfsdfs-put/home/localadmin/
hadoop
蜗牛天空
·
2016-01-13 14:00
linux
脚本
Spark LDA 主题预测
关于LDA模型训练可以参考:SparkLDA主题抽取开发环境:spark-1.5.2,
hadoop-2.6.0
,spark-1.5.2要求jdk7+。
poised
·
2015-12-23 11:00
scala
spark
预测
LDA
关键词提取
Spark LDA 主题抽取
主题预测请参考:SparkLDA主题预测开发环境:spark-1.5.2,
hadoop-2.6.0
,spark-1.5.2要求jdk7+。语料有大概70万篇博客,十亿+词汇量,词典大概有五万左右的词。
poised
·
2015-12-22 20:00
scala
spark
主题抽取
LDA
Hadoop2.x版本的eclipse插件问题汇总
问题一:最近搭建
hadoop-2.6.0
之后,在Window8系统中,将自己ant编译的hadoop-eclipse-plugin-2.6.0放在eclipse\plugins\目录下,重启eclipse
buster2014
·
2015-11-26 07:00
Hadoop2.6.0学习笔记(三)HDFS架构
HDFSArchitecture见:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html或下载的tar包解压后的
hadoop
luchunli1985
·
2015-11-25 21:50
hdfs
Architecture
Hadoop2.6.0学习笔记(三)HDFS架构
HDFSArchitecture见:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html或下载的tar包解压后的
hadoop
luchunli1985
·
2015-11-25 21:50
hdfs
Architecture
Hadoop-2.6.0
学习笔记汇总
鲁春利的工作笔记,谁说程序员不能有文艺范? Hadoop是适用于大数据处理的、分布式的存储(HDFS)和计算(MapReduce)平台,在Hadoop2.0版本开始引入了yarn来实现资源管理与作业调度。HDFS Hadoop2.6.0学习笔记(一)HA集群搭建 http://luchunli.blog.51cto.com/2368057/1672186 Hadoop2.
luchunli1985
·
2015-11-22 15:45
hadoop2.6b
Hadoop-2.6.0
学习笔记汇总
鲁春利的工作笔记,谁说程序员不能有文艺范? Hadoop是适用于大数据处理的、分布式的存储(HDFS)和计算(MapReduce)平台,在Hadoop2.0版本开始引入了yarn来实现资源管理与作业调度。HDFS Hadoop2.6.0学习笔记(一)HA集群搭建 http://luchunli.blog.51cto.com/2368057/1672186 Hadoop2.
luchunli1985
·
2015-11-22 15:45
hadoop2.6b
ubuntu搭建分布式
hadoop-2.6.0
概略和错误
详细配置:http://blog.csdn.net/ggz631047367/article/details/424263911.修改机器/etc/hostname分别为 master slave1 slave2 重启2.修改/etc/hosts,删除多余项 192.168.2.223master 192.168.2.222slave2 192.168.2.224slave1 注释掉127.0.
ggz631047367
·
2015-11-13 20:00
hadoop-2.6.0
为分布式安装
hadoop-2.6.0
为分布式安装伪分布模式集群规划(单节点)---------------------------------------------------------------------
·
2015-11-07 12:02
hadoop
ubuntu14.04安装hadoop2.6.0(伪分布模式)
版本:虚拟机下安装的ubuntu14.04(64位),
hadoop-2.6.0
下面是hadoop2.6.0的官方英文教程: http://hadoop.apache.org/docs/r2.6.0
·
2015-11-07 10:21
hadoop2
Hadoop2源码分析-Hadoop V2初识
本篇博客给大家分享,让大家对Hadoop V2有个初步认识,博客的目录内容如下所示: Hadoop的渊源 Hadoop V2部分项目图 各个包的功能介绍 本篇文章的源码是基于
Hadoop
·
2015-11-01 09:18
hadoop2
Hadoop-2.6.0
上配置 spark
在安装了hadoop之后一,安装Scala 1,到http://www.scala-lang.org/download/ 下载与Spark版本对应的Scala。Spark1.2对应于Scala2.10的版本。这里下载scala-2.10.4.tgz。 2,解压安装Scala 1),执行#tar-axvfscala-2.10.4.tgz,解压到/root/spark/scala-2.10.4。 2)
Dopamy_BusyMonkey
·
2015-10-26 20:00
spark
hadoop 安装配置学习
tar-xzvfhadoop-2.6.0.tar.gz vi/etc/profile exportHADOOP_HOME=/data/
hadoop-2.6.0
exportJAVA_HOME=/usr/
chenzenan
·
2015-10-22 19:00
Hadoop-2.6.0
+ Zookeeper-3.4.6 + HBase-0.98.9-hadoop2环境搭建示例
1 基本信息 1.1 软件信息
hadoop-2.6.0
zookeeper-3.4.6 hbase-
·
2015-10-19 11:42
zookeeper
hadoop2集群安装和测试之window开发环境
1、配置hadoop环境复制一份linux的安装配置好的hadoop放到Windows指定目录并配置环境变量HADOOP_HOME=E:\hadoop\
hadoop-2.6.0
追加环境变量path内容:
tianwei7518
·
2015-09-27 09:00
hadoop
集群
Java Web开发 和 linux下开发 汇总
常用命令linux与windows通过SSH文件传输CentOS删除自带jdk配置自己的jdk计算机常用网络指令linux(CentOS7)下eclipse配置maven-3.3.3和新建maven项目开发
hadoop
BusyMonkey
·
2015-09-25 08:19
Web
Java Web开发 和 linux下开发 汇总
常用命令linux与windows通过SSH文件传输CentOS删除自带jdk配置自己的jdk计算机常用网络指令linux(CentOS7)下eclipse配置maven-3.3.3和新建maven项目开发
hadoop
Dopamy_BusyMonkey
·
2015-09-25 08:00
J2EE
hadoop的example中的wordcount运行示例
2.运行jar包中的class:hadoopjar~/cloud/
hadoop-2.6.0
/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.
bob601450868
·
2015-09-20 15:00
java
hadoop
linux(CentOS 7)下eclipse配置maven-3.3.3 和新建maven项目开发
hadoop-2.6.0
接口
首先下载一个eclipse,这里我的linux是CentOS64位,用的是这个版本的eclipse,因为占用内存比较小:然后运行tar-zxvfeclipse.........之后在当前目录下就会有一个eclipse了:然后是安装maven,这里是安装程序:apache-maven-3.3.3.bin.tar.gz同样是先解压,然后再是设置环境变量,vim/etc/profile加入以下内容然后使
Dopamy_BusyMonkey
·
2015-09-16 15:00
hadoop
J2EE
CentOS-6.5下编译
hadoop-2.6.0
的eclipse插件
欲看大招,请直接拖到最低部。windows下hadoop的eclipse插件在CentOS里用不了了,只能自己去编译。1)下载插件2x版本的源码2)在CentOS里安装Ant,进入目录/src/contrib/eclipse-pligin目录下,使用ant命令编译:antjar-Dversion=2.6.0-Declipse.home=/home/eclipse-Dhadoop.home=/usr
shen_jz2012
·
2015-09-13 19:00
hadoop
eclipse插件
mac中myeclipse10连接
hadoop-2.6.0
集群开发环境问题汇总
问题1:org.apache.hadoop.security.AccessControlException:org.apache.hadoop.security .AccessControlException:Permissiondenied:user=Administrator,access=WRITE,inode="root":root:/tmp:rwxr-xr-x其实这个错误的原因很容易看出
ljp812184246
·
2015-09-08 17:00
MyEclipse
集群
mac
hadoop异常
llinux 的一些命令和错误
/
hadoop-2.6.0
/./hadoop #将文件夹名
u012373815
·
2015-09-08 11:00
HBase-1.0.1学习笔记(四)MapReduce操作HBase
环境:
hadoop-2.6.0
hbase-1.0.1 zookeeper-3.4.61、Hadoop集群配置过程略;2、Zookeeper集群配置过程略;3、HBase集群配置过程略
luchunli1985
·
2015-09-04 12:45
HBase-1.0.1学习笔记(四)MapReduce操作HBase
环境:
hadoop-2.6.0
hbase-1.0.1 zookeeper-3.4.61、Hadoop集群配置过程略;2、Zookeeper集群配置过程略;3、HBase集群配置过程略
luchunli1985
·
2015-09-04 12:45
HBase-1.0.1学习笔记(五)How HBase Master selection with Zookeeper
测试环境
hadoop-2.6.0
hbase-0.98.1-hadoop2 zookeeper-3.4.61、Hadoop集群配置过程略;2、Zookeeper集群配置过程略;3、HBase
luchunli1985
·
2015-09-02 11:23
hbase
HA
HBase-1.0.1学习笔记(五)How HBase Master selection with Zookeeper
测试环境
hadoop-2.6.0
hbase-0.98.1-hadoop2 zookeeper-3.4.61、Hadoop集群配置过程略;2、Zookeeper集群配置过程略;3、HBase
luchunli1985
·
2015-09-02 11:23
hbase
HA
HBaes1.0.1.1安装详解(亲测有效)
1、将hbase添加到环境变量中/etc/profileexportHBASE_HOME=/usr/local/
Hadoop-2.6.0
/hbase-1.0.1.1exportPATH=$HBASE_HOME
mgx289106164
·
2015-08-30 20:00
安装
hbase
将hadoop安装文件放置到了非hadoop用户授权的目录下的系列坑之一
2)安装hadoop的环境遇见下列问题:首先:在master上用scp命令向其余的slave拷贝
hadoop-2.6.0
目录时候,还让输入slave的密码,咋回事呢?
xuguokun1986
·
2015-08-21 17:00
windows下搭建
hadoop-2.6.0
本地idea开发环境
概述本文记录windows下hadoop本地开发环境的搭建:OS:windowshadoop运行模式:独立模式安装包结构:Hadoop-2.6.0-Windows.zip-cygwinInstall//cygwin离线安装包-hadoop-2.6.0-windows.tar.gz//hadoop-2.6.0windows安装包PS:hadoop-2.6.0-windows.tar.gz是基于官方发
apexlj
·
2015-08-20 15:30
hadoop
hadoop2.6 配置及优化思路
1.vi/opt/
hadoop-2.6.0
/etc/hadoop/hadoop-env.sh exportJAVA_HOME=/opt/jdk1.7.0_75 2.vi/opt/
hadoop-2.6.0
以诚相待
·
2015-08-11 09:00
eclipse hadoop远程调试
一、插件安装我用的
hadoop-2.6.0
,插件下载地址下载后扔到eclipse/dropins目录下即可,当然eclipse/plugins也是可以的,前者更为轻便,推荐;重启Eclipse,即可在透视图
steven-zx
·
2015-07-31 21:47
hadoop
hadoop-2.6.0
集群实例(接上一篇)
这是hadoop2.6.0集群环境下的单词统计程序,如果是hadoop2.0以下的,有些命令不适合,请查看其它资料!!!!首先在当前用户下建一个文件夹mkdirhadooptest创建两个文件echo"heclloworld">test1.txtecho"hellohadoop">test2.txt查看hdfs/下是否有in文件hdfsdfs-ls/ 15/07/2120:08:52WARNuti
gesanghuazgy
·
2015-07-21 20:00
hadoop
集群
实例
hadoop2.6.0实例
菜鸟学hive--UDF函数
importorg.apache.hadoop.hive.ql.exec.UDF;importorg.apache.hadoop.io.Text;/***注意一定要继承UDF*同时重写evaluate方法*还有,将
hadoop
cloudrusun
·
2015-07-21 11:06
hadoop
win8编译
hadoop-2.6.0
源码以及eclipse导入
hadoop-2.6.0
源码
一、安装maven二、安装protobuf -将protoc-2.5.0-win32中的protoc.exe拷贝到c:\windows\system32中 -将proto.exe文件拷贝到解压后的XXX\protobuf-2.5.0\src目录中 -进入XXX\protobuf-2.4.1\java目录 执行mavenpackage命令编辑该包生
nemo_tan
·
2015-07-15 10:00
Hadoop-2.6.0
学习笔记(一)HA集群搭建
鲁春利的工作笔记,好记性不如烂笔头hadoop环境分主要分为单机、伪分布式以及集群,这里主要记录集群环境的搭建。环境配置1、下载Hadoop从http://hadoop.apache.org/下载hadoop安装文件2、解压tar包[hadoop@nnode lucl]$ tar -xzv -f hadoop-2.6.0.tar.gz 3、配置Hadoop环境变量[hadoop@nnode luc
luchunli1985
·
2015-07-08 21:54
hadoop
HA
windows7下
Hadoop-2.6.0
源码错误解决、本地编译
最近在研究hadoop,下载了源码,自己想编译下折腾折腾,发现在windows环境编译hadoop还不是那么简单的,需要一些开发环境及软件的支持,毕竟hadoop的初衷不是在windows环境下使用的(尽管现在版本开始支持windows环境)。本以为网上会有一些相关的资料与解决方案,可能是hadoop版本太多,解决方法都不尽人意,为了方便以后还需要再使用,特把自己的解决方案记录下来,供自己以后参考
hj86073026
·
2015-06-12 15:00
开启Hadoop2.6.0出现ssh无法解析主机名等错误提示的解决办法!
/hadoop/
hadoop-2.6.0
/sbin/start-all.shThisscriptisDeprecated.Insteadusestart-dfs.shandstart-yarn.sh15
王上京小伙
·
2015-06-05 09:34
大数据及问题
开启Hadoop2.6.0出现ssh无法解析主机名等错误提示的解决办法!
/hadoop/
hadoop-2.6.0
/sbin/start-all.sh ThisscriptisDeprecated.Insteadusestart-dfs.shandstart-yarn.sh15
王上京小伙
·
2015-06-05 09:34
开启Hadoop2.6.0出现ssh无法解析主机名等错误提示的解决办法!
/hadoop/
hadoop-2.6.0
/sbin/start-all.sh ThisscriptisDeprecated.Insteadusestart-dfs.shandstart-yarn.sh15
王上京小伙
·
2015-06-05 09:24
开启Hadoop2.6.0出现ssh无法解析主机名等错误提示的解决办法!
/hadoop/
hadoop-2.6.0
/sbin/start-all.shThisscriptisDeprecated.Insteadusestart-dfs.shandstart-yarn.sh15
王上京小伙
·
2015-06-05 09:24
大数据及问题
Jsp显示HBase的数据
Jsp显示HBase的数据 软件:Jdk1.7、eclipse ee、vmware安装好的CentOs6.5、
Hadoop-2.6.0
、HBase-0.99.2 1、建一个普通的动态Web程序,用导
baolibin528
·
2015-05-31 23:00
Jsp显示HBase的数据
上一页
1
2
3
4
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他