E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop-1.1.2
Mapreduce程序WordCount单词计数详解
1.环境介绍:Centos6.4,
Hadoop-1.1.2
,eclipse8.52.刚刚接触mapreduce编程的时候总是不明白它是如何进行分割,如何分组,如何shuffer。
congxia2002
·
2020-09-10 22:13
Hadoop HDFS API编程
HDFSAPI编程修改hadoop-env.shexportHADOOP_CLASSPATH=/home/anker/
hadoop-1.1.2
/myclass设置环境变量修改.bash_profile,
woi123
·
2020-08-20 20:35
Hadoop
win7环境hadoop上传异常解决:Failed to set permissions of path
1:导入
hadoop-1.1.2
源码core部分2:ctrl+shift+R输入FileUtil,打开FileUtil.java3:修改
hadoop-1.1.2
\src\core\org\ap
彭浩_JAVA
·
2020-08-14 18:56
hadoop
Linux执行 Hadoop WordCount
hadoop@HADOOP:~$start-all.shWarning:$HADOOP_HOMEisdeprecated.startingnamenode,loggingto/home/hadoop/
hadoop
红磨坊后的白桦树
·
2020-08-12 17:32
WordCount单词计数详解
1.环境介绍:Centos6.4,
Hadoop-1.1.2
,eclipse8.52.刚刚接触mapreduce编程的时候总是不明白它是如何进行分割,如何分组,如何shuffer。
ITboy-Bear
·
2020-08-01 02:00
Mapreduce
mapreduce
hadoop
Hadoop任务提交过程
Hadoop任务提交分析分析工具和环境下载一份hadoop的源代码,这里以
hadoop-1.1.2
为例。本地IDE环境为eclipse。导入整个文件夹,然后能够在IDE里面看到文件夹结构了。
weixin_30451709
·
2020-07-28 16:11
hadoop1.x升级2.6记录
现有版本:
hadoop-1.1.2
升级版本:hadoop-2.6.0hadoop官方地址系统版本:CentOSrelease6.7(Final)JDK版本:javaversion"1.7.0_21"64
崇贺
·
2020-02-21 02:39
hadoop- hdfs
1.实践进入/app/
hadoop-1.1.2
,新建文件夹input,在文件夹下vidaysn.txtdaysnwuishandsomeveryhandsomewowsosohandsomeyesheis
WU大雄
·
2020-02-09 01:00
大数据:Hadoop单机搭建 1.0版本
1vimhadoop-env.shexportJAVA_HOME=/usr/java/jdk1.7.0_652vimcore-site.xmlfs.default.namehdfs://itcast:9000hadoop.tmp.dir/itcast/
hadoop
JinChao94
·
2019-09-15 15:01
大数据
eclipse读取hadoop源码
用MyEclipse读取hadoop源代码【1】下载hadoop,解压并打开了解目录接口,其中src中是存放源码的地方,D:\ProgramFiles\
hadoop-1.1.2
\srchadoop源码结构
先生_吕
·
2016-12-03 18:53
WordCount单词计数详解
环境介绍:Centos6.4,
Hadoop-1.1.2
,eclipse8.52. 刚刚接触mapreduce编程的时候总是不明白它是如何进行分割,如何分组,如何shuffer。
u014432433
·
2016-03-28 10:00
mapreduce
hadoop
如何将 hadoop1.1.2/1.2.1 源码关联到 Eclipse
设置jre的版本并下调编译级别:step2:拷贝hadoop源码到srchadoop的源码我们主要关心的是hadoop的src目录下的core、hdfs、mapred三个文件夹下的内容:我们将其拷贝到
hadoop
lanchunhui
·
2016-03-14 12:00
hadoop下运行mapreduce程序Failed to set permissions of path:的解决
1.运行环境介绍 win7旗舰版,虚拟机vmwareworkstation11下Centos6.2-32位,
hadoop-1.1.2
。
u014432433
·
2016-01-19 18:00
mapreduce
hadoop
hadoop-1.1.2
在Windows环境下的部署
1:先安装Cygwin 参考http://blog.csdn.net/wind520/article/details/9223003 2:下载 3:解压在C:\cygwin\hadoop1 4:配置 hadoop1/conf下需要配置的文件: 1).hadoop-env.sh 2).core-site.xml 3).hdfs-site.xml 4).
·
2015-11-13 16:56
windows
hbase:应用开发
开发环境: hadoop:
hadoop-1.1.2
hbase: hbase-0.94.11-security eclipse:Juno Service Release 2  
·
2015-11-13 07:49
hbase
linux服务器伪分布模式安装
hadoop-1.1.2
1:环境准备 1台linux服务器, hadoop安装包( apache官方网下载) jdk1.6+ 2:安装jdk ,配置好环境变量(etc/profile),java -version 测试正确进行下一步。 3:配置ssh免密码登录 cd ~ &n
·
2015-11-12 21:58
hadoop
eclipse安装Hadoop1.1.2版本开发插件
我的系统配置: VMware Workstation10 CentOS-6.5-i386
hadoop-1.1.2
eclipse_SDK_3.7.2_win32 系统配置说明
·
2015-11-11 17:17
eclipse
hadoop-1.1.2
集群搭建
Hadoop安装分为三种不同模式: 本地模式:hadoop在运行时,不使用hdfs,而是使用linux操作系统的文件系统.(默认hadoop就是本地模式) 伪分布模式:在一个节点上运行hadoop(指的是hadoop的各个进程都是在我们的一个节点上都是开启的).hadoop的"运行机制"和集群模式相似, 集群模式:在生产中真正使用的,hadoop的各个进程运行在集群
·
2015-11-11 11:44
hadoop
伪分布式环境下命令行正确运行hadoop示例wordcount
[root@cluster2 logs]# cp /usr/local/
hadoop-1.1.2
/src/examples/org/apache/hadoop/examples/WordCount.jav
·
2015-11-09 12:08
wordcount
【Hadoop环境配置】Hadoop安装,配置和试用
hadoop.apache.org/ Hive工具:http://hive.apache.org/ 1.2 国内的镜像下载服务器 http://mirror.bjtu.edu.cn/apache/hadoop/common/
hadoop
·
2015-11-09 11:51
hadoop
The First Pig Task
The First Pig Program 环境:
Hadoop
·
2015-11-03 22:50
first
Hadoop学习-错误记录
1.NameNode线程无法启动解决办法:删除/usr/local/Hadoop/
hadoop-1.1.2
/libexec/..
u012302681
·
2015-08-30 14:00
hadoop
linux服务器可以ping通,但是访问不了--Ip地址:端口--
vmware8中装了两个centos6.5,其中一个搭建了
hadoop-1.1.2
,伪分布式,在centos上可以访问自己的localhost:50070,但是在另一台centos上和windows下,
zbuger
·
2015-07-31 19:00
hadoop
分布式
HDFS FileSystem常用方法
工程所依赖的jar包,
hadoop-1.1.2
/*.jar、
hadoop-1.1.2
/lib/*.jar 编写Java程序通过
mvplee
·
2015-05-22 16:00
System
Eclipse Ant 编译Hadoop-1.03 和
Hadoop-1.1.2
Ubuntu12.04 Java1.6_27 Hadoop-1.03和Hadoop1.1.2 EclipseVersion:JunoServiceRelease1 Ant:1.9.4 一、安装Ant等 1、安装ant 采用ant编译build.xml 安装ant环境。 yancy@ubuntu:~/hadoop-com$tar-zxfapache-ant-1.9.4-bin.tar.gzyanc
hpuyancy
·
2015-01-22 11:00
eclipse
hadoop
ant
eclipse连接远程
hadoop-1.1.2
报0700错误
0环境如下:eclipse远程CentOS下的hadoop集群,代码运行时报错如下:Exceptioninthread"main"java.io.IOException:Failedtosetpermissionsofpath:\tmp\hadoop-zm\mapred\staging\zm-1751049113\.stagingto0700atorg.apache.hadoop.fs.FileU
iteye_3893
·
2014-12-10 13:32
hadoop1
大数据
开发工具
java
eclipse连接远程
hadoop-1.1.2
报0700错误
0 环境如下: eclipse远程CentOS下的hadoop集群,代码运行时报错如下: Exceptioninthread"main"java.io.IOException:Failedtosetpermissionsofpath:\tmp\hadoop-zm\mapred\staging\zm-1751049113\.stagingto0700 atorg.apache.hadoop.
chengjianxiaoxue
·
2014-12-10 13:00
eclipse
Hadoop大象之旅010-使用eclipse查看hadoop源码
老帅我这使用的是hadoop-1.1.2.tar.gz,这个文件可以在下面地址下载到:官方地址:http://archive.apache.org/dist/hadoop/core/
hadoop
shuaihj
·
2014-12-10 08:00
hadoop
大数据
云计算
Hive 安装配置记录
HADOOP_HOME_WARN_SUPPRESS=1 export JAVA_HOME=/home/hadoop/installer/jdk7u65 export HADOOP_HOME=/home/hadoop/installer/
hadoop
·
2014-08-20 18:00
hive
将hadoop源码关联到eclipse
0目的仅仅是为了以后查看Hadoop源码方便而已,不做别的用途 1新建java工程 hadoop02解压hadoop-1.1.2.tar,将
hadoop-1.1.2
\src下的mapred hdfs
chengjianxiaoxue
·
2014-08-03 15:00
eclipse
spark使用总结
/spark-shell --driver-library-path :/usr/local/
hadoop-1.1.2
/lib/native/Linux-i3
chaoboma
·
2014-07-07 15:00
spark
spark安装配置
在原有
hadoop-1.1.2
集群上部署spark集群,基本参照网上帖子 1.安装 http://blog.csdn.net/hxpjava1/article/details/19177913
chaoboma
·
2014-07-07 15:00
spark
统计PV、UV
使用的工具:三台linux、
hadoop-1.1.2
、jdk1.7.0_45、XmanagerEnterprise4、eclipse、目标统计:pv、uv对日志字段进行分析每行记录有5部分组成:访问ip2
23萝卜
·
2014-06-23 00:51
mapreduce
pv
uv
hadoop
统计PV、UV
使用的工具:三台linux、
hadoop-1.1.2
、jdk1.7.0_45、XmanagerEnterprise4、eclipse、目标统计:pv、uv对日志字段进行分析每行记录有5部分组成:访问ip
23萝卜
·
2014-06-23 00:51
mapreduce
pv
UV
Windows远程调试Hadoop
前置条件成功安装配置Hadoop集群成功编译安装HadoopEclipse插件本地有和服务器相同版本的Hadoop安装包,并已解压(本例使用
hadoop-1.1.2
)启动Hadoop集群配置hadoopinstallationdirectoryEclipse
tangtb
·
2014-06-03 21:00
Hadoop HDFS API编程
HDFS API编程 修改hadoop-env.sh export HADOOP_CLASSPATH=/home/anker/
hadoop-1.1.2
/myclass 设置环境变量 修改
yangeoo
·
2014-05-13 10:00
hadoop
Hadoop-1.1.2
、HBase-0.94.7完全分布式集群搭建
能够将热爱的技术应用于实际生活生产中,是做技术人员向往和乐之不疲的事。现将前期手里面的一个项目做一个大致的总结,与大家一起分享、交流、进步。项目现在正在线上运行,项目名——基于Hadoop的数据分析综合管理平台。项目流程整体比较清晰,爬取数据(txt文本)-->数据清洗-->文本模型训练-->文本分类-->热点话题发现-->报表"实时"展示,使用到的技术也是当今互联网公司常用的技术:Hadoop、
bigdata-余建新
·
2014-05-02 11:19
Hadoop
Hadoop初学指南(4)--使用java操作HDFS
windows/system32/drivers/etc下的hosts文件前一个为虚拟机的ip地址,后一个为虚拟机的主机名②打开eclipse,新建一个Java工程,在src下建立一个hdfs的文件夹③导入
hadoop
yushaoqing
·
2014-04-29 11:48
java
hadoop
FileSystem
Hadoop
Hadoop初学指南(4)--使用java操作HDFS
windows/system32/drivers/etc下的hosts文件前一个为虚拟机的ip地址,后一个为虚拟机的主机名②打开eclipse,新建一个Java工程,在src下建立一个hdfs的文件夹③导入
hadoop
yushaoqing
·
2014-04-29 11:48
java
hadoop
hdfs
FileSystem
Hadoop初学指南(3)--HDFS的体系结构
所有涉及到的源码都是
hadoop-1.1.2
的源码。
yushaoqing
·
2014-04-29 00:26
hadoop
体系结构
HDFS
Hadoop
Hadoop初学指南(3)--HDFS的体系结构
所有涉及到的源码都是
hadoop-1.1.2
的源码。
yushaoqing
·
2014-04-29 00:26
hadoop
hdfs
NameNode
体系结构
datanode
修改hadoop的core-site.xml的配置文件不需重启也生效了
我是用
hadoop-1.1.2
,不知道其他
panguoyuan
·
2014-04-24 17:47
storm
spark)
Windows xp 环境下通过MyEclipse运行hadoop map reduce程序
Windowsxp环境下通过MyEclipse运行hadoopmapreduce程序1.通过MyEclipse建立一个web工程 2:将
hadoop-1.1.2
目录下面的jar和lib下面的jar
wangmuming
·
2014-04-16 19:00
hadoop
windows
MyEclipse
XP
fuse_trash.c:119: error: too few arguments to function 'hdfsDelete'
antcompile-contrib-Dlibhdfs=1-Dfusedfs=1编译fuse_dfs的时候出现如下错误:compile: [echo]contrib:fairscheduler [javac]/root/
hadoop
Mrknowledge
·
2014-04-08 22:00
win7 x64 eclipse_kepler下编译 hadoop1.1.2-celipse-plugin
1、编译前准备a) 下载和解压hadoop-1.1.2.tar.gzb) 下载并配置ant2、配置a) 进入
hadoop-1.1.2
\src\contrib拷贝build-contrib.xml
fz2543122681
·
2014-03-25 12:00
eclipse
hadoop
win7
插件
kepler
云计算环境搭建:
hadoop-1.1.2
+ zookeeper-3.4.5 + hbase-0.94.7
看了长时间的原理和机制,终于有了两天闲工夫,系统的实施一下环境搭建。综合参考官网文档以及其他版本安装的脚步,写下来,加深一下自己的理解与记忆。清口水果:1.安装JDK,配置环境变量,javac验证;2.确定实验需要使用的用户,了解用户角色及权限范围;(貌似除了ubuntu自动关闭防火墙外,其他linux需要弄一下)3.确定机器ip,改写/etc/hosts使能够解析地址;4.安装ssh,三台机器互
xiangaichou
·
2014-03-03 09:00
hadoop
集群
zookeeper
hbase
云计算
hadoop错误之ClassNotFoundException
http://www.cnblogs.com/kaizhangzhang/p/3495438.html 在win7下运行
hadoop-1.1.2
worldcount代码的时候出现下面的错误
·
2014-02-28 16:00
HBase的集群搭建
Hadoop版本:
hadoop-1.1.2
,已经安装部署了。zookeeper版本:zookeeper-3.4.5,已经安装部署了。
汐朔
·
2014-02-17 01:19
hadoop
hadoop错误之ClassNotFoundException(下)
hadoop开发环境:window上eclipse+虚拟机的ubuntu13.04+hadoop-1.1.2+JDK1.7 在win7下运行
hadoop-1.1.2
worldcount代码的时候出现下面的错误
·
2013-12-28 16:00
android入门(5)_设置DataNode的心跳时间
Linux环境:CentOs6.4 Hadoop版本:
Hadoop-1.1.2
master:192.168.1.241 NameNode
崔同亮
·
2013-08-18 15:00
hadoop
datanode
dead
上一页
1
2
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他