E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop1.0.4
Hadoop入门学习之二:一步一步运行WordCount
1、在
Hadoop1.0.4
的解压目录的如下位置可以找到WordCount.java的源文件src/examples/org/apache/hadoop/examples/WordCount.java2
小_强
·
2023-12-18 00:39
Hadoop
hadoop
wordcount
入门
Hadoop入门学习之一:Ubuntu12.04下
Hadoop1.0.4
的伪分布式安装
一、安装JDK1、下载并安装sudoapt-getinstallopenjdk-6-jdk(安装JDK7为:sudoapt-getinstallopenjdk-7-jdk)要求输入当前用户密码时输入密码,回车;要求输入YES/NO时,输入YES,回车,一路向下安装完成;2、在命令行输入JAVA-VERSION查看是否安装成功3、配置环境变量编辑文件/etc/profile,在文件最下面加入以下三行
小_强
·
2023-12-18 00:09
Hadoop
hadoop
Hadoop
hadoop1.0.4
ubuntu12.04
伪分布式安装
Hadoop Eclipse Plugin Connect Fail 连接namenode失败
[b]LinuxVersion:Ubuntu12.04X86_64ServerVersion[/b][b]EclipseJuno[/b][b]
Hadoop1.0.4
[/b][color=red][b]namenode
kiss0807
·
2020-09-12 06:17
Hadoop
hadoop1.0.4
eclipse-plugin
Namenode
Connect
Refused
【hadoop】DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法
最近配了一个单机版的
hadoop1.0.4
,参考官方网址:http://hadoop.apache.org/docs/r1.0.4/single_node_setup.html配完后使用jps查看,发现总是有一些没有启动
dovebs
·
2020-09-11 01:10
分布式与并行计算
Hadoop Configuration设置自定义类变量
hadoop1.0.4
有时在编写Hadoop的MR的时候,会想到如果在Configuration里面可以设置一个类变量多好呀。
fansy1990
·
2020-08-11 03:20
hadoop
hadoop源码放在eclipse编译
2、svn检出
hadoop1.0.4
的源码。
nacey5201
·
2020-08-10 10:44
hadoop
hadoop源码
hadoop JobTracker获取启动时间
hadoop1.0.4
;昨天写了一篇blog,是关于获取hadoop集群任务运行信息的例子,仿照50030界面实现。
fansy1990
·
2020-08-08 15:24
JobTracker
hadoop
mapreduce
[译] Hadoop文档之MapReduce教程
Hadoop1.0.4
文档之mapred教程目录前言__11.目的__12.前提条件__13.概述__14.输入和输出__25.例子:WordCountv1.0_35.1源代码_35.2用法_65.3分析
TomHeaven
·
2020-07-08 07:54
云计算
使用shell脚本实现自动化部署HBASE集群
首先,要安装好
hadoop1.0.4
,本例中主节点的主机名为的master,从节点的主机名分别是slave1,slave2,slave3,用户名为hadoop,使用的hbase版本为hbase-0.94.6
weixin_34347651
·
2020-07-06 01:21
HBase的分布式集群安装
HBase的分布式集群安装这里安装的集群使用的是
hadoop1.0.4
版本,所以使用的hbase版本是0.94.27版本,关于hbase对hadoop的版本支持请自行百度http://archive.apache.org
应君江湖不相忘
·
2020-02-12 23:34
记一次
Hadoop1.0.4
集群的事故
由于历史原因,公司内部还在使用
hadoop1.0.4
版本的集群,而且上面运行的任务还挺多。当初开发这套系统的员工几乎都离职了,所以这块成了鸡肋。
yannhuang
·
2019-11-02 06:14
Ubuntu下hadoop-1.0.4安装过程
ubuntu12.10 安装
hadoop1.0.4
伪分布式 我是使用的虚拟机安装的,安装ubuntu12.10那就不说了
·
2015-11-13 10:17
ubuntu
初学hadoop——安装启动及遇到的问题
环境:centos6.3,jdk1.6,
hadoop1.0.4
,两台虚拟机 1,首先装好第三方软件,sun的jdk,还有ssh服务 2,ssh无密码登录,这块说一点吧,关于如何生成密钥那些文章有的是
·
2015-10-31 10:33
hadoop
Hadoop编程笔记(一):Mapper及Reducer类详解
本身所具有的特性和功能及其附属的生态圈(如Pig,Hive,Hbase等),请参阅另一个笔记系列《Hadoop学习笔记》,俺深知自己能力有限,写的不对的地方还望各位海涵,同时给俺指点一二~~ 本文说明:本文来源于
hadoop1.0.4
·
2015-10-23 08:45
hadoop
Hadoop 实践(一) 环境搭建
操作系统:centos6.564环境搭建:1.安装Hadoop,2.安装mysql, 3.安装hive,4,安装jdkHadoop安装: 下载
Hadoop1.0.4
,hadoop-1.0.4.tar.gz
lu_zhishen
·
2015-05-17 15:01
hadoop
hive
环境搭建
Hadoop 实践(一) 环境搭建
操作系统:centos6.564环境搭建:1.安装Hadoop,2.安装mysql,3.安装hive,4,安装jdkHadoop安装:下载
Hadoop1.0.4
,hadoop-1.0.4.tar.gz。
lu_zhishen
·
2015-05-17 15:01
环境搭建
hadoop
hive
hadoop1.0.4
升级到hadoop2.2 详细流程步骤
HDFS升级,是hadoop集群升级到2.0的关键,而hdfs升级,最重要的是namenode的升级。首先声明:hadoop1.x不能直接升级到HA模式下,namenode是不能升级成功的,这里也借助hadoop2.x兼容hadoop1.x的配置文件来升级。如果直接升级hadoop2.xHA模式可能会出现如下错误FATALorg.apache.hadoop.hdfs.server.namenode
超人学院
·
2015-01-09 14:00
hadoop
hadoop2.x
HDFS升级
使用shell脚本实现自动化部署HBASE集群
首先,要安装好
hadoop1.0.4
,本例中主节点的主机名为的master,从节点的主机名分别是slave1,slave2,slave3,用户名为hadoop,使用的hbase版本为hbase-0.94.6
shouwangv6
·
2014-11-25 00:13
集群
shell
hbase
Spark源码编译
,所以如果你想用你的Spark从HDFS上读取数据,那么你就的选择相应版本的HDFS来编译Spark,这个可以在编译的时候通过设置hadoop.version来选择,默认情况下,Spark默认为编译成
Hadoop1.0.4
breeze_lsw
·
2014-09-28 08:50
spark
源码编译
Maven
Spark
hadoop1.0.4
升级到hadoop2.2 详细流程步骤
hadoop1.x升级到hadoop2.2本文参考了博客:http://blog.csdn.net/ajax_jquery/article/details/27311671,对一些地方做了修改,并详细做了说明HDFS升级,是hadoop集群升级到2.0的关键,而hdfs升级,最重要的是namenode的升级。首先声明:hadoop1.x不能直接升级到HA模式下,namenode是不能升级成功的,这
zhouleilei
·
2014-09-17 20:00
hadoop1
hadoop2
(9)ubuntu下
hadoop1.0.4
源码编译
本机环境:ubuntu12.04 32位jdk1.7(1)maven-3.2.2的安装首先到maven官网下载,http://maven.apache.org/,这里我下载了最新版本,maven-3.2.2解压到/usr/local/目录下:tar-zxvf apache-maven-3.2.2-bin.tar.gz,并重命名为maven修改/etc/profile:添加一下两个变量并保存:exp
wen294299195
·
2014-08-26 16:00
hadoop
hadoop1.0.4源码编译
hadoop1.0.4
map数设置
/** *Abaseclassforfile-based{@linkInputFormat}s. * *FileInputFormatisthebaseclassforallfile-based *InputFormats.Thisprovidesagenericimplementationof *{@link#getSplits(JobContext)}. *SubclassesofFil
cuilanbo
·
2014-07-15 12:00
hadoop
map
Ubuntu下hadoop的安装与配置
阅读更多Ubuntu下hadoop的安装与配置版本:Ubuntu13.10-64bit,
hadoop1.0.4
由于数据库课程作业的需要,最近在Ubuntu下配置了hadoop环境,在此作一下记录。
Marshal_R
·
2014-06-01 15:00
hadoop
大数据
并行计算
Ubuntu下hadoop的安装与配置
阅读更多Ubuntu下hadoop的安装与配置版本:Ubuntu13.10-64bit,
hadoop1.0.4
由于数据库课程作业的需要,最近在Ubuntu下配置了hadoop环境,在此作一下记录。
Marshal_R
·
2014-06-01 15:00
hadoop
大数据
并行计算
Ubuntu下hadoop的安装与配置
Ubuntu下hadoop的安装与配置 版本:Ubuntu13.10-64bit,
hadoop1.0.4
由于数据库课程作业的需要,最近在Ubuntu下配置了hadoop环境,在此作一下记录
Marshal_R
·
2014-06-01 15:00
hadoop
大数据
并行计算
基于
Hadoop1.0.4
的分布式云网盘(转载)
基于
Hadoop1.0.4
的分布式云网盘基于
Hadoop1.0.4
的分布式云网盘是一款基于Hadoop平台的简易分布式网盘,整个架构由一个服务器节点(Master)以及若干数据节点(Slave/DataNode
Flood_Dragon
·
2014-01-25 23:00
Mahout贝叶斯分类后数据解析
mahout0.7,
hadoop1.0.4
运行本示例,参考:http://blog.csdn.net/fansy1990/article/details/11681565.首先,贴上原始数据:0.2,0.3,0.4
fansy1990
·
2014-01-20 00:55
贝叶斯算法
mahout
数据解析
hadoop 启动时间写入文件
hadoop1.0.4
;昨天看了源码,说到可以使用log信息来打印出来JobTracker的启动时间,然后来解析这个Log文件,但是这里有个问题,就是log文件是在hadoop的主节点namenode的
fansy1990
·
2013-12-20 14:36
hadoop
mapreduce
JobTracker
Hadoop1.0.4
使用新式API读取数据库及其注意问题
这个和老API读取和写入数据库的步骤差不多,只需要使用新式的API即可。但是要注意几个细节性问题。先看一下我修改的那个实例代码。这个代码是Hadoop自带的实例代码,只不过我把它改成了用新API操作而已。DBConfiguration.configureDB(getConf(),driverClassName,url,USER_NAME,PASSWORD); Jobjob=newJob(getC
哭哭吓唬你
·
2013-11-25 10:00
一步一步编译运行wordcount.java
1、在
Hadoop1.0.4
的解压目录的如下位置可以找到WordCount.java的源文件src/examples/org/apache/hadoop/examples/WordCount.java2
dreaminthewind
·
2013-10-12 15:04
java
hadoop
wordcount
MAP/REDUCE
一步一步编译运行wordcount.java
1、在
Hadoop1.0.4
的解压目录的如下位置可以找到WordCount.java的源文件src/examples/org/apache/hadoop/examples/WordCount.java2
dreaminthewind
·
2013-10-12 15:04
java
hadoop
map/reduce
hbase 与 hive配置
环境:
Hadoop1.0.4
,Hbase0.94.0,Zookeeper3.4.3,这三个组件已经在3台机器master,s1,s2上以集群方式安装并运行。
jgzd1124
·
2013-07-12 10:01
big
data
Hadoop1.0.4
伪分布式安装
前言:目前,学习hadoop的目的是想配合其它两个开源软件Hbase(一种NoSQL数据库)和Nutch(开源版的搜索引擎)来搭建一个知识问答系统,Nutch从指定网站爬取数据存储在Hbase数据库的表中,而Hbase运行在Hadoop之上。学习Hadoop已有数月,想把自己的积累晒出来,一者温故知新,二者与大家分享。写文章挺费时间的,所以文风尽量简洁。若欲了解细节可发帖讨论,交个朋友。水平有限,
·
2013-07-08 14:00
hadoop
MapReduce里面的二次排序、组排序和Partitioner - FacingTheSunCN的专栏 - 博客频道 - CSDN.NET
在
Hadoop1.0.4
中,利用setSortComparatorClass()对二次排序进行设定,但是sortcomparator需要自己实现一个comparator,下面是一个自己实现的comparator
·
2013-06-21 00:00
hadoop
database
tech
hadoop 1.0.4源代码在cygwin编译错误解决
hadoop1.0.4+ant1.9+jdk1.6+win7 其它过程我不再说明,google下都有了,只是在使用anteclipse过程中,出现如下错误: 我在cygwin里使用anteclipse构建
hadoop1.0.4
blueheart2008
·
2013-05-21 17:00
hadoop
编译
hadoop1.0.4
时遇到的两个错误
1.缺少autoconf BUILD FAILED /home/hadoop/tools/hadoopCode/hadoop-1.0.4/build.xml:618: Execute failed: java.io.IOException: Cannot run program "autoreconf" (in directory "/home/hadoop/to
java_doom
·
2013-05-07 19:00
hadoop
Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
(转载)Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)本人用的版本:ubuntu10.04.4,
hadoop1.0.4
最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文。
面对现实,超越自己
·
2013-05-06 15:00
基于hadoop+nutch+solr的搜索引擎环境搭载<一>hadoop完全分布式环境搭建
hadoop完全分布式环境搭建还算那句话:能看官方文档就尽量看官方文档
hadoop1.0.4
完全分布式官方文档先扯点题外话,这个项目是我的比赛项目,可能比较简陋,主要还是想学习关于hadoop和搜索引擎方面的一些知识
·
2013-05-05 13:00
hadoop
(csdn内转载)DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法
最近配了一个单机版的
hadoop1.0.4
,参考官方网址:http://hadoop.apache.org/docs/r1.0.4/single_node_setup.html配完后使用jps查看,发现总是有一些没有启动
smh821025
·
2013-05-01 00:00
Eclipse
Hadoop1.0.4
插件
2,下载eclipsehadoop插件我用的是
hadoop1.0.4
的版本,这里有个比较好的版本。
Anders_Zhuo
·
2013-04-27 23:00
ubuntu12.04(64位)下
hadoop1.0.4
伪分布式安装
主要分为以下几个步骤:安装java环境配置环境变量配置ssh配置hadoop为单节点【伪分布式】模式A一、安装JDK1下载并安装sudoapt-getinstallopenjdk-6-jdk(安装JDK7为:sudoapt-getinstallopenjdk-7-jdk)2在命令行下输入java-version查看是否安装成功root@cloud1:/home/ubuntu/hadoop-1.0.
dreaminthewind
·
2013-04-20 11:25
hadoop
伪分布式
单节点
Hadoop1.0.4
集群安装
2013年4月14日星期日Hadoop集群的安装一安装计划 虚拟机:VMware9.0 操作系统:CentOS5.8 Hadoop:
Hadoop1.0.4
网段为:192.168.201.1
elvis_dataguru
·
2013-04-15 20:00
java
hadoop
虚拟机
集群
Path
Mac OS下安装
Hadoop1.0.4
http://andy-ghg.iteye.com/blog/1165453 参照例子装了1.0.4,不过略微有些不同 1:在core-site上加上了namenode指定 <property> <name>hadoop.tmp.dir</name> <value>/Users
牛牛向前冲
·
2013-04-14 00:00
hadoop
Hadoop 安装手册
DEV 包,分区采用基本分区方式、关闭防 火墙、关闭 SELinux b) Oracle Javase 1.6.37 64bit(JDK) c)
Hadoop1.0.4
marsorp
·
2013-04-08 15:00
hadoop
MapReduce输出数据到oracle中的支持的一个BUG
前段时间有组员对mapreduce输出关系型数据库进行了验证,发现不支持输出到oracle中,但是对mysql支持的没有问题,用的版本是
hadoop1.0.4
。
yangbutao
·
2013-04-07 09:00
mapreduce
hadoop1.0.4
单击部署
Hadoop快速入门目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等。先决条件支持平台GNU/Linux是产品开发和运行的平台。Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。Win32平台是作为开发平台支持的。由于分布式操作尚
hillday
·
2013-04-03 23:00
MapReduce里面的二次排序、组排序和Partitioner
在
Hadoop1.0.4
中,利用setSortComparatorClass()对二次排序进行设定,但是sortcomparator需要自己实现一个comparator,下面是一个自己实现的comparator
FacingTheSunCN
·
2013-03-24 14:00
mapreduce
二次排序
Partitioner
组排序
Ubuntu12.04下安装
hadoop1.0.4
首先声明:如果能通过官方文档安装就尽量用官方的方法。 环境: linux:ubuntu12.04jdk:1.7.0_17 jdk安装: 1,在官网下载最新jdk后,解压 tar-zxvfjdk.... 2(可省),把jdk放在/usr下 cpjdk/usr 3,修改/etc/profile:添加 exportJAVA_HOME=/usr/jdk1.
·
2013-03-23 15:00
ubuntu
Warning: $HADOOP_HOME is deprecated.
hadoop1.0.4
解决方法
启动Hadoop时报了一个警告信息,我安装的Hadoop版本是
hadoop1.0.4
,具体警告信息如下: [root@localhost hadoop-1.0.4]# .
chenzhou123520
·
2013-03-08 09:00
hadoop
hadoop1.0.4
Warning: $HADOOP_HOME is deprecated.
hadoop1.0.4
解决方法
启动Hadoop时报了一个警告信息,我安装的Hadoop版本是
hadoop1.0.4
,具体警告信息如下: [root@localhost hadoop-1.0.4]# .
chenzhou123520
·
2013-03-08 09:00
hadoop
hadoop1.0.4
上一页
1
2
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他