E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop1.2.1
Ubuntu环境下
Hadoop1.2.1
, HBase0.94.25, nutch2.2.1各个配置文件一览
/×××××××××××××××××××××××××××××××××××××××××/Author:xxx0624HomePage:http://www.cnblogs.com/xxx0624//×××××××××××××××××××××××××××××××××××××××××/Hadoop伪分布式配置过程:Hadoop:1.2.1Hbase:0.94.25nutch:2.2.1Java:1.8.
weixin_30491641
·
2023-11-07 09:10
大数据
java
runtime
hadoop1.2.1
伪分布式搭建
0.使用host-only方式将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段注意:一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段,但是IP不能相同1.Linux环境配置(windows下面的防火墙也要关闭)1.1修改主机名vim/etc/sysconfig/network1.2修改IPvim/etc/sysconfig/network-scripts/ifc
小小哭包
·
2023-08-31 07:03
大数据
分布式
Hadoop
hadoop本地化windows部署
文章目录前言1.hadooponwindows1.1安装jdk1.2安装
hadoop1.2.1
解压1.2.2备用目录1.2.3修改配置1.2.4安装winutils-master1.2.5格式化namenode1.2.6
陈舟的舟
·
2023-06-17 23:03
大数据
hadoop
windows
大数据
【Hadoop】7、
Hadoop1.2.1
基于虚拟机中的CentOS6.6的Hadoop单节点安装
基于虚拟机中的CentOS6.6的Hadoop单节点安装1、我们需要的软件JavaTM1.6.x,preferablyfromSun,mustbeinstalled.sshmustbeinstalledandsshdmustberunningtousetheHadoopscriptsthatmanageremoteHadoopdaemons.Jdk,第二个是ssh远程登录的东西2、安装以上软件3、
cutter_point
·
2023-03-28 19:54
Hadoop
hadoop
centos6
安装
单节点
在集群上安装
Hadoop1.2.1
,并配置好,启动hdfs后使用jps查看datanode,启动后过一会再看就消失了
在网上看了好多的解决办法,都是千篇一律的namenode的namespaceID或者clusterID不匹配,但是我查看了我的日志,并没有发现类似的情况,而且都是正常的,没有出现Error的信息,但是也有的文章启发了我,可以试试从缓存文件下手,于是我就将集群上面所有的hadoop配置的hadoop.tmp.dir对应的文件使用rm命令删除,并将集群上面/tmp文件中有关于Hadoop的缓存文件也全
爱码师
·
2020-09-14 08:19
hadoop
hadoop job初始化源码浅析
(本文针对
hadoop1.2.1
)1.job.waitForCompletion:一般情况下我们提交一个job都是通过job.waitFor
as123588
·
2020-08-22 15:25
java第一次调用 Hadoop Java API
环境:
Hadoop1.2.1
例:直接使用FileSystem以标准输出格式显示Hadoop文件系统中的文件编写JAVA文件importorg.apache.hadoop.conf.Configuration
java疯狂的程序员
·
2020-08-20 15:54
Spring
cloud
程序员
Java工程师
Spring
Boot
Dubbo
java
spring
并发编程
JVM
Mysql
hadoop1.2.1
的安装
前提:1.机器最好都做ssh免密登录,最后在启动hadoop的时候会简单很多免密登录看免密登录2.集群中的虚拟机最好都关闭防火墙,否则很麻烦3集群中的虚拟机中必须安装jdk.具体安装步骤如下:1.将文件拷贝到linux系统中(可以拷贝到所以的虚拟机,也可以拷贝到一台虚拟机,最后进行复制)2.解压到/usr/local/hadoop,看你需要安装到哪个目录就解压到哪个目录,解压命令tar-zxvf~
?Briella
·
2020-08-19 04:40
centos部署伪分布式
hadoop1.2.1
2019独角兽企业重金招聘Python工程师标准>>>配置环境变量HADOOP_INSTALL=/home/grid/hadoop-1.2.1/JAVA_HOME=/opt/default-javaPATH=$JAVA_HOME/bin:$HADOOP_INSTALL/bin:$PATHCLASSPATH=$JAVA_HOME/libexportJAVA_HOMEPATHCLASSPATHHADO
weixin_33709219
·
2020-08-19 04:36
Hadoop1.2.1
安装经验
Hadoop1.2.1
安装经验熬夜安装了一波
Hadoop1.2.1
,机器是CentOS的虚拟机,整理下收获吧。
qq1340520831
·
2020-08-19 02:06
Hadoop1.2.1
详细配置与相关问题讲解
新手,折腾了一天,终于把Hadoop伪分布式配置好了,下面讲解所有流程以及我遇到的一些问题的解决方法。配置环境准备hadoop-1.2.1-->HDFS伪分布式配置-->1个NameNode节点,2个DateNode节点,1个SeconaryNode节点部署在3个虚拟机上系统-->VMWARECentOS7.0(node1、node2、node3)系统准备首先在虚拟机上安装CentOS7.0系统,
Do四脚蛇
·
2020-08-19 02:13
大数据
hadoop wordcount卡住
下面是两个安装hadoop时,使用的参考网站:1、
hadoop1.2.1
伪分布模式安装教程:http://www.cnblogs.com/fabulousyoung/p/4074197.html2、Ubuntu12.10
zhang2010kang
·
2020-08-07 22:28
wordcount
hadoop
hadoop
wordcount
Eclipse 连接Hadoop Connection refused 问题
环境:ubuntuVM虚拟机下安装的
hadoop1.2.1
在使用hdfs的javaapi时,连接hadoop伪分布式安装的hdfs,总是报出ConnectionRefused。
land-mine
·
2020-08-06 11:31
Hadoop
MapReduce编程实例(六)
Hadoop安装配置请参考:Ubuntu下
Hadoop1.2.1
配置安装2.集成开发环境正常。
devtao
·
2020-07-30 01:09
深入MapReduce
Secondarynamenode无法正常备份:ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in...
原先使用hadoop默认设置(
hadoop1.2.1
),secondarynamenode会正常进行备份,定时从namenode拷贝image文件到SNN。
weixin_30767835
·
2020-07-28 17:34
网易视频云:Hadoop中空间数据的存储(一)
实验准备:1、数据集:全国县级行政单元(约148MB)2、实验环境:
Hadoop1.2.1
将数据上传Hadoop,这里上传
vcloud163
·
2020-07-28 15:31
技术开发
云计算
互联网科技
网易
Hadoop中空间数据的存储(一)
实验准备:1、数据集:全国县级行政单元(约148MB)2、实验环境:
Hadoop1.2.1
将数据上传Hadoop,这里上传的数据已经做了转换,由Sha
GeoWin_CAU
·
2020-07-27 14:50
大数据技术篇
SpatialHadoop
Hadoop代码编写
离线安装 Apache Ambari
需要说明一下,这里安装的ambari是支持
hadoop1.2.1
版本的,而对于比较流行的新版本,比如2.0,你需要下载新的源码包.不过总的来说,安装过程是大同小异的。
五柳-先生
·
2020-07-16 02:00
集群管理-Ambari
Ubuntu下
Hadoop1.2.1
伪分布模式安装教程
1:软件环境准备1.1Hadoop:我们使用hadoopRelease1.2.1(stable)版本,下载链接:http://mirrors.ustc.edu.cn/apache/hadoop/common/hadoop-1.2.1/我们选择hadoop-1.2.1-bin.tar.gz文件下载。1.2Java:Java在这里使用的是jdk1.7版本的,当然也可以使用1.6的,下载链接:http:
xh1056
·
2020-07-09 01:38
Hadoop
hadoop1.2.1
伪分布模式安装教程
1:软件环境准备1.1Hadoop:我们使用hadoopRelease1.2.1(stable)版本,下载链接:http://mirrors.ustc.edu.cn/apache/hadoop/common/hadoop-1.2.1/我们选择hadoop-1.2.1-bin.tar.gz文件下载。1.2Java:Java在这里使用的是jdk1.7版本的,当然也可以使用1.6的,下载链接:http:
weixin_30298497
·
2020-07-08 13:00
运行spark及hadoop版本不一致解决方法
由于代码是基于Spark2.0.1、Scala2.11.8、Hadoop2.7.3以及JAVA1.8,而我自己电脑配置的是Spark1.6.1、Scala2.11.8、
Hadoop1.2.1
以及JAVA1.8
weixin_37979944
·
2020-07-06 02:54
spark
MapReduce编程实例(一)
Hadoop安装配置请参考:Ubuntu下
Hadoop1.2.1
配置安装2.集成开发环境正常。
devtao
·
2020-06-27 04:08
深入MapReduce
MapReduce编程实例(五)
Hadoop安装配置请参考:Ubuntu下
Hadoop1.2.1
配置安装2.集成开发环境正常。
devtao
·
2020-06-27 04:08
深入MapReduce
MapReduce编程实例(二)
Hadoop安装配置请参考:Ubuntu下
Hadoop1.2.1
配置安装2.集成开发环境正常。
devtao
·
2020-06-27 04:08
深入MapReduce
HDFS HA切换后missing block问题分析
我们Hadoop平台也从
Hadoop1.2.1
升级到了Hadoop2.4.0版本,当然HDFSHA也配置到集群中。
笛香幽谷(ouyangshourui)
·
2020-06-27 00:47
大数据
hadoop1.2.1
安装配置
hadoop1.2.1
的安装与配置参考官方文档一、首先下载
hadoop1.2.1
版本
hadoop1.2.1
下载地址二、进行解压:执行如下命令:tar-zxvfhadoop-1.2.1.tar.gz解压以后
topwqp
·
2020-06-27 00:59
在CentOS 运行你的第一个MapReduce程序
在进行本文的操作之前要先搭建一个Hadoop的环境,为了便于实验,可采用单节点部署的方式,具体方法可参见:Centos6.5下
Hadoop1.2.1
单节点环境的创建编写源码主要为创建一个解析气象数据的程序
铁猴
·
2020-06-26 15:15
大数据存储与分析
Hadoop1.2.1
分布式环境安装
之前介绍过本地模式(伪分布式)安装运行Hadoop,今天介绍一下如何在分布式的环境下安装并运行Hadoop。0x00介绍首先说一下环境:一个NameNode节点,一个SecondaryNameNode节点,三个DataNode节点NameNode--hostname:namenode.athrob.com--IP:192.168.187.128--【NameNode节点和JobTracker节点】
明月的味道
·
2020-03-22 11:14
hadoop配置
hadoop入门配置准备环境:cetnos6.9、java-1.7.0-openjdk-1.7.0.191.x86_64、
hadoop1.2.1
编辑配置文件hadoop-env.sh:exportJAVA_HOME
听说我很强
·
2018-10-20 15:00
centos6.5 安装
hadoop1.2.1
的教程详解【亲测版】
本篇只简单介绍安装步骤1.角色分配10.11.84.4web-crawler--1.novalocalmaster/slave10.11.84.5web-crawler--2.novalocalslave10.11.84.6web-crawler--3.novalocalslave2.安装目录/usr/local/hadoop(HADOOP_HOME)3,创建grouphadoopgroupadd
生心无住
·
2018-08-09 10:10
Hadoop (Version 1.2.1,JDK6)hdfs 安装
各版本hadoop文档地址安装前准备
hadoop1.2.1
编译包将编译包上传到其中一台机器准备5台机器,虚拟机[此处为192.168.10.215~192.168.10.217]5台机器全部关闭防火墙
MicoCube
·
2018-01-17 22:04
hadoop环境搭建
这里用到是centos6.4与
hadoop1.2.1
版本1.下载安装文件,使用wget命令wgethttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop
想念最初的美好
·
2017-11-18 19:24
hadoop
linux
hadoop
Hadoop1.2.1
WordCount Java 实现方式
1.编写java程序用到的jar包,如下截图,其实貌似只需要一个hadoop-core-1.2.1.jar就可以了,这个jar包在Hadoop的减压目录下用到的jar包截图2.编写Mapper类,内容如下:map截图3.编写Reducer类,内容如下:reduce截图4.编写主函数WordCount类,内容如下:WordCount.java5.打包,右键项目-->Export-->Java-->J
z小赵
·
2017-09-26 23:09
VMware虚拟机下hadoop1.x的安装方法
先说明一下我的开发环境:虚拟机:VMware8.0;操作系统:CentOS6.4;版本:jdk1.8;
hadoop1.2.1
①下载
hadoop1.2.1
,网盘:链接:https://pan.baidu.com
W.Yentl
·
2017-09-19 15:03
Hadoop日记——安装、配置、启动HDFS
上一篇博客主要讲了HDFS的组成部分和机制,这篇博客给大家讲讲如何安装、配置、启动HDFS这次讲的HDFS是伪分布式的(单台服务器)1.下载和解压
Hadoop1.2.1
下载wgethttp://mirrors.ustc.edu.cn
饥渴计科极客杰铿
·
2017-06-24 16:21
Hadoop日记——安装、配置、启动HDFS
上一篇博客主要讲了HDFS的组成部分和机制,这篇博客给大家讲讲如何安装、配置、启动HDFS这次讲的HDFS是伪分布式的(单台服务器)1.下载和解压
Hadoop1.2.1
下载wgethttp://mirrors.ustc.edu.cn
饥渴计科极客杰铿
·
2017-06-24 16:21
安装
hadoop1.2.1
集群环境
一、规划1、硬件资源ip6:centos-node6ip7:centos-node7ip8:centos-node82、基本资料创建目录/home/
hadoop1.2.1
二、环境配置1、修改/etc/hostsip6
_kairui
·
2016-10-08 11:47
hadoop
集群
hadoop
centos 下安装
Hadoop1.2.1
关闭防火墙(1)切换到root用户下,执行setenforce0(2)修改SELINUXvi/etc/selinux/config修改SELINUX为(3)关闭命令行、图形化界面的防火墙执行chkconfig--list,查看iptables3和5,没有关闭执行chkconfig--level35iptablesoff,关闭3和5reboot重启jdk安装tar-xzvfjdk-8u65-linu
丨风语者丨
·
2016-09-20 11:02
防火墙
hadoop
centos
hadoop
centos
Hadoop的分布式文件系统(HDFS)的使用
Hadoop的分布式文件系统(HDFS)的使用1、首先在CentOS中安装
hadoop1.2.1
,安装教程请参见我的另外一篇博客《在CentOS中安装hadoop-1.2.1,并进行配置文件的配置》;2
IRhythm
·
2016-09-03 08:44
Linux
Hadoop
Ubuntu系统下配置Hadoop2.7.1+Hive2.1.0
前言安装过程中遇到的问题从以下博客学习而得,现对其进行整理在
Hadoop1.2.1
分布式集群环境下安装hive0.12CentOS下Hive2.0.0单机模式安装详解CentOS下Hive2.0.0集群模式安装详解解决
cuihaolong
·
2016-07-26 19:41
Hadoop
系统配置
用Eclipse编译
Hadoop1.2.1
的eclipse插件
今天我们来说一下,在Windows环境下,如何编译
Hadoop1.2.1
的eclipse插件。
明月的味道
·
2016-07-15 15:58
在docker 中配置
hadoop1.2.1
cluser
最近一直在找工作,比较空闲,就没事研究一下hadoop,网上的视频及书,讲的差不多都是1.2.1这个版本,然后就试着在docker中搭建了一个hadoop集群,项目已经放到了github上面了,供新手朋友参考https://github.com/jackluo2012/docker-hadoop1.2.1-cluser.git具体的安装部署如果:gitclonehttps://github.com
jackluo
·
2016-06-21 19:00
网易视频云:Hadoop中空间数据的存储(一)
实验准备:1、数据集:全国县级行政单元(约148MB)2、实验环境:
Hadoop1.2.1
将数据上传Hadoop,这里上传
vcould163
·
2016-05-25 10:00
云计算
网易
技术开发
互联网科技
[hadoop]hadoop eclipse plugin安装与配置(四)
一、准备Eclipse,我的版本Version:Mars.2Release(4.5.2)Hadoop-eclipse-plugin-1.2.1.jar,
hadoop1.2.1
的eclipse插件jar包下载地址
alex_bean
·
2016-05-23 14:48
Big
DATA
[Nutch]Hadoop单机伪分布模式的配置
1.下载hadoop在workspace目录使用如下命令下载
hadoop1.2.1
:wgethttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1
Kandy_Ye
·
2016-05-22 10:00
hadoop
Nutch
deploy模式
单机伪分布
local模式
配置Hadoop 1.2.1
以
Hadoop1.2.1
为例(目前只会这个)整个过程主要是修改hadoop解压后conf目录下的文件:1.修改hadoop-env.sh中的#原来这一行被注释掉了,需要设置成自己电脑的java—home
qq_16166139
·
2016-05-08 09:00
hadoop
Zookeeper的安装配置
二、集群模式搭建我的集群是
Hadoop1.2.1
版本,共三个节点将
yuzhuzhong
·
2016-05-07 21:00
hadoop
分布式
云计算
Hadoop1.2.1
伪分布模式安装教程
一、硬件环境Hadoop搭建系统环境:一台Linuxubuntu-13.04-desktop-i386系统,既做Namenode,又做Datanode。(ubuntu系统搭建在硬件虚拟机上)Hadoop安装目标版本:Hadoop1.2.1jdk安装版本:jdk-7u40-linux-i586Pig安装版本:pig-0.11.1硬件虚拟机搭设环境:IBM塔式服务器x3500M3MT:7380ecli
hong0220
·
2016-04-14 23:00
Hadoop入门经典: WordCount程序
WordCount程序在
hadoop1.2.1
测试成功。
levy_cui
·
2016-04-13 14:00
hadoop1.2.1
安装配置
原文地址环境:ubuntu13使用的用户为普通用户。如:用户rujdk安装略1、安装ssh(1)Java代码 sudo apt-get install openssh-server (2)配置ssh面密码登录Xml代码 $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authori
Yan456jie
·
2016-04-07 20:00
上一页
1
2
3
4
5
6
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他