E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
habase伪分布式
部署Hadoop(3.3.0)
伪分布式
集群
前言:本文主要介绍部署Hadoop(3.3.0)
伪分布式
集群注:本文部署
伪分布式
集群的前提是已经装好hadoop(3.3.0)以及jvm。一、什么叫做
伪分布式
?
Frost-xie
·
2020-11-01 15:07
Hadoop
Win10 通过Java API远程操控HBase
HbaseJavaAPI一、前言二、Hbase2.1安装Hbase2.2
伪分布式
配置2.3修改主机名与ip映射2.3.1修改主机名2.3.2修改Linux中的hosts2.3.3修改Windows中的hosts2.3.4
Morphlng
·
2020-10-27 22:19
分布式计算
大数据
java
hadoop
linux
zookeeper
Hadoop安装教程(单机/
伪分布式
环境搭建)/Ubuntu18.04
Hadoop安装教程(单机/
伪分布式
环境搭建)/Ubuntu18.04本教程使用Ubuntu18.04LTS64位作为系统环境(Ubuntu16.04,Ubuntu20.04也行,32位、64位均可),
auhjin_ai8
·
2020-10-27 14:18
从零开始自学大数据
hadoop
ubuntu
linux
ssh
Hadoop安装(
伪分布式
)与使用
实验目的掌握Hadoop在linux环境的安装与部署,掌握hdfs的基本操作命令,初步认识MapReduce程序。实验准备linux操作系统JDK1.8的软件包Hadoop3.x软件包注意事项1.创建用户以及用户的权限分配2.环境变量配置与生效;知识准备1.Linux系统中下载安装文件和解压缩linux系统中需要下载用自带的火狐浏览器下载,并解压到指定的目录下。例如,现在要下载hadoop-3.2
lodew920
·
2020-10-25 21:17
大数据
hadoop
hdfs
mapreduce
大数据
20道大数据常见面试题
1.Hadoop分布式集群与
伪分布式
集群的区别分布式集群需要多台电脑,,一台为奴隶主机,其他的为奴隶机用来存储数据。
liyawu337
·
2020-10-19 20:59
hadoop
mapreduce
Hadoop2.7.3搭建
伪分布式
集群
core-site.xml3.配置文件:hdfs-site.xml(可选择性配置,副本默认值是3)4.启动集群5.操作集群Hadoop的集群模式有3种,具体配置信息可以参考如下链接,本篇文章先讲述如何搭建
伪分布式
秃头钢铁侠
·
2020-10-18 12:31
大数据
hadoop
伪分布式
集群搭建
大数据入门级学习——Hadoop集群搭建总结(VM+centOS7)
安装并配置虚拟机(centOS7)二、克隆出三台虚拟机三、安装及配置JDK四、安装Hadoop五、Hadoop的三种运行模式学习过程1.本地运行模式官方Grep案例过程记录官方WordCount案例过程记录2.
伪分布式
运行模式启动
不撸先疯。
·
2020-10-11 21:15
linux
安装
大数据
分布式
大数据
hadoop
linux
java
hadoop成长笔记
[2018/08/07]1.伪分布集群的安装介绍:Hadoop三种运行模式安装:Hadoop(二)搭建
伪分布式
集群上述教程的补充:centos7关闭防火墙通过systemct1命令systemct1stopfirewalldsystemct1disablefirewalld
王小禾
·
2020-10-10 04:21
Hadoop框架:集群模式下分布式环境搭建
本文源码:GitHub·点这里||GitEE·点这里一、基础环境配置1、三台服务准备三台Centos7服务,基础环境从
伪分布式
环境克隆过来。
知了一笑
·
2020-10-09 13:09
hadoop
大数据
Hadoop框架:单服务下
伪分布式
集群搭建
本文源码:GitHub·点这里||GitEE·点这里一、基础环境1、环境版本环境:centos7hadoop版本:2.7.2jdk版本:1.82、Hadoop目录结构bin目录:存放对Hadoop的HDFS,YARN服务进行操作的脚本etc目录:Hadoop的相关配置文件目录lib目录:存放Hadoop的本地库,提供数据压缩解压缩能力sbin目录:存放启动或停止Hadoop相关服务的脚本share
知了一笑
·
2020-10-09 13:43
hadoop
大数据
Hadoop框架:集群模式下分布式环境搭建
本文源码:GitHub·点这里||GitEE·点这里一、基础环境配置1、三台服务准备三台Centos7服务,基础环境从
伪分布式
环境克隆过来。
知了一笑
·
2020-09-27 11:40
hadoop
大数据
数据.计算.分析
Hadoop框架:集群模式下分布式环境搭建
本文源码:GitHub·点这里||GitEE·点这里一、基础环境配置1、三台服务准备三台Centos7服务,基础环境从
伪分布式
环境克隆过来。
知了一笑
·
2020-09-27 11:00
3. Hadoop分布式集群部署
3.Hadoop分布式集群1.集群配置此前使用的是
伪分布式
的单机模式,本篇使用分布式的集群配置。
易成
·
2020-09-27 07:34
大数据学习之路
hadoop
大数据
java
分布式
Ubuntu大数据学习
VMwareworkstation15.5PROLinux系统:Ubuntu-20.04.1-desktop-amd64jdk版本:jdk-8u172-linux-x64.tarhadoop版本:hadoop-3.1.3.tar(
伪分布式
何大大怪将军
·
2020-09-22 00:11
hadoop
spark
hdfs
Hadoop
伪分布式
简明安装操作说明
Hadoop
伪分布式
简明安装操作说明1)cd/usr/local/切换到安装目录2)mvhadoop-2.6.0-cdh5.7.0/hadoop-2.6.0-cdh5.7.0.bak备份掉之前的Hadoop
whvcse_hlzhang
·
2020-09-21 10:07
Hadoop-3.x
伪分布式
集群安装教程
Hadoop集群安装本文安装配置步骤除第1步外,全程参考官方文档机器配置如下(虚拟机)角色IP内存硬盘硬盘master192.168.1.2023g20gcentosslave1192.168.1.2033g20gcentosslave2192.168.1.2043g20gcentos防火墙全关,selinux关闭1.环境配置1.1ssh免密登录配置1.1.1修改hosts文件3台机器都如此操作执
味无味处求吾乐
·
2020-09-21 00:02
大数据
大数据
hadoop
java
hadoop3
安装教程
Hadoop单机
伪分布式
模式
本机运行环境系统:Ubuntu12.04.4已经安装了jdk并且配置了JAVA_HOME已经安装了SSH1.配置SSH(前提是已经安装了SSH)$ssh-keygen-trsa(密码为空,路径默认)$cp.ssh/id_rsa.pub.ssh/authorized_keys2.准备Hadoop运行环境(本机配置的是hadoop-1.2.0)1)下载hadoop1.2.0版本$wgethttps:/
jiao732
·
2020-09-17 14:49
Hadoop
Hadoop
搭建hadoop报错node1: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
启动hadoop
伪分布式
集群报错node1:Permissiondenied(publickey,gssapi-keyex,gssapi-with-mic,password).node2:Permissiondenied
周偏偏偏
·
2020-09-17 14:36
#
Hadoop
Zookeeper命令行以及java API简单使用
安装关于zookeeper的安装,请参考这篇文章:ZooKeeper
伪分布式
集群安装及使用我在这里使用的是文中提到的zookeeper伪分布模式的安装和使用。
龙吟在天
·
2020-09-17 13:17
Hadoop
解决Zookeeper集群启动报错Caused by: java.lang.IllegalArgumentException: ...myid file is missing,有myid却还报错问题
出现问题今天在采用单机
伪分布式
的方式搭建了Zookeeper集群后,启动时发现控制台报启动成功,但是查看zookeeper进程时却发现并没有正在运行的zookeeper进程于是,采用前台启动的方式(.
新进java程序猿
·
2020-09-17 12:57
坑&bug
zookeeper集群搭建问题
hadoop常用命令介绍
在搭建好hadoop
伪分布式
环境之后,或者分布式环境之后,运行hadoop命令,下面是一些常用的hadoop命令:1、hadoop集群管理类命令hadoopnamenode-format格式化文件系统,
chao1118
·
2020-09-17 11:34
hadoop学习
ZooKeeper系列(三)
前面虽然配置了集群模式的Zookeeper,但是为了方面学建议在
伪分布式
模式的Zookeeper学习Zookeeper的shell命令。
tswisdom
·
2020-09-17 10:18
Hadoop
Zookeeper
Hadoop错误1_Hadoop分布式及
伪分布式
下DataNode不能启动的问题
问题导读:1、hadoop完全分布式和
伪分布式
下datanode无法启动的原因?2、怎么解决?问题描述:在集群模式下更改节点后,启动集群发现datanode一直启动不起来。
Wang_Zhenwei
·
2020-09-17 05:00
Hadoop
转载
Configured broker.id 2 doesn't match stored broker.id 1 in meta.properties
kafka
伪分布式
集群安装报错:Configuredbroker.id2doesn'tmatchstoredbroker.id1inmeta.properties。
luffy5459
·
2020-09-17 02:50
hadoop
Hadoop3.x 环境搭建&&填坑
Hadoop3.x环境搭建&&填坑环境配置&&安装JDK&&安装HadoopHadoop运行模式之单机模式(官网Grep+WordCount案例)官方Grep案例官方WordCount案例Hadoop运行模式之
伪分布式
模式
保龄球
·
2020-09-17 01:30
大数据
hadoop
【Hadoop环境搭建】八.Hadoop集群模式部署
前面介绍的
伪分布式
是基于单个节点,而完全分布式是基于两个或两个以上节点完成Hadoop集群搭建。下面基于三个节点完成。
VI-茄子
·
2020-09-17 01:03
Hadoop环境搭建
hadoop
大数据
CentOS 6.5 配置hadoop 2.6.0
伪分布式
操作系统:CentOS6.532位Java环境:jdk1.7.0_71hadoop下载地址:http://apache.fayea.com/hadoop/common/stable/hadoop-2.6.0.tar.gz1.创建用户组和用户使用su命令切换用户为rootgroupaddhadoopuseraddhadoophadooppasswd hadoop #为用户添加密码 可以不设置密码2.
yifuteli
·
2020-09-16 21:31
hadoop
hadoop
CentOS
32位
cdh5.7.0
伪分布式
集群之spark-2.2.0安装
基本环境及软件:软件版本软件包centos-6.4JDK-1.8jdk-8u191-linux-x64.tar.gzhadoop-2.6.0hadoop-2.6.0-cdh5.7.0.tar.gzscala-2.11.8scala-2.11.8.tgzspark-2.2.0spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz软件安装包官网下载地址:http://archive-pr
剑穹
·
2020-09-16 21:55
#
Spark
cdh5.7.0
伪分布式
集群之hive安装
基本环境及软件:软件版本软件包centos-6.4JDK-1.8jdk-8u191-linux-x64.tar.gzhadoop-2.6.0hadoop-2.6.0-cdh5.7.0.tar.gzhive-1.1.0hive-1.1.0-cdh5.7.0.tar.gz软件安装包官网下载地址:http://archive-primary.cloudera.com/cdh5/cdh/5/安装mysql
剑穹
·
2020-09-16 21:25
#
Spark
Hadoop安装、
伪分布式
配置及运行Hadoop示例wordcount
本博客没有讲解Java的安装,如未安装Java请看这篇教程:https://blog.csdn.net/wyg1973017714/article/details/106474003本博客默认所有读者均已安装Java环境1、Hadoop下载下载Hadoop请前往官网官网地址:http://hadoop.apache.org/点击Download跳转至下载页面我这里选择的是3.3.0版本的Hadoo
风在哪
·
2020-09-16 19:15
Linux
服务器环境配置
Java基础
hadoop
java
大数据
Hadoop框架:单服务下
伪分布式
集群搭建
本文源码:GitHub·点这里||GitEE·点这里一、基础环境1、环境版本环境:centos7hadoop版本:2.7.2jdk版本:1.82、Hadoop目录结构bin目录:存放对Hadoop的HDFS,YARN服务进行操作的脚本etc目录:Hadoop的相关配置文件目录lib目录:存放Hadoop的本地库,提供数据压缩解压缩能力sbin目录:存放启动或停止Hadoop相关服务的脚本share
知了一笑
·
2020-09-16 17:44
Hadoop
大数据
数据.计算.分析
Hadoop框架:单服务下
伪分布式
集群搭建
本文源码:GitHub·点这里||GitEE·点这里一、基础环境1、环境版本环境:centos7hadoop版本:2.7.2jdk版本:1.82、Hadoop目录结构bin目录:存放对Hadoop的HDFS,YARN服务进行操作的脚本etc目录:Hadoop的相关配置文件目录lib目录:存放Hadoop的本地库,提供数据压缩解压缩能力sbin目录:存放启动或停止Hadoop相关服务的脚本share
知了一笑
·
2020-09-16 17:00
Hadoop
伪分布式
无法访问HDFS文件系统解决办法50070
修改主机名映射IP地址必须映射主机名vim/etc/host关闭系统防火墙查看防火墙状态serviceiptablesstatus永久关闭防火墙chkconfigiptablesoff临时关闭防火墙serviceiptablesstop配置:hadoop-env.sh配置文件在Hadoop安装路径下的/etc/hadoop中将JAVA_HOME写成绝对路径exportJAVA_HOME=/opt/
同道大叔
·
2020-09-16 17:56
无法访问50070
web无法访问HDFS
访问HDFS文件系统
hadoop伪分布式
Ubuntu下
伪分布式
模式Hadoop的安装及配置
1、Hadoop运行模式Hadoop有三种运行模式,分别如下:单机(非分布式)模式
伪分布式
(用不同进程模仿分布式运行中的各类节点)模式完全分布式模式注:前两种可以在单机运行,最后一种用于真实的集群环境,
weixin_33834075
·
2020-09-16 16:06
Hadoop启动不了Namenode进程,出现IllegalArgumentException异常
不过在启动Hadoop服务时(本人使用了
伪分布式
的单机部署方式),还是出现了问题。这次的问题乍看起来很奇怪,在本机完成配置启动Hadoop的时候,首先,我们需要对namenode
haixzzy
·
2020-09-16 15:28
云计算
当Linux命令不能正常使用时,请看这里灵丹妙药
想直接解决的请跳转到解决方法原因今天突然想写这个东西的原因,是因为我前面写的两篇博客jdk安装和zookeeper的
伪分布式
搭建,在这两篇博文中我们都涉及了到了一个很重要的东西,它就是PATH,相信看我博客的各位
Zhang_Baiqing
·
2020-09-16 14:31
linux
linux
服务器
centos
运维
小白必备,手把手教学,zookeeper
伪分布式
安装
环境准备系统环境:Centos7软件环境:jdk-8u241-linux-x64.tar.gz,apache-zookeeper-3.6.1-bin.tar.gz安装准备1.jdk的安装,请参考我的上一篇博客,有详尽的说明jdk安装说明2.上传zookeeper安装包到/root目录下3.使用mkdirzookeeper命令在/root目录下创建存放zookeeper解压文件的文件夹4.使用cdz
Zhang_Baiqing
·
2020-09-16 14:30
linux
分布式
大数据
linux
java
zookeeper
Spark的Standalone和On Yarn的环境搭建
Standalone(独立模式)注意:
伪分布式
集群环境搭建准备工作准备物理虚拟机一台版本:CentOS7配置网络#如果需要配置双网卡,需要添加网卡硬件支持vi/etc/sysconfig/network-scripts
人间小鲸鱼
·
2020-09-16 13:01
#
Spark
spark
hadoop学习笔记2---hadoop的三种运行模式
2、
伪分布式
模式在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondarynamenode等进程,模拟分布式运行的各个节点。
weixin_34014555
·
2020-09-16 13:42
大数据
java大数据最全课程学习笔记(1)--Hadoop简介和安装及
伪分布式
目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的giteepagesHadoop简介和安装及
伪分布式
大数据概念大数据概论大数据(BigData):指无法在一定时间范围内用常规软件工具进行捕捉,
假装文艺范儿
·
2020-09-16 11:08
Java大数据
大数据
hadoop
java
linux
尚硅谷
SpringBoot整合Dubbo,分布式服务框架
一、环境搭建首先在本机搭建zookeeper集群(服务注册中心)以及dubbo-admin(服务监控中心)1、zookeeperwindow下
伪分布式
搭建先下载zookeeper,地址:http:/
则好
·
2020-09-16 07:08
springboot
dubbo
zookeeper
linux下编译hadoop的2.7.2的源码
1.准备虚拟机环境2.
伪分布式
安装hadoop编译源码1.为什么编译hadoop源码?
yinlell
·
2020-09-16 06:43
hadoop
Hadoop
伪分布式
安装步骤之hdfs
本篇是hdfs的安装所用版本:hadoop-2.6.0-cdh5.7.0.tar.gz1)jdk安装解压:tar-zxvfjdk-7u79-linux-x64.tar.gz-C~/app添加到系统环境变量:~/.bash_profileexportJAVA_HOME=/home/hadoop/app/jdk1.7.0_79exportPATH=$JAVA_HOME/bin:$PATH使得环境变量生
php_ray
·
2020-09-16 06:14
大数据
搭建 Hadoop
伪分布式
环境(测试博客功能)
搭建Hadoop
伪分布式
环境教程环境和说明软硬件环境CentOS7.264位OpenJDK-1.8Hadoop-2.7关于本教程的说明云实验室云主机自动使用root账户登录系统,因此本教程中所有的操作都是以
qq_36065938
·
2020-09-16 06:58
hadoop
hadoop
hadoop
伪分布式
安装yarn(CDH5.16.2版本)
yarn安装配置etc/hadoop/mapred-site.xmlmapreduce.framework.nameyarn配置etc/hadoop/yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.webapp.addressruozedata001:38088启动yarn:start-
jim8973
·
2020-09-16 05:52
hadoop
hadoop
伪分布式
安装(HDFS)
1.解压缩/opt/software/hadoop-2.8.1.tar.gz文件[root@hadoop002software]$cd/opt/software/[root@hadoop002software]$pwd/opt/software[root@hadoop002software]$tar-xzvfhadoop-2.8.1.tar.gz[root@hadoop002software]$l
csp75739
·
2020-09-16 05:24
大数据
运维
java
hadoop
伪分布式
安装HDFS(CDH5.16.2版本)
安装步骤root用户安装JDK创建目录:mkdir/usr/java,上传jdk-8u45-linux-x64.gz包到该目录解压tar-zxvfjdk-8u45-linux-x64.gz修改用户和用户组:chown-Rroot:rootjdk1.8.0_45建立软连接:ln-sjdk1.8.0_45jdk修改环境变量:vi/etc/profileexportJAVA_HOME=/usr/java
jim8973
·
2020-09-16 05:17
hadoop
Hadoop -- 完全分布式,
伪分布式
,单击模式操作
简介Hadoop是一种分析和处理大数据的软件平台,是Appach的一个用Java语言所实现的开源软件的加框,在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计算。ApacheHadoop作为PaaS构建在虚拟主机上,作为云计算平台。Hadoop就是存储海量数据和分析海量数据的工具HADOOP生态圈组成重点组件:HDFS:分布式文件系统MAPREDUCE:分布式运算程序开发框架,为海量的数
生命热力٩( 'ω' )و
·
2020-09-16 03:36
Hadoop
分布式
大数据
hadoop
linux
java
hadoop
伪分布式
集群在centos上的搭建
前置条件:1.centos系统2.普通用户hyxy3.用户目录~下新建一个soft文件夹(用于存放安装的文件)4.jdk1.8版本安装包,hadoop2.7.3版本安装包5.修改主机名为master(必须切换为root用户)a.切换为root用户$>surootb.修改/etc/sysconfig/network文件$>vim/etc/sysconfig/network【HOSTNAME=mast
closeTheRain
·
2020-09-16 02:34
安装教程
Ubuntu环境Hadoop三种运行模式搭建
Hadoop三种运行模式搭建Hadoop笔记实验环境1、Hadoop的三种运行模式(启动模式)1.1、单机模式(独立模式)(Local或StandaloneMode)1.2、
伪分布式
模式(Pseudo-DistrubutedMode
Lionel�
·
2020-09-15 19:12
hadoop
分布式
linux
大数据
上一页
10
11
12
13
14
15
16
17
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他