E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop安装
Hadoop安装
教程
在大数据领域,hadoop是必须学习和掌握的一项技术,hadoop里面包含了三个最主要的组件:HDFS用于数据存储、YARN用于资源的管理、MapReduce用于分布式计算。但是在当前的企业应用中,基本上都已经抛弃了MapReduce,而是基于Spark、Flink进行计算,但是这两个服务用于生产环境时都会选择在YARN上运行,并使用HDFS作为数据存储。那么接下来就简单介绍一下Hadoop的安装
書香劍客
·
2023-09-06 01:54
hadoop
大数据
分布式
hadoop环境新手安装教程
1、资源准备:(1)jdk安装包:我的是1.8.0_202(2)
hadoop安装
包:我的是hadoop-3.3.1注意这里不要下载成下面这个安装包了,我就一开始下载错了错误示例:2、主机网络相关参数准备这里主要涉及
愚天者
·
2023-09-04 11:10
总结学习
hadoop
大数据
hdfs
Hadoop依赖环境配置与安装部署
依赖环境配置1.1设置静态IP地址1.2重启网络1.3再克隆两台服务器1.4修改主机名1.5安装JDK1.6配置环境变量1.7关闭防火墙1.8服务器之间互传资料1.9做一个host印射1.10免密传输二、
Hadoop
626960
·
2023-09-02 07:32
hadoop
大数据
分布式
Hadoop 3.2.4 集群搭建详细图文教程
集群部署方式三、集群安装3.1集群角色规划3.2服务器基础环境准备3.2.1环境初始化3.2.2ssh免密登录(在hadoop01上执行)3.2.3各个节点上安装JDK1.8环境3.3安装Hadoop3.4
Hadoop
Stars.Sky
·
2023-09-02 07:01
Hadoop
hadoop
大数据
分布式
hadoop安装
(window10)
一、下载和winutils1.下载:http://archive.apache.org/dist/hadoop/core/官网下载:http://hadoop.apache.org/releases.html(提供最新的几个版本)https://github.com/steveloughran/winutils(windows安装需要)如果出现“Bandwidthlimitexceeded”-限制
manmanlu2006
·
2023-09-01 17:19
大数据
hadoop
big
data
windows
Linux中的JDK和Hadoop的安装与配置
文章目录一、更改权限二、JDK安装三、JDK配置四、
Hadoop安装
五、Hadoop配置一、更改权限1.使用su命令切换至root用户2.更改文件权限为7773.编辑文件并添加test权限二、JDK安装
T³3
·
2023-09-01 07:29
Linux
linux
hadoop
java
centos
CentOS中Hadoop的安装配置简略教程
目录一:配置虚拟机IP地址二:集群机器三:配置ssh无密码登录本机和访问集群机器四:JDK和
Hadoop安装
配置:JDK安装配置(1):查询已有JAVA环境版本信息(2):卸载已有的openJDK(3)
躺平又摸鱼
·
2023-08-29 12:54
Kali
Centos等操作系统
hadoop
centos
大数据
史上最详细的
hadoop安装
教程(含坑点)
0.前言最近因为需要所以要安装hadoop,但是网上怎么说呢,就是很混乱,各种资料,各种安装方法,总体来说都不是很有效果,经过了3天的挣扎,收集资料,才完成了部署。1.从官网上获得对应的安装包下载地址:https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz点击第一个下载完成如下文件
嗯嗯嗯吧
·
2023-08-29 12:22
java
hadoop
大数据
java
运维
eureka
Windows环境下
hadoop安装
和配置详细步骤(图文)
参考https://www.cnblogs.com/caiyishuai/p/12392070.htmlhttps://blog.csdn.net/qq_35535690/article/details/81976032https://blog.csdn.net/wangaz521/article/details/797171771.首先下载hadoop2.7.1和hadooponwindows-
yujkss
·
2023-08-29 10:30
#
Hadoop
hadoop
windows
大数据
【开发环境】安装 Hadoop 运行环境 ( 下载 Hadoop | 解压 Hadoop | 设置 Hadoop 环境变量 | 配置 Hadoop 环境脚本 | 安装 winutils )
文章目录一、下载Hadoop二、解压Hadoop三、设置Hadoop环境变量四、配置Hadoop环境脚本五、安装winutils六、重启电脑七、验证
Hadoop安装
效果一、下载HadoopHadoop发布版本在
韩曙亮
·
2023-08-28 12:20
开发环境
hadoop
大数据
分布式
0201hdfs集群部署-hadoop-大数据学习
文章目录1前言2集群规划3
hadoop安装
包上传与安装3.1上传解压4hadoop配置5从节点同步和环境变量配置6创建用户7集群启动8问题集8.1InvalidURIforNameNodeaddress
gaog2zh
·
2023-08-28 06:31
#
Hadoop
大数据
hadoop
hdfs
Hadoop Hdfs基本命令
0目录1.
hadoop安装
问题处理2.hdfs基本命令3.上传/下载文件和文件夹1.
hadoop安装
问题处理如果安装有进程无法启动,如下图重新检查6个配置文件Core-site.xml\hdfs-site.xml
请给我一串代码好吗
·
2023-08-27 10:20
hadoop
数据库
Ubuntu安装Hive,并使用Mysql作为元数据库
在安装Hive之前,需要确保JDK,
Hadoop安装
完毕,在此不做赘述,网上教程一大堆。1.安装MySQL:这个安装很简单,因为我已经是登录root账户,所以直接shell依次键入:(1)su
Hiwes
·
2023-08-26 17:12
离线数仓搭建流程以及遇到的问题Hadoop3.3.1-hive3.1.2-spark 3.3.1
Zookeeper3.8安装Hadoop3.3.1搭建Hive3.1.3搭建Spark3.3.1安装想在idea上开发spark的话Kettle在Windows版本节点安装以及连接hive、mysql、
hadoop
有风入弦
·
2023-08-26 09:16
spark
分布式
hadoop
hive
数据仓库
Windows运行Spark所需的
Hadoop安装
解压文件复制bin目录找到winutils-master文件hadoop对应的bin目录版本全部复制替换掉hadoop的bin目录文件复制hadoop.dll文件将bin目录下的hadoop.dll文件复制到System32目录下配置环境变量修改hadoop-env.cmd配置文件注意jdk装在非C盘则完全没问题,如果装在C盘则需要用路径替代符:\PROGRA~1\如:C:\PROGRA~1\Ja
open_test01
·
2023-08-24 14:01
hadoop
spark
hadoop
大数据
Ubuntu下Hadoop的单机安装
(不确定其他版本是否会出现版本兼容问题)
Hadoop安装
步骤如下:一、更新apt和安装vim编辑器二、配置本机无密码登录SSH三、安装JAVA环境四、下载安装Hadoop五、伪分
C_Chu
·
2023-08-24 06:38
云计算
hadoop
ubuntu
vm14安装centos7
hadoop安装
(三)
在v1虚拟机上安装1.复制jdk-8u181-linux-x64.tar.gz和hadoop-3.1.1.tar.gz到虚拟机到虚拟机的/home/hadoop目录上(此步骤不要进行拖拽操作,容易丢包)2.在制定的用户目录下操作2.1mkdirsoftware存放文件压缩包2.2mv/home/hadoop/压缩包/home/hadoop/software2.3解压安装tar-zxvfxxxx.t
ysazt
·
2023-08-19 22:26
环境
linux
Hadoop3.0.3 提:hdfs 指令未找到
Hadoop安装
完成后,想执行hadoop命令,结果报错:hadoop:未找到命令。原因是hadoop的安装路径没有加入到当前路径中。
在奋斗的大道
·
2023-08-17 09:28
hadoop
【hadoop】windows上hadoop环境的搭建步骤
文章目录前言基础环境下载
hadoop安装
包下载hadoop在windows中的依赖配置环境变量Hadoophdfs搭建创建hadfs数据目录修改JAVA依赖修改配置文件初始化hdfsnamenode启动
小沈同学呀
·
2023-08-17 03:01
hadoop
大数据
hadoop
windows
大数据
Hadoop安装
完全分布式搭建
1、安装Hadoop上传Hadoop的指定路径/root/softwares解压安装cd/root/softwares&&tar-zxvfhadoop-2.7.3.tar.gz-C/usr/local配置环境变量vim/etc/profile#HadoopEnvironmentexportHADOOP_HOME=/usr/local/hadoop-2.7.3exportPATH=$PATH:$HA
ChlinRei
·
2023-08-14 02:38
hadoop
大数据
分布式
hadoop
大数据
Hadoop笔记(二)Hadoop伪集群搭建
Hadoop伪集群搭建前言需要先准备一下工作:关闭防火墙设置主机名称IP与主机名称进行绑定安装JDK环境(Hadoop需要在Java环境中运行)一.配置Hadoop环境解压
Hadoop安装
包到opt/app
lew1sss
·
2023-08-13 15:14
Hadoop 安装
Hadoop安装
下载Hadoopwgethttps://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1
乌鸦DD
·
2023-08-13 02:15
WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER.
HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER.原因是
Hadoop
予早
·
2023-08-13 01:40
Hadoop
hadoop
hadoop集群的安装
1、CDH软件版本重新进行编译1、编译hadoop的原因,需要对
hadoop安装
包中添加以下C程序库2、编译环境的准备2.1:准备Linux环境准备一台linux环境,内存4G或以上,硬盘40G或以上,
我还不够强
·
2023-08-11 16:28
IDEA 执行Mapreduce 程序
此时需要满足以下条件:--下载
hadoop安装
包,解压。--百度“hadoopwinutils”.找到这个这个资源。选择对应hadoop版本号。
Axel_Fr
·
2023-08-11 08:38
intellij-idea
mapreduce
java
大数据学习之Hadoop——02Hadoop集群安装
ssh-keygen-trsa-P''-f~/.ssh/id_rsa$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keysimage在这里插入图片描述2.安装hadoop:解压
hadoop
Jiang锋时刻
·
2023-08-11 03:28
Hadoop 基础【原理 + 实践】
文章目录学习路线参考文章一、Hadoop概述1.Hadoop介绍2.Hadoop组成3.HDFS概述4.YARN概述5.MapReduce概述二、
Hadoop安装
1.Hadoop运行模式1.1本地单例模式
喵王叭
·
2023-08-10 09:49
大数据
hadoop
大数据
学习
hive-3.1.3 部署 ubuntu20
准备安装
hadoop安装
hivederby#上传scp-P22-rD:\00garbage\big_data\hive\
[email protected]
Jason Yien
·
2023-08-08 06:13
hive
hadoop
数据仓库
Ubuntu下的
Hadoop安装
二、
Hadoop安装
采用版本为hadoop-2.7.7①JDK的安装2.1.1创建文件夹sudomkdir/exptsudochmod777/expt这个出错我参考别的原因也改过来了,pkexecchmod0440
刘新源870
·
2023-08-04 13:21
VMware虚拟机
ubuntu
大数据
hadoop
Windows下安装Spark(亲测成功安装)
、JDK安装1.2、Scala安装(version:2.11.12)1.2.1、Scala官网下载1.2.2、Scala网盘下载1.2.3、Scala安装1.2.4、验证Scala是否安装成功1.3、
Hadoop
tttzzzqqq2018
·
2023-08-02 12:32
Spark
windows
spark
大数据
大数据课程F2——HIve的安装操作
[email protected]
地址:广东惠州▲本章节目的⚪了解HIve的安装概念;⚪掌握HIve安装步骤和Linux常用命令;⚪掌握HIve安装的连接池jar包冲突和日志打印jar包冲突;⚪掌握HIve安装的
Hadoop
伟雄
·
2023-08-02 09:36
大数据
hive
hadoop
hadoop安装
时容易出现的错误
1.设置主机名错误看日志,会发现下面的错误这是由于主机名设置错误造成的,请检查配置文件中关于主机名的设置,是否正确。首先使用hostname命令查看主机名是否正确;然后使用more/etc/sysconfig/network命令查看主机名是否记录在文件中;最后使用more/etc/hosts命令查看ip与主机名的映射是否设置。2.ip设置错误看日志,发现下面的错误这是由于ip地址设置错误引起的,请
zerokissingthefire
·
2023-08-02 02:23
Windows下安装Hadoop(手把手包成功安装)
Windows下安装Hadoop(手把手包成功安装)Windows下安装Hadoop(手把手包成功安装)一、环境准备1.1、查看是否安装了java环境二、下载Hadoop的相关文件三、解压
Hadoop安装
包四
tttzzzqqq2018
·
2023-07-27 16:40
Hadoop
hadoop
大数据
hadoop安装
前准备工作
在安装好的Ubuntu系统下添加具有sudo权限的用户。root@nodeA:~#sudoadduserzyxAddinguser`zyx'...Addingnewgroup`zyx'(1001)...Addingnewuser`zyx'(1001)withgroup`zyx'...Creatinghomedirectory`/home/zyx'...Copyingfilesfrom`/etc/s
sun13047140038
·
2023-07-26 22:07
hadoop
大数据
分布式
openeuler--hadoop single node setup
欧拉OS安装单节点hadoop目录环境java环境安装检查java环境安装java1、下载jdk82、解压jdk3、配置环境变量4、使环境变量生效5、验证java环境6、环境变量拷至bashrc
hadoop
青铜念诗
·
2023-07-25 23:35
hadoop
hdfs
大数据
大数据hadoop生态体系之
hadoop安装
配置(8)
装系统软件介绍:虚拟机:VMware®Workstation15Pro操作系统:centos7.6jdk版本:jdk1.8hadoop软件包:hadoop2.7.41.jdk的安装配置1>直接下载jdk1.8的java编译器或者在windows系统下载好:jdk-8u131-linux-x64.tar.gz,上传到centos服务器的目录:/opt/mysoft/tar-zxvfjdk-8u131
welun
·
2023-07-25 21:27
Hadoop安装
(CentOS7版)
1.Hadoop三大发行版本简介1)ApacheHadoop官网:http://hadoop.apache.org/最原始的版本,所有发行版均基于这个版本进行改进,不推荐使用,不稳定且有版本冲突等问题。2)ClouderaHadoop(Cloudera’sDistributionIncludingApacheHadoop,简称:CDH)3)HortonworksHadoop(Hortonworks
Stackflowed
·
2023-07-25 14:59
Hadoop
hadoop
Hadoop简介以及集群搭建详细过程
Hadoop简介以及集群搭建详细过程hadoop集群简介hadoop部署模式Hadoop集群安装1.集群角色规划2.服务器基础环境准备3.上传安装包
hadoop安装
包目录结构5.编辑hadoop配置文件
fiveym
·
2023-07-23 15:35
hadoop
大数据
分布式
Hadoop的安装与配置(非常重要)
官方的原生配置文档Hadoop3.1.0HDFS的组成NameNodesecondaryNameNodeDataNode这是以主从模式来运行的,前两个在maser节点上,最后一个在slave节点上1.解压
hadoop
王摇摆
·
2023-07-22 14:53
Hadoop
hadoop
大数据
hdfs
windows本机搭建Hadoop环境
记录一下整个过程:一、下载
Hadoop安装
包官网下载Hadoop2.6,并配置相关环境变量,自行百度下载hadooponwindows-master.zip,能支持Hadoop能在Windows运行的工具
paopaodaxia
·
2023-07-22 10:21
Hadoop——Windows系统下Hadoop单机环境搭建
下载安装包和插件安装包hadoop-2.7.0.tar.gz必要插件winutils-master2、解压安装包使用管理员身份运行cmd,到安装包对应目录下,输入:tarzxvfhadoop-2.7.0.tar.gz
Hadoop
埘间海洋
·
2023-07-22 00:05
Hadoop
Java
hadoop
大数据
分布式
windows
java
期末复习-大数据技术原理与应用
大数据的发展进程大数据的4V概念大数据的计算模式云计算HadoopHadoop的生态系统
Hadoop安装
和使用大数据存储和管理分布式文件系统DFSHDFS数据块计算集群中元数据需要的内存HBaseshell
coffee_mao
·
2023-07-21 00:27
LeetCode
大数据
hadoop
hdfs
hadoop,spark中使用lzo
一、环境准备hadoop-2.6.0-cdh5.15.1并支持压缩(参考:
hadoop安装
文档)lzojar包(下载地址:lzojar下载地址)lzo安装包(下载地址:lzo下载地址)lzop安装包(下载地址
吃货大米饭
·
2023-07-20 16:02
windows环境hadoop报错‘D:\Program‘ 不是内部或外部命令,也不是可运行的程序 或批处理文件。
Hadoop版本为2.7.3,在环境配置好后,检查
hadoop安装
版本,报如标题所示错误,尝试网上主流的几种方法均无效。
yuyuzhang1
·
2023-07-20 01:07
hadoop
大数据
分布式
Hadoop安装
Linux安装修改hosts文件,将当前主机名配进去#查看当前主机名hostname#此处结果为node01#修改hosts文件,将当前主机名配到127.0.0.1后面vi/etc/hosts#ping当前主机名进行检测pingnode01配置SSH所有机器之间免密码登录输入命令:ssh-keygen-trsa,生成key,一直按回车,就会在/root/.ssh生成:authorized_keys
csdnzh365
·
2023-07-18 22:12
大数据
hadoop
大数据
分布式
hadoop搭建
二、
hadoop安装
(一)打开命令行在hadoop-3.3.4.ta
自律且java
·
2023-07-15 04:16
虚拟机
hadoop
大数据
hdfs
Hadoop下载安装(物理机)
1、下载
Hadoop安装
包##http://archive.apache.org/dist/hadoop/common2、解压安装Hadoop将hadoop-2-7.4.tar.gz包上传到/root/
redstone618
·
2023-07-14 13:50
Hadoop
hadoop
大数据
分布式
Hadoop简介、安装与环境变量配置
文章目录Hadoop简介Java环境安装OpenJDKSE8下载解压到指定目录Java安装与环境变量配置重载环境变量配置文件环境配置测试
Hadoop安装
与环境变量配置固定IP设置SSH免密登录生成SSH
北溪入江流
·
2023-07-14 00:13
大数据
hadoop
大数据
分布式
hadoop安装
教程(一次填完所有的坑)
02
hadoop安装
2.1下载与安装Step1:下载安装包Step2:上传并解压cd/datatar-zxvfhadoop-2.7.7.tar.gz2.2hadoop配置Step1:修改
hadoop安装
目录
only°夏至besos
·
2023-06-23 19:27
hadoop
大数据
hdfs
docker 构建hadoop 环境
技能库docker相关linux相关shell相关hadoophive准备文件jdk安装包:jdk-8u211-linux-x64.tar.gz
hadoop安装
包:hadoop-tar.gzhive安装包
xiao_kong
·
2023-06-22 22:17
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他