E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop安装
hadoop安装
基础环境安装一
概述hadoop前置基础安装环境配置,jdk8,hadoop3.2.4包,linux7基础环境配置,总共四台机器相关链接阅读之前,先浏览一下
hadoop安装
文章聚合下面是四台机器的相关信息,表格机器ip
流月up
·
2023-10-30 09:21
大数据
hadoop
大数据
hadoop安装
基础环境安装二
概述hadoop3.2.4版本;修改hadoop的配置文件相关链接阅读之前,先浏览一下
hadoop安装
文章聚合配置文件如果以前安装过,清除相关数据配置文件所在地/data/soft/hadoop-3.2.4
流月up
·
2023-10-30 09:21
大数据
hadoop
大数据
pyspark基础学习——环境配置
目录一、配置版本二、windows下安装pyspark2.1jdk安装2.2spark安装2.3
Hadoop安装
2.4检测代码2.5运行环境总结一、配置版本JavaJDK1.8.0_111Python3.9.0Spark3.2.1Hadoop3.2.3
紫金叮咛
·
2023-10-28 18:29
学习
大数据
hadoop
spark
python
hadoop的安装和三种模式的配置
Hadoop安装
在Linux、Windows、macOS下安装都需要先安装java环境,再安装hadoop,均需要配置环境变量。怎么配置可自行查找资料,这里就不介绍了。
计算机大侠
·
2023-10-28 11:11
spark环境搭建window篇
spark环境搭建window篇安装JDK安装
hadoop安装
Spark安装过程出现的问题问题一错误排查问题二错误排查问题三错误排查问题四错误排查Maven整合导入依赖编辑代码设置虚拟机参数运行结果安装
邱可爱
·
2023-10-26 20:48
大数据
java
spark
大数据
hadoop
win10下
Hadoop安装
准备工作1、Hadoop官方下载地址:http://hadoop.apache.org/releases.htmlimage.png选择最新的3.0.0版本后跳转至下面的页面选择红色框部分链接即可下载,建议采用专业的下载工具下载,速度更快image.png2、将tar.gz包解压至D盘根目录:image.pngNote:必须用管理员权限解压3、配置环境变量:添加HADOOP_HOME配置:imag
天道灬酬勤
·
2023-10-25 00:42
【hadoop——HDFS操作常用的Shell命令】
HDFS组件,不需要另外安装最基本的shell命令:HDFS既然是Hadoop的组件,那么首先需要启动Hadoop:启动虚拟机,打开终端,输入以下命令:cd/usr/local/hadoop #进入
hadoop
所 爱
·
2023-10-24 14:34
hadoop
hadoop
hdfs
在mac上如何安装和搭建Hadoop集群
2、安装Hadoop可以从Hadoop官网下载
Hadoop安装
包,或者通过Homebrew进行安装。使用Homebrew安装Hadoop,可以通过以下命令:brewinstall
百态老人
·
2023-10-24 01:56
经验分享
hadoop
macos
大数据
hadoop及其组件安装
一、
hadoop安装
所需环境操作系统集群配置搭建3节点完全分布式集群,即1个nameNode,2个dataNode,分别如下:主机名IP描述master10.221.101.1NameNodeslave110.221.101.2DataNameslave210.221.101.3DataNode
ZX_JS
·
2023-10-23 20:22
Hadoop集群环境配置及安装配置(详细过程包含安装包)
则为31,以此类推)3.主机映射4.ssh免密登录三、JDK安装部署(三台虚拟机都要安装)四.关闭防火墙和SElinux五、修改时区并配置自动时间同步Hadoop的前置环境基本配置完成,建议快照保存六、
Hadoop
菜鸟一千零八十六号
·
2023-10-23 05:25
大数据
hadoop
linux
大数据
linux卸载hadoop命令,
hadoop安装
命令简记(ubuntu17.04)
卸载默认openjdk1.卸载ubuntu带有的openjdksudoapt-getremoveopenjdk*2.设置默认jdk(假如有openjdk的话)由于Ubuntu中可能会有默认的jdk,如openjdk。假如有openjdk的话,所以,为了使默认使用的是我们安装的jdk,还要进行如下工作(可以使用该命令安装其他命令,例如eclipse)。执行代码:sudoupdate-alternat
李彼岸
·
2023-10-22 22:08
linux卸载hadoop命令
Hadoop集群配置运行
文章目录前期准备配置JDK环境
Hadoop安装
配置hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlworkersHadoop
Icy Hunter
·
2023-10-19 04:18
大数据开发技术
hadoop
大数据
java
hadoop简单介绍安装和配置
hadoop简单介绍安装和配置一、hadoop简介1、hadoop介绍2、hadoop的特点3、hadoop的组成二、
hadoop安装
和运行模式1、安装JDK2、安装hadoop3、hadoop重要目录介绍
梦回pq
·
2023-10-19 04:15
大数据
hadoop
大数据
java
hadoop+spark 整合
zookeeper安装zookeeper3.4.6安装spark高可用安装完成spark高可用安装
hadoop安装
hadoop安装
整合hadoop+spark配置spark+hadoopHADOOP_CONF_DIR
葡小萄家的猫
·
2023-10-19 01:46
[BigData:Hadoop]:安装部署篇
文章目录一:机器103设置密钥对免密登录二:机器102设置密钥对免密登录三:机器103安装
Hadoop安装
包3.1:wget拉取安装Hadoop包3.2:解压移到指定目录3.2.1:解压移动路径异常信息
凡解
·
2023-10-16 07:37
大数据
hadoop
linux
java
基于
Hadoop安装
Hive
文章目录一、安装准备工作二、安装三、启动和测试一、安装准备工作1、安装HIve前得安装好Hadoop集群,不会安装的去我前面文章找2、安装包准备3、在Hadoop的namenode节点服务器安装即可链接:链接:https://pan.baidu.com/s/1XuSDdssel1mzbfW3wAYmhQ提取码:whrs复制这段内容后打开百度网盘手机App,操作更方便哦–来自百度网盘超级会员V1的分
"小王"
·
2023-10-15 17:54
大数据
hive
hadoop
linux
java
mysql
linux下基于
hadoop安装
hive和Zeppelin安装
将包放在opt目录下/opt/soft/hive110/lib目录下[root@wqopt]#tar-zxfhive-1.1.0-cdh5.14.2.tar.gz[root@wqopt]#mvhive-1.1.0-cdh5.14.2soft/hive110[root@wqopt]#cd/opt/soft/hive110/conf[root@wqconf]#touchhive-site.xml[ro
SKY_WU95
·
2023-10-15 17:17
hadoop
hive
linux
大数据flink篇之三-flink运行环境安装后续一yarn-session安装
Hadoop安装
后续会有相关说明。具体的,在生产环境中,flink一般会交由yarn、k8s等资源管理平台来处理。本章主要讲解yarn模式下的sessioncluster模式。
风之清扬
·
2023-10-15 12:36
大数据计算-Flink
大数据分析
大数据
flink
Windows系统Hadoop下载安装
Windows系统Hadoop下载安装Hadoop下载
Hadoop安装
Hadoop环境配置Hadoop服务启动Hadoop下载官网下载地址:https://mirrors.tuna.tsinghua.edu.cn
mry6
·
2023-10-14 20:39
大数据
Hadoop搭建集群中输入hdfs namenode -format格式化节点时,提示:hdfs command not found 解决办法
/sbin方法2:进入/etc/profile文件中添加hadoop的安装路径sudovim/etc/profile添加:exportHADOOP_HOME=本机的
hadoop安装
路径exportPATH
每日一小知识
·
2023-10-14 18:22
java
java
后端
【大数据】
hadoop安装
部署(学习笔记)
一、集群组成概述Hadoop集群包括两个集群:HDFS集群、YARN集群两个集群逻辑上分离、通常物理上在一起两个集群都是标准的主从架构集群HDFS集群(分布式存储):主角色:NameNode从角色:DataNode主角色辅助角色:SecondaryNameNodeYARN集群(资源管理调度):主角色:ResourceManager从角色:NodeManagerMapReduce是计算框架、代码层面
rexhao_wmh
·
2023-10-14 08:44
大数据
hadoop
学习
Docker下的Apache-Atlas元数据治理组件安装
Docker下的Apache-Atlas元数据治理组件安装一、Docker镜像制作组件版本一、安装JDK二、安装MAVEN安装zookeeper安装
hadoop安装
hbase,在hive之前安装hive
Amorji
·
2023-10-13 18:45
docker
Hadoop集群启动从节点没有DataNode
二、解决思路遇见节点起不来的情况,可以去看看当前节点的日志文件我进入当前从节点的
hadoop安装
目录的Logs文件下去查看日志,发现日志报了错误(查看了日志如果发现有很多at的情况,那就说明是有问题了,
小-枝-丫
·
2023-10-12 05:44
hadoop
hadoop
hadoop 安装_
hadoop安装
解决秘籍
1、故障现象MicrosoftWindows[版本10.0.18362.239](c)2019MicrosoftCorporation。保留所有权利。C:甥敳獲Chirius>hadoopversion系统找不到指定的路径。Error:JAVA_HOMEisincorrectlyset.PleaseupdateC:dhc_hlkhadoop-2.8.5etchadoophadoop-env.cmd
weixin_39632057
·
2023-10-11 22:42
hadoop
安装
hadoop安装
jdk安装失败
3 Hadoop-HDFS
目录3.1Apache版本Hadoop重新编译3.1.1为什么要编译Hadoop3.1.2编译环境的准备3.2
Hadoop安装
3.2.1上传apacheHadoop包并压缩3.2.2修改配置文件3.2.3
PhoenixLuo·
·
2023-10-11 16:39
大数据
hadoop
hdfs
大数据
大数据集成课程设计--Hive多维统计分析案例实战--hive安装--
Hadoop安装
--centos安装
从搭建集群到统计数据一条龙服务。一共三台虚拟机,请使用内存大于等于8G的主机。目录一、资源下载二、创建虚拟机三、安装centos7四、安装hadoop1、首先将安装包放入我们安装好的centos虚拟机中。2、将其解压至/opt/soft目录下3、在soft里面新建文件夹jdk用来存放jdk解压后的包:4、把虚拟机master复制两台出来5、配置ip地址,并让三台机器互相登录6、编写配置文件7、第一
Fdecad
·
2023-10-11 00:53
big
data
hadoop
hdfs
hadoop安装
集群搭建
准备工作:1,创建一台虚拟机,安装javajdk这里选择1.82,给虚拟机并配置好静态IP地址一:Javajdk安装1.1检查安装环境,是否已安装其他版本的jdk,有的话卸载。#查看系统JDK进程[root@hadoop102~]#rpm-qa|grepjdkjava-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64java-1.6.0-openjdk-1.6.0
lingdu6633
·
2023-10-10 22:01
大数据
大数据
大数据集群(Hadoop生态)安装部署
目录1.简介2.前置要求3.Hadoop集群角色4.角色和节点分配5.调整虚拟机内存6.Zookeeper集群部署7.Hadoop集群部署7.1下载
Hadoop安装
包、解压、配置软链接7.2修改配置文件
时光の尘
·
2023-10-10 02:33
Linux学习
大数据
hadoop
分布式
hadoop环境搭建———
Hadoop安装
教程_伪分布式配置_CentOS6.4/Hadoop2.6.0【转载搬运】
最近开始学习大数据,想自己在虚拟机上搭建个伪分布,在网上也找了很多教程,踩了很多坑,最后发现了厦门大学大数据实验室林子雨老师的这个教程,按着步骤终于成功搭建,所以想分享一下,大家可以少踩一些坑,还有就是林子雨老师在慕课上的课程也都很有趣,在这里我也推荐有兴趣的可以去看看,以下均为转载内容,如有侵权,可以联系我删除。本Hadoop教程由厦门大学数据库实验室出品,转载请注明。本教程适合于在CentOS
JYeontu
·
2023-10-09 00:09
hadoop
伪分布
大数据
hadoop环境配置
hdfs
Hadoop安装
和使用详解
Hadoop安装
前置知识现在比较常见的Linux系统安装方式是选择虚拟机安装,在安装前进行方法调研的时候笔者发现:近三年几乎所有方法都是基于虚拟机安装的。而林子雨
Sharkkkie
·
2023-10-09 00:38
大数据
hadoop
linux
ubuntu
Hadoop
Hadoop
Hadoop安装
集群部署规划hadoop-3.1.3/etc/hadoop/core-site.xmlhadoop-3.1.3/etc/hadoop/hdfs-site.xmlhadoop-
FangSai_ovo
·
2023-10-08 07:51
大数据生态圈
hadoop
hdfs
big
data
hadoop报错,ERROR Invalid HADOOP_COMMON_HOME)
进入
hadoop安装
路径,cd(ha
web15285868498
·
2023-10-02 16:16
java
java
后端
HDFS的java API操作(基于Windows平台的Eclipse)
搭建开发环境方式一(windows环境下):1、将官网下载的
hadoop安装
包解压,并记住下图所示的目录2、创建javaproject,右键工程--->buildpath--->Configurebuildpath3
weixin_30291791
·
2023-09-30 19:22
java
开发工具
大数据
-bash: start-dfs.sh: command not found
启动hdfs的时候报:-bash:start-dfs.sh:commandnotfound主要原因是start-dfs.sh的命令在
hadoop安装
目录的sbin目录下,如果在etc/profile里面只配置了
如饥似渴的rocky
·
2023-09-30 07:33
hadoop
大数据
Java后台开发
三主机安装Hadoop
10.21.14.16410.21.14.16510.21.14.1662.版本:hadoop-2.7.7jdk>1.83.参考:Hadoop完全分布式集群搭建-4.安装:1.配置各台虚拟机之间免秘钥登录参考:配置各台虚拟机之间免秘钥登录-2.把
hadoop
soane1983
·
2023-09-29 11:43
Hadoop集群安装部署
目录Hadoop集群安装部署1、集群环境准备2、建立免密通道3、集群时间同步4、jdk1.8安装5、
hadoop安装
部署6、Hadoop配置文件配置7、格式化操作8、启动hadoop集群启动HDFS集群
Wangsh@
·
2023-09-28 02:50
大数据
hadoop
linux
大数据
「大数据-2.0」安装Hadoop和部署HDFS集群
目录一、下载
Hadoop安装
包二、安装Hadoop0.安装Hadoop前的必要准备1.以root用户登录主节点虚拟机2.上传
Hadoop安装
包到主节点3.解压缩安装包到/export/server/目录中
烛火萤辉
·
2023-09-28 02:18
大数据
大数据
hdfs
hadoop
头歌Hadoop 开发环境搭建及HDFS初体验(第2关:配置开发环境 -
Hadoop安装
与伪分布式集群搭建)
第1关:配置开发环境-JavaJDK的配置第2关:配置开发环境-
Hadoop安装
与伪分布式集群搭建第3关:HDFS系统初体验注:1头歌《Hadoop开发环境搭建及HDFS初体验》三关在一个实验环境下,需要三关从前往后按顺序评测
学不好python的小猫
·
2023-09-26 08:51
hadoop
hdfs
大数据
jdk
Hadoop环境搭建---环境准备篇
目录1、安装JDK2、
Hadoop安装
3、本地运行模式(官方WordCount)4、完全分布式运行模式4.1scp4.1.1把zabbix1上的JDK拷贝到zabbix2上面4.1.2在zabbix2上拉取
祁连%
·
2023-09-25 20:21
Hadoop
hadoop
linux
大数据
CentOS7 下 HBase-1.3.1 安装
安装准备:Zookeeper-3.4.10Hadoop-2.7.3zk,
hadoop安装
略启动zookeeper集群[hadoop@hadoop131software]$/opt/bigdata/hadoop
V1cttor
·
2023-09-24 13:06
Hadoop运行环境搭建
IP修改主机名关闭防火墙创建your_name用户设置your_name用户具有root权限在/opt目录下创建文件夹chownalt+t传输模式解压并且存放命令配置环境变量启动环境变量2jdk安装3
Hadoop
小猪Piglet
·
2023-09-21 15:00
电商数仓学习笔记(一)
第一章数据仓库概念第二章项目需求及架构设计项目需求项目框架第三章数据生成模块目标数据数据埋点服务器和jdk准备编写集群分发脚本xsync模拟数据集群日志生成脚本第四章数据采集模块集群所有进程查看脚本
Hadoop
芝士雪豹.
·
2023-09-21 06:01
大数据
hadoop
Windows下Pycharm的Spark、Hadoop、Scala安装及常见报错(graphframes避坑、jupyter的文件位置更换、conda环境建立)
目录软件安装1、jdk安装2、Anaconda安装3、scala安装4、
Hadoop安装
5、Spark安装6、安装sbt包安装1、安装py4j2、安装pyspark接下来是新建python项目1、项目配置
soberld
·
2023-09-21 02:21
pycharm
spark
hadoop
Hdoop伪分布式集群搭建
文章目录
Hadoop安装
部署前言1.环境2.步骤3.效果图具体步骤(一)前期准备(1)ping外网(2)配置主机名(3)配置时钟同步(4)关闭防火墙(二)正文(1)配置hosts列表(2)SSH免密钥登录配置
陈七.
·
2023-09-20 22:27
Linux开发
分布式
hadoop
大数据
hadoop安装
后运行hadoop version 报找不到命令
hadoop安装
后运行hadoopversion报找不到命令[root@localhostdevlops]#hadoopversionERROR:JAVA_HOMEisnotsetandcouldnotbefound
Xujunn
·
2023-09-20 22:43
笔记
hadoop
apache
big
data
hdfs的JavaAPI操作
1.常用类2.HDFSAPI开发的步骤(1)在HDFS上创建文件夹(2)在HDFS上传文件(3)从HDFS下载文件(4)重命名文件(5)删除文件一、在window下安装hadoop-(一)安装1.下载
hadoop
LMY~~
·
2023-09-18 08:09
hadoop
大数据
java
Windows系统Hadoop下载安装
Windows系统Hadoop下载安装Hadoop下载
Hadoop安装
Hadoop环境配置Hadoop服务启动Hadoop下载官网下载地址:https://mirrors.tuna.tsinghua.edu.cn
澎湖Java架构师
·
2023-09-18 05:17
java
java
后端
HBase&Zookeeper安装及配置
Hadoop安装
地址:
Hadoop安装
目录一、Zookeeper安装及配置1.解压&授权2.Zookeeper配置a.zoo.cfg配置3.Zookeeper环境变量配置4.启动Zookeeper服务二
NightFall丶
·
2023-09-17 23:13
#
HBase
zookeeper
hbase
hadoop
hadoop启动报错:Attempting to operate on hdfs namenode as root
在
hadoop安装
路径的/hadoop/sbin路径下:将start-dfs.sh,stop-dfs.sh两个文件顶部添加以下参数#!
Agatha方艺璇
·
2023-09-16 02:44
大数据
Hadoop
hadoop
hdfs
大数据
hadoop集群部署常见问题解决
1、权限•Permissiondenied(权限被拒绝)Hadoop的运行日志在$HADOOP_HOME/logs内也可以查看日志排错只要出现Permissiondenied就是权限问题
hadoop安装
文件夹或
W_yhhh
·
2023-09-06 03:46
hadoop
大数据
linux
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他