E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop安装
关于大数据相关的问答汇总,每天持续更新中~
重点内容一.简述如何安装配置apache的一个开源的hadoop使用root账户登陆2.修改ip3.修改host主机名4.配置ssh免密登陆5.关闭防火墙6.安装JDK7.解压
hadoop安装
包8.配置
qq_43084314
·
2023-04-03 23:22
Hadoop启动报Error: JAVA_HOME is not set and could not be found解决办法
老东家
Hadoop安装
完后,启动时报Error:JAVA_HOMEisnotsetandcouldnotbefound.解决办法:修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME
chen_zan_yu_
·
2023-04-03 09:49
大数据
linux下hadoop伪分布式启动 localhost: Error: JAVA_HOME is not set and could not be found.
JAVA_HOMEisnotsetandcouldnotbefound.1但是JAVA环境变量已经配好了,终端输入java-version也会显示版本信息解决方案如下修改hadoop-env.sh(我的
hadoop
拓宽视野
·
2023-04-03 09:09
hadoop
大数据
hadoop
linux
java_home
not
found
伪分布式
Hadoop高可用集群HA的安装
目录1.
Hadoop安装
2.Hadoop的配置文件编写2.1Hadoop-env.sh2.2workers文件2.3core-site.xml文件2.4hdfs-site.xml文件2.5yarn-site.xml2.6mapred-site.xml3
EEEurekaaa!
·
2023-04-03 04:47
Hadoop集群搭建及实例应用
hadoop
大数据
hdfs
分布式
mapreduce
Hadoop安装
(HA架构)
Hadoop高可用架构安装文章目录Hadoop高可用架构安装服务器规划ZooKeeper安装
Hadoop安装
配置文件1、core-site.xml2、hdfs-site.xml3、mapred-site.xml4
GeneralMonkey
·
2023-04-03 03:03
大数据Hadoop
hadoop
hbase
big
data
大数据
CentOS 7 虚拟机 Hadoop 集群环境搭建
CentOS7安装Java、Hadoop本地运行模式字符串正则匹配WordCount清理文件伪分布式运行模式环境搭建运行测试下载和跳转问题完全分布式运行模式配置模板机配置rsync脚本配置SSH免密登录配置
Hadoop
叶涟风不息
·
2023-04-02 14:31
笔记
Linux
centos
hadoop
分布式
linux
配置Hadoop伪分布式
1.上传并解压JDK、
hadoop安装
包。2.配置JDK、hadoop环境变量。3.修改配置文件。
基础不牢,地动山摇
·
2023-04-02 13:05
Hadoop
hadoop
分布式
hdfs
hadoop 伪分布式安装流程
首先创建一台虚拟机内存设置最好要大一些要不玩不起来我的设置为100g然后内存线程什么的根据自己电脑配置来2.然后配置文件安装jdk什么的前边有已经写好的shell脚本可以直接用或者自己配置也可以3.准备工作完成后下载
hadoop
宝罗
·
2023-04-02 13:19
hadoop
hadoop
big
data
hadoop伪分布式集群搭建(超详细)
需要java安装包和
hadoop安装
包的可以选择这里下载链接:https://pan.baidu.com/s/1sQQ-uiwmJvYFPgpVsftL6Q?
இ荏苒இ
·
2023-04-02 03:42
hadoop
分布式
java
hadoop伪分布式集群搭建(二、jdk,
hadoop安装
)
hadoop伪分布式集群搭建(二、jdk,
hadoop安装
)#系列文章目录==>前提一、安装jdk,配置jdk环境变量二、安装hadoop,配置hadoop环境变量#系列文章目录#系列文章目录hadoop
海之心殇
·
2023-04-02 03:53
分布式
大数据
hadoop
linux
jdk
hadoop伪分布式集群搭建(一、虚拟机安装)
hadoop伪分布式集群搭建(一、虚拟机安装)#系列文章目录前期准备虚拟机安装#系列文章目录#系列文章目录hadoop伪分布式集群搭建(一、虚拟机安装)hadoop伪分布式集群搭建(二、jdk,
hadoop
海之心殇
·
2023-04-02 03:23
hadoop
linux
大数据
java
java程序员的AI之路-大数据篇
hadoop安装
最近AI(人工智能)是一大风口啊,乌镇互联网大会各个大佬们记们谈论点都是AI了,在这样的行情下,怎么能不沾一沾Ai的潮流,拥抱人工智能的热浪中去呢。好吧,那么问题来了,该从哪入手呢,感觉跟以前走的路完全不同啊,于是开始找各种方式来找学习ai的路线。嗯,首先是语言,貌似python是最适合搞ai的,虽然也学过一点,但貌似并不专业啊。我可是JAVA程序员。我认为java是无所不能的(java才是最好的
qdwd888
·
2023-04-01 10:00
Java
经验分享
面试
java
忘记
hadoop安装
路径,忘记hadoop根目录怎么进入根目录启动hadoop
有时候很久没用VMware虚拟机了,Linux操作系统如果不是刻意去用,基本上没什么机会去使用更别提计算机小白了,Windows系统都没弄懂,又出来一个Linux系统某天我打开目录,忘记自己安装的hadoop目录在那个文件夹下,又没有去弄脚本来控制集群启动关闭自己一时间也记不起来,去百度也没有人会留意这些很憨憨的命令,基本上找不到我想起我在配置Hadoop启动的系统环境变量的时候,在主机和从机都修
词一丶
·
2023-04-01 00:11
hadoop
hadoop
Ububtu18.04安装Hadoop3.1.3全分布集群-持续更新问题集
关闭防火墙3.SSH连接4.配置静态IP4.使用hadoop用户5.设置主机名6.配置/etc/hosts文件7.更新apt8.安装SSH、配置SSH无密码登陆9.Ubuntu18.04有线连接未托管
Hadoop
IT从业者张某某
·
2023-03-31 14:09
hadoop
ubuntu
linux
hadoop安装
(二、hadoop)(备忘)
hadoop安装
hadoop更改文件配置配置core-site.xml配置hadoop-env.sh配置hdfs-site.xml配置mapred-site.xml配置yarn-site.xml配置环境
Triumph-CP
·
2023-03-31 07:30
hadoop
hdfs
大数据
linux下安装Hadoop的详细教程
二:安装Hadoop1.执行以下命令,下载
Hadoop安装
包。2.执行以下命令,解压
Hadoop安装
包至/opt/hadoop。3.执行以下命令,配置Hadoop环境变量。
·
2023-03-31 01:51
Hadoop基础知识面试题整理
1)安装JDK并配置环境变量(/etc/profile)2)关闭防火墙3)配置hosts文件,方便hadoop通过主机名访问(/etc/hosts)4)设置ssh免密码登录5)解压缩
hadoop安装
包,
yoku酱
·
2023-03-30 13:59
centos6.10单机Hadoop
tar.gzhadoop:hadoop-2.10.1.tar.gzhttp://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.10.1/1、jdk和
hadoop
雪_豹
·
2023-03-29 10:12
hadoop安装
教程完整版【含配置文件】
准备工作:1.映射、免密、三台虚拟机能够ping通1.jdk安装完成,通过java-version命令查看能够正常反馈信息。2.关闭防火墙systemctlstopfirewalld查看防火墙状态:systemctlstatusfirewalld禁用防火墙:systemctldisablefirewalld3.修改安全策略:#vi/etc/selinux/configSELINUX=enforci
写bug的小初
·
2023-03-28 23:43
运维
hadoop
CentOS 6虚拟机
Hadoop安装
教程
前言本人初学hadoop,在安装配置环境时发现网上大部分博客的教程都不太完善,所以我结合了这些博客内容和老师的讲解写了下面这一份教程,这些操作都是本人经过尝试确认过没有问题的操作(如果有问题的话希望大家能够指出)在安装中有什么注意点我都会提,希望能够对各位有帮助在hadoophadoophadoop集群配置时,需要至少两台机子,但有些配置都是相同的,所以以下操作可以在Master主机完成后用虚拟机
UserOrz
·
2023-03-28 19:28
大数据学习
hadoop
centos
基于CentOS虚拟机的
Hadoop安装
教程(自用备忘)
该博文是用于记录Hadoop的安装过程,且记录其中出现的一些问题,防止日后遗忘实验环境:虚拟机:CentOS7Hadoop:3.3.2java:java8u331下载连接:CentOS:centos-7-x86_64-dvd-2009.iso如果不能下载请到这里找可以下载的镜像网站:镜像JDK:jdk-8u331-linux-x64.rpmHadoop:Hadoop-3.3.2CentOS安装使用
Asymptote_tanaka
·
2023-03-28 19:11
hadoop
hadoop
centos8安装hadoop、hive及配置mysql作为metadata全套教程(伪分布模式)上
hadoop安装
安装前的必要准备1.检查你网络连接要想网络畅通第一点就是你虚拟机网络适配器必须处于NAT模式或者是桥接模式,两者共同点是都能连接Internet,两者区别在于桥接模式可以除
吴优秀同学
·
2023-03-27 07:24
Centos6.8搭建Hadoop集群
Hadoop下载Hadoop官网Hadoop官网选择的版本下载连接
Hadoop安装
配置准备内容1.虚拟机3台(centos6.9)2.配置在同一网段服务器配置1.配置hosts(三台机子同样配置)192.168.0.101node1192.168.0.102node2192.168.0.103node32
playman
·
2023-03-23 08:22
Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)
Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)目录Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)前言一、Hadoop项目结构二、
Hadoop安装
方式三、VMware虚拟网络设置
派大星子fff
·
2023-03-23 02:17
大数据
hadoop
大数据
hdfs
分布式
centos
搭建单机hive环境
搭建单机hive环境本文假设搭建的路径在/opt/sh路径,并已经下载hive安装包及
hadoop安装
包https://downloads.apache.org/hive/hive-3.1.3/apache-hive
ShootHzj
·
2023-03-22 14:08
查看
Hadoop安装
路径
查看hadoop二进制文件路径$whichhadoop/usr/local/bin/hadoop查看hadoop二进制文件链接路径ls-l|grep'hadoop'lrwxr-xr-x1adminadmin4511813:52container-executor->../Cellar/hadoop/3.1.1/bin/container-executorlrwxr-xr-x1adminadmin3
王勇1024
·
2023-03-18 21:45
janusgraph 自建server使用手记
环境java8环境
hadoop安装
启动versionserversmastercdh-hadoop-2.6.0spark-slave10,spark-slave11,spark-slave12,spark-slave13
水他
·
2023-03-17 08:42
hadoop+zookeeper+hbase+hive
hadoop安装
配置
hadoop安装
文档:https://blog.csdn.net/pucao_cug/article/details/71698903zookeeper安装文档:https://blog.csdn.net
易佰菜鸟
·
2023-03-16 18:47
技术文档
hadoop
zookeeper
hbase
hive
HDFS服役和退役数据节点
环境准备克隆一台虚拟机node4修改ip地址和主机名称删除原来HDFS文件系统留存的文件在core-site.xml中配置的hadoop.tmp.dir目录下的所有文件服役新节点具体步骤1、在namenode所在节点的
Hadoop
qq_45973211
·
2023-03-14 22:14
Hadoop
hdfs
hadoop
大数据
电商数据仓库项目简介
github地址电商数据仓库详情学习攻略请查看
hadoop安装
hive安装hive常用命令完善中...项目踩坑请查看Linux卸载安装Mysql踩坑Linux报错只读文件系统(集群非法关机、断电)踩坑sqoop
如虎添
·
2023-03-12 02:40
hadoop安装
安装准备环境#关闭防火墙,方面后面浏览器访问测试systemctlstopfirewalldsystemctldisablefirewalld#添加IP地址映射,方便后面地址配置vim/etc/hosts192.168.1.89hadoop01#配置SSH免密登录,方便后面服务启动ssh-keygenssh-copy-idhadoop01安装JDK解压JDKtar-zxfjdk-8u111-lin
张云飞Vir
·
2023-03-10 15:19
hadoop安装
与配置
分布式文件存储系统HDFS(HadoopDistributedFileSystem)2.资源管理系统YARN(YetAnotherResourceNegotiator)3.分布式计算框架MapReduce二、
Hadoop
木杉_君
·
2023-03-10 10:49
Hadoop安装
(完全分布式)
有空,上一个完整过程。softwareversionoperatingsystemUbuntu18.04.3LTSjdkversion1.8.0_232hadoopversion3.1.3一、installjava$sudoapt-getupdate$sudoapt-getinstallopenjdk-8-jreopenjdk-8-jdk-y$dpkg-Lopenjdk-8-jdk|grep'/b
vickeex
·
2023-03-10 02:19
【博学谷学习记录】大数据课程-学习第七周总结
Hadoop配置文件修改
Hadoop安装
主要就是配置文件的修改,一般在主节点进行修改,完毕后scp下发给其他各个从节点机器文件中设置的是Hadoop运行时需要的环境变量。
知知洋洋
·
2023-03-09 21:43
大数据
hadoop
学习
Hadoop基础环境搭建完整版
Hadoop基础环境搭建(转载尚硅谷)说明个人学习记录基于虚拟机搭建,需要提前准备虚拟机环境搭建版本:hadoop-3.1.3搭建HDFS和yarn提前准备
Hadoop安装
包:hadoop-3.1.3.
黄开A
·
2023-03-09 10:40
大数据
hadoop
hdfs
最新
hadoop安装
教程及hadoop的命令使用(亲测可用)
目录01引言02
hadoop安装
2.1下载与安装2.2hadoop配置2.3免登陆配置2.4配置环境变量2.5配置域名2.6启动03相关命令3.1yarn相关命令3.2hdfs相关命令04一次填完所有的坑
·
2023-02-27 18:53
Hive sql : 查询连续登录天数
2.在Hive中建表在Hive中进行操作,首先启动Hadoop集群环境,进入到
Hadoop安装
目录,sbin/start-dfs.sh,jps查看Hadoop集群有无正常启动正常启动后,输入hiv
free youreself
·
2023-02-26 06:06
数据分析
hive
数据库
sql
Apache
hadoop安装
配置
Apache
hadoop安装
配置1.网络中继更改问题命令:vi/etc/sysconfig/network-scripts/ifcfg-eth0需要修改的代码DEVICE=eth0HWADDR=00:0C
起飞后的菜鸟
·
2023-02-18 07:57
查看并使用hadoop自带的示例程序(以wordcount为例)
查看并使用hadoop自带的示例程序(以wordcount为例)1.查看hadoop自带的示例程序hadoopjar
hadoop安装
路径+/share/hadoop/mapreduce/hadoop-mapreduce-examples
Mocode
·
2023-01-31 13:16
hadoop
hdfs
mapreduce
大数据基础之
Hadoop安装
、部署及配置过程
一、基础环境的安装与配置1.集群的规划:主要包括NameNode、ResourceManager、NodeManager、SecondaryNameNode、DataNode这些角色与机器的划分,如下图2.主机名修改vim/etc/hostname分别修改为:node1.itcast.cn、node2.itcast.cn、node3.itcast.cn3.hosts映射vim/etc/hosts1
zhanwuchen
·
2023-01-30 15:56
大数据#
Hadoop
hadoop
hdfs
big
data
Hadoop的集群搭建windows基于VMware虚拟机超详细教程(一主二从)
Hadoop集群搭建(一主二从)文章目录Hadoop集群搭建(一主二从)前言一、VMware安装包以及所需要的jdk,
Hadoop安装
包二、XSHELL和XFTP下载与安装三、在VMware虚拟机中安装
南风未闻
·
2023-01-30 15:54
linux
hadoop
centos
Hadoop2.0安装之非HA版
主要步骤跟Hadoop1.0(1.0安装地址)一致,主要在配置这块有更改安装下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-2.6.5/
hadoop
weixin_30449453
·
2023-01-30 15:21
大数据
python
java
hadoop安装
配置
Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成,其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS(HadoopDistributedFileSystem)来执行MapReduce程序的MapReduce引擎。Pig是一个基于Hadoop的大规模数据分析平台,Pig为复杂的海量数据并行计算提供了一个简单的
su_use
·
2023-01-30 15:20
oo
hadoop
虚拟机配置Hadoop
/sysconfig/network)二、SSH配置免密登录1.创建密钥对三、安装和配置jdk(xshell操作)1.传输通道:sftpip(本地直接拖拽安装包即可上传虚拟机)2.修改全局配置文件四、
Hadoop
尢词
·
2023-01-30 15:18
hadoop
hbase
hive
mysql
zookeeper
Linux上hadoop的安装以及配置文件修改
,链接:Linux集群系统下安装jdkLinux集群系统下安装jdk网址:https://blog.csdn.net/qq_42012160/article/details/1154418101、下载
Hadoop
风逍遥-ygq
·
2023-01-30 15:47
hadoop
VMware中创建的linux系统中安装hadoop
一、hadoop的安装
hadoop安装
的三种形式:单机模式伪分布式基于yarn的完全分布式模式安装前的准备:一个纯净版的centos7虚拟机,配置好静态ip,主机名,主机映射配置静态ip:vi/etc/
普通网友
·
2023-01-30 15:45
java
java
后端
VMware创建Linux虚拟机之(三)
Hadoop安装
与配置及搭建集群
Hello,world!本篇博客使用到的工具有:VMware16,Xftp7若不熟悉操作命令,推荐使用带GUI页面的CentOS7虚拟机我将使用带GUI页面的虚拟机演示虚拟机(VirtualMachine)指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。在实体计算机中能够完成的工作在虚拟机中都能够实现。在计算机中创建虚拟机时,需要将实体机的部分硬盘和内存容量作为虚
Enovo_飞鱼
·
2023-01-30 14:40
大数据应用技术
linux
运维
java
hadoop
分布式
hadoop大数据平台的构建
hadoop默认端口hadoop分布集群搭建前置准备关闭防火墙修改各个节点的主机名修改自己所用节点的IP映射需要在所有节点上完成网络配置时间同步(三台机器均执行)ssh免密(三台主机)zookeeper
hadoop
JeremyHeria
·
2023-01-30 04:27
#
hadoop
大数据
hadoop
big
data
mapreduce
分布式
大数据
Hadoop安装
部署详细介绍
文章目录前言一、创建Hadoop用户二、设置环境变量三、设置local无密码登陆四、修改/etc/hosts主机名和IP地址的映射文件五、设置远程无密码登陆六、每台都关闭机器的防火墙七、jdk安装八、
Hadoop
充电了么
·
2023-01-26 23:55
本地虚拟机集群搭建数据仓库实战
组件目录一.环境准备二.JDK安装三.
Hadoop安装
过程四.Zookeeper安装五.Flume安装六.Kafka安装七.MySQL安装八.Sqoop安装九.Hive安装十.安装ES5.2十一.安装Spark2.4.3
ZhaoHY KeepRunning
·
2023-01-21 09:11
kafka
flink
hadoop
spark
hdfs
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他