E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop集群搭建
Hadoop集群搭建
(五)-集群配置文件
目录集群部署规划自定义配置文件节点格式化配置workers启动集群配置历史服务器集群部署规划hadoop102hadoop103hadoop104HDFSNameNodeDataNodeSecondaryNameNodeNataNodeYARNNodeManagerResourceManagerNodeManagerNodeManager自定义配置文件core-site.xml、hdfs-site
HUA_8376
·
2023-09-02 06:55
大数据hadoop
hadoop
hdfs
大数据
Hadoop集群搭建
(伪分布式)
集群搭建hadoop伪分布式软件准备:VMwareWorkstationProcentos7xshell5jdk-8u141-linux-x64.tar.gzhadoop-2.10.1.tar.gz一.安装jdk1.首先在jdk官网中,下载jdk安装包,本文以jdk-8u141-linux-x64.tar.gz为例2.将安装包传入虚拟机中,本文以xshell5为例(1).打开xshell5,连接上
......786
·
2023-08-27 15:11
笔记
hadoop
大数据
centos
(二)大数据实战——hadoop的模板虚拟机搭建
前言在实际的开发过程中,我们的hadoop都是以集群的方式存在,该系列内容我们使用vmware工具构建我们的虚拟机,从而实现
hadoop集群搭建
。
北溟溟
·
2023-08-27 15:11
#
hadoop
大数据
大数据
hadoop
大数据项目实战(
Hadoop集群搭建
)
一,搭建大数据集群环境1.2
Hadoop集群搭建
1.2.1jdk安装1.下载jdk(1)在根目录下创建三个子目录以备后用。
瑾寰
·
2023-08-27 15:10
大数据
hadoop
java
mysql
sql
big
data
大数据时代之java操作hdsf
前面已经讲过hadoop伪分布式和分布式环境搭建,参考大数据时代之
Hadoop集群搭建
本来想直接搞java代码操作hdfs的,想了想还是先简单的复习下命令行操作hdfs吧。
小小的人儿居然已存在
·
2023-08-27 11:49
大数据
大数据
hadoop
hdfs
Hadoop集群搭建
(hadoop-3.3.5)
一、修改服务器配置文件1、配置环境变量vim/etc/profile#java环境变量exportJAVA_HOME=/usr/local/jdk/jdk8exportJRE_HOME=$JAVA_HOME/jreexportCLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexportPATH=$JAVA_HOME/bin:$JRE_HOME/bi
如我般骄傲
·
2023-08-26 11:37
hadoop
大数据
分布式
大数据项目实战-招聘网站职位分析
目录第一章:项目概述1.1项目需求和目标1.2预备知识1.3项目架构设计及技术选取1.4开发环境和开发工具1.5项目开发流程第二章:搭建大数据集群环境2.1安装准备2.2
Hadoop集群搭建
2.3Hive
L卡夫卡
·
2023-08-25 09:43
项目实战
大数据
hadoop
hive
mapreduce
hdfs
实战:使用Docker部署Hadoop集群
文章目录Hadoop简介Hadoop优势Hadoop应用场景docker与docker-compose安装
Hadoop集群搭建
环境变量docker-compose环境文件树结构编排并运行容器运行wordcount
小沈同学呀
·
2023-08-17 03:32
hadoop
docker
大数据
docker
hadoop
容器
Docker安装Hadoop分布式集群
一、准备环境dockersearchhadoopdockerpullsequenceiq/hadoop-dockerdockerimages二、
Hadoop集群搭建
1.运行hadoop102容器dockerrun
qq_14910065
·
2023-08-11 11:00
大数据平台
linux
分布式
docker
hadoop
Hadoop技术之HDFS分布式文件系统基础
▼往期内容汇总:大数据导论Linux操作系统概述VMwareWorkstation虚拟机使用Linux常用基础命令、系统命令ApacheHadoop概述Apache
Hadoop集群搭建
目录一、文件系统、
黑马程序员官方
·
2023-07-23 14:13
hadoop
hdfs
大数据
hadoop集群搭建
一、虚拟机概况三台centos7.54g(内存)2核40gmaster192.168.2.146hadoop01192.168.2.153hadoop02192.168.2.148二、环境变量以及安装准备1、/etc/profile.d/hadoop.shexportJAVA_HOME=/home/james/app/jdk1.8.0_91exportCLASSPATH=$JAVA_HOME/li
James0824
·
2023-07-18 20:03
Hadoop 集群搭建
Hadoop集群搭建
1.Hadoop运行环境准备1.1模板虚拟机环境准备安装模板虚拟机,IP地址为192.168.50.100,主机名称hadoop100、内存4G、硬盘50G。
Thomas_Vader
·
2023-07-16 16:50
hadoop集群搭建
教程
目录集群规划所需软件包地址开始安装linux篇添加用户与用户组hadoop用户添加sudo权限配置hostname名称编辑hosts配置免密安装jdk1.8hadoop集群篇安装zookeeper安装hadoophbase安装hive安装hue安装集群规划ip主机名hadoopjournalnodezookeeperhbase192.168.1.130hd.m1namenodejournalnod
冰帆<
·
2023-07-15 01:09
大数据
hbase
hadoop
大数据
分布式
hadoop集群搭建
+hive安装
1.系统环境VMware-workstation:VMware-workstation-full-16.2.3ubuntu:ubuntu-21.10hadoop:hadoop2.7.2mysql:mysql-connector-java-8.0.19jdk:jdk-8u91-linux-x64.tar(注意要是linux版本的,因为是在linux系统中创建虚拟机)hive:hive1.2.1小技巧
THE WHY
·
2023-07-14 20:30
hadoop
大数据
hadoop
hive
ubuntu
java
Hadoop集群搭建
Linux集群搭建1、新建虚拟机创建一个centos镜像,命名为hadoop1,剩下两个待基础环境配置好后,直接克隆即可2、基础环境配置hadoop:Indexof/dist/hadoop/common/hadoop-2.7.3(apache.org)JDK::JavaArchive|Oracle1.1、JDK安装目录:/usr/local①解压tar-zxvfjdk-8u102-linux-x6
Sentiment.
·
2023-06-14 00:00
环境搭建
hadoop
大数据
hdfs
Hadoop集群搭建
Hadoop集群搭建
Hadoop集群简介Hadoop集群:HDFS集群,YARN集群两个集群逻辑上分离,通常物理在一起两个集群都是标准主从集群HDFS分布式存储主角色NameNode从角色DataNode
Rkun18
·
2023-06-14 00:00
#
大数据
hadoop
hdfs
大数据
Ubuntu常见基本问题
系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装(单机、伪分布)
Hadoop集群搭建
HBase2.2.2安装(单机、伪分布)Zookeeper集群搭建HBase集群搭建Spark安装和编程实践
WE-ubytt
·
2023-06-09 00:30
大数据处理与应用
ubuntu
linux
运维
Spark安装和编程实践(Spark2.4.0)
系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装(单机、伪分布)
Hadoop集群搭建
HBase2.2.2安装(单机、伪分布)Zookeeper集群搭建HBase集群搭建Spark安装和编程实践
WE-ubytt
·
2023-06-08 20:41
大数据处理与应用
spark
hadoop
大数据
Spark集群搭建
系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装(单机、伪分布)
Hadoop集群搭建
HBase2.2.2安装(单机、伪分布)Zookeeper集群搭建HBase集群搭建Spark安装和编程实践
WE-ubytt
·
2023-06-08 20:41
大数据处理与应用
spark
hadoop
大数据
HBase集群搭建
系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装(单机、伪分布)
Hadoop集群搭建
HBase2.2.2安装(单机、伪分布)Zookeeper集群搭建HBase集群搭建Spark安装和编程实践
WE-ubytt
·
2023-06-08 20:40
大数据处理与应用
hbase
hadoop
大数据
Hadoop集群搭建
系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装(单机、伪分布)
Hadoop集群搭建
HBase2.2.2安装(单机、伪分布)Zookeeper集群搭建HBase集群搭建Spark安装和编程实践
WE-ubytt
·
2023-06-08 20:05
大数据处理与应用
hadoop
大数据
linux
一起重新开始学大数据-hadoop篇-Day44-Hadoop、hdfs概述架构简析,
Hadoop集群搭建
一起重新开始学大数据-hadoop篇-Day44-Hadoop、hdfs概述架构简析,
Hadoop集群搭建
科普环节概念、名词科普Apache基金会是专门为支持开源软件项目而办的一个非盈利性组织服务器
你的动作太慢了!
·
2023-04-19 03:40
大数据从零开始学习
大数据
hadoop
big
data
基于伪分布式
Hadoop集群搭建
伪分布式HBASE集群
基于伪分布式
Hadoop集群搭建
伪分布式HBASE集群前言运行环境1、CentOS/7.9x86_64(64bit)2、jdk-8u281-linux-x643、hadoop-2.7.64、hbase-
曲阿玖
·
2023-04-18 05:42
大数据
JAVA
hadoop
分布式
大数据
hadoop
zookeeper
hbase
Hadoop Hbase HA高可用集群搭建
本文用以记录Hadoop、HbaseHA高可用集群搭建基础环境准备根据前面
hadoop集群搭建
、hbase集群搭建添加外部zookeeper集群下载zookeeper:zookeeper-3.4.13zookeeper
Saxon_323e
·
2023-04-09 11:47
java.net.connectexce_Call From master/192.168.128.135 to master:8485 failed on connection exception:...
hadoop集群搭建
了ha,初次启动正常,最近几天启动时偶尔发现,namenode1节点启动后一段时间(大约10几秒-半分钟左右),namenode1上namenode进程停掉,查看日志:12017-08
105菌
·
2023-04-08 20:37
完全分布式
Hadoop集群搭建
环境说明操作系统:CentOS8x86_64Hadoop版本:2.10.1节点数:3服务器规划:node1node2node3199.188.166.111199.188.166.112199.188.166.113NameNode(NN)SecondaryNameNodeResourceManager(RM)DataNode(DN)DataNode(DN)DataNode(DN)NodeMana
黑伴白
·
2023-04-08 18:38
大数据
hadoop
分布式
大数据
大数据
Hadoop集群搭建
1(伪分布式集群)
目录Hadoop集群简介Hadoop集群具体来说包含两个集群:HDFS集群和YARN集群。Hadoop集群的部署方式分为三种,分别是单机模式、伪分布式模式和完全分布式模式。环境搭建1.修改主机名2.修改时区4.配置ssh免密5.安装Hadoop目录结构配置文件说明主要配置文件搭建HDFS伪分布式集群配置Hadoop系统环境变量搭建YARN伪分布式集群Hadoop集群简介Hadoop集群具体来说包含
currify--+
·
2023-04-08 18:30
hadoop
分布式
大数据
运维开发
大数据 |
Hadoop集群搭建
(完全分布式)
配置克隆的虚拟机2.3使用Xshell连接虚拟机2.4配置SSH免密登录三、Hadoop集群准备3.1安装rsync3.2安装xsync分发脚本3.3安装JDK和安装Hadoop3.4配置环境变量3.5分发四、
Hadoop
初心%
·
2023-04-08 18:27
大数据
hadoop
大数据
分布式
Zookeeper下载和安装
Zookeeper1.下载官方下载地址:https://zookeeper.apache.org/版本:apache-zookeeper-3.7.1-bin.tar.gz2.安装2.1本地安装2.1.1安装JDK见:
Hadoop
Mr李小四
·
2023-04-04 22:42
Hadoop大数据技术
zookeeper
hadoop
大数据
大数据技术高频面试题汇总
Hadoop默认不支持LZO压缩,如果需要支持LZO压缩,需要添加jar包,并在hadoop的cores-site.xml文件中添加相关压缩配置;Hadoop常用端口号;Hadoop配置文件以及简单的
Hadoop
wespten
·
2023-04-03 23:50
Hadoop
Hive
Spark
大数据安全
面试
职场和发展
Hadoop集群搭建
HA高可用版
HadoopHA搭建前提需要准备三台虚拟机创建三台虚拟机,主机名分别更改为hadoop01,hadoop02,hadoop03Hadoop部署如下主机名主机IPhadoop01192.168.197.101hadoop02192.168.197.102hadoop03192.168.197.103以下更改主机名,配置网络,关闭防火墙,关闭selinux,时间同步,主机映射和免密登录三台虚拟机都要进
bug智造
·
2023-04-03 23:22
大数据
hadoop
基于树莓派的
Hadoop集群搭建
此为突发奇想写的,还没更新完成,里面有的内容出入还没更改,图片明天再加,内容再改。由于本人需求,所以在四个树莓派上搭建了一个极小的Hadoop集群,请勿喷我的工作无用,都说了是我需要才这样做的,手动再见!工作并非完全个人创造,在基于网上貌似唯一一篇介绍树莓派搭建Hadoop集群的过程文章后根据个人现状进行修改完成,原本已有人搭建过相应内容,所以树莓派系统内部混乱,后来也没有完全清理,有些易于常人的
amjjagja
·
2023-04-03 18:44
java
hadoop
hdfs
大数据
linux
echarts
day3-
Hadoop集群搭建
(完全分布式)
1、虚拟机准备克隆3个虚拟机hadoop101,hadoop102,hadoop103,改静态ip,主机名,3台机器的节点分配如下2、编写集群分发脚本xsync(1)在/home/hadoop目录下创建bin目录,并在bin目录下xsync创建文件:[hadoop@hadoop101~]mkdirbin[hadoop@hadoop101~]cdbin/[hadoop@hadoop101bin]to
xiaoqunzi233
·
2023-04-03 16:30
Hadoop集群搭建
(超级超级详细)
Hadoop集群搭建
(超级超级详细)1、集群规划安装VMware,使用三台Ubuntu18.04虚拟机进行集群搭建,下面是每台虚拟机的规划:主机名IP用户HDFSYARNhadoopWyc待定wycNameNode
跳舞的皮埃尔
·
2023-04-03 11:46
Linux
笔记
Hadoop
linux
hadoop
Hadoop集群搭建
(五:Hadoop HA集群模式的安装)
实验目的要求目的:1、Hadoop的高可用完全分布模式的安装和验证要求:完成Hadoop的高可用完全分布模式的安装;Hadoop的相关服务进程能够正常的启动;HDFS能够正常的使用;MapReduce示例程序能够正常运行;实验环境五台独立PC式虚拟机。主机之间有有效的网络连接每台主机内存2G以上,磁盘50G。所有主机上安装CentOS7-64位操作系统。所有主机已完成网络属性配置所有主机已安装JD
Eyeshort
·
2023-04-03 04:26
操作系统
大数据技术
Hadoop学习
Hadoop
大数据
集群搭建
CentOS
hadoop系列:
hadoop集群搭建
系列简介:前段时间看了网上一些关于hadoop的文章,其中将hadoop说的神乎其神,之前只知道hadoop使用的是google的MapReduce理论;但是它到底能够完成什么样的事情?相比我们现在使用的技术有什么样的优势?对开发者又有什么样的要求?带着这些疑问,我开始了hadoop的探索旅程...为了学习hadoop,那么我们必须要有个hadoop的环境,这篇文章就是为您解决安装hadoop环境
chengxinwen
·
2023-04-02 19:29
hadoop
(七)大数据实战——hadoop集群安装搭建
在搭建
hadoop集群搭建
之前,我们需要先安装java环境,并且我们需要规划我们hadoop集群的组件分布,保证hadoop集群服务器能发挥其最大的价值。
北溟溟
·
2023-04-02 00:52
大数据
#
hadoop
大数据
hadoop
Hadoop集群搭建
:11.Spark搭建
一、资源准备先要准备Spark安装包和Scala安装包,安装包可以在阿里和网易的资源站下载1,Spark下载:https://mirrors.aliyun.com/apache/spark/,需要按照自己HDFS的版本选择对应的安装包,我的HDFS是2.7版本,可以选择:spark-2.4.6-bin-hadoop2.7.tgz,也可以选择基于hadoop2.7版本的其他版本2,Scala下载:先
丶珍视当下
·
2023-03-31 18:51
hadoop集群搭建
学习总结(一)
Hadoop介绍Hadoop是Apache旗下的一个用java语言实现开源软件框架,是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。狭义上说,Hadoop指Apache这款开源框架,它的核心组件有:HDFS(分布式文件系统):解决海量数据存储YARN(作业调度和集群资源管理的框架):解决资源任务调度MAPREDUCE(分布式运算编程框架
qq_39063243
·
2023-03-29 23:31
hadoop
Apache hadoop
目录一、hadoop架构变迁二、
Hadoop集群搭建
三、Hadoop集群模式安装(clustermode)分布式模式安装1、安装包、源码包下载地址2、自己按部就班搭建Hadoop集群3、直接使用虚拟机快照切换至搭建好的环境四
hello_shal
·
2023-03-29 20:06
数据库
hadoop
hdfs
mapreduce
hadoop集群搭建
(超详细版)
1.准备好需要安装的软件虚拟机VMware12.pro操作系统CentOS6.5远程控制虚拟机的终端SecureCRT8.12.在虚拟机中安装CentOS操作系统安装好虚拟机,图形界面如下图创建新的虚拟机,选择自定义(高级),点击下一步虚拟机硬件兼容性默认,浏览需要安装的CentOS6.5镜像文件自定义用户名和密码(用于登录)设置虚拟机名称和存储路径处理器设置默认(后面可以修改),内存设为1GB网
普通网友
·
2023-02-23 14:32
java
java
后端
Hadoop集群搭建
文章目录一、运行环境配置(所有节点)1、基础配置2、配置Host二、依赖软件安装(101节点)1、安装JDK2、安装Hadoop(root)3、Hadoop目录结构三、本地运行模式(官方WordCount)1、简介2、本地运行模式(官方WordCount)四、完全分布式运行模式1、文件分发脚本(root)2、SSH免密登录设置3、同步文件4、集群节点资源配置4.1核心配置文件(core-site.
ha_lydms
·
2023-02-23 03:58
大数据
hadoop
linux
java
大数据入门知识总结
数据仓库1、数据仓库的基本概念2、数据仓库的主要特征3、数据仓库与数据库区别5、数据仓库——ETL三、Hadoop——HDFS分布式存储系统1、Hadoop简介2、HDFS、Yarn、MapReduce3、
Hadoop
长不大的大灰狼
·
2023-02-02 14:25
大数据
数据仓库
大数据
hadoop
数据库
Hadoop集群搭建
-01前期准备
原文在这里https://my.oschina.net/finchxu/blog/3076991整个搭建hadoop集群的流程,包括前期准备安装zookeeper并配置环境编译安装hadoop并启动安装HDFS管理namenode和dataname管理集群硬盘资源安装启动yarn建立MapReduce管理cpu和内存资源01前期准备:1.部署环境VMware15CentOS7jdk8首先启动一台c
叫我懒猫
·
2023-02-02 01:56
hadoop集群搭建
集群简介HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起。HDFS集群负责海量数据的存储,集群中的角色主要有:NameNode、DataNode、SecondaryNameNode。YARN集群负责海量数据运算时的资源调度,集群中的角色主要有:ResourceManager、NodeManager。那mapreduce是什么呢?它其实是一个分布式运
·
2023-02-01 12:51
hadoop大数据
Hadoop集群搭建
(二)-网络配置
目录一、VMware网络配置二、Windows网络配置三、CentOS网络配置之前创建虚拟机是选择了NAT模式,需要宿主机的Windows和虚拟机的Linux能够进行网络连接,同时虚拟机的Linux可以通过宿主机的Windows进入互联网。一、VMware网络配置编辑->虚拟网络编辑器点击右下角的更改设置选择VMnet8,将子网IP修改成192.168.10.0,点击NAT设置点击NAT设置,修改
HUA_1740
·
2023-01-30 15:54
hadoop集群搭建
hadoop
网络
linux
Hadoop的集群搭建windows基于VMware虚拟机超详细教程(一主二从)
Hadoop集群搭建
(一主二从)文章目录
Hadoop集群搭建
(一主二从)前言一、VMware安装包以及所需要的jdk,Hadoop安装包二、XSHELL和XFTP下载与安装三、在VMware虚拟机中安装
南风未闻
·
2023-01-30 15:54
linux
hadoop
centos
大数据基石-Hadoop3.x学习教程-Hadoop产品了解与快速上手
HadoopHadoop3.x版本全系列教程===楼兰===文章目录一、关于Hadoop1、关于Hadoop产品2、Hadoop课程内容3、Hadoop的主要组件二、Hadoop环境搭建以及快速上手1、Linux环境搭建2、
Hadoop
roykingw
·
2023-01-30 15:49
大数据相关
big
data
java
大数据
hadoop
hdfs
搭建这个hadoop集群电脑表示要离家出走!
1.
hadoop集群搭建
的详细过程实验前的准备:==jdk==jdk-8u11-linux-x64.tar.gz提取码:wgte==hadoop==hadoop-2.10.1.tar.gz提取码:bfxz
♚ 悲欢自饮
·
2023-01-30 15:17
教程
hadoop
linux
centos
6
centos
大数据
大数据之
Hadoop集群搭建
(4个节点)
大数据必备–搭建Hadoop集群(4个节点)初学大数据肯定第一步先搭建hadoop集群,虽然不知道怎么用,但是先搭建集群是你大数据学习之旅的第一步,操作步骤有以下这几步,用的centos系统对四台虚拟机进网络和静态IP设置Hadoop、jdk的安装创建hadoop文件目录导入jdk和hadoop的环境变量修改hadoop配置文件修改虚拟机主机名绑定hostname与ip地址关闭防火墙配置节点之间的
普通网友
·
2023-01-30 15:46
java
java
后端
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他