hadoop集群搭建

大数据基础平台搭建-（三）Hadoop集群HA+Zookeeper搭建

大数据基础平台搭建-（三）Hadoop集群HA+Zookeeper搭建大数据平台系列文章：1、大数据基础平台搭建-（一）基础环境准备2、大数据基础平台搭建-（二）Hadoop集群搭建3、大数据基础平台搭建
dyj095·2023-01-30 14:43

Hadoop集群安装和搭建

Hadoop集群安装和搭建前言  Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台，用户可借助Hadoop存有基础环境的配置（虚拟机安装、Linux安装等），Hadoop集群搭建，配置和测试
王八变成汤·2023-01-20 18:39

七、Hadoop系统应用之搭建Hadoop高可用集群（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

Hadoop集群搭建前安装准备参考：一、Hadoop系统应用之安装准备（一）（超详细步骤指导操作，WIN10，VMwareWorkstation15.5PRO，CentOS-6.7）一、Hadoop系统应用之安装准备
七层楼的疯子·2023-01-14 15:36

二、Hadoop系统应用之Hadoop集群搭建（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

Hadoop集群搭建前安装准备参考：一、Hadoop系统应用之安装准备（一）（超详细步骤指导操作，WIN10，VMwareWorkstation15.5PRO，CentOS-6.7）一、Hadoop系统应用之安装准备
七层楼的疯子·2023-01-14 15:06

三、Hadoop系统应用之Hadoop集群测试及初体验（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

Hadoop集群搭建前安装准备参考：一、Hadoop系统应用之安装准备（一）（超详细步骤指导操作，WIN10，VMwareWorkstation15.5PRO，CentOS-6.7）一、Hadoop系统应用之安装准备
七层楼的疯子·2023-01-14 15:06

大数据---Hadoop集群搭建学习（干货）

文章目录Hadoop集群搭建学习1Hadoop发展史2Hadoop三大发行版本3Hadoop的优势（4高）4Hadoop组成（面试重点）5HDFS架构概述6MapReduce架构概述7大数据技术生态体系
yidianyidei·2023-01-12 21:06

Hadoop集群搭建配置教程

Hadoop3.1.3集群搭建前言集群规划集群搭建具体步骤1、下载`hadoop-3.1.3.tar.gz`2、上传并解压3、配置`path`变量4、修改配置文件4.1修改文件`hadoop-env.sh`4.2修改文件`workers`4.3修改文件`core-site.xml`4.4修改文件`hdfs-site.xml`4.5修改文件`mapred-site.xml`4.6修改文件`yarn-
笑看风云路·2023-01-11 11:52

Hadoop集群搭建（详细版）

Hadoop集群搭建的前提准备1、确保VMware虚拟机和CentOS系统的成功安装2、打开终端检查是否有外网：ping网络名（例如：pingwww.baidu.com）3、如果有外网，需要安装一些依赖
乱小世·2023-01-11 11:51

Hadoop集群搭建教程（详细）

需要的安装包：1.jdk压缩包2.hadoop压缩包请前往百度云上上下载相关安装包(密码：8op1)开始搭建hadoop集群一.使用VMvare创建两个虚拟机，我使用的是ubuntu16.04版本的,并关闭全部虚拟机的防火墙1.因为默认的虚拟机主机名都是ubuntu，所以为了便于虚拟机的识别，创建完成虚拟机后我们对虚拟机名进行修改，我们把用于主节点的虚拟机名称设为master(按自己的喜好创建)，
普通网友·2023-01-11 11:51

Hadoop集群搭建

Hadoop集群搭建Hadoop集群简介HDFS集群YARN集群Hadoop部署模式Hadoop集群源码编译安装0.Hadoop源码编译1.集群角色规划2.服务器基础环境准备安装JDK1.8(安装OracleJDK8
识途老码·2023-01-11 11:20

HBase分布式集群搭建（zookeeper+hadoop+hbase）超详细！

2.8.5hbase：hbase-1.4.13master：namenode、resourcemanager，slave1：secondarynamenode、datanode，slave2：datanode一、Hadoop
程序员进化者·2023-01-06 11:40

大数据基础平台搭建-（二）Hadoop集群搭建

大数据基础平台搭建-（二）Hadoop集群搭建大数据平台系列文章：1、大数据基础平台搭建-（一）基础环境准备2、大数据基础平台搭建-（二）Hadoop集群搭建大数据平台是基于ApacheHadoop_3.3.4
dyj095·2022-12-23 11:57

Hadoop集群搭建

文章目录前言一、Hadoop概述二、Hadoop特性优点三、Hadoop集群搭建（一）集群简介（二）集群规划（三）解压Hadoop安装包（四）编辑配置文件总结前言#博学谷IT学习技术支持#想要了解Hadoop
敲键盘的杰克·2022-12-23 03:54

hadoop集群搭建

集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode、DataNode、SecondaryNameNode。YARN集群负责海量数据运算时的资源调度，集群中的角色主要有：ResourceManager、NodeManager。那mapreduce是什么呢？它其实是一个分布式运
·2022-12-19 18:52

基于Ubuntu下hadoop集群搭建

一、Hadoop集群搭建1、安装虚拟机1、安装vmtoolshadoop@ubuntu:sudoapt-getinstallopen-vm-tools-desktop-y2、安装vim编辑器hadoop
为什么要学习·2022-12-19 11:04

第五章 Hive的安装与配置

系列文章：第一章Hadoop集群搭建的准备第二章Hadoop集群搭建第三章Zookeeper分布式集群部署（2n+1台虚拟机）第四章Hadoop高可用集群搭建（HA）第五章Hive的安装与配置待更新第九章
开朗小哥·2022-12-18 22:02

hadoop集群搭建配置 =v=

配置1.主机映射设置主机名hostnamectlset-hostnamecentos01分别在主机centos01、centos02、centos03打开/etc/hosts文件，添加如下的主机映射，如下图：4条配置信息如下：192.168.0.144hadoop01192.168.0.151centos01192.168.0.152centos02192.168.0.153centos032.免
weixin_44987754·2022-12-16 14:01

CenOS7 Hadoop集群搭建（一）：CentOS7虚拟机的创建

根据自己的学习工作进行总结：搭建环境介绍：VMware12.5.2下载地址及激活码：百度网盘提取码：hdwbCentOS-7-x86_64-Minimal-181下载地址:清华大学开源软件镜像站CenOS7Hadoop
机智的小狐狸·2022-12-13 13:01

Hadoop集群搭建准备环境，手把手教你一步一步搭建，超详细

Hadoop运行环境搭建准备环境由于各种原因，本人决定要在实验室使用三台主机搭建一个集群，集群使用的机器是三台破旧主机，破旧到什么程度，就是去库房拔了一下午，扒到了三台勉强还能跑的动的电脑，一言难尽，但总归是找到了三台，配置不高，主要是用于平时的练手实验使用。在主机准备好了之后，就是最开始的一步，重装系统，之前搭建系统使用的是Ubuntu20.0.4版本，但是这次改用了一下linux版本，使用的是
牧码文·2022-12-08 08:07

Hadoop集群搭建完全分布式搭建---------虚拟机版本

大数据自学——之Hadoop集群搭建分布式搭建小白超详细安装教程小蜡笔的安装工具：VMwara(以管理员身份运行哦)、Xshell、Xftp一、准备工作：1.虚拟机安装三台linux本次测试是Centos6.5
北慕辰·2022-12-08 08:14

大数据高频面试题——hadoop详解

目录1.2Hadoop1.2.1Hadoop常用端口号1.2.2Hadoop配置文件以及简单的Hadoop集群搭建1.2.3HDFS读流程和写流程1.2.4HDFS小文件处理1.2.5Shuffle及优化
荩辞·2022-11-29 17:07

hadoop集群搭建和配置

hadoop的优势是分布式集群计算，即搭建hadoop集群（完全分布式Hadoop）集群由节点组成，节点构成不同角色。hadoop集群各个节点的功能搭建集群步骤节点规划设置网络配置文件复制虚拟机格式化文件系统启动集群准备工作与搭建集群节点规划服务器是什么？节点是什么？服务器是计算机的一种，它比普通计算机运行更快、负载更高、价格更贵。节点就相当于服务器，节点越多，性能越好，但成本增加。集群最少需要三
木北鲜生·2022-11-29 15:46

Hadoop HDFS命令

hadoop集群搭建好之后，通过HDFS命令操作HDFS分布式文件系统，HDFS命令与linux命令类似所有命令有/bin/hadoop脚本引发，可以使用命令查看帮助文档hadoopfs-help使用HDFS
木北鲜生·2022-11-29 15:16

Hadoop集群搭建详细步骤大全

0-Hadoop运行环境搭建1.1,安装虚拟机1）安装虚拟机IP地址192.168.10.100、主机名称hadoop100,4G、硬盘50G（安装vm和光盘，注意放在内存大的硬盘上）（1）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况[root@hadoop100~]#pingwww.baidu.com（2）安装epel-release注：ExtraPackages
钰涵雨辰·2022-11-19 04:49

吐血整理的Hadoop最全开发指南【Hadoop集群搭建篇】

个人主页：个人主页推荐专栏：大数据开发成神之路作者简介：一个读研中创业、打工中学习的能搞全栈、也搞算法、目前在搞大数据的奋斗者。⭐️关注我，持续分享干货！用实打实的经验来帮你少走弯路⭐️文章目录一、Hadoop为何物1.1Hadoop的整体认识1.2Hadoop的架构1.2.1HDFS架构简介1.2.2YARN架构简介1.2.3MapReduce架构简介1.2.4Hdfs、Yarn和MapRedu
陶人超有料·2022-11-15 09:51

Hadoop集群搭建（一）----伪分布式集群与eclipse的安装

Haoop集群搭建【一】--伪分布式集群与eclipse的安装Ⅰ前言Ⅱ搭建虚拟机准备（附带下载链接）一.VMware二.终端模拟器及文件传输软件三.虚拟机镜像四.相关组件Ⅲ.集群安装与配置教程一，创建虚拟机二，安装Centos7常见问题三，虚拟机网络配置（通过环回适配器）本地物理机网络配置虚拟机网络配置虚拟机网卡配置克隆虚拟机配置主机名及hosts列表设置免密钥登录关闭防火墙（所有机器）验证网络Ⅳ
俗人的浅吟^ω^·2022-11-02 11:02

【大数据实战】Docker中Hadoop集群搭建

目录Docker中Hadoop集群搭建环境网络设置安装docker安装OpenSSH免密登录Ansible安装软件环境配置配置hadoop运行所需配置文件Hadoop启动问题Docker中Hadoop集群搭建环境
吕布辕门·2022-10-05 11:52

Hadoop集群搭建（二）——Linux系统SSH远程双向免密登陆

注重版权，转载请注明原作者和原文链接作者：Yuan-Programmer相关文章：Hadoop集群的搭建（一）——Liunx系统的网络配置，主机配置，多台虚拟机间的相互连通和远程操作相关资源：VMwareWorkstation16pro（最新版）安装包百度网盘下载地址链接：https://pan.baidu.com/s/1gI8rhENSl_V9RAmXfK-ClA提取码：peu0激活码可以在百度
Yuan-Programmer·2022-09-10 09:52

Hadoop集群搭建之关闭防火墙（一）

一.前期准备(为了后期搭建Hadoop做准备)Hadoop需要三台虚拟机，所以要创建三台虚拟机，我将三台虚拟机分别命名为node1，node2，node3，IP分别是192.168.36.101，192.168.36.102，192.168.36.103。还需要准备相对应的jdktar包和hadooptar包，我的tar包如下二.关闭防火墙(单纯的关闭防火墙的话，只用看下方命令就可以；如果想搭建H
web13282751078·2022-09-08 04:10

Hadoop集群搭建

文章目录一、Hadoop集群简介二、Hadoop部署方式三、Hadoop源码编译四、使用Docker编译Hadoop4.1软件下载4.2创建Dockerfile文件4.3创建脚本4.4构建镜像、容器4.5编译Hadoop五、Hadoop集群安装5.1集群角色规划5.2服务器基础环境准备5.3上传安装包、解压安装包5.4安装包目录结构5.5编辑Hadoop配置文件5.6分发同步安装包5.7配置Had
为你暴走·2022-09-06 15:16

大数据之Hadoop集群搭建（4个节点）

大数据必备–搭建Hadoop集群（4个节点）初学大数据肯定第一步先搭建hadoop集群，虽然不知道怎么用，但是先搭建集群是你大数据学习之旅的第一步，操作步骤有以下这几步，用的centos系统对四台虚拟机进网络和静态IP设置Hadoop、jdk的安装创建hadoop文件目录导入jdk和hadoop的环境变量修改hadoop配置文件修改虚拟机主机名绑定hostname与ip地址关闭防火墙配置节点之间的
m0_67393039·2022-09-06 15:42

HBase集群部署与基础命令

hadoop集群搭建可以参考：https://www.cnblogs.com/javammc/p/16545146.html下载安装包http://archive.apache.org/d
女友在高考·2022-09-04 16:00

Hadoop集群搭建的详细过程

Hadoop集群搭建一、准备三台虚拟机：master01，node1,node2时间同步1.date命令查看三台虚拟机时间是否一致2.不一致时间同步：ntpdatentp.aliyun.com调整时区cp
伍点·2022-08-21 17:00

Hadoop集群搭建

ApacheHadoop分布式集群搭建基础环境准备三台linux节点，操作系统（Centos7）关闭防火墙systemctlstopfirewalld开机时禁用防火墙systemctldisablefirewalld修改主机名vi/etc/hosts192.168
女友在高考·2022-08-02 20:00

2.2 Apache Hadoop、HDFS - Apache Hadoop集群搭建

文章目录ApacheHadoop集群搭建一、Hadoop集群简介Hadoop集群整体概述思考Hadoop集群简介二、Hadoop集群模式安装（Clustermode）思路Hadoop源码编译Step1:
周纠纠·2022-07-13 13:57

hadoop-3.3.3完全分布式集群搭建

hadoop-3.3.3完全分布式集群搭建前言环境准备软件版本集群规划一、配置jdk环境变量1.解压jdk2.修改/etc/profile文件二、hadoop集群搭建1.关闭防火墙2.修改主机名3.添加
bloom__❀；·2022-07-13 13:27

hadoop集群搭建——单节点（伪分布式）

1.准备工作：前提：需要电脑安装VM，且VM上安装一个Linux系统注意：本人是在学习完尚学堂视频后，结合自己的理解，在这里做的总结。学习的视频是：大数据。为了区分是在哪一台机器做的操作，eg：---Linux表示在Linux上做的操作。2.以下是教程,首先是准备工作：2.1
落月_YU·2022-06-24 20:00

大数据技术之Zookeeper——（一）Zookeeper的入门与安装+选举机制+客户端常用操作

提示：笔者的zookeeper是在hadoop集群搭建完成后的基础上搭建的（包括虚拟机jdk等）文章目录一、Zookeeper介绍1.1概述1.2特点1.3zookeeper的数据结构1.4应用场景二、
「已注销」·2022-05-28 02:39

从VMware安装建centos7虚拟机到hadoop集群搭建详细图文过程；以及安装中的一些问题

目录一、安装VMware虚拟机centos7二、搭建集群准备工作（一）准备模板机（二）克隆三台虚拟机三、搭建三台机器Hadoop集群1.集群部署2.在hadoop102上安装jdk3.在hadoop102上安装hadoop4.准备同步数据脚本5.SSH免密登录6.配置文件7.格式化namenode，以及单点启动8.官方四个群启/群停9.封装群启/群停脚本10.群起群停命令及查看web端四、遇到的问
bigdata强·2022-05-27 08:46

CentOS 7 下 Hadoop全分布式集群搭建

CentOS7下Hadoop全分布式集群搭建Hadoop集群搭建CentOS7下Hadoop全分布式集群搭建一、概念1.单机模式（独立模式）（Local或StandaloneMode）2.伪分布式模式（
shu天·2022-05-27 08:16

centos7 hadoop集群搭建详细教程

参考文献：https://xiaolei.blog.csdn.net/article/details/52946840准备工作软件版本centos7jdk:1.8.0_211hadoop:3.1.2资源可在我的博客下载本次演示的各个主机mu01(管理节点)cu01cu02cu03(三个工作节点)修改主机名并记录所有节点ip所有主机修改各自的主机名修改/etc/hostname文件将文件中的名字修改
晚起的菜鸡·2022-05-27 08:43

Hive安装详细步骤

安装详细步骤基础环境准备Hive安装前，首先以安装完成Hadoop，且本文中使用MySQL作为Hive的元数据存储库，MySQL数据库也要提前准备好，关于Hadoop和MySQL的安装可参考另外两篇文章：完全分布式Hadoop
黑伴白·2022-05-16 20:52

hive安装

本次操作是在安装完hadoop的基础上进行的，安装hadoop请参看上篇博客hadoop集群搭建。hive会使用到mysql，所以需要提前安装好mysql服务。
wang03·2022-05-12 23:00

hadoop集群搭建

几年前搞过一段时间hadoop，现在又要开始搞了，发现环境都不会搭建了。写个博客记录下搭建过程。1、创建虚拟机及规划下面是我本地的环境信息机器名IP操作系统hadoop1192.168.68.120CentOS7hadoop2192.168.68.121CentOS7hado
wang03·2022-05-08 20:00

保姆级Hadoop集群部署

如果有比较好的文章欢迎分享给我，我会取其精华去其糟粕目录一、准备三台linux并实现三台机器机器免密码登录1、三台机器生成公钥与私钥2、拷贝公钥到同一台机器3、复制第一台机器的认证到其他机器二、三台机器时钟同步三、hadoop
程序员小王java·2022-04-14 21:57

(超详细) Spark环境搭建（Local模式、 StandAlone模式、Spark On Yarn模式）

Spark环境搭建JunLeon——gobigorgohome目录Spark环境搭建目录Spark环境搭建一、环境准备1、软件准备2、Hadoop集群搭建3、Anaconda环境搭建二、SparkLocal
IT路上的军哥·2022-03-31 10:36

hadoop集群搭建

第一步：安装JDK8第二步：修改服务器名称,我搭建的是三个结点：一个主节点master两个从节点内存2GB磁盘20GBmaster192.168.116.51slave1192.168.116.52slave2192.168.116.53#vim/etc/sysconfig/network一主：两从：第三步：设置网络IP与服务器名映射查询IP#ifconfig-a映射地址,三台服务器都要设置#vi
来临·2022-03-12 15:23

好程序员大数据笔记之：Hadoop集群搭建

好程序员大数据笔记之：Hadoop集群搭建在学习大数据的过程中，我们接触了很多关于Hadoop的理论和操作性的知识点，尤其在近期学习的Hadoop集群的搭建问题上，小细节，小难点拼频频出现，所以，今天集中总结以下笔记
好程序员IT·2022-02-27 09:10

2020-03-26补记录：hadoop集群的搭建和建hive

之前自己尝试搭建hadoop，在word上面作了笔记，不过在公司电脑里，想看的时候会不太方便，所以把笔记放到这里来，记录一下自己所学的知识hadoop集群搭建1、建立虚拟机注意：以下操作在master上操作
烂笔头2020·2022-02-19 05:32

【kafka-部署】集群搭建&快速开始

quickstart安装环境：centos7问题导读：1、如何搭建kafka集群2、怎样操作kafka命令3、使用代码实现生产者和消费者更多kafka基础概念【kafka-基础】kafka基础概念及应用环境准备（参考hadoop
粮忆雨·2022-02-08 22:54
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他