完全分布式

大数据开源框架环境搭建(七)——Spark完全分布式集群的安装部署

前言：七八九用于Spark的编程实验大数据开源框架之基于Spark的气象数据处理与分析_木子一个Lee的博客-CSDN博客_spark舆情分析目录实验环境：实验步骤：一、解压二、配置环境变量：三、修改配置文件1.修改spark-env.sh配置文件：2.修改配置文件slaves:3.分发配置文件：四、测试：五、网页测试：六、解决能启动SparkShell但是报错：七、安装python3.6八、Ju
木子一个Lee·2023-11-30 02:31

Spark完全分布式搭建

Spark完全分布式搭建教程(Standalone:Master+Slave）分析:1.配置好IP2.修改主机名3.做好IP主机映射4.关闭防火墙5.配置SSH免密登入6.安装Java7.安装Hadoop
明天要开心·2023-11-30 02:00

Spark完全分布式搭建（On Yarn）

spark-env.sh2.修改slaves文件四、启动集群1.先起动Hadoop的HDFS和Yarn2.启动Spark五、Web查看集群启动情况六、测试例子七、集群配置介绍必读引言：本文是基于Hadoop完全分布式搭建的
Congee小周·2023-11-30 02:00

谨慎Apache-Zookeeper-3.5.5以后在CentOS7.X安装的坑

目录前言一、现场还原二、问题诊断三、问题原因总结前言最近由于项目需要，在服务器上需要搭建Hbase完全分布式集群环境。开发环境，采用的是最小节点的方式进行搭建（即3个节点的模式）。
夜郎king·2023-11-30 00:25

Hbase环境搭建

目录一、Hadoop伪分布式Hbase环境搭建二、Hadoop完全分布式Hbase环境搭建本文伪分布式节点名：master完全分布式一主、两从节点名：master、slave1、slave2一、Hadoop
遇安.YuAn·2023-11-27 20:33

Git操作指南及工作流程（初学者必看）

Git是分布式的,Git不需要有中心服务器2、Git优点速度快简单的设计对非线性开发模式的强力支持（允许成千上万个并行开发的分支）完全分布式有能力高效管理类似Linux内核一样的超
石先森很疯狂·2023-11-27 08:00

Hadoop2.4.0-Hbase-098.9-完全分布式安装部署

1准备环境1.1所需软件包a、CentOS-6.5-i386-LiveDVD.iso32位centos系统b、jdk-7u71-linux-i586.rpm32位jdk-Linuxrpm文件c、hadoop-2.2.0.tar.gzhadoop安装包d、zookeeper-3.4.6.tar.gzzookeeper安装包1.2运行环境a、VMware9.0及以上版本虚拟机工具b、创建三个虚拟机节点
skynumone·2023-11-26 19:19

平台环境部署的相关大数据

本文利用云服务器对大数据平台进行环境部署，包含：服务器使用、环境准备、Hadoop集群完全分布式安装、Zookeeper集群完全分布式安装、HBase完全分布式安装、Hive、Scala、Spark、Sqoop
云建站架构师rain·2023-11-26 19:45

2023年全国职业院校技能大赛-赛题第01套-GZ033 大数据应用开发

目录任务A：大数据平台搭建（容器环境）（15分）子任务一：Hadoop完全分布式安装配置子任务二：SparkonYarn安装配置子任务三：HBase分布式安装配置任务B：离线数据处理（25分）子任务一：
你可知这世上再难遇我·2023-11-26 13:48

基于CentOS7的CDH6.3.2完全分布式集群搭建【上】

主要参考：【CDH实战01】基于CentOS7的CDH6.3.2完全分布式集群搭建【上】【CDH实战02】基于CentOS7的CDH6.3.2完全分布式集群搭建【下】如何从0开始学习大数据技术2020年
HansBigData·2023-11-25 14:18

完全分布式安装Hadoop,Hive,Hbase,Hwi,Zookeeper

完全分布式安装Hadoop,Hive,Hbase,Hwi,Zookeeper其他部分见：HDFSYARNzookeeperHBASEHIVEHIVEhwi的启动HDFS和HBASE动态增加和减少节点一.
ljtyxl·2023-11-25 09:45

Hadoop完全分布式安装（Centos7+Hadoop2.5.0）

Hadoop部署模式Hadoop部署模式有：本地模式、伪分布模式、完全分布式模式、HA完全分布式模式。
fang·up·ad·2023-11-25 09:43

【Hadoop】安装部署-完全分布式搭建

文章目录前言一、部署需要的软件二、Hadoop配置环境1.配置网络环境关闭防火墙2.安装jdk和hadoop2.1配置jdk环境变量2.2配置Hadoop环境变量三、准备三台虚拟机1.修改主机名与IP映射2.修改主机上的hadoop相关配置文件2.1core-site.xml2.2hdfs-site.xml2.3yarn-site.xml2.4slaves3.将主机上的hadoop配置文件，同步到
db_lmr_2071·2023-11-23 22:05

hadoop3.x系列完全分布式集群部署（集群各节点设置与端口号的设置）

（三台虚拟机必须在同一网段）详细配置信息请看hadoop3.x系列完全分布式集群部署（虚拟机网络连接、jdk安装、hadoop安装）_杂乱无章的我的博客-CSDN博客一：集群部署规划NameNode与SecondaryNameNode
杂乱无章的我·2023-11-22 09:10

超详细的hadoop完全分布式安装及xsync等各个脚本

1.主机名修改在完成虚拟机的创建后，进行主机名称修改：#修改配置文件,将内容改为master,保存退出vi/etc/hostname#将里面localhost删除进行改名[root@host~]$​vi/etc/sysconfig/network编辑,i键插入NETWORKING=yesHOSTNAME=master修改为新名:wqESC退出插入退出并保存[root@bogon~]$reboot2
动心の瓦狗狗·2023-11-22 00:20

HDFS完全分布式集群搭建与配置及常见问题总结

思路：1.准备3台虚拟机（静态IP，IP映射，主机名称，防火墙关闭，普通用户创建等等）2.安装JDK，配置环境变量3.安装Hadoop，配置环境变量4.配置免密登录5.编写同步脚本，配置集群(前三步已完成)搭建集群步骤1.首先要关闭防火墙systemctlstopfirewalldsystemctldisablefirewalldsystemctlstatusfirewalld2.还要关闭SELi
HUNG4050·2023-11-20 12:03

*HDFS完全分布式集群搭建与配置及常见问题总结*

小组介绍：哈喽大家好！我们是---哈了个Doop小组，接下来为大家做一下小组介绍。一共有六个成员。主要特点是由一名男生和五名女生组成，又称为“一汉娘子组”，由无所不能且帅气的文组长带领。成员有：优秀的诺同学和芝同学、有创意的灵同学、两位颜值担当的杰同学和张同学。组员介绍已完毕。使用电脑时很多朋友会发现一台计算机虽然可以安装多个操作系统，但是对电脑的硬件有着极大的要求，而虚拟机的出现则完美的解决了这
哈了个Doop·2023-11-20 12:26

hadoop关于hdfs详细解答

HDFS内容大数据的概念及其特征Hadoop简介及其生态圈HDFS的内部组件介绍HDFS的安装模式介绍独立模式伪分布式模式完全分布式的搭建HDFS的常用命令HDFS的设计思想HDFS的体系结构HDFS的工作机制
一个人的小样·2023-11-20 04:58

2011-2022年高职大数据竞赛-赛题任务剖析

离线数据抽取第四部分赛题模拟实现-离线数据统计第五部分赛题模拟实现-数据采集与实时计算第六部分赛题模拟实现-数据可视化（一）任务一：大数据平台环境搭建具体内容按照大数据分析平台需求，需要完成Hadoop完全分布式
xlw2003·2023-11-19 21:54

CI/CD --git版本控制系统

目录一、git简介二、git使用三、github远程代码仓库一、git简介Git特点：速度简单的设计对非线性开发模式的强力支持（允许成千上万个并行开发的分支）完全分布式有能力高效管理类似Linux内核一样的超大规模项目
Mlul392·2023-11-18 23:35

大数据之hadoop-hdfs完全分布式环境搭建（详细步骤真实可用）

1，服务器规划本次服务搭建是在原有伪分布式的基础上进行搭建，伪分布式的搭建，参照伪分布式搭建节点NNSNNDNnode01※––node02※※node03––※node04––※2，基础设施jps检查jdk1.8安装，检查网络是否正常，配置hostvim/etc/hosts10.0.0.11node0110.0.0.12node0210.0.0.13node0310.0.0.14node04[r
shw12357·2023-11-17 03:27

大数据-hadoop入门与部署

hadoop-hdfs存储模型架构设计角色功能元数据持久化安全模式HDFS中的SNN副本放置策略读写流程HDFS写流程HDFS读流程持久化机制用法部署基础设施部署配置初始化运行命令行使用伪分布式:(单一节点)完全分布式
Ybb_studyRecord·2023-11-17 03:25

大数据技术栈-Hadoop3.3.4-完全分布式集群搭建部署-centos7（完全超详细-小白注释版）虚拟机安装+平台部署

目录环境条件：1、安装虚拟机（已安装好虚拟机的可跳转至二、安装JDK与Hadoop）（1）直接新建一台虚拟机（2）首次启用虚拟机，进行安装一、集群前置环境搭建（三台机器分别设置hostname、网卡（ip）配置、ssh免密登录）1、查看一下本机与虚拟机的网卡和ip信息（1）首先，查看本机的网卡配置，使用cmd查看ipconfg，找到VMware的虚拟网卡，查看ip（2）查看虚拟机的网卡配置和网络信
Hao.715·2023-11-15 05:43

Hadoop完全分布式安装

Hadoop完全分布式安装前言之前有搭建过一次Hadoop完全分布式集群但是没有记录，最近开始着手自己搭个模拟数仓需要搭建集群，趁此机会记录一下搭建的过程。
薇安娜·2023-11-15 05:43

大数据笔记--Zookeeper（第二篇）

目录一、Zookeeper1、概述2、安装3、伪分布式安装4、特点5、命令6、节点信息7、节点类型8、zookeeper-APIi、普通API无观察者ii、观察者API二、完全分布式安装1、三台服务器准备
是小先生·2023-11-13 11:27

Hadoop集群搭建（完全分布式版本）

一、准备工作三台虚拟机：master、node1、node2时间同步ntpdatentp.aliyun.com调整时区cp/usr/share/zoneinfo/Asia/Shanghai/etc/localtimejdk1.8（三台都要配置）java-version修改主机名三台分别执行vim/etc/hostname并将内容指定为对应的主机名关闭防火墙：systemctlstopfirewal
大数据CV工程师·2023-11-12 21:28

hadoop完全分布式集群搭建（超详细）-大数据集群搭建

hadoop完全分布式集群搭建本次搭建完全分布式集群用到的环境有：jdk1.8.0hadoop-2.7.7本次搭建集群所需环境也给大家准备了，下载链接地址：https://share.weiyun.com
beixi@·2023-11-12 21:56

搭建完全分布式Hadoop

文章目录一、Hadoop集群规划二、在主节点上配置Hadoop（一）登录虚拟机（二）设置主机名（三）主机名与IP地址映射（四）关闭与禁用防火墙（五）配置免密登录（六）配置JDK（七）配置Hadoop1、上传安装包2、解压缩安装包3、配置环境变量4、编辑Hadoop环境配置文件-hadoop-env.sh5、编辑Hadoop核心配置文件-core-site.xml6、编辑HDFS配置文件-hdfs-
howard2005·2023-11-12 21:55

hadoop完全分布式+hive+spark

Hadoop修改host文件三台机器都要设置IP1MasterIP2Slave1IP3Slave2请修改自己对应的IPSSH免密登录1、在Master上生成秘钥ssh-keygen-trsa一路回车，都设置为默认值，然后再当前用户的Home目录下的.ssh目录中会生成公钥文件（id_rsa.pub）和私钥文件（id_rsa）。2、分发公钥sh-copy-idMastersh-copy-idSlav
oneMonthOneBook·2023-11-10 15:56

Hadoop从入门到入土（第四天）

目录一、完全分布式运行模式（开发重点）1）分析2）编写集群分发脚本xsync二、ssh无密登陆配置1.配置ssh2.无密钥设置一、完全分布式运行模式（开发重点）1）分析1.准备3台客户机（关闭防火墙、静态
南城守护·2023-11-07 22:56

Hadoop-3.3.6完全分布式集群搭建

目录1.克隆两台虚拟机，作为从机使用2.从机ip设置3.Xshell连接5.配置环境变量6.配置hadoop-env.sh文件及其他重要文件7.分发文件8.启动hadoop集群并测试9.访问web界面10.运行官方案例1.克隆两台虚拟机，作为从机使用右击创建好的虚拟机hadoopbase，选择管理-克隆-点击下一步-虚拟机中的当前状态-下一步-创建完整克隆-下一步-设置克隆机名称，安装位置-完成。
-ikL1122·2023-11-07 11:04

spark课程大纲

Spark环境搭建CentosSpark单机版伪分布式模式Spark单机版intelij开发(maven)Spark完全分布式集群搭建Sparkhistoryserver配置使用二种方法实现Spark计算
张明洋_4b13·2023-11-06 15:41

hadoop集群安装_已搭建好_可直接使用

已经搭建好的三台hadoop集群，下载可直接使用的hadoop完全分布式集群，环境搭建、集群配置已完成。
hys_guff·2023-11-06 05:15

hadoop完全分布式集群搭建步骤

观看此文档的基础为已经在VMWareWorkStationPro里面安装好了一台centOS7.最好是最小安装版本的.(最好在磁盘预留30G左右空间用于安装三台虚拟机)在这里插入图片描述先确认虚拟机是否可以联网pingwww.baidu.com(正常安装后可以联网)如图所示可以联网,然后可以ctrl+c停掉安装网络工具:yuminstallnet-tools(会出现y/n的选项输入yes即可)输入
xxxyyyttt！·2023-11-05 23:09

使用Hadoop命令行执行jar包详解（生成jar、将文件上传到dfs、执行命令、下载dfs文件至本地）

Eclipse中使用Hadoop伪分布模式开发配置及简单程序示例（Linux下）2、使用Hadoop命令行执行jar包详解（生成jar、将文件上传到dfs、执行命令、下载dfs文件至本地）3、Hadoop完全分布式集群安装及配置
nana-li·2023-11-05 20:20

9、hbase

简介（一）概述（Ⅰ）概述（Ⅱ）行存储和列存储（二）基本概念（Ⅰ）概述（Ⅱ）RowKey：行键（Ⅲ）列族（列簇）（Ⅳ）Cell与时间戳二、安装（一）单机安装（Ⅰ）特点（Ⅱ）安装步骤（二）伪分布式安装（三）完全分布式安装三
qq_44304788·2023-11-05 13:35

【大数据】搭建Hadoop集群，超级详细

目录搭建完全分布式运行模式（开发重点）1.1Hadoop部署1.2配置集群1.3配置历史服务器1.4配置日志的聚集1.5分发Hadoop1.6群起集群1.7Hadoop群起脚本第2章调优2.2.1项目经验之
小 源·2023-11-05 00:29

大数据技能竞赛（需要提供相关答疑私信）

全国职业院校技能大赛模拟题（平台搭建，离线数据清洗，实时数据分析，可视化，综合分析）大数据平台搭建大数据技术与应用技能竞赛题目解析及代码分析实验Hadoop完全分布式安装配置/伪分布式安装配置Spark
笨鸟先-森·2023-11-04 13:03

吐血整理的Hadoop最全开发指南【完全分布式集群部署篇】（开发重点）

用实打实的经验来帮你少走弯路⭐️文章目录一、完全分布式运行模式搭建1.1虚拟机集群准备1.2编写集群分发脚本xsync1.3SSH无密登录配置1.4集群配置1.5群起集群1.6配置历史服务器1.7常用端口号说明
陶人超有料·2023-11-04 11:26

ubuntu部署flink集群 ，运行wordcount 例子

说明：事先完成了以下的准备工作：ubuntu16安装了hadoop集群（完全分布式）hadoop集群有5个节点：hadoop1~hadoop6（没有hadoop2）每个节点都安装了flink-1.12.0
Sonder_s·2023-11-03 03:47

在IDEA运行spark程序（搭建Spark开发环境）

建议大家写在Linux上搭建好Hadoop的完全分布式集群环境和Spark集群环境，以下在IDEA中搭建的环境仅仅是在window系统上进行spark程序的开发学习，在window系统上可以不用安装hadoop
wanglingli95·2023-11-02 09:17

Hadoop相关知识点

文章目录一、主要命令二、配置虚拟机2.1设置静态ip2.2修改主机名及映射2.3修改映射2.4单机模式2.5伪分布式2.6完全分布式三、初识Hadoop四、三种模式的区别4.1、单机模式与伪分布式模式的区别
浪漫的诗人·2023-11-02 07:15

CentOS 搭建 Hadoop3 高可用集群

HadoopFullyDistributedMode完全分布式spark101spark102spark103192.168.171.101192.168.171.102192.168.171.103namenodenamenodejournalnodejournalnodejournalnodedatanodedatanodedatanodenodemanagernodemanagernodem
李昊哲小课·2023-11-02 05:58

Linux Centos7.6 服务器搭建（大二笔记）——JDK、Tomcat、Mysql、Redis、Hadoop完全分布式集群（三台云服务器）

LinuxCentos7.6服务器搭建笔者购买的服务器是腾讯云（最低配置88元/年，穷苦大二学生为了学习后端知识）。购买之后需要在腾讯云重装系统，建立新的用户。连接服务器的软件是Xshell。一、JDK1.8安装1.获取jdk安装包在网上获取的jdk-8u45-linux-x64.tar.gz（网盘地址：https://pan.baidu.com/s/1o7B1PXK密码：el7b）。然后使用Xs
hato️·2023-11-01 09:08

大数据-Storm流式框架（八)---Storm案例

中国移动项目部署文档一、项目架构二、启动集群1、启动Zookeeper集群2、启动Hbase（完全分布式需要先启动Hadoop集群）在conf/hbase-env.sh中设置JAVA_HOME在conf
30岁老阿姨·2023-10-31 06:49

Hadoop学习总结（搭建Hadoop集群(伪分布式模式)）

如果前面有搭建过Hadoop集群完全分布式模式，现在搭建Hadoop伪分布式模式可以选择直接克隆完全分布式模式中的主节点(hadoop001)。
Qinqin.J·2023-10-27 14:52

大数据-Storm流式框架（三）--Storm搭建教程

一、两种搭建方式1、storm单节点搭建2、完全分布式搭建二、storm单节点搭建准备下载地址：Indexof/dist/storm1、环境准备：Java6+Python2.6.6+2、上传、解压安装包
30岁老阿姨·2023-10-26 15:43

【计网 P2P】计算机网络 P2P（Peer to Peer）详解：中科大郑烇老师笔记 （七）

VSP2P模式2P2P概述2.1纯P2P架构2.2非结构化P2P和结构化（DHT）P2P2.2.1非结构化P2P2.2.1结构化P2P2.3P2P需要解决的问题及解决方案2.3.1集中式目录2.3.2完全分布式
海码007·2023-10-26 11:39

【大数据】Hadoop

HDFSMapReduce写MapReduce程序（Hadoopstreaming）YARNHadoop启动工作方式Hadoop的主从工作方式Hadoop的守护进程运行模式本地运行模式伪分布式运行模式完全分布式运行模式
软泡芙·2023-10-25 06:22

Hadoop完全分布式部署笔记

目录一、安装两台虚拟机二、修改主机名和用户名三、配置静态IP地址四、配置SSH无密码连接五、安装JDK：六、配置Hadoop本文笔记整理自《Hadoop海量数据处理：技术详解与项目实战》范东来，修正了原书中的一些细节处的问题，经过试验，可部署成功，特此附上完整部署笔记。一、安装两台虚拟机1.本机（笔记本）系统环境：CPU：[email protected]；内存：16GB；机械硬
碣石观海·2023-10-24 16:12
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他