hadoop集群

Docker 上部署一主两从Hadoop集群 | [Centos7]

本文目录写在前面配置前须知集群规划step0可能会遇到的问题及解决方式step1开启docker拉取镜像step2创建容器step3免密登录配置1.ip查看2.设置主机名3.主机名与ip地址映射4.免密登录5.免密登录效果***bugfix1.0/etc/hosts修改完成后重启容器失效step4关闭防火墙命令行关闭***bugfix2.0重启容器后，防火墙再次重启，影响集群正常工作step5ha
PushyTao·2023-06-09 10:44

【云计算】VMware虚拟机完成在Docker部署Hadoop集群并发布在阿里云和DockerHub

目录1.环境准备2.安装docker3.在Docker中安装centos7ps:解决Docker中CentOS镜像无法使用systemd的问题4.Docker中centos7的java和hadoop配置5.打包Docker镜像，上传Dockerhub，阿里云1.环境准备vm虚拟机centos7hadoop版本：3.1.12.安装docker（1）引用资料：centos7安装Docker详细步骤（无
艾伦拜尔AllenBayer·2023-06-09 10:41

【李老师云计算】实验三：在Docker中部署Hadoop集群

索引0.前言1.Docker1.1安装Docker1.2启动Docker2.Dokcer部署Hadoop2.1设计Hadoop集群结构2.2拉取Hadoop镜像2.3★解决拉取镜像时-nospaceleftondevice
WtcSky·2023-06-09 10:36

Ubuntu常见基本问题

系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装（单机、伪分布）Hadoop集群搭建HBase2.2.2安装（单机、伪分布）Zookeeper集群搭建HBase集群搭建Spark安装和编程实践
WE-ubytt·2023-06-09 00:30

spark相关理论

系列文章目录ubuntu虚拟机下搭建zookeeper集群，安装jdk压缩包，搭建Hadoop集群与spark集群的搭建【上篇】_ubuntu搭建zookeeper集群ubuntu虚拟机下搭建zookeeper
张小鱼༒·2023-06-09 00:17

Spark安装和编程实践（Spark2.4.0）

系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装（单机、伪分布）Hadoop集群搭建HBase2.2.2安装（单机、伪分布）Zookeeper集群搭建HBase集群搭建Spark安装和编程实践
WE-ubytt·2023-06-08 20:41

Spark集群搭建

系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装（单机、伪分布）Hadoop集群搭建HBase2.2.2安装（单机、伪分布）Zookeeper集群搭建HBase集群搭建Spark安装和编程实践
WE-ubytt·2023-06-08 20:41

HBase集群搭建

系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装（单机、伪分布）Hadoop集群搭建HBase2.2.2安装（单机、伪分布）Zookeeper集群搭建HBase集群搭建Spark安装和编程实践
WE-ubytt·2023-06-08 20:40

Hadoop集群搭建

系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装（单机、伪分布）Hadoop集群搭建HBase2.2.2安装（单机、伪分布）Zookeeper集群搭建HBase集群搭建Spark安装和编程实践
WE-ubytt·2023-06-08 20:05

原生apache hadoop3.3.1集群安装配置Kerberos

Kerberos和Sentry详解_cdhkerberos配置_Mumunu-的博客-CSDN博客部署好了kerberos之后，首先添加用户和生成认证文件在KDC中添加需要认证的用户具体用户看情况而定(hadoop
Mumunu-·2023-06-08 12:05

Spark03：Spark安装部署【集群】：Standalone模式以及ON YARN模式

模式1、Standalone模式Standalone模式就是说部署一套独立的Spark集群，后期开发的Spark任务就在这个独立的Spark集群中执行2、ONYARN模式ONYARN模式是说使用现有的Hadoop
做一个有趣的人Zz·2023-06-08 11:30

1.Hive系列之简介

Hive的主要目的是使数据分析师和开发人员能够轻松地查询和分析存储在Hadoop集群中的数据，而不需要编写复杂的MapReduce代码。
沈健_算法小生·2023-06-07 22:33

【大数据之Hive】五、Hiveserver2服务部署

hiveserver2服务  hiveserver2提供JDBC/ODBC接口，使得用户可以远程访问Hive数据，即作为客户端的代理与Hadoop集群进行交互。  
阿宁呀·2023-06-07 18:14

Hadoop hadoop yarn 指令相关参数详解

原文地址：Hadoop之YARN命令http://www.aboutyun.com/thread-14930-1-1.html问题导读1.对于Hadoop集群用户有哪些有用的命令？
高达一号·2023-06-07 09:13

Linux 安装Hadoop集群+脚本分发，最新教程，细到极致

  大家早上好呀，因为五一放假后事情很多，快小半个月没有更新了，感觉快荒废了，所以打算写点东西，和小伙伴们一起分享  今天给大家带来的是，最新版Hadoop3.3.2安装教程，这次集群搭建教程，不同以往，老哥最近学了脚本分发技术，以后集群搭建，都是走脚本分发  话不多说，开始搭建1、首先，准备3台服务器，虚拟机也行，注意：Hadoop是java写的，提前安装好jdk（之前的文章有安装jdk教程）2
Jesscia ^_^·2023-06-07 08:24

mac在vmware version上搭建三台虚拟机并配置网关用以hadoop集群（上篇）

三台虚拟机互联（配置静态ip）虚拟机网络设置（NAT）VMwareFusion设置虚拟机网络适配器链接模式为“与我的Mac共享”查看本机网络配置查看本机网关地址以及子网掩码：（Mac终端里输入）cat/Library/Preferences/VMware\Fusion/vmnet8/nat.conf查看虚拟机允许选择的静态ip地址范围（Mac终端里输入）cat/Library/Preference
不久之·2023-06-07 04:22

Hadoop 怎么委任和解除节点？

本专栏目录结构和参考文献请见大数据技术体系正文Hadoop集群的管理员经常需要向集群中添加节点，或从集群中移除节点。例如，为了扩大存储容量，需要委任节点。相反的，如果想要缩小集群规模，则需解除节点。
Shockang·2023-06-07 02:04

Hue 编译安装和大数据组件集成配置

Hue所在集群的情况如下：CentOS7.4Hue4.10Hadoop3.xHive3.xHBase2.x本篇记录Hadoop集群安装Hue的全过程。
AlienPaul·2023-05-04 11:42

hadoop集群基础配置

hadoop1.0mapreduce+HDFShadoop2.0mapreduce+HDFS+YARN加入YARN使得hadoop更加包容，其他的组件也可以在hadoop生态系统中运行hadoop3.0HDFS（分布式存储）+mapreduce（分布式计算框架）+YARN(集群资源调度)3.01最低支持JAVA82加入了纠删码，可大幅压缩存储空间，提高存储效率hadoop环境安装下载包选tar.g
February13·2023-04-21 13:11

linux搭建hadoop集群及MapReduce使用

1Hadoop分布式存储介绍2搭建Hadoop集群本次实验将搭建一个含有三节点的hadoop集群。
沐岩:)·2023-04-21 05:17

使用 Docker 搭建 Hadoop 集群 和 Spark On Yarn

hdfshadoop-namenodehadoop-datanodeyarnhadoop-resourcemanagerhadoop-nodemanagersparkhadoop-spark使用docker-compose构建hadoop
枫叶_Jeffrey·2023-04-20 08:20

一起重新开始学大数据-hadoop篇-Day44-Hadoop、hdfs概述架构简析，Hadoop集群搭建

一起重新开始学大数据-hadoop篇-Day44-Hadoop、hdfs概述架构简析，Hadoop集群搭建     科普环节概念、名词科普Apache基金会是专门为支持开源软件项目而办的一个非盈利性组织服务器
你的动作太慢了！·2023-04-19 03:40

大数据学习之Hbase shell的基本操作

安装完HBase之后，启动hadoop集群(利用hdfs存储)，启动zookeeper，使用start-hbase.sh命令开启hbase服务，最后在shell中执行hbaseshell就可以进入命令行界面
·2023-04-18 22:51

hadoop集群配置-总结

[TOC]hadoop集群hadoop3.2分为单点，集群，伪集群hadoop配置hadoop/etc/hadoop/下的xml配置环境变量的配置hadoop安全模式用户可以通过hdfsdfsadmin-safemodevalue
chia奇亚币·2023-04-18 19:27

Hadoop2.0分布式集群的平台搭建

一、Hadoop集群安装前的准备基础环境四台Centos6.5IP地址：192.168.174.128192.168.174.129192.168.174.130192.168.174.131四台主机新建
weixin_33972649·2023-04-18 05:42

基于伪分布式Hadoop集群搭建伪分布式HBASE集群

基于伪分布式Hadoop集群搭建伪分布式HBASE集群前言运行环境1、CentOS/7.9x86_64(64bit)2、jdk-8u281-linux-x643、hadoop-2.7.64、hbase-
曲阿玖·2023-04-18 05:42

Hadoop 2.0完全分布式集群搭建方法（CentOS7+Hadoop 2.7.7）

本文详细介绍搭建4个节点的完全分布式Hadoop集群的方法，Linux系统版本是CentOS7，Hadoop版本是2.7.7，JDK版本是1.8。
about9314·2023-04-18 05:10

linux 集群时间同步

前言由于搭建hadoop集群需要进行集群时间同步，记录下具体操作过程。
落叶的悲哀·2023-04-17 14:14

hadoop本地模式部署_阿里云ECS服务器部署HADOOP集群（四）：Hive本地模式的安装...

本地模式需要采用MySQL数据库存储数据。1环境介绍2安装Mysql3Hive下载/usr/local将解压得到的目录改名为hivecd/usr/localmvapache-hive-2.3.-bin/hive/4添加Hive环境变量在"/etc/profile"中添加内容：exportHIVE_HOME=/usr/local/hiveexportPATH=$PATH:$HIVE_HOME/bin
weixin_39754142·2023-04-17 09:49

【Docker】Docker安装Hadoop分布式集群

Docker安装分布式Hadoop集群一、准备环境1.查看docker的hadoop镜像dockersearchhadoop2.拉取stars最多的镜像dockerpullsequenceiq/hadoop-docker3
牧码文·2023-04-17 02:18

Hadoop之NameNode目录结构

为了后面能够更加熟悉的保障Hadoop集群的平稳运行，我们需要深入的了解NameNode、SecondaryNameNode（也称辅助NameNode）以及datanode等HDFS组件在磁盘上的目录结构以及运行的原理
名字想好没·2023-04-17 01:48

Hive安装与操作

目录环境数据实验步骤与结果（1）环境启动（2）Hive基本操作环境Hadoop集群开发环境、mysql、Hive环境数据course.txt、sc.txt、student.txt实验步骤与结果（1）环境启动
It's a cinch!·2023-04-16 18:08

用hadoop计算pi

安装hadoop集群后执行hadoopjar.
mulinhu·2023-04-16 18:42

最新hadoop大数据零基础入门新手学习视频教程

视频下载地址：http://t.cn/EfRxlga-------------------课程目录-------------------第一天hadoop的基本概念伪分布式hadoop集群安装hdfsmapreduce
山泥若丶·2023-04-16 16:39

Hadoop集群启动后,在web:50070端口只有两个datanode节点

resourcemanagernodemanager(yarn)hadoop2workerdatanodenodemanagerhadoop3workerdatanodenodemanager问题引出：Hadoop
肉肉肉肉肉肉~丸子·2023-04-16 01:23

[ hadoop] MapReduce架构

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。
bone_ds·2023-04-15 15:39

【HBase】安装HBase集群（3台主机）

HBase的安装1.解压将下载好的HBase文件上传到Hadoop集群中的master节点tar-zxvfhbase-1.3.1-bin.tar.gz-C/home/hadoop/2.修改HBase的配置文件
zhouwhui椆·2023-04-15 08:03

ubuntu虚拟机下搭建zookeeper集群，安装jdk压缩包，搭建Hadoop集群与spark集群的搭建【上篇】

系列文章目录在vmbox里面安装Ubuntu16.04并且配置jdk以及Hadoop配置的教程【附带操作步骤】虚拟机vmware下安装Ubuntu16.04修改屏幕尺寸与更新源，以及对应的安装vim和vim常见的操作Hadoop与主机连接以及20版本的Hadoop配置网络的问题_hadoop连不上网Hadoop升级update命令被锁定的解决方法_hadoop重新初始化被锁住怎么办文章目录前言一、
张小鱼༒·2023-04-14 23:11

ubuntu虚拟机下搭建zookeeper集群，安装jdk压缩包，搭建Hadoop集群与spark集群的搭建【下篇】

系列文章目录Hadoop与主机连接以及20版本的Hadoop配置网络的问题_hadoop连不上网Hadoop升级update命令被锁定的解决方法_hadoop重新初始化被锁住怎么办虚拟机vmware下安装Ubuntu16.04修改屏幕尺寸与更新源，以及对应的安装vim和vim常见的操作命令文章目录前言一、上篇文章链接二、hadoop的配置2.1、上传：scphadoop-2.7.1.tar.gzh
张小鱼༒·2023-04-14 23:08

Hive数据导出详解

hive是一个依赖Hadoop集群的数据处理平台，我们不仅需要对数据进行筛选处理，更需要进行导出，供我们多次重复使用。二、六大帮派1.insertinsert有两种
·2023-04-14 22:13

Hadoop运维

Hadoop集群运维场景1：namenode节点故障，activenamenode节点状态切换？如何恢复？
Mr_Qifei·2023-04-14 18:01

Spark的安装及配置

1安装说明在安装spark之前，需要安装hadoop集群环境，如果没有可以查看：Hadoop分布式集群的搭建1.1用到的软件软件版本下载地址linuxUbuntuServer18.04.2LTShttps
foochane·2023-04-14 17:59

搭建高可用Hadoop集群

文章目录1.架构2.集群准备工作1）jdk配置2）ssh免密3）其他的网络配置不在赘述。3.集群配置1基本配置2修改从节点3将整个节点分发到node2,node3,node44部署zookeeper5.操作流程1)启动JN2)格式化NN,格式化一个集群中的节点即可3)另外的NN节点同步4.格式化zookeeper5.启动dfs6.访问页面观察信息7模拟active节点杀掉进程1.架构前边已经搭建过
小刘同学要加油呀·2023-04-14 08:27

使用Docker搭建Hadoop集群

使用阿里云，在docker中搭建hadoop集群环境。
Minority·2023-04-14 05:00

以Yarn模式启动Flink报错Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/ex

启动Hadoop集群和Yarn后，使用Yarn模式启动Flink时报错：[root@hadoop01bin]#.
QYHuiiQ·2023-04-14 04:27

Hadoop3.X 高可用架构配置

本文以hadoop3.1.2为例，讲述如何从零开始搭建好hadoop集群。高可用介绍单NameNode的架构使得HDFS在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，Name
拼命三郎-石秀·2023-04-14 03:43

Apache Hadoop 3.x高可用集群部署

Hadoop核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架）：解决海量数据计算hadoop集群规划准
freesharer·2023-04-14 02:11

Hadoop高可用（Hadoop2.x）

Hadoop高可用（Hadoop2.x）目录Hadoop高可用（Hadoop2.x）1.什么是高可用2.Hadoop集群存在的问题3.单点故障3.1HDFS的单点故障3.2NameNode的内存受限的问题
m0_67402341·2023-04-14 02:40

hdfs添加磁盘，增大容量

我们在搭建好hadoop集群后，发现hdfs的存储容量只用到了每个节点的某个磁盘，而每个节点的其他磁盘并没有利用，上传较大的文件到hdfs时，会造成存储空间溢出的情况，可以通过hadoop配置文件配置挂接没有利用的磁盘增大
臻霏·2023-04-14 00:38

（十一）大数据实战——hadoop集群崩溃与故障的初始化恢复

前言在hadoop的使用过程中，由于操作不善，导致集群数据丢失、宕机无法重启等等，这个时候我们如何将我们的hadoop集群恢复到初始化状态呢，本节内容就是针对hadoop集群由于误操作，或者数据丢失等等
北溟溟·2023-04-13 21:57
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他