Hadoop集群安装部署第4页

工作流调度器azkaban(一) 简介与安装部署

为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等各任务单元之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行工作流调度实现方式简单的任务调度：直接使用linux的crontab来定义；复杂的任务调度：开发调度平台或使用现成的开源调度系统，比如ooize、

做个合格的大厂程序员·2024-02-05 13:11

6.Linux虚拟机下的Hadoop集群搭建之完全分布式配置

8u162-linux-x64本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码：lkjh（若链接失效在下面评论，我会及时更新）一、配置Hadoop

学习BigData·2024-02-05 13:01

Hadoop一键启动脚本编写

一、问题描述针对Hadoop集群使用start-dfs.shstart-yarn.sh进程无法全部启动，但是使用单独启动命令可以启动的问题进行解决。

学习BigData·2024-02-05 13:01

4.Linux虚拟机下的Hadoop集群搭建之Xshell及Xftp的使用和SSH服务配置

学习BigData·2024-02-05 13:31

初始Ansible自动化运维工具之playbook剧本编写

我们完成一个任务，例如安装部署一个http

为什么老是名字被占用·2024-02-05 10:33

seata2.0 下载安装部署，使用nacos为配置中心、注册中心

目录1、nacos新建配置2、下载seata安装包3、修改seata配置文件4、启动seataserver1、nacos新建配置请确保后台已经启动Nacos服务。首先你需要在nacos新建配置，此处dataId为seataServer.properties配置内容参考（主要是中文备注的部分修改）transport.type=TCPtransport.server=NIOtransport.hear

yelinliner·2024-02-05 06:49

WordPress从入门到精通【安装部署】

初识WordPressWordPress，简称WP，其简称的由来是取英文单词“word”与“press”的首字母WP中文官网1WP主站（英文）官方标称，已有43%的网站在使用WordPressWordPress亮点WP使用PHP语言开发，兼容性极强，上至PHP83，下至PHP56（此范围我测试过）在WP主题、插件启用时，若主题、插件出现问题，WP会拒绝启用并提示“引发了致命错误”WP出现错误时仍有

风屿Wind·2024-02-04 22:33

Flink1.18.0集成Yarn-session模式部署

上次部署了Hadoop集群Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建这次集成下flinkYARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager

china-zhz·2024-02-04 21:34

Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建

节点部署角色目录二、下载软件三、基础设施1、安装必要插件2、设置IP及主机名3、时间同步4、jdk安装5、ssh免密登录四、Hadoop部署1、目录及环境变量准备2、安装3、修改配置文件4、分发文件5、启动hadoop

china-zhz·2024-02-04 21:33

Hadoop集群搭建

搭建Hadoop集群涉及多个步骤，包括准备硬件环境、安装和配置Hadoop以及验证集群的安装。

终将老去的穷苦程序员·2024-02-04 19:53

邮件服务器搭建安装部署文档

邮件协议简述SMTPSMTP全称是SimpleMailTransferProtocol,直译过来就是简单邮件传输协议,由RFC5321定义.主要的工作就是把邮件信息从发件人的邮件服务器中传送到接收人的邮件服务器中,偶尔我们使用MUA来发送邮件的话,也承载传输用户邮件到发件服务器的功能,因而也称作推协议,顺带提一下,SMTP协议的出现是比HTTP还早的,最早在1982年中发布第一版的RFC.因而因为

小苗欧巴·2024-02-04 18:07

【Linux】统信服务器操作系统V20 1060a-AMD64 Vmware安装

产品主要面向于我国党政军、企事业单位、教育机构，以及普通的企业型用户，着重解决客户在信息化基础建设过程中，服务端基础设施的安装部署、运行维护、应用支撑

阿龙先生啊·2024-02-04 17:18

linux nginx 1.9.9 安装部署

安装步骤准备环境nginx需要gcc,automake,pcre,zlib,opensslyum-yinstallgccgcc-c++automakezlibzlib-developensslopenssl-develpcrepcre-devel1.下载安装包：wgethttp://nginx.org/download/nginx-1.9.9.tar.gz其它版本nginx下载地址：Indexof

你好龙卷风！！！·2024-02-04 11:07

【个人博客搭建】Hexo安装部署

目录一、本地构建Hexo(一)安装前提1.Node.js2.Git3.Hexo(二)初始化Hexo1.初始化博客目录2.配置网站基本信息(三)主题配置1.选择主题2.下载主题(四)本地启动Hexo1.生成静态文件2.启动服务二、部署(一)部署到GithubPages1.新建仓库2.配置Pages服务3.提交Hexo到GitHubPages(二)部署到云服务器1.创建blog用户2.配置git远程仓

木子家有小可爱·2024-02-04 11:05

大数据Hive--安装和配置

文章目录一、Hive的安装地址1.1Hive安装部署1.1.1安装Hive1.1.2启动Hive二、MySQL的安装地址2.1安装MySQL2.2配置MySQL2.3卸载MySQL三、配置Hive元数据存储到

泛黄的咖啡店·2024-02-04 11:44

FullStack实践(1)之个人网站Nginx基础配置

OnceDayDate:2024年1月27日人生在世，如同梦一场…全系列文章请查看专栏：网页开发_Once_day的博客-CSDN博客参考文档:简易文件下载服务器-CSDN博客SSL证书Nginx服务器SSL证书安装部署

Once_day·2024-02-04 08:14

06:原生云K8S解密｜K8S集群安装部署｜K8S网络插件

原生云K8S解密｜K8S集群安装部署｜K8S网络插件K8SK8S集群架构图解K8S部署仓库初始化kube-master安装计算节点的安装token管理配置flannel网络（master主机操作）K8S

桑_榆·2024-02-04 07:33

Hadoop2.7.6+Mysql5.7+Hive2.3.2+zookeeper3.4.6+kafka2.11+Hbase1.4.9+Sqoop1.4.7+Kylin2.4单机伪分布式安装及官方案例测

####################################################################最新消息：关于spark和Hudi的安装部署文档，本人已经写完，连接

运维道上奔跑者·2024-02-04 05:43

2021-07-02

Hadoop集群构建配主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop012.配置IP映射vi/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4

谢尔比比·2024-02-04 02:40

ubuntu22.04 安装部署01：禁用内核更新

一、前言ubunut22.04系统安装以后，内核更新会导致各种各样的问题，因此锁定初始安装环境特别重要，下面介绍如何锁定内核更新。二、操作方法2.1查看可用内核dpkg--list|greplinux-imagedpkg--list|greplinux-headersdpkg--list|greplinux-modules2.2方法1：禁用自动更新vi/etc/apt/apt.conf.d/10p

数据饕餮·2024-02-03 17:36

Kuboard（k8s）安装部署mysql8.0

1、打开进入要部署数据库的名称空间2、创建工作负载1、基本信息2、容器信息3、存储挂载4、高级设置5、服务/应用路由3、点击保存出现如下内容就表示安装成功

半个夏凉了秋·2024-02-03 16:36

k8s之安装部署及kuboard发布应用

目录环境准备系统规划配置免密将桥接的IPv4流量传递到iptables的链系统基础配置安装docker安装docker及基础依赖配置docker的仓库下载地址部署k8s添加阿里云的k8s源安装kubeadm，kubelet和kubectl初始化masteer节点部署node节点部署flannel网络插件下载插件应用flannel文件查看flannel状态部署kuboard查看kuboard所需的镜

蜗牛其实也很努力·2024-02-03 16:05

K8S简介和安装部署详细教程

目录一、K8S简介Kubernetes集群组件逻辑图Master节点组件及功能Slave节点组件及功能安装部署二进制包kubeadm工具二、准备工作软硬件要求集群规划环境配置修改hosts配置配置SSH

猫吃了源码·2024-02-03 15:20

Kubernetes

目录Kubernetes概述K8S其主要功能K8S的特性Kubernetes集群架构与组件Kubernetes的安装部署操作系统初始化配置部署docker引擎部署etcd集群准备签发证书环境部署Master

偷个月亮吗733·2024-02-03 10:01

OpenStack安装部署

OpenStack是一个美国国家航空航天局和Rackspace合作研发的，以Apache许可证授权，并且是一个自由软件和开放源代码项目。OpenStack主要包括以下几个子项目:OpenStackCompute(Nova)、云对象存储CloudObjectStorage(Swift)、镜像管理(Glance)、身份识别Identity(Keystone)，网络连接管理NetworkConnecti

Joshua_lzy·2024-02-03 10:26

ubuntu22.04安装部署02：禁用显卡更新

一、查看可用显卡驱动ubuntu-driversdevices二、查看显卡信息#-i表示不区分大小写lspci|grep-invidianvidia-smi三、查看已安装显卡驱动cat/proc/driver/nvidia/version四、锁定显卡升级使用cuda自带额显卡驱动，居然无法，找到如何锁定，留个问号。五、停止和自动更新和升级服务sudosystemctlstopapt-daily.s

数据饕餮·2024-02-03 07:27

kafka-zookeeper集群架构可视化监控，Kafka-Eagle安装部署

1、简介在kafka-zookeeper集群架构下，zookeeper管理kafka的元数据信息，如何监控这些信息，并且能够直观查看和管理kafka一些具体主题、分区等参数信息，是非常便于开发的，因此Kafka-Eagle是一个为监控kafka集群量身定制的一个项目。2、Kafka-Eagle下载安装2.1、Kafka-Eagle下载下载地址：EFAK2.2、Kafka-Eagle安装#1、解压t

知其_所以然·2024-02-03 00:06

2021年11月23号 linux系统安装部署文字介绍（无命令）

linux安装部署1.安装虚拟机首先如果直接装机可以存到U盘里安装如果只是学习去网上找一下vm虚拟机的安装资源先装虚拟机2.去阿里云镜像找centos7的镜像文件iso并保存到指定目录打开虚拟机，找到对应

linux舟停江吹雪·2024-02-02 22:25

python01- 安装部署

一、下载python解释器官网：https://www.python.org/downloads/选择一个版本部署，本次选择当前最新的，选择downloads下载在downloads页面的最下方，选择你要部署什么系统中，点击下载即可二、部署python解释器2.1、运行python解释器EXE部署选择自定义安装，不用推荐的选择姜python添加到PATH环境中python可能会用到的工具,点击NE

Jerry00713·2024-02-02 20:44

QT研究笔记（二）Qt 5.14.2 简单使用-使用vs2022创建第一个QT项目

QT研究笔记（一）windows开发环境安装部署。从这篇文章开始，我们正式开始qt项目的研究学习，今天给大家带来的是使用vs2022创建第一个Qt项目。

w风雨无阻w·2024-02-02 17:42

【livy】Spark Livy深究

的解决方案从任何地方提交job使用交互式的Scala、Python语言与远程的spark集群进行通信无需更改代码Livy的运作流程阐述Livy的安装、启动、访问Livy的启动：依次启动zookeeper集群、Hadoop

小赵要加油·2024-02-02 13:07

GeoServer安装部署并发布图层

概况GeoServer是基于Java的软件服务器，允许用户查看和编辑地理空间数据。使用开放地理空间联盟（OGC）提出的开放标准，GeoServer在地图创建和数据共享方面具有极大的灵活性。这是官方的介绍，其实看它的名字，不难理解，是一种服务，它可以创建各种格式的地图，根据数据可以呈现为png/jpeg格式的图片，使数据可视化。接触地图，使用openlayers挺长时间，请求了很多GeoServer

朱凤丽·2024-02-02 13:23

Zabbix6.4安装文档，超简单超详细

Zabbix安装手册一、Zabbix安装部署1、Zabbix服务器安装准备Centos8系统，确实是不是centos8.5版本，否则dnf命令无法使用cat/etc/redhat-release如果版本不是

十年老运维在线炒粉·2024-02-02 09:11

Ansible基础及常用模块

目录1.前言AnsibleAnsible的特性2.ansible环境安装部署管理端安装ansible(192.168.88.22)ansible目录结构配置主机清单配置密钥对验证3.ansible命令行模块

Ybaocheng·2024-02-02 08:53

Neo4j安装部署(windows、docker)

文章目录Neo4j安装部署前言windows系统安装解压压缩包并进入bin目录查看neo4j的相关命令访问7474端口Docker安装Neodesktop安装Neo4j安装部署前言这篇blog所涉及的资源都可以在

拉霍拉卡·2024-02-02 01:20

开源大数据集群部署（八）Ranger编译部署

简单说明如下：在pom.xml中更改对应hadoop集群组件版本。ranger2编译前提条件是python3和mvn已安装完成。

云掣YUNCHE·2024-02-01 16:57

【运维安装部署】Linux安装Maven,以及基于Nexus安装Maven私有化仓库

【Linux基于Nexus安装Maven私有化仓库】1.安装maven(需要先安装java环境)1.在服务器创建一个存放maven数据的文件夹mkdir/mydata/mavencd/mydata/maven2.下载maven安装包我比较喜欢使用3.6.3版本,如果需要修改版本,那么只需要修改地址上两处的版本号即可wgethttps://dlcdn.apache.org/maven/maven-3

陈茂·2024-02-01 16:01

越来越好用的免费办公软件，在NAS上体验Docker版ONLYOFFICE Docs的新功能

越来越好用的免费办公软件，在NAS上体验Docker版ONLYOFFICEDocs的新功能关注我的小伙伴应该还记得，我之前给大家介绍过这款神仙级的免费办公套件ONLYOFFICE，并且还教大家在NAS上安装部署

Stark-C·2024-02-01 15:39

【开源学习】TB-gateway -- 基本配置与使用

【开源学习】TB-gateway--基本配置与使用tb-gateway安装部署centOS7安装（不推荐）Docker安装（推荐）tb-gateway通用配置文件连接配置模块thingsboard存储配置模块

情绪大瓜皮丶·2024-02-01 11:03

QT研究笔记（一）windows 开发环境安装部署

一、Qt是什么？Qt是一个跨平台的应用程序开发框架，最初由挪威的Trolltech公司开发，并于2008年被诺基亚收购。后来，Qt框架由Digia公司接手，并在2012年成立了TheQtCompany。Qt提供了一套丰富的工具和类库，可用于开发图形用户界面（GUI）应用程序、嵌入式系统、网络应用程序和其他各种类型的软件。Qt框架的主要特点包括：跨平台支持：Qt具有良好的跨平台性能，可以在各种操作系

w风雨无阻w·2024-02-01 07:55

JMeter 下载、安装、启动

JMeter安装部署依赖Java环境，所以首先得安装JDK。

爱吃java的羊儿·2024-02-01 07:34

1、KVM安装部署

（1）yuminstallvirt-installqemu-kvmqemu-imglibvirtlibvirt-python.x86_64virt-managerpython-virtualenvlibvirt-client（2）yumgroupinstall-y"虚拟化主机|VirtualizationHost"yuminstall-yvirt-managerssh-Xip:port#带x11图

小短腿电工·2024-02-01 06:59

基于SpringBoot整合RocketMQ异步发送短信功能

引入依赖1.2编写配置1.3需求描述1.4Producer代码1.5Consumer代码二、阿里云短信服务2.1申请短信模板2.2短信配置2.3短信业务层代码前言上一篇文章记录了RocketMQ整体架构、安装部署

南波塞文·2024-02-01 02:27

ubuntu 20.04.4+uWSGI+Nginx安装部署Django+Vue的web前后端全过程记录(1-Django)

文章目录基本命令行安装虚拟环境及配置路径虚拟环境基本命令Xftp和FileZilla连接本地虚拟机查看虚拟机本地地址在使用sftp连接时，filezilla与虚拟机之间是通过ssh连接，所以需在虚拟机上安装ssh-server。连接成功，开始传输文件部署Django连接数据库有可能没有打开文件的权限到这里还没结束开启Mysql远程连接的权限一些可能发生的报错端口占用远程连接迁移本地数据库到虚拟机(

荻风溪畔·2024-02-01 00:25

RabbitMQ入门概念

1.2应用场景1.3AMQP协议与RabbitMQ工作流程1.4Docker安装部署RabbitMQ二、SpringBoot连接MQ配置2.1示例12.1示例2——发送实体一、RabbitMQ入门1.1rabbitmq

云村小威·2024-01-31 17:52

Prometheus详解（三）——Prometheus安装部署

永远是少年啊·2024-01-31 13:37

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划hadoop01/192.168.0.151hadoop02/192.168.0.152hadoop03/192.168.0.153hadoop04/192.168.0.154hadoop05/192.168.0.155ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是

大道至简非简·2024-01-31 13:04

Docker离线安装部署RabbitMQ

一、首先确保系统环境有dockerdocker-version查看如果没有可以看我的另一篇离线安装docker的文章离线安装docker二、在有外网的地方下载好docker镜像1、拉取docker镜像dockerpullrabbitmq:management2、查看下载好的镜像dockerimages3、开始创建rabbitmq容器dockerrun-d-p5672:5672-p15672:156

易小染·2024-01-31 11:06

【数据库】starrocks 安装部署集群版

之前写过一篇427.【数据库】starrocks安装踩坑，今天把详细的安装步骤记录下来：一、环境准备starrocks安装包jdk8centos7服务器3台二、服务器互信任在三台服务器之间建立互信任，使得ssh连接时，无需输入密码，可参考170.【Linux】ssh-keyscan解决“离线环境”多节点互信任问题，里面的脚本可直接使用。互信任完成之后，就可以使用sync_scripts.sh脚本了

七镜·2024-01-31 10:26

Hive安装配置及基本操作

Hive/GettingStarted下载地址http://archive.apache.org/dist/hive/github地址https://github.com/apache/hive2Hive安装部署

_Unique_楠楠·2024-01-31 07:49

推荐频道

Hadoop集群安装部署