CDH集群安装

CDH6.3.1 集群离线部署（若泽大数据）

[若泽大数据]CDH6.3.1企业集群离线部署一、准备工作离线部署主要分为三块：MySQL离线部署CM离线部署Parcel⽂件离线源部署支持的版本：ClouderaEnterprise6要求和支持的版本
小于同学饿了·2023-06-15 14:14

BS问题 elasticsearch8.5.2 集群安装

环境centos73台虚拟机(vagrant创建的)node1=192.168.3.51,node2=192.168.3.61,node3=192.168.3.62第一步：下载tar.gz文件，并且解压，我的是解压到/usr/local/#node1、node2、node3采用安装包安装wgethttps://artifacts.elastic.co/downloads/elasticsearch
鳝鱼lebron·2023-06-15 13:36

Zookeeper 3.5.7

文章目录1、Zookeeper入门1.1概述1.2特点1.3数据结构1.4应用场景2、本地安装2.1本地模式安装2.2配置参数解读3、集群操作3.1集群操作3.1.1集群安装3.1.2选举机制（面试重点
李林楠·2023-06-15 10:48

Visual Studio 密钥

VisualStudio2017Enterprise:NJVYC-BMHX2-G77MM-4XJMR-6Q8QFProfessional:KBJFW-NXHK6-W4WJM-CRMQB-G3CDHVisualStudio2019Enterprise
龙谷行者·2023-06-15 02:30

了解和使用 Kubernetes

文章目录前言Kubernetes集群安装Kubernetes功能Kubernetes核心概念Kubernetes部署应用发布部署脚本发布服务使用Ingress配置自动伸缩Kubernetes常用命令Kubernetes
叫我二蛋·2023-06-14 17:46

Flink1.12读取Kafka数据写入到Hdfs | 含maven依赖 | FileSink

以下是我在公司项目上写的一些代码，删去了业务逻辑后的通用内容后续会再分享一些其他flink的链路首先肯定要先导入maven依赖我的依赖如下1.81.8UTF-82.11.82.113.0.0-cdh6.3.01.12.01.1.12.1.1
MIDSUMMER_yy·2023-06-14 16:39

k8s学习-CKS考试必过宝典

目录CKS考纲集群安装：10%集群强化：15%系统强化：15%微服务漏洞最小化：20%供应链安全：20%监控、日志记录和运行时安全：20%报名模拟考试考试注意事项考前考中考后参考CKS考纲集群安装：10%
lady_killer9·2023-06-14 14:13

大数据开发之Hive案例篇12：HDFS rebalance 一例

文章目录一.问题描述二.解决方案2.1增加节点2.2rebalance2.3rebalance引发的问题一.问题描述公司的离线数仓是CDH集群，19个节点，HDFS存储空间大约400TB左右，使用量在200TB
只是甲·2023-06-14 10:17

haproxy搭建负载均衡

root@CO7~]#yum-yinstallgccgcc-c++autoconfautomake[root@CO7~]#tar-zxfhaproxy-1.8.0.tar.gz[root@CO7~]#cdhaproxy
weixin_33937778·2023-06-14 09:01

AntDB 企业增强特性介绍——AntDB在线数据扩容关键技术

数据库集群安装完成后，其数据存储容量是预先规划并确定的。随着时间的推移以及业务量的增加，数据库集群中的可用存储空间不断减少，面临数据存储容量扩充的需求。传统的在线扩容的流程大致如下。
亚信安慧AntDB数据库·2023-06-14 04:36

AntDB存储技术——水平动态扩展技术

数据库集群安装完成后，其数据存储容量是预先规划并确定的。随着时间的推移以及业务量的增加，数据库集群中的可用存储空间不断减少，面临数据存储容量扩充的需求。
亚信安慧AntDB数据库·2023-06-14 04:05

vue-cli4+vant+rem+sass+vuex+axios封装+webpack搭建前端项目

webpack4+vantui+sass+rem适配方案+axios封装，构建手机端模板脚手架启动项目gitclonehttps://github.com/teach-tian/h5-vue-cli4.gitcdh5
行动很重要冲冲冲·2023-06-13 20:55

【大数据之路1】Hadoop 入门

1.Hadoop入门1.大数据概述1.大数据相关说明2.Hadoop及大数据生态圈3.Hadoop核心组件4.Hadoop生态圈5.集群安装模式6.Hadoop运行模式7.Hadoop工作流程8.Hadoop
程序员胖五·2023-06-13 18:13

hadoop_exporter+prometheus监控HDFS

很伤心)2.下载hadoop_exportercd/usr/local/prom/exportergitclonehttps://github.com/Datatamer/hadoop_exportercdhadoop_exporterglideinstallgogetgithub.com
weixin_40689822·2023-06-13 17:45

大数据目录

基础部分：Linux从零开始——常用命令配置Java环境变量修改主机名Linux之间传输文件配置SSH免密登录Hadoop集群安装Centos搭建Hadoop集群（对前五项进行整合）Linux安装Scala
iFulling·2023-06-13 13:39

作业四 : CentOS 7 下 Oozie-4.0.0-cdh5.3.6 安装及WordCount示例

安装准备oozie-4.0.0-cdh5.3.6http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.3.6.tar.gzext-2.2.ziphttp
V1cttor·2023-06-13 06:26

python flink kafka_Flink读取Kafka数据，进行汇总

我这边是用的CDH环境，kafka跟zookeeper都安装完毕，并测试可以正常使用第二步：用kafka创建一个生产者进行消息生产.
weixin_39984201·2023-06-13 05:02

hadoop hdfs 性能调优

一直在做fullgc,此时hdfs基本处于不可用状态,此时系统可用内存又不足,而且cpu负载很高.由于这个环境第一次接手维护.这篇文章主要总结下如何做的优化.环境:hadoop版本:Hadoop2.6.0-cdh5.5.0
oo_思维天空·2023-06-13 04:23

SAP 查看操作日志

VL22N(显示改变的交货凭证)输入已删除的交货单号，执行2、查看用户操作日志事务码：STAD3、工作负载和性能统计事务码：ST03N4、查看系统日志事务码：SM215、数据库表查看删除的销售/交货订单表：CDHDR
阿达hi·2023-06-12 12:52

CDH 5.10.2 添加Hive HiveMetastore不能启动的坑

今天用CDH5.10.2版本添加Hive组件的时候，持续报错，不得不说这个版本真能锻炼人…首先报的是驱动类找不到的异常，将mysql的jdbc包放到/usr/share/java目录下，注意去掉版本名称
綮地·2023-06-12 12:47

CDH(Cloudera DataHub 6.2.1)部署（centos6、7）、常用组件（zookeeper、hive、hdfs、yarn、oozie、hue、impala、hbase）安装及验证

本文介绍了CDH的基础环境部署、cdh的server服务部署和相关组件的部署及验证。具体的组件使用，请参考本人的相关专栏内容。
一瓢一瓢的饮 alanchan·2023-06-12 12:41

2、设置非root用户的sudo权限

本文是为后续部署CDH组件准备的，因为CDH部署时必须root用户或具备root权限的免密登录。
一瓢一瓢的饮 alanchan·2023-06-12 12:35

MySQL8.0 集群安装 (K8S)

尝试了很多版本的mysql镜像，都存在这样那样的的问题。原始需求中，需要同时支持x86_64(AMD64)和aarch64(ARM64V8)，最后找到Oracle官方出品的MySQL-Server8.0镜像包，作为基础镜像包，并在其基础上做一些定制。当然还存在一些问题，比如my.cnf通过configmap定制等等，后续慢慢优化补充。1.构建镜像1.1重写my.cnf[mysqld]datadir
elihe2011·2023-06-11 20:35

在Linux上安装Kafka集群(kafka_2.12-2.8.0)

Zookeeper集群安装：在Linux上安装Zookeeper集群(zoo
zhangbeizhen18·2023-06-11 20:02

Centos 7 系统 openGauss 3.1.1企业版一主一备集群安装

一、环境配置内存>=2G操作系统centos7.6Linux文件系统剩余inode个数>15亿（推荐）工具bzip2Pythoncentos7.6:支持python3.6.x数据库版本openGauss_3.1.1企业版二、安装python3.6（所有节点）创建目录mkdir/usr/local/python3cd/usr/local/python3下载python3.6.10wgethttps:
夜空乄雪玥·2023-06-11 16:09

Redis6集群安装及其扩容缩容

虚拟机拷贝2-3台centos机器，作为Redis6集群的主备节点部署规划：master192.168.28.1328001192.168.28.1328002192.168.28.1328003slaver192.168.28.1358001192.168.28.1358002192.168.28.1358003一、安装依赖环境1、安装编译依赖yuminstallgcctcltcl-devel此
Field_Yang·2023-06-11 14:25

CentOS+Jdk+Jboss+Dubbo配置教程

目录目录1.软件准备2.安装步骤2.1.安装虚拟机2.2.在CentOS上安装JDK2.3.安装Jboss2.4.Zookeeper单机版的安装与测试2.5.Zookeeper集群安装2.6.dubbo
小小哭包·2023-06-11 13:14

Kafka入门:集群安装部署（最新版kafka-2.4.0）

问题或建议，请公众号留言;如果您觉得“大数据开发运维架构”对你有帮助，欢迎转发朋友圈从微信公众号拷贝过来，格式有些错乱，建议直接去公众号阅读Kafka集群安装需要用的JDK、Scala等组件的支撑，由于安装比较简单
大数据开发运维架构·2023-06-10 22:44

ES实战系列-Elasticsearch安装

文章目录Elasticsearch安装下载7.8.1版本集群部署安装报错创建用户ES安装集群安装管理注意事项es不能使用root用户运行错误：索引文件个数限制bind错误发送信息给master失败插件安装
why123wh·2023-06-10 21:18

GreenPlum中性能调优之segment实例个数

GreenPlum集群安装完成后，到底设置多少个segment实例才合适呢？
清纯男孩·2023-06-10 20:21

【大数据工具】HBase 集群搭建与基本使用

HBase集群搭建HBase安装包下载地址：https://archive.apache.org/dist/hbase/安装HBase的前提：ZooKeeper集群OKHadoop集群OK1.HBase集群安装
程序员胖五·2023-06-10 17:18

Hive之HPLSQL安装手册

软件版本信息：CDH：cdh5.14.0Hive:1.1.0Impala：2.11.0一：下载地址Hplsql官网：http:www.hplsql.org/download下载的是：hplsql-0.3.31
脸ル粉嘟嘟·2023-06-10 14:17

Zookeeper快速入门（Zookeeper概述、安装、集群安装、选举机制、命令行操作、节点类型、监听器原理）

1、Zookeeper入门1.1概述Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。1、Zookeeper工作机制Zookeeper从设置模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责储存和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应
星光下的赶路人star·2023-06-10 10:02

flume学习与总结记录

agent的设计官方文档，http://flume.apache.org/FlumeUserGuide.html2.flume环境的搭建下载地址：http://archive.cloudera.com/cdh5
嘿嘿海海·2023-06-10 09:47

linux上搭建mysql数据库集群，实现数据库主从同步和读写分离

目录1.mysql数据同步原理2.mysql集群安装3.主从同步配置1.mysql数据同步原理要搭建mysql集群，首先要知道mysql数据的同步原理：当我们在mysql主库上进行写的操作时，主库会将操作进行备份
Qlove95·2023-06-10 06:19

Linux系统（CentOS、Ubuntu）离线安装gcc环境

如果执行gcc–version出现以下信息，表示已经安装过gcc，可以跳过该步骤：[boco@CDH-143spark_job_monitor]$gcc--versiongcc(GCC)4.8.520150623
白云DA·2023-06-10 03:44

（五）ZK集群搭建

分布式集群安装部署1．集群规划在hadoop002、hadoop003和hadoop004三个节点上部署Zookeeper。
JayWolf·2023-06-10 02:13

千云物流 -redis集群安装&使用

redis使用的场景需要满足120万司机用户的缓存，满足车辆当前位置和车辆服务key存储司机手机号码对应的存储以及存储司机key的信息保证redis能更好的提供服务，避免单点故障对应会话消息的缓存保存。以及临时会话缓存的key。基于im的构建。综合所得：需要的key会上亿。需要稳定的提供服务。需求对应的部署方式部署方式需求满足情况主从复制满足不了故障转移哨兵机制满足不了key的存储Cluster集
青0721松·2023-06-09 19:26

如何使用prometheus监控k8s集群

关于使用prometheus监控k8s集群一、环境准备1、环境信息2、硬件环境信息二、云原生k8s集群安装三、部署Prometheus1、准备glusterfs共享存储1)创建存储卷目录2)创建存储卷3
夜月鸿影·2023-06-09 16:00

基于CDH环境下的Hive数仓配置及优化

文章目录YARN的基础配置NodeManagerCPU配置NodeManager内存配置NodeManager本地目录MapReduce内存配置HDFS副本数配置Hive配置及优化HiveServer2的Java堆栈Hive动态生成分区的线程数Hive监听输入文件线程数压缩配置Map输出压缩Reduce结果压缩Hive多个Map-Reduce中间数据压缩Hive最终结果压缩YARN的基础配置Nod
蜜桃上的小叮当·2023-06-09 10:15

打破数据孤岛，Apache Doris 助力纵腾集团快速构建流批一体数仓架构｜最佳实践

作者｜纵腾集团数据技术架构师张彬华随着纵腾集团业务的快速发展，各产品线提出的数据需求越发严格，而早期基于多套CDH
hf200012·2023-06-09 10:04

Apache Hadoop UI 系统 Hue 安装 版本4.1.0

文章目录介绍下载hue源码包安装需要的依赖因为cdh的仓库不能用的原因，所以编译时需要修改maven仓库的依赖地址安装pip2编译修改mysql配置创建数据库，导表及数据启动介绍Hue是一个开源的ApacheHadoopUI
红桃∩·2023-06-09 10:56

Spark集群安装部署

介绍Spark部署由三种模式，本地集群（StandaloneCluster）、YARN、Mesos模式。本篇文章只介绍前两种环境搭建，Mesos没有使用经验。Standalone：不依赖外部环境，只需要Spark环境即可运行YARN：需要依赖Hadoop环境环境准备JDK8Scala2.11.xZookeeper（StandaloneHA高可用）Spark安装包spark-2.1.1-bin-ha
小学僧丶Monk·2023-06-09 08:28

Hadoop 环境搭建 单机伪分布式

前期准备虚拟机镜像：CentOS-7-x86_64-DVD-1708【选择了GNOME和XWindow兼容、开发环境，内存8G以上】hadoop版本：hadoop-2.6.0-cdh5.7.0.tar.gzjdk
歌哥居士·2023-06-09 06:12

基于数据湖的流批一体：flink1.15.3与Hudi0.12.1集成，并配置基于CDH6.3.2的hive catalog

前言：为实现基于数据湖的流批一体，采用业内主流技术栈hudi、flink、CDH（hive、spark）。
吴培洪·2023-06-09 02:49

Kubernetes集群搭建

Kubernetes集群搭建目录前言前期准备K8S集群安装虚拟机设置安装K8S集群k8s部署Nginxkubectl命令的使用常用命令资源清单附录1Docker安装附录2yumk8s问题附录3k8sstart
张矜持·2023-06-09 01:58

redis-4.0.8在centos的集群安装

一、集群机器三台服务器：先设置hosts192.168.2.11node1192.168.2.12node2192.168.2.13node3端口分配：node1:7000node1:7001node2:7002node2:7003node3:7004node3:70051.下载redis-4.0.8wgethttp://download.redis.io/releases/redis-4.0
西域流星·2023-06-08 21:48

Elasticsearch集群安装Version6.2.2

Elasticsearch集群安装，基于Elasticsearch6.2.2版本，在Linux上安装Elasticsearch集群。
木木与呆呆·2023-06-08 21:08

CDH--彻底解决问题----时钟异常

第1章.NTP服务器安装及客户机配置配置之前要确定时间和现实时间一致，手动配置时间命令sudodate-s"2018-04-1814:50:02"配置时区https://www.cnblogs.com/dyj0201/p/6440632.html如果已有NTP服务器，则使用已有NTP服务器，不使用集群内部重新搭建的NTP服务器。已有NTP服务器地址为：10.131.11.48，端口为123。lso
每天进步一点点...._____·2023-06-08 17:55

原生apache hadoop3.3.1集群安装配置Kerberos

下面直接开始配置hadoopCDH配置Kerberos和Sentry详解_cdhkerberos配置_Mumunu-的博客-CSDN博客部署好了kerberos之后，首先添加用户和生成认证文件在KDC中添加需要认证的用户具体用户看情况而定
Mumunu-·2023-06-08 12:05
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他