cdh集群安装

华为云GaussDB部署指南：主备架构的常见问题与解决方案

主备架构的常见问题与解决方案背景介绍部署步骤1.修改主机名2.软件安装检查3.禁用交换内存4.创建数据目录并挂载5.配置NTP时钟同步6.添加资源限制参数7.修改网卡的MTU8.上传安装工具包9.编辑集群配置文件10.修改集群安装模板

Byyyi耀·2025-02-24 21:13

HAProxy 1.8.13 编译安装

包解压至当前目录haproxy的配置文件中要使用到haproxy用户所以我们先创建该用户useradd-r-s/sbin/nologinhaproxytarxfhaproxy-1.8.13.tar.gzcdhaproxy

清笙漓江南·2025-02-24 06:50

一文弄懂ECDHE算法中的TLS握手流程

部分内容来源：小林coding说一下ECDHE算法DHE算法由于计算性能不佳，因为需要做大量的乘法，为了提升DHE算法的性能，所以就出现了现在广泛用于密钥交换算法——ECDHE算法。

LUCIAZZZ·2025-02-24 02:25

对应chd5.14的spark_carbonData使用文档(基于CDH 的spark-yarn模式)

一、部署(基于CDH的spark-yarn模式)下载源码编译(目前官网已经提供编译好的jar包了)【https://dist.apache.org/repos/dist/release/carbondata

颜语一声·2025-02-22 22:22

openssl中dh算法实现

(2)dh_asn1.cDH密钥参数的DER编解码实现。(3）dh_lib.c实现了通用的DH函数，设计层面的。(4）dh_gen.c实现了生成DH密钥参数。

sjtu_chenchen·2025-02-21 13:50

k8s ssl 漏洞修复

1.修复etcd服务修改配置文件：编辑/etc/kubernetes/manifests/etcd.yaml，在command段添加以下参数禁用弱加密算法：---cipher-suites=TLS_ECDHE_RSA_W

魏无羡·2025-02-21 12:10

Kafka topic、producer、consumer的基础使用

文章目录Kafka初级前言1.topic的增删改查2.生产者的消息发送3.消费者消费数据Kafka初级前言关于kafka的集群安装这里就先跳过，如果需要相关资料以及学习视频的可以在留言下留下联系信息（邮箱

病妖·2025-02-19 17:22

rabbitmq3.5.1 原理和集群安装

参考http://dl528888.blog.51cto.com/2382721/1864895http://kaibinyuan.blog.51cto.com/7304008/1610110原因：最近有一个异步需要使用消息队列，或许最终会选择阿里的rocketmq性能单台TPS基本上是在2000-3000左右最新rabbitmq版本是3.6.2yum安装配置文件RPM-/etc/rabbitmq

「已注销」·2025-02-19 06:58

docker+es8+kibana单机及集群安装

安装过程遇到很多坑，涉及云服务器连接、配置等，这里把过程记录一下。1.es及kibana的版本最好一致es:dockerpull docker.elastic.co/elasticsearch/elasticsearch:8.11.3kibana:dockerpull docker.elastic.co/elasticsearch/elasticsearch:8.11.32.放开防火墙9200,9

qq_33935672·2025-02-16 12:33

maven插件学习(maven-shade-plugin和maven-antrun-plugin插件)

整合spark3.3.x和hive2.1.1-cdh6.3.2碰到个问题，就是spark官方支持的hive是2.3.x，但是cdh中的hive确是2.1.x的，项目中又计划用spark-thrift-server

catcher92·2025-02-15 08:00

加密套件以及ECDH

1、加密套件：密码，算法以及安全设置http://wemedia.ifeng.com/30498593/wemedia.shtml2、ECDH密钥协商算法ECDH密钥协商算法-OrcHome3、ecdh

追梦-北极星·2025-02-14 13:33

Flink--初识 DataStream Connector Kafka

创建Topic2.2Code3.使用Kafka作为Sink3.1CodeFlink作为比较适合流式处理的计算框架，在流式处理当中，比较搭配的消息中间件为Kafka本次使用的Kafka版本为2.1.0-cdh6.2.0Flink

XK&RM·2025-02-11 01:30

GaussDB用户及权限——默认权限机制

集群安装后默认情况下，未开启三权分立，数据库系统管理员具有与对象所有者相同的权限。

小嗑数据库·2025-02-08 21:43

GaussDB用户及权限——管理员

管理员初始用户集群安装过程中自动生成的账户称为初始用户。初始用户也是系统管理员、安全管理员、审计管理员、监控管理员、运维管理员和安全策略管理员，拥有系统的最高权限，能够执行所有的操作。

小嗑数据库·2025-02-08 21:43

架构第二十九章：haproxy

tar-xvfhaproxy-2.6.6.tar.gzcdhaproxy-2.6.6makeTARGET=linux31#centos7.x是linux31、centos6.x是linux26sudomakeinst

琴剑诗酒·2025-02-07 19:49

CDH+Kylin三部曲之三：Kylin官方demo

《CDH+Kylin三部曲之二：部署和设置》：完成CDH和Kylin部署，并在管理页面做好相关的设置；现在Hadoop、Kylin都就绪了，接下来实践Kylin的官方demo；Yarn参数设置Yarn的内存参数设置之后一定要重启

2401_89740692·2025-02-07 00:07

Hadoop1.0和2.0的主要区别

Hadoop1.0指的是版本为ApacheHadoop0.20.x、1.x或者CDH3系列的Hadoop，组件主要由HDFS和MapReduce两个系统组成，HDFS是一个分布式文件存储系统，MapReduce

web_15534274656·2025-02-06 03:43

CDH/HDP国产替换之路

原企业版用户企业版不再更新Cloudera和Hortonworks合并后推出了新一代大数据平台CDP，CDH6和H

yumgpkpm·2025-02-05 09:59

为什么我的CDH不用Hue，改用Scriptis了？

理性谈谈Hue的优缺点平时做数据开发用的比较多的是CDH的Hue，Hue提供了对接Hadoop平台的UI界面，可以对Hbase数据进行直接操作，执行Mapreducer任务时有可视化的执行界面，进行数据报表和

兔子那么可爱·2025-02-05 09:58

CDH角色迁移和硬盘扩容

1.概述生产CDH集群硬盘不足，HDFSdatanode节点数据不平衡，历史管理角色安装混乱，全部节点需要硬盘扩容。

专注大数据的Lyer·2025-02-05 09:56

SpringBoot+Implala常见问题：[Cloudera][ImpalaJDBCDriver](500605) 错误

问题描述Causedby:java.sql.SQLException:[Cloudera]ImpalaJDBCDriver问题分析：当CDH机器配置了LDAP验证的时候，Dbeaver或者其他链接工具或者

平凡君·2025-02-04 18:12

一次bilibili的漏洞扫描

以下是对该SSL/TLS扫描结果的深技术分析及安全加固建议：1.协议与加密套件分析观察结果markdown复制-协议版本:TLSv1.2(100%)-支持加密套件:*ECDHE-RSA-AES256-GCM-SHA384

完全之人·2025-02-04 12:56

kylin linux 安装教程,Apache Kylin | 安装指南

1.2.1+HBase:1.1+Spark2.1.1+JDK:1.7+OS:Linuxonly,CentOS6.5+orUbuntu16.0.4+用HortonworksHDP2.2-2.6,ClouderaCDH5.7

社本·2025-02-03 07:26

hbase无法建表：org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

1.环境：cdh6.2.12.现象：hbaseshell进去后，list命令执行正常，执行建表语句后报错：ERROR:org.apache.hadoop.hbase.PleaseHoldException

magicchu·2025-02-02 09:18

CDH_6.3.2的搭建

一站式搭建大数据的应用1、前提条件和准备工作hostnamectlset-hostnamecdh01hostnamectlset-hostnamecdh02hostnamectlset-hostnamecdh032

我的K8409·2025-02-01 17:22

在K8s中部署动态nfs存储provisioner

为了后续给虚拟机里的K8s集群安装可用的metrics和logs监控系统（metrics和logs的时序数据库需要永久存储），特为K8s集群提供基于nfs的文件服务器一台，并安装nfsprovisioner

超级阿飞·2025-01-31 06:24

spark2如何集成到cdh里

蘑菇丁·2025-01-27 16:55

kafka开启kerberos

例如：注意有几台机器创建几个kadmin.local-q"addprinc-randkeyzookeeper/dshieldcdh[email protected]"kadmin.local-q"addprinc-rand

蘑菇丁·2025-01-27 16:55

python链接hbase模块_Python连接Hbase

hbaseimporthappybase#注意protocol和transport这两个参数，需要和hbase启动命令中的相同，否则会报错connection=happybase.Connection('qa-cdh

weixin_40001395·2025-01-26 19:03

华为OD机试E卷 --连续字母长度--24年OD统一考试（Java & JS & Python & C & C++）

用例输入AAAAHHHBBCDHHHH3输出

飞码创造者·2025-01-25 11:49

CDH大数据平台

CDH概念CDH（ClouderaDistributionIncludingApacheHadoop)是由Cloudera公司提供的一个集成了ApacheHadoop以及相关生态系统的发行版本。

梦龙zmc·2025-01-25 06:44

CDH日志清理

备注:CDH版本:6.3.1背景CDH集群运行了2个多月了，根目录磁盘使用率接近80%了，需要清理CDH日志。一.查看问题CDH的日志文件一般在如下几个目录，可以通过如下代码进行查看。

只是甲·2025-01-24 14:13

【网络协议】【http】【https】ECDHE-TLS1.2

【网络协议】【http】【https】ECDHE-TLS1.2ECDHE算法1.客户端和服务器端事先确定好使用哪种椭圆曲线，和曲线上的基点G，这两个参数都是公开的，双方各自随机生成一个随机数作为私钥d，

钟离墨笺·2025-01-23 11:21

【网络协议】【http】【https】TLS解决了HTTP存在的问题-加密通信+摘要，数字签名+CA证书

TLS前期发送的密码套件里面主要就是约定：密钥交换算法，签名算法，对称加密算法，摘要算法1加密通信一般选择非对称加密交换密钥对称加密进行后续通信解决了信息泄露问题1.1密钥交换算法（非对称加密）RAS，ECDHE

钟离墨笺·2025-01-19 21:38

docker-ubuntu-24.04安装openresty1.21.4.3全过程

apt-get为阿里云镜像sed-i'[email protected]/@/mirrors.aliyun.com/@g'/etc/apt/sources.list&&apt-getupdate创建目录cdhome

司江龙·2025-01-18 12:43

架构师反向代理Haproxy+压力测试 - 学习笔记

usr/local/src/wgethttp://archive.apache.org/dist/httpd/httpd-2.4.18.tar.gztar-zxvfhttpd-2.4.18.tar.gzcdht

无影V随风·2025-01-18 10:25

采用海豚调度器+Doris开发数仓保姆级教程（满满是踩坑干货细节，持续更新）

目录一、采用海豚调度器+Doris开发平替CDHHdfs+Yarn+Hive+Oozie的理由。

大模型大数据攻城狮·2025-01-17 19:56

nginx1.18.0集群安装（docker版）

主机规划192.168.31.101cancer01nginxloaderbalancer192.168.31.102cancer02nginxweb1192.168.31.103cancer03nginxweb2环境准备以下设置请根据实际情况自行配置，此处略设置IP设置主机名关闭防火墙关闭selinux禁用透明大页设置虚拟内存设置文件句柄数和进程数主机时间同步配置免密安装jdk添加用户授权sod

leveretz·2025-01-17 07:13

2023 下半年信息安全工程师考试真题答案

信息安全管理员应当负责为顾客编写安全应用程序D.信息安全管理员应当对安全设备进行优化配置国家密码管理局于2023年公布了“无线局域网产品须使用旳系列密码算法”，其中规定密钥协商算法应使用旳是（）A.DHB.ECDSAC.ECDHD.CPK

rockmelodies·2024-09-09 23:29

Kafka2.8.0集群安装教程

Kafka2.8.0集群安装教程准备工作node01~node04（四个节点机器，三台也可以），kafka安装node01~~node03启动zookeeper，这里依次启动node131，node132

请叫我你好·2024-09-09 21:48

大数据系列 | Kafka架构分析及应用

大数据系列|Kafka架构分析及应用1.消息系统介绍2.Kafka原理分析3.Kafka架构分析4.Kafka的安装与配置4.1.Zookeeper集群安装配置4.2.安装Kafka集群4.3.配置kafka

降世神童·2024-09-07 07:42

kafka消费者重复消费同一个topic

由于是使用的cdh集成的kafka，不知道cdh里的zookeeper管理kafka的数据存在了

小琳ai·2024-09-05 10:06

Django HelloWorld 部署

mkdirdjango//创建一个文件夹命名为djangocddjango//进入django文件夹django-adminstartprojectHelloWorld//创建一个Project命名为HelloWorldcdHelloWorld

SkTj·2024-09-04 04:30

hue升级文档

首先，确定我们的两个安装包：hue.zip（这个包也可以从我们的git仓库下载，具体链接我会发给你）huetool.zip然后，在CDH的管理界面停止hue的服务：1，进入hue2，选择实例3，选择HueServer4

101之歌·2024-09-02 02:17

zookeeper分布式锁案例

zookeeper分布式锁案例文档linux安装java-centos安装java-linux配置java环境变量zookeeper单机安装zookeeper集群安装zookeeper客户端命令行操作、

shuair·2024-09-01 05:37

实训day37（8.27）

一、dockerfile应用[root@docker~]#mkdirhttp0[root@docker~]#cdhttp0/[root@dockerhttp0]#vimabc.sh[root@dockerhttp0

Tʀᴜsᴛ⁴¹⁷487·2024-08-29 02:24

学习笔记六：ceph介绍以及初始化配置

是一种开源的分布式的存储系统，包含以下几种存储类型：块存储（rbd）文件系统cephfs对象存储分布式存储的优点：Ceph核心组件介绍安装Ceph集群初始化配置Ceph安装源安装基础软件包安装ceph集群安装

风车带走过往·2024-08-27 23:49

CDH 之 hive 数据迁移

当你想切换了集群想把hive迁移至新集群，两个集群之间又互不相通，一个最简单快捷的方法，就是批量导出元数据信息，同时把数据文件下载上传至新服务器的数据文件存放目录下1.导出元数据信息#database即是数据库名称hive-e"use;showtables;"|xargs-I'{}'sh-c'hive-e"use;showcreatetable'{}';"'>tables.sql2.将原服务器中h

啊这·2024-08-27 13:18

Gitlab CI/CD 配置

CI/CDhttps://gitlab.com/gitlab-examplesGitlab(仓库)->GitlabRunner（持续集成/部署）->Remotehost（远程部署主机）11.5.1.远程服务器配置为远程服务器创建

netkiller-·2024-08-27 10:26

[java][集群]consul集群安装

/usr/local/bin/consulagent-server-data-dir=/tmp/consul-node=server-1-bind=192.168.3.110-bootstrap-expect3-client=0.0.0.0-ui/usr/local/bin/consulagent-server-data-dir=/tmp/consul-node=server-2-bind=192

awonw·2024-08-26 17:05

推荐频道