Proxmox(PVE)集群

Hive在大数据集群下的部署

hive安装1）把apache-hive-3.1.3-bin.tar.gz上传到Linux的/opt/software目录下2）解压apache-hive-3.1.3-bin.tar.gz到/opt/module/目录下面tar-zxvf/opt/software/apache-hive-3.1.3-bin.tar.gz-C/opt/module/3）修改apache-hive-3.1.3-bin

正在绘制中·2025-03-11 18:47

搭建分布式Hive集群

title:搭建分布式Hive集群date:2024-11-2923:39:00categories:-服务器tags:-Hive-大数据搭建分布式Hive集群本次实验环境：Centos7-2009、Hadoop

逸曦玥泱·2025-03-11 18:17

Hadoop、Spark和 Hive 的详细关系

YARN(YetAnotherResourceNegotiator)：集群资源管理和作业调度系统。MapReduce：基于YARN的并行处理框架，用

夜行容忍·2025-03-11 18:46

Kibana 单机与集群部署教程

目录Kibana单机与集群部署教程第一部分：Kibana概述第二部分：Kibana单机部署教程1.安装Kibana1.1安装依赖项1.2下载和安装Kibana1.3启动Kibana2.单机案例代码实现（

闲人编程·2025-03-11 18:14

本地部署Hive集群

规划服务机器Hive本体部署在Node1元数据服务所需的关系型数据库(MYSQL)部署在Node1安装MYSQL数据库#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysql-2022#安装Mysqlyum库rpm-Uvhhttp://repo.mysql.com//mysql57-community-release-el7-7.noarch

克里斯蒂亚诺罗纳尔多阿维罗·2025-03-11 17:06

Zookeeper与Kafka学习笔记

核心特性分布式协调服务，用于维护配置/命名/同步等元数据采用层次化数据模型（Znode树结构），每个节点可存储<1MB数据典型应用场景：HadoopNameNode高可用HBase元数据管理Kafka集群选举与状态管理

上海研博数据·2025-03-11 15:51

Zookeeper学习

Zookeeper是一个开源的分布式协调框架，它主要用于处理分布式系统中的一些常见问题，如同步、配置管理、命名服务和集群管理等。

种豆走天下·2025-03-11 15:21

2.10 Spring Boot定时任务：@Scheduled与Quartz对比分析

Scheduled**Quartz依赖复杂度内置于Spring（零配置）需额外依赖与配置任务持久化不支持（内存存储）支持（数据库持久化）动态任务管理仅静态配置支持运行时增删改查分布式支持需自行实现原生集群支持调度策略固定速率

Sendingab·2025-03-11 13:04

zookeeper与kafka集群配置

基本配置修改ipvi/etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTO=staticONBOOT=yesIPADDR=192.168.139.133NETMASK=255.255.255.0GATEWAY=192.168.139.2DNS1=192.168.1.1修改主机名hostnamectlset-hostnameSSH免密登录vi/etc/

zhangpeng455547940·2025-03-11 12:26

ARM64环境部署EFK8.15.3收集K8S集群容器日志

系统部署方式ES版本CPU架构用户名密码192.168.1.225Ubuntu22.04.4LTSdockerelasticsearch:8.15.3ARM64elasticllodyi4TMmZDES集群部署创建持久化目录

llody_55·2025-03-11 11:21

Apache Doris中都用了哪些开发语言，编译过程中用到了哪些编译器，以及用到了哪些成熟的技术框架

以下是综合多个来源的详细分析：一、开发语言Java•应用场景：主要用于开发Frontend（FE），负责元数据管理、查询解析、集群管理等模块。

fzip·2025-03-11 08:24

5、请简述公司的系统服务架构类型（单体架构、分布式架构、微服务架构、分层架构、集群架构、SOA 架构、中台架构）

以下是对公司常见的系统服务架构类型的简述及架构图说明：单体架构简述：将所有功能集成在一个项目中，作为一个整体进行开发、部署和运行，所有业务逻辑、数据访问等都在一个进程内。适用于小型项目或业务简单的场景，开发、部署和维护相对简单。架构图用户界面业务逻辑数据访问数据库分布式架构简述：把系统拆分为多个子系统或服务，分布在不同节点上独立运行，通过网络通信协作完成业务功能，可扩展性和可靠性较高，能应对大规模

静静在思考·2025-03-11 08:24

如何实现集群中的session共享存储？思维导图代码示例（java 架构)

集群中Session共享存储的实现在分布式系统或集群环境中，确保用户会话（Session）能够在所有节点之间共享是一个关键问题。为了实现这一点，可以采用多种策略和技术。

用心去追梦·2025-03-11 06:08

[IoTDB]The write is rejected because the wal directory size has reached the threshold

现象写入集群报错：Thewriteisrejectedbecausethewaldirectorysizehasreachedthethreshold53687091200bytes.YoumayneedtoadjusttheflushpolicyofthestoragestorageengineortheIoTConsensussynchronizationparameter

2a3b4c·2025-03-11 05:03

curl不通 k8s_【K8S排错】在集群的POD内不能访问clusterIP和service

排错背景：在一次生产环境的部署过程中，配置文件中配置的访问地址为集群的Service，配置好后发现服务不能正常访问，遂启动了一个busybox进行测试，测试发现在busybox中，能通过coredns正常的解析到

weixin_39950057·2025-03-11 03:44

在K8S中，svc底层是如何实现的？

在Kubernetes中，Service是集群内部的一个抽象层，用于定义一组Pod的逻辑分组，并提供统一的访问入口点，同时还可以对这些Pod提供负载均衡和网络代理功能。

Dusk_橙子·2025-03-11 02:06

K8s 1.27.1 实战系列（六）Pod

其核心设计目标包括：轻量性：Pod本身不负责资源分配，仅作为容器的逻辑封装单元，高效利用集群资源。临时性：Pod生命周期短暂，故障或任务完成后会被销

白昼ron·2025-03-11 02:05

phoenix无法连接hbase shell创建表失败_报错_PleaseHoldException: Master is initializing---记录020_大数据工作笔记0180

今天发现,我的phoenix,去连接hbase集群,怎么也连不上了,奇怪了...弄了一晚上org.apache.hadoop.hbase.PleaseHoldException:Masterisinitializing

添柴程序猿·2025-03-11 00:52

Rabbitmq从入门到精通

简介1.2组件介绍1.1消息队列的选择1.2Docker安装rabbitmq1.4消息应答机制2.1交换机类型2.1direct2.2fanout2.3topic：2.4header3RabbitMQ集群搭建

XJzz3·2025-03-10 23:17

Java进阶：Zookeeper相关笔记

●zookeeper一般用来实现诸如数据订阅/发布、负载均衡、命名服务、集群管理、分布式锁和分布式队列等功能。

m0_74825634·2025-03-10 23:43

部署skywalking进行链路跟踪

2.环境k8s集群：v1.20.4版本k8s-master1192.168.110.235k8s-node1192.168.110.236k8s-node2192.168.110.237nfs192.168.110.239elasticsearch

BUG弄潮儿·2025-03-10 20:20

使用ansible搭建k8s集群--单节点部署+work节点扩展

单节点部署：1.基础系统配置准备一台虚机配置内存2G/硬盘30G以上最小化安装Ubuntu16.04server或者CentOS7Minimal配置基础网络、更新源、SSH登录等2.下载文件下载工具脚本easzup，举例使用kubeasz版本2.0.2https://github.com/easzlab/kubeasz/blob/master/docs/setup/quickStart.md如果下

chennuan1991·2025-03-10 20:49

【从0到1构建高并发后端系统：Spring Boot + Redis + RabbitMQ实战指南】

一、架构演进路径图图1：从单体架构到微服务集群的演进过程二、核心优化策略与落地实践1.数据库优化方案分库分表实践：//ShardingSphere分片策略配置spring:shardingsphere:

小怪兽9699·2025-03-10 17:58

Guava本地缓存的使用

作为API或者某种功能系统来用的话，无论单机/集群（集群其实就形成了近乎Guava副本的情况），Guava中的数据增

肥肥肥柯·2025-03-10 16:27

代码托管平台深度解析：Gitee如何赋能本土开发团队

一、本地化体验：消除开发环境壁垒Gitee扎根国内开发者生态，从网络基础设施到用户界面均针对本土需求优化：高速访问：国内服务器集群确保代码拉取、提交响应毫秒

·2025-03-10 13:16

构建高可用性、高性能和可扩展的Zabbix Server架构

简介本教程讲解了一下如何设计构建一个高性能、高可靠、高扩展的Zabbix监控集群。

·2025-03-10 13:14

MongoDB 集群模式简单了解

MongoDB集群模式简单了解在现代应用架构中，数据库的扩展性和高可用性至关重要，而MongoDB作为NoSQL数据库的佼佼者，提供了多种集群模式来应对不同场景的需求。

黑风风·2025-03-10 13:00

《逆战：未来》公开全新实机演示，宣布开启“重启测试”招募

实机演示公布，PVE及机甲战成亮点在此次公开的实机演

gridf·2025-03-10 13:00

k-Shape：高效准确的聚类方法

k-Shape依赖于一个可扩展的迭代优化过程，它创建同质和良好分离的集群。作为距离度量，k-Shape使用标准化的交叉相关。基于距离度量的性质，

优化算法侠Swarm-Opti·2025-03-10 12:26

【每日八股】Redis篇（七）：集群

目录Redis集群模式有哪些？Redis切片集群的工作原理？哈希槽和Redis节点如何对应？主从模式的同步过程？全量同步增量同步主服务器如何知道要将哪些增量数据发送给从服务器？如何避免主从数据不一致？

YGGP·2025-03-10 07:48

后端架构师必知必会系列：分布式计算与任务调度

什么时候集群化？部署方式又该怎样？……等

AI天才研究院·2025-03-10 01:38

后端架构师必知必会系列：分布式锁与并发控制

在互联网发展的早期，基于集中式服务器部署模式的网站在高并发访问下性能一般般，不过随着大规模集群的出现，如今很多网站已经将应用部署在分布式集群上，特别是在微服务架构兴起之后。为了提高

AI天才研究院·2025-03-10 01:37

K8s 1.18.6版本基于 ingress-nginx 实现金丝雀发布（灰度发布）

环境软件版本kubernetesv1.18.6nginx-ingress-controller0.32.0Rancherv2.4.5本次实验基于Rancher-v2.4.5部署了1.18.6版本的k8s集群

zerchin·2025-03-10 01:35

Hadoop：分布式计算平台初探

Hadoop是一个开发和运行处理大规模数据的软件平台，是Apache的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。

dccrtbn6261333·2025-03-10 01:32

MapReduce：分布式计算的基石

它使得在大型商用硬件集群（数千台机器）上进行并行处理海量数据成为可能。本文将深入探讨MapReduce的核心概念、工作原理、应用场景以及一些高级主题。

Earth explosion·2025-03-10 00:30

redis热key

数据倾斜：在Redis集群中，热Key可能导致某个节点的负载过高。缓存击穿：热Key过期或被删除时，大量请求直接打到数据库，导致数据库压力骤增。

杏花春雨江南·2025-03-09 23:17

Apache Doris 现行版本 Docker-Compose 运行教程

如有生产环境或性能测试集群部署诉求，请使用裸机/虚机部署或K8SOperator部署方案！

atbigapp.com·2025-03-09 22:41

Apache Kafka 在生产环境中的管理与优化：从理论到实践

那么，如何管理并优化Kafka集群，提升其在复杂生产环境下的表现呢？接下来，我将通过经验总结和代码示例，带你逐步了解生产环境下Kafka的管理与优化。一

Echo_Wish·2025-03-09 22:07

Hadoop：全面深入解析

Hadoop是一个用于大规模数据处理的开源框架，其设计旨在通过集群的方式进行分布式存储和计算。

CloudJourney·2025-03-09 21:29

MySQL集群：高可用架构的利与弊

MySQL集群作为一种常见的解决方案，被广泛用于解决单点故障和性能瓶颈的问题。但它是否适合所有场景？本文将从实际应用的角度，分析MySQL集群的核心特点、优势与不足。1.什么是MySQL集群？

异常驯兽师·2025-03-09 18:00

hbase 默认目录_[HBase] HBase数据存储目录解析

RegionServer，都会对应1~n个子目录/hbase/oldWALs当/hbase/WALs中的HLog文件被持久化到存储文件时，它们就会被移动到/hbase/oldWALs/hbase/hbase.id集群的唯一

weixin_39577422·2025-03-09 13:21

hbase集群archive目录过大问题处理

1.问题现象现场反馈hbase集群/hbase/archive目录过大，大小约为1.52PB现场集群已经清理掉2个月以前的snapshot文件，当前archive目录文件仍不能释放现场发现1T以上的archive

spring208208·2025-03-09 12:15

K8s 1.27.1 实战系列（二）安装集群并初始化

一、安装kubeadm、kubelet和kubectl（所有节点）1、配置k8s的yum源地址cat<

白昼ron·2025-03-09 12:44

搭建测试用的redis集群访问失败小记

首先在ubuntu下启动redis集群下载redis源码，编译成功后，进入utils/create-cluster目录，运行./create-clusterstart.

yinhezhanshen·2025-03-09 09:42

HDFS的设计架构

1.HDFS的设计思想HDFS的设计目标是解决大规模数据存储和处理的问题，其核心设计思想包括：（1）分布式存储-数据被分割成多个块（Block），并分布存储在集群中的多个节点上。

F_0125·2025-03-09 05:21

无人机+自组网：中继通信增强技术详解

在无人机集群中，每个无人机都可以作为终端节点、中继节点或中心节点，实

无人机技术圈·2025-03-09 04:00

一致性哈希HashRing

一致性哈希HashRing一致性哈希算法是一种高效的分布式存储和负载均衡技术，广泛应用于分布式系统中，如缓存集群、分布式数据库等。

留白1108·2025-03-09 04:12

ElasticSearch学习笔记 --- 调研笔记知识点

4.安装Marvel(ES的管理和监控)5.特点：分布式的实时文件存储，每个字段都被索引并可被搜索分布式的实时分析搜引擎可以扩展到上百台服务器，处理PB级机构化或非结构化数据6.集群是一组具有相同cl

杨鑫newlfe·2025-03-09 03:00

ES03 - ES其他知识点

ES其他知识点文章目录ES其他知识点一：分布式集群和路由计算1：单节点集群2：故障转移3：水平扩容4：宕机故障5：路由计算二：分片控制流程1：协调节点2：写流程3：读流程4：更新流程5：多文档操作流程5.1

是小崔啊·2025-03-09 03:42

K8S 集群节点扩容

k8s231192.168.99.2312C4Gmaster1.23.1720.10.24k8s232192.168.99.2322C4Gwoker1.23.1720.10.24k8s233（需上线）192.168.99.2332C4Gwoker1.23.1720.10.24当现有集群中的节点资源不够用

小小大胖子3·2025-03-09 02:38

推荐频道