Kafka集群

【K8s】使用Kubernetes的resources字段中的requests和limits字段控制Pod资源使用

在K8s集群中，合理控制Pod的资源使用对于确保集群的稳定性和性能至关重要。
ThisIsClark·2025-03-13 01:08

Kubernetes 部署 Nacos集群

Kubernetes部署Nacos集群官方文档无持久化存储下载nacos-quick-start.yaml修改nacos-quick-start.yaml中的ConfigMap为自己的数据库账号密码执行数据库初始化语句执行
fangling86·2025-03-13 01:34

Redis四种模式在Spring Boot框架下的配置

在SpringBoot框架下配置Redis的四种模式（单机模式、主从模式、哨兵模式、集群模式）可以通过以下方式实现：1.单机模式在application.properties或application.yml
m0_66323401·2025-03-12 23:25

在M4 Mac Mini集群上运行DeepSeek V3 671B

在M4MacMini集群上运行DeepSeekV3671B原创咖农小黄幻想发生器2024年12月30日10:50天津我们刚刚在苹果硅芯片上运行了最大的开源模型。
强化学习曾小健·2025-03-12 22:18

K8S中PV和PVC之间的关系

以下是详细解释：核心关系对象角色生命周期使用者PersistentVolume(PV)存储资源的实体（如NFS、云磁盘、本地磁盘等）独立于Pod和PVC，需手动或动态创建由集群管理员配置Persistent
沉默的八哥·2025-03-12 22:44

本地docker安装zookeeper,kafka,flink

首先安装zookeeper这里zookeeper的安装是为了去使用kafka这里我们安装的是wurstmeister的kafka和zookeeper镜像也是在hub.docker.com网站上，Star
a724952091·2025-03-12 22:44

Docker-compose编排部署Kafka伪分布式集群(为后续实验搭建基础环境)

本实验参照官网http://kafka.apache.org/documentation/构建,为后续了解kafka应用做环境准备。
F_Hello_World·2025-03-12 22:13

K8S日常问题优化

在实际工作中，优化Kubernetes的性能和成本通常需要结合资源利用率分析、集群配置调整以及自动化工具的整合。
沉默的八哥·2025-03-12 21:39

大数据学习（61）-Impala与Hive计算引擎

，请点赞+收藏⭐️+留言支持一下博主哦一、impala与yarn资源管理YARN是ApacheHadoop生态系统中的一个资源管理器，它采用了master/slave的架构，使得多个处理框架能够在同一集群上共享资源
viperrrrrrr·2025-03-12 21:38

大数据学习（62）- Hadoop-yarn

哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦一、YARN概述1.YARN简介Hadoop-YARN是ApacheHadoop生态系统中的一个集群资源管理器
viperrrrrrr·2025-03-12 21:38

大数据学习（60）-HDFS文件结构

哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦一、体系结构HDFS是一个标准的主从(Master/Slave)体系结构的分布式系统；HDFS集群包含一个或多个
viperrrrrrr·2025-03-12 21:08

DUBBO源码分析七---服务调用过程

"2021SC@SDUSC"1.简介在前面的文章中，我们分析了DubboSPI、服务导出与引入、以及集群容错方面的代码。经过前文的铺垫，本篇文章我们终于可以分析服务调用过程了。
qq_51562781·2025-03-12 20:04

Doris集群启停脚步

ApacheDoris是一个基于MPP（大规模并行处理）架构的高性能、实时的分析型数据库。在Doris中，FE（Frontend）、BE（Backend）和Broker组件有特定的启动和关闭顺序，下面详细介绍一下。一、启动顺序通常按照FE->BE->Broker的顺序启动，以下是对该顺序的详细解释：启动FEFE是Doris的前端节点，负责元数据管理、查询规划、权限管理等功能，是整个系统的核心控制节
江畔独步·2025-03-12 20:01

deepseek+ansible实现AI自动化集群部署

DeepSeek与Ansible协同配置Linux集群的完整机制方案，涵盖架构设计、工具调用链及Agent提示词体系：一、系统架构设计（四层联动）!
大囚长·2025-03-12 20:59

面试基础---分布式架构基础消息队列Kafka vs RabbitMQ vs RocketMQ 对比

分布式架构消息队列深度解析：KafkavsRabbitMQvsRocketMQ引言在高并发、高可用的分布式系统中，消息队列是实现异步通信、流量削峰、系统解耦的核心组件。
WeiLai1112·2025-03-12 19:27

hive-3.1.3部署文档

提前准备一个正常运行的hadoop集群java环境hive安装包下载地址：https://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3
CXH728·2025-03-12 16:09

网络工程师如何用DeepSeek提升效率？10大实战场景解析

DeepSeek应用：自然语言生成拓扑图输入需求：“构建北京-上海双中心架构，上海部署阿里云VPC，北京使用本地VMware集群，双线BGP冗余，终端延迟30ms
IT99_·2025-03-12 16:02

云原生服务网格：微服务通信的智能中

阿里巴巴双十一流量洪峰时，MOSN支撑百万级TPS跨集群通信。GoogleAnthos实现跨云服务治理统一，Envoy代理处理Cilium的eBPF加速提升70%吞吐。
桂月二二·2025-03-12 15:58

Kubernetes高可用集群二进制部署(Runtime Docker)

Kubernetes高可用集群二进制部署（RuntimeDocker）Kubernetes（简称为：k8s）是Google在2014年6月开源的一个容器集群管理系统，使用Go语言开发，用于管理云平台中多个主机上的容器化的应用
灯火烛光·2025-03-12 11:06

Kafka 深入解析：架构原理、基本使用及丢数据场景分析

Kafka是一个高吞吐、分布式的消息队列系统，被广泛应用于日志处理、流式数据处理和事件驱动架构。本篇文章将详细介绍Kafka的架构原理、基本使用方法，并分析Kafka可能的丢数据场景及其解决方案。
唐唐爱吃糖111·2025-03-12 11:36

Java集成消息队列实战：从RabbitMQ到Kafka的完整解决方案 [特殊字符]

发送短信异步执行系统解耦：支付服务与物流服务独立演进流量削峰：应对秒杀活动瞬时流量可靠传输：网络故障时保证消息不丢失1.2技术选型指南消息队列吞吐量延迟可靠性适用场景RabbitMQ万级微秒级★★★★★金融交易、实时通知Kafka
添砖Java中·2025-03-12 09:51

携程开源的分布式apollo技术，整合springboot集成实现动态刷新配置

除此之外，还会具体讲解数据结构、线程模型、网络框架、持久化、主从同步和切片集群等，帮你搞懂底层原理。相信这对于所有层次的Redis使用者都是一份非常完美的教程了。
2401_84584854·2025-03-12 04:10

【Kubernets】Kubernetes 的基础知识，Pod是什么？ 和容器的关系？多个容器如何在同一个 Pod 里协作？

1.Kubernetes的核心概念(1)Node（节点）定义：Node是Kubernetes集群中的工作机器，可以是物理机或虚拟机。
{⌐■_■}·2025-03-12 03:31

k8s集群中部署dcgm-exporter收集GPU指标

总体步骤：部署dcgm-exporter的DaemonSet和Service，确保Service有正确的标签和端口。创建ServiceMonitor，选择dcgm-exporter的Service，并指定端口。检查Prometheus的targets页面，确认dcgm-exporter是否被正确发现和抓取。可能需要调整Prometheus的RBAC或网络策略，确保访问权限。1，部署dcgm-exp
thinkerCoder·2025-03-12 03:28

绿色算力网络构建与智能调度实践

当前架构设计包含三大核心模块：异构计算集群（涵盖GPU、FPGA及量子计算单元）、跨区域网络互联协议（适配东数西算的传输需求）以及能耗监测平台（基于实时数据建模的碳足迹追踪）。
智能计算研究中心·2025-03-11 22:13

A800算力部署实战策略

内容概要《A800算力部署实战策略》聚焦于高性能计算集群的全生命周期管理，系统梳理从底层硬件选型到上层软件生态协同的关键技术路径。
智能计算研究中心·2025-03-11 22:42

使用Spring Boot集成Kafka开发：接收Kafka消息的Java应用

Kafka是一个分布式的流处理平台，它具有高吞吐量、可扩展性和容错性的特点。SpringBoot提供了与Kafka集成的便捷方式，使得开发者可以轻松地创建Kafka消息接收应用。
YazIdris·2025-03-11 20:30

讲一下Spark的shuffle过程

首先Spark的shuffle是Spark分布式集群计算的核心。Spark的shuffle可以从shuffle的阶段划分，shuffle数据存储，shuffle的数据拉取三个方面进行讲解。
冰火同学·2025-03-11 20:29

Spring Boot 集成 Kafka

Kafka作为一种高性能、分布式的消息队列系统，被广泛应用于各种场景。而SpringBoot作为一种流行的Java开发框架，提供了便捷的方式来构建应用程序。
m0_74824592·2025-03-11 20:57

2025 年政府工作报告中的科技要点解读以及机会点

壮大新兴产业：深入推进战略性新兴产业融合集群发展，开展新技术新产品新场景大规模应用示范行动，推动商业航天、低空经济等新兴产业
番茄老夫子·2025-03-11 19:56

Hive在大数据集群下的部署

hive安装1）把apache-hive-3.1.3-bin.tar.gz上传到Linux的/opt/software目录下2）解压apache-hive-3.1.3-bin.tar.gz到/opt/module/目录下面tar-zxvf/opt/software/apache-hive-3.1.3-bin.tar.gz-C/opt/module/3）修改apache-hive-3.1.3-bin
正在绘制中·2025-03-11 18:47

搭建分布式Hive集群

title:搭建分布式Hive集群date:2024-11-2923:39:00categories:-服务器tags:-Hive-大数据搭建分布式Hive集群本次实验环境：Centos7-2009、Hadoop
逸曦玥泱·2025-03-11 18:17

Hadoop、Spark和 Hive 的详细关系

YARN(YetAnotherResourceNegotiator)：集群资源管理和作业调度系统。MapReduce：基于YARN的并行处理框架，用
夜行容忍·2025-03-11 18:46

Kibana 单机与集群部署教程

目录Kibana单机与集群部署教程第一部分：Kibana概述第二部分：Kibana单机部署教程1.安装Kibana1.1安装依赖项1.2下载和安装Kibana1.3启动Kibana2.单机案例代码实现（
闲人编程·2025-03-11 18:14

本地部署Hive集群

规划服务机器Hive本体部署在Node1元数据服务所需的关系型数据库(MYSQL)部署在Node1安装MYSQL数据库#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysql-2022#安装Mysqlyum库rpm-Uvhhttp://repo.mysql.com//mysql57-community-release-el7-7.noarch
克里斯蒂亚诺罗纳尔多阿维罗·2025-03-11 17:06

flink+kafka实现流数据处理学习

在应用系统的建设过程中，通常都会遇到需要实时处理数据的场景，处理实时数据的框架有很多，本文将以一个示例来介绍flink+kafka在流数据处理中的应用。
上海研博数据·2025-03-11 17:06

Zookeeper+kafka学习笔记

Zookeeper是Apache的一个java项目，属于Hadoop系统，扮演管理员的角色。配置管理分布式系统都有好多机器，比如我在搭建hadoop的HDFS的时候，需要在一个主机器上（Master节点）配置好HDFS需要的各种配置文件，然后通过scp命令把这些配置文件拷贝到其他节点上，这样各个机器拿到的配置信息是一致的，才能成功运行起来HDFS服务。Zookeeper提供了这样的一种服务：一种集
CHR_YTU·2025-03-11 16:01

SpringBoot下kafka配置生产者和消费者

SpringBoot下kafka配置生产者和消费者KafkaResourceConfiguration.javapackageits.uts.kafkatest;importlombok.Data;importorg.apache.kafka.clients.consumer.ConsumerConfig
种豆走天下·2025-03-11 16:00

Apache Kafka

两种广泛使用的消息队列系统是AWSSimpleQueueService(SQS)和ApacheKafka。尽管它们都提供消息传递功能，但在设计理念、功能和使用场景上存在显著差异。
fxrz12·2025-03-11 16:53

Zookeeper与Kafka学习笔记

核心要点1.核心特性分布式协调服务，用于维护配置/命名/同步等元数据采用层次化数据模型（Znode树结构），每个节点可存储<1MB数据典型应用场景：HadoopNameNode高可用HBase元数据管理Kafka
上海研博数据·2025-03-11 15:51

Zookeeper学习

Zookeeper是一个开源的分布式协调框架，它主要用于处理分布式系统中的一些常见问题，如同步、配置管理、命名服务和集群管理等。
种豆走天下·2025-03-11 15:21

2.10 Spring Boot定时任务：@Scheduled与Quartz对比分析

Scheduled**Quartz依赖复杂度内置于Spring（零配置）需额外依赖与配置任务持久化不支持（内存存储）支持（数据库持久化）动态任务管理仅静态配置支持运行时增删改查分布式支持需自行实现原生集群支持调度策略固定速率
Sendingab·2025-03-11 13:04

zookeeper与kafka集群配置

基本配置修改ipvi/etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTO=staticONBOOT=yesIPADDR=192.168.139.133NETMASK=255.255.255.0GATEWAY=192.168.139.2DNS1=192.168.1.1修改主机名hostnamectlset-hostnameSSH免密登录vi/etc/
zhangpeng455547940·2025-03-11 12:26

ARM64环境部署EFK8.15.3收集K8S集群容器日志

系统部署方式ES版本CPU架构用户名密码192.168.1.225Ubuntu22.04.4LTSdockerelasticsearch:8.15.3ARM64elasticllodyi4TMmZDES集群部署创建持久化目录
llody_55·2025-03-11 11:21

Apache Doris中都用了哪些开发语言，编译过程中用到了哪些编译器，以及用到了哪些成熟的技术框架

以下是综合多个来源的详细分析：一、开发语言Java•应用场景：主要用于开发Frontend（FE），负责元数据管理、查询解析、集群管理等模块。
fzip·2025-03-11 08:24

5、请简述公司的系统服务架构类型（单体架构、分布式架构、微服务架构、分层架构、集群架构、SOA 架构、中台架构）

以下是对公司常见的系统服务架构类型的简述及架构图说明：单体架构简述：将所有功能集成在一个项目中，作为一个整体进行开发、部署和运行，所有业务逻辑、数据访问等都在一个进程内。适用于小型项目或业务简单的场景，开发、部署和维护相对简单。架构图用户界面业务逻辑数据访问数据库分布式架构简述：把系统拆分为多个子系统或服务，分布在不同节点上独立运行，通过网络通信协作完成业务功能，可扩展性和可靠性较高，能应对大规模
静静在思考·2025-03-11 08:24

如何实现集群中的session共享存储？思维导图 代码示例（java 架构)

集群中Session共享存储的实现在分布式系统或集群环境中，确保用户会话（Session）能够在所有节点之间共享是一个关键问题。为了实现这一点，可以采用多种策略和技术。
用心去追梦·2025-03-11 06:08

[IoTDB]The write is rejected because the wal directory size has reached the threshold

现象写入集群报错：Thewriteisrejectedbecausethewaldirectorysizehasreachedthethreshold53687091200bytes.YoumayneedtoadjusttheflushpolicyofthestoragestorageengineortheIoTConsensussynchronizationparameter
2a3b4c·2025-03-11 05:03

curl不通 k8s_【K8S排错】在集群的POD内不能访问clusterIP和service

排错背景：在一次生产环境的部署过程中，配置文件中配置的访问地址为集群的Service，配置好后发现服务不能正常访问，遂启动了一个busybox进行测试，测试发现在busybox中，能通过coredns正常的解析到
weixin_39950057·2025-03-11 03:44

在K8S中，svc底层是如何实现的？

在Kubernetes中，Service是集群内部的一个抽象层，用于定义一组Pod的逻辑分组，并提供统一的访问入口点，同时还可以对这些Pod提供负载均衡和网络代理功能。
Dusk_橙子·2025-03-11 02:06
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他