kafka集群

K8S发布应用步骤详解

比如使用Maven；3.编写Dockerfile文件，把步骤2产生的包制作成镜像；4.上传步骤3的镜像到远程仓库，比如Harhor；5.编写Deployment文件；6.提交Deployment文件到k8s集群
cn--萍诚1号·2024-09-07 20:10

在外打工的70、80和90后们，两大难题已日益严重，早做准备早解决

现如今农村似乎已经不再是居民安居乐业的最佳场所，随着城市集群的出现，越来越多的老百姓更喜欢前往中大型城市寻找就业的机会。
李妖罐子·2024-09-07 17:55

cephadm搭建ceph文件集群存储

一、基础配置1、配置主机名[root@ecs-cd34~]hostnamectlset-hostnamenode1[root@ecs-cd34~]execbash#主机名生效2、配置hosts解析（根据自己的服务器id修改）cat>>/etc/hosts/etc/docker/daemon.json<
L__liurs·2024-09-07 16:41

存储集群消除pg数量过多的告警

[root@xxxxxxxxxxxxxx~]#ceph-scluster334cfe7e-9ccc-483d-8d2c-218fde3a5fdehealthHEALTH_WARNtoomanyPGsperOSD(307>max300)nodeep-scrubflag(s)setmonmape1:3monsat{node1=100.88.28.11:6789/0,node2=100.88.28.12
大 大金·2024-09-07 15:36

pyflink 滚动窗口实例

写在前头：更多大数据相关精彩内容请进我的知识星球，每周定期更新正篇技术路线：模拟kafka生产者发送数据——>flink对kafka数据实时计算处理——>处理后的数据发送到kafka1、模拟客流数据的生产者
菜鸟社长·2024-09-07 15:31

【Flink】Flink 写入到 CSV BucketingSink 的使用方法

1.概述【File】CSV文件写入追加写入CsvWriter的使用有一个需求是这样的，flink读取kafka数据，然后写入到csv，但是写入的时候，要求写入一个文件，然后在监听到配置文件变化的时候，将写入到另外一个文件
九师兄·2024-09-07 15:00

速盾：没有备案的网站能否接入CDN使用？

CDN作为一个分布式的网络服务器集群，可以将网站的静态资源存储在离用户最近的服务器上，从而加快资源的访问速度。然而，CDN服务提供商在为网站提供CDN服务之前，需要对网站进行一系列的备案手续。
速盾cdn·2024-09-07 13:52

第五章 Kafka 构建TB级异步消息系统

第五章Kafka构建TB级异步消息系统1、阻塞队列模拟阻塞队列publicclassBlockingQueueTest{publicstaticvoidmain(String[]args){//容量为10
跟风。·2024-09-07 13:48

kubernetes集群下部署kafka+zookeeper单机部署方案

背景：注：在kubernetes集群上部署单机版的zookeeper+kafka服务，是采用了kubernetes中的deploment组件+service组件+pvc存储组件1、部署zookeeper
jiang0615csdn·2024-09-07 12:17

Kafka，构建TB级异步消息系统

：使用数据的线程实现类ArrayBlockingQueueLinkedBlockingQueuePriorityBlockingQueue、SynchronousQueue、DelayQueue等2.Kafka
Fern977·2024-09-07 12:15

仿论坛项目--Kafka，构建TB级异步消息系统

Kafka入门•Kafka简介Kafka是一个分布式的流媒体平台。
HUT_Tyne265·2024-09-07 12:14

linux搭建ceph集群

linux三节点搭建ceph集群主机IP主机名称172.26.50.75node1172.26.50.112node2172.26.50.228node3ceph-mon，ceph-mgr，ceph-mds
浓黑的daidai·2024-09-07 11:05

部署EFK

1.安装JDK，配置JAVA环境2.安装配置Tomcat3.Tomcat配置说明4.启动Tomcat5.优化Tomcat启动速度四、配置Elasticsearch环境五、安装elasticsearch集群
m0_59430185·2024-09-07 10:35

大数据系列 | Kafka架构分析及应用

大数据系列|Kafka架构分析及应用1.消息系统介绍2.Kafka原理分析3.Kafka架构分析4.Kafka的安装与配置4.1.Zookeeper集群安装配置4.2.安装Kafka集群4.3.配置kafka
降世神童·2024-09-07 07:42

Python处理大数据，如何提高处理速度

一、利用大数据分析工具Dask：https://dask.org/Dask简介：Dask支持Pandas的DataFrame和NumpyArray的数据结构，并且既可在本地计算机上运行，也可以扩展到在集群上运行
RS&·2024-09-07 07:08

k8s｜组件基本概念

kubernetes是一个可移植的，可扩展的开源平台，是Google开源的容器集群管理系统（谷歌内部:Borg)，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。
yygr·2024-09-07 05:55

3. ceph-mimic版本部署

环境规划2、系统基础环境准备2.1关闭防火墙、SELinux2.2确保所有主机时间同步2.3所有主机ssh免密2.4添加所有主机解析3、配置ceph软件仓库4、安装ceph-deploy工具5、ceph集群初始化
Martin_wjc·2024-09-07 03:11

mysql连接oceanbase数据库集群+租户

useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTC//其他参数根据需求设置username:[用户名]@[租户名]#[集群名]password
AE_·2024-09-07 02:36

SpringBoot+Kafka+ELK 完成海量日志收集（超详细）

SpringBoot项目准备引入log4j2替换SpringBoot默认log，demo项目结构如下：pomIndexController测试Controller，用以打印日志进行调试InputMDC用以获取log中的[%X{hostName}]、[%X{ip}]、[%X{applicationName}]三个字段值NetUtil启动项目，访问/index和/ero接口，可以看到项目中生成了app
2401_83703797·2024-09-07 00:25

Kafka Broker处于高负载状态（例如消息处理量大或系统资源不足），无法及时响应消费者的请求

Causedby:org.apache.kafka.common.errors.TimeoutException:Timeoutof60000msexpiredbeforethepositionforpartitionactivity
战族狼魂·2024-09-06 22:42

为什么需要分布式数据库

令人“头都大了”的分库分表中间件10多年前阿里因此原因不得不把淘宝后台系统从OracleRAC切换到数百个MySQL集群构成的分库分表集群，不过那时的淘宝仅仅使用一个分库分表中间件，名为tddl（又名：
KunlunBase 昆仑数据库·2024-09-06 21:08

Kafka 常用的传输和序列化数据方式

Kafka常用的传输和序列化数据方式。不同的方式有不同的优缺点，选择哪种方式通常取决于具体的应用场景、性能要求、数据兼容性需求等。
傲雪凌霜，松柏长青·2024-09-06 21:38

如何搭建一个渲染农场

在影视特效、动画制作、建筑设计等领域，渲染农场作为高性能计算集群的应用，扮演着至关重要的角色。它通过将大量的渲染任务分配到多个计算节点上并行处理，极大地提升了渲染效率，缩短了项目周期。
炫云云渲染·2024-09-06 20:01

在Conda环境中高效使用Kubernetes：跨平台容器化实践指南

本文将探讨如何在Conda环境中使用Kubernetes，包括设置Conda环境、容器化应用程序以及在Kubernetes集群中部署和管理这些应用程序。
liuxin33445566·2024-09-06 20:59

redis cluster

文章目录节点CLUSTERMEET命令的实现槽指派传播节点的槽指派信息复制与故障转移故障检测故障转移选举新的主节点节点一个Redis集群通常由多个节点（node）组成，在刚开始的时候，每个节点都是相互独立的
黑夜无路人·2024-09-06 20:27

Kubectl：Kubernetes 的强大命令行工具

它就像是一位全能的指挥官，让用户能够与Kubernetes集群进行高效而直接的交互。无论是管理容器化应用的部署、监控资源的使用情况，还是处理故障排查等任务，kubectl都发挥着不可或缺的作用。
编程点滴·2024-09-06 19:55

kafka3.7.1 单节点 KRaft部署&测试发送和接收消息

一、环境准备kafka3.7.1包下载地址：https://mirrors.nju.edu.cn/apache/kafka/3.7.1/kafka_2.13-3.7.1.tgzopenjdk11.0.2
运维小弟| srebro.cn·2024-09-06 19:51

第04课：基于 Redis 的分布式缓存实现及加固策略

本文将从Redis-Cluster搭建切入，详解集群的创建原理和加固策略。之后，分析集群所存在的几种可靠性问题并给出解决方案，最后，介绍一个集群运维软件的实现方案。
Jin_Kwok·2024-09-06 18:13

027、架构_资源_GTM

系统级GTM：默认的GTM，当创建分片集群时，如果不创建实例级GTM，则会用系统级GTM本章节主要介绍GTM集群的新增、删除、配置、绑定等管理操作。
数哥·2024-09-06 18:41

PolarDB for PostgreSQL 内核解读：HTAP架构介绍

存储计算分离的架构基础上我们研发了基于共享存储的MPP架构步具备了HTAP的能力，对一套TP的数据支持两套执行引擎：单机执行引擎用于处理高并发的OLTPMPP跨机分布式执行引擎用于复杂的OLAP查询，发挥集群多个
阿里云技术·2024-09-06 16:28

81.MySQL-PXC高可用集群

[OK]当前集群只有一个节点。my
戒掉贪嗔痴(薛双奇)·2024-09-06 15:58

Kafka 如何保证消息不丢失

1、生产者1.1丢失原因：kafka生产端异步发送消息后，不管broker是否响应，立即返回，伪代码producer.send(msg)，由于网络抖动，导致消息压根就没有发送到broker端；kafka
阳光倾洒·2024-09-06 15:55

mysql8.0使用PXC实现高可用

使用PXC实现高可用1.概述官方文档:PerconaXtradbCluster8.0DocumentationPXC（PerconaXtraDBCluster）是一个开源的高可用性、高性能的MySQL集群解决方案
帽子运维笔记·2024-09-06 15:24

k8s安装test

k8s集群部署准备工作三台centos7虚拟机（内存每个节点4G）[root@master~]#cat/etc/redhat-releaseCentOSLinuxrelease7.9.2009(Core
qBeautifulBoy·2024-09-06 15:23

Kafka 如何保证数据不丢失？不重复

缺点：这样保证了高可用，但是这会导致集群的吞吐量不是很高，因为数据发送到broker之后，leader要将数据同步到fllower上，如果网
优秀后端工程师·2024-09-06 15:23

MySQL 高可用--PXC

1.PXC(PerconaXtradbCluster)Percona：基于MySQL数据库已二次开发的数据库产品xtradb：存储引擎Cluster：集群1.1概念：PXC是属于一套比较完美的MySQL
行走的猫儿·2024-09-06 15:52

【Kafka专栏 11】深入理解Kafka的网络线程模型：是谁在幕后“操纵”数据流？

作者名称：夏之以寒作者简介：专注于Java和大数据领域，致力于探索技术的边界，分享前沿的实践和洞见文章专栏：夏之以寒-kafka专栏专栏介绍：本专栏旨在以浅显易懂的方式介绍Kafka的基本概念、核心组件和使用场景
夏之以寒·2024-09-06 14:16

Spark一些个人总结

一、Spark是什么Spark是一个用来实现快速，通用的集群
易逑实战数据·2024-09-06 09:39

如何查看当前的gruop_id 的kafka 消费情况 这个可以查看到是否存在消费阻塞问题

如何查看当前的gruop_id的kafka消费情况这个可以查看到是否存在消费阻塞问题命令如下:/kafka/bin/kafka-consumer-groups.sh--bootstrap-server127.0.0.1
树下水月·2024-09-06 08:02

kafka单机安装

kafka单机安装下载地址官网：https://kafka.apache.org/最新版本下载页面：https://kafka.apache.org/downloads说明版本选择：3.0.0，kafka
shuair·2024-09-06 08:02

Kafka-设计原理

ControllerLeader-PartitionRebalance消息发布机制HW与LEO日志分段ControllerKafka核心总控制器Controller：在Kafka集群中会有一个或者多个broker
姜希成·2024-09-06 07:59

Spark与Kafka进行连接

在Java中使用Spark与Kafka进行连接，你可以使用SparkStreaming来处理实时流数据。以下是一个简单的示例，展示了如何使用SparkStreaming从Kafka读取数据并进行处理。
傲雪凌霜，松柏长青·2024-09-06 07:27

Kafka

Kafka是一个高性能的分布式消息队列系统，最初由LinkedIn开发，后来成为Apache软件基金会的一部分。Kafka设计用于处理大规模的数据流，提供高吞吐量、低延迟的消息传递机制。
傲雪凌霜，松柏长青·2024-09-06 07:57

Python 全栈系列266 Kafka服务的Docker搭建

测试也接近了kafka官方标称的性能。考虑到网络、消息的大小等因素，可以简单认为kafka的速度是10万/秒级的。
yukai08008·2024-09-06 06:26

芯擎SEC1000支持摄像头和屏幕的数量根据分辨率和帧率详细计算

1.CPU集群4×Cortex-A76和4×Cortex-A55:Cor
空间机器人·2024-09-06 06:53

k8s pod container内存指标说明

一、问题描述我司平台研发的devops平台底层采用k8s实现，k8s自带cadvisor进行集群指标收集，根据官网，我们选用了container_memory_working_set_bytes（容器的工作集使用量
yifeiliu338·2024-09-06 04:43

python分布式集群ray_GitHub - Leesire-Python/jd_spider: 两只蠢萌京东的分布式爬虫.

实现scrapy-redis对进行url的去重以及调度，利用redis的高效和易于扩展能够轻松实现高效率下载：当redis存储或者访问速度遇到瓶颈时，可以通过增大redis集群数和爬虫集群数量改善版本支持现在支持
weixin_39781930·2024-09-06 00:17

云计算之云数据库

云数据库：架构在云端数据库集群上，通过云服务的方式让关系型数据库的可靠性更高，免去繁琐的维护工作，节约硬件成本，其具备以下特点：云数据库特点：1：管理方便：可以自动备份、弹性扩展。
weixin_34320724·2024-09-06 00:17

Canal同时监控两个mysql的binlog并同步至一个topic中

准备:安装canal(博主canal版本1.1.5)安装kafka,做接收binlog日志数据用(博主kafka版本2.11)安装两个msyql,相当于两个mysql数据库(博主mysql版本5.1.0
梦见伊兮伊不觉·2024-09-06 00:45

canal-adapter消费Kafka中MySQL的binlog数据，却没有同步更新Elastic search

背景在同步MySQL数据到ES的场景中，选择了canal组件同步数据。问题描述在同步的时候发现canal-adapter中canal-adapter/conf/es7/product.yml配置文件中sql语句连表查询的时候会出现无法更新Elasticsearch中数据的情况，而且日志没有提示异常（idea启动的时候有错误日志），令人百思不得其解。问题分析初步估计是内部解析yml的时候出错了，但具
iiopsd·2024-09-06 00:42
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他