kafka消息队列golang

Kafka3.0 消费者事务与数据积压

消费者事务如果想完成Consumer端的精准一次性消费，那么需要Kafka消费端将消费过程和提交offset过程做原子绑定。
Alienware^·2024-01-20 22:53

kafka数据积压语句查询记录

/kafka-consumer-groups.sh--bootstrap-server192.168.45.79:9092--list查看某些消费组是否积压.
飞鸟还巢·2024-01-20 22:23

Spark Streaming通过receiver方式消费kafka数据时数据积压问题

1.问题在通过receiver方式接受kafka消息时，发现有大量消息在队列中阻塞最终导致spark任务执行失败。
sinat_36710456·2024-01-20 22:23

kafka消费组数据积压导致节点挂掉解决办法

前提Kafka运行一段时间后，容易出现节点挂掉的情况。排查原因是:存在多个由zookeeper命令创建的消费组，里面消息没有进行消费，导致数据积压，从而导致kafka节点挂掉。导致原因.
恒星0915·2024-01-20 22:22

消费数据积压

生产者生产数据的速度超过消费者处理数据的速度,会造成kafka中积压大量未处理的数据2-1使用KafkaEagle查看消费积压KafkaEagle是一个用于监控和管理kafka的开源组件，可以同时监控多个
中长跑路上crush·2024-01-20 22:21

Kafka消息数据积压如何处理

可以从两方面考虑：1、如果是Kafka消费能力不足，则可以考虑增加Topic的分区数（一般一个Topic分区数为3-10个），并且同时提升消费组的消费者数量，消费者数==分区数。
AlbenXie·2024-01-20 22:21

消息队列介绍

什么是MQMQ(messagequeue)，本质是个队列，FIFO先入先出，只不过队列中存放的内容是message而已，还是一种跨进程的通信机制，用于上下游传递消息。在互联网架构中，MQ是一种非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务。使用了MQ之后，消息发送上游只需要依赖MQ，不用依赖其他服务。为什么要用MQ1.流量消峰如一个订单系统最多能处理一万次订单，当请求量超过最大请求量时，系统
Alonzo de blog·2024-01-20 22:38

Gin之gin介绍和安装

Gin是一个用Go(Golang)编写的HTTPweb框架。它是一个类似于martini但拥有更好性能的API框架，由于httprouter，速度提高了近40倍。如果你需要极好的性能，使用Gin吧。
242030·2024-01-20 22:26

一文了解消息队列MQ（超详细+干货满满）

原文章链接：消息队列MQ快速入门（概念、RPC、MQ实质思路、队列介绍、队列对比、应用场景）_zmqrpc-CSDN博客基本定义：MQ是一种进程间通信或同一进程的不同线程间的通信方式，队列就是一个消息容器
GeekInk小火龙·2024-01-20 21:56

golang利用redis和gin实现保存登录状态,校验登录

保存用户登录状态，一般常用的方式有两种一、生成token，然后token保存到数据库用户表里面，每次登录的时候，自动更新，容纳后每次用的时候，去取出来校验，这种方式，数据库压力大，而且不是很灵活二、每次登录生成token，然后token保存到Redis缓存中，每次都去校验，不仅快速，而且，数据库压力也小1.启动时候，加载Redis项2、Redis（附带参数文件）前期准备工作好之后1、路由，利用路由
牧童牵黄牛·2024-01-20 20:09

使用Python基于metricbeat和heartbeat采集数据进行告警

一、系统架构IP主机名角色备注11.0.1.11kafka1kafka和MySQL11.0.1.12kafka2kafka11.0.1.13kafka3kafka11.0.1.14demo1metricbeat
你说咋整就咋整·2024-01-20 19:25

MeterSphere本地化部署实践

JDK11，配置好JDK环境，系统同时支持JDK8和JDK11安装IEAD，配置JDK环境配置maven环境,IDEA配置(解压可以直接使用)无限重置IDEA试用期配置redis环境(解压可以直接使用)配置kafka
小李广·2024-01-20 19:24

【Golang实现文件服务器】（二）图片去重与缩略图功能

距离第一次写这个文章已经很久了。这段时间里基于常用的应用场景，进一步丰富了文件服务器的功能。主要做了如下工作：现在可以自动检查重名文件是否重复，并自动重命名。现在可以提供三种缩放方式获取缩略图优化了代码结构很惭愧，就做了这三个微小的工作。###文件去重基于现有的应用场景，首先要求便于部署，其次对存储效率及性能要求不高。在此前提下不适用适用数据库的方式管理文件。所以去重工作仅限于重名相同文件的去重与
weixin_34228662·2024-01-20 19:40

Go 常见报错 - VsCode运行go：go.mod file not found

与golang的包管理有关  如果你是Windows系统，打开dos界面，输入以下命令goenv-wGO111MODULE=autot  GO111MODULE是Go1.11引入的新版模块管理方式。  
Adorable老犀牛·2024-01-20 19:54

java kafka client_Kafka Client API 基本使用

之前讲过了[Kafka基本概念及原理][1]，这次我们来看看KafkaClient的API。要使用KafkaClient的API，首先需要先部署Kafka集群，部署过程请参见[官网][2]。
沈逸老师·2024-01-20 18:00

Kafka consumer group位移重设

本文阐述如何使用Kafka自带的kafka-consumer-groups.sh脚本随意设置消费者组(consumergroup)的位移。
zxfBdd·2024-01-20 18:30

Kafka查看topic、consumer group状态命令

1，查看kafkatopic列表，使用–list参数bin/kafka-topics.sh--zookeeper127.0.0.1:2181--list2，查看kafka特定topic的详情，使用–topic
mhbsoft·2024-01-20 18:29

Kafka常用命令

文章目录启动Kafka并生产消费消息查看修改topic、group命令启动Kafka并生产消费消息启动ZooKeeper#启动ZooKeeper$bin/zookeeper-server-start.shconfig
楓葉也·2024-01-20 18:29

【kafka】Kafka 1.1.0 consumer group位移重设

1.概述转载：https://www.cnblogs.com/huxi2b/p/7284767.html本文阐述如何使用Kafka自带的kafka-consumer-groups.sh脚本随意设置消费者组
九师兄·2024-01-20 18:29

67.基于控制流编程，优化Go代码可读性

文章目录一：简介二、代码整洁小技巧：基于控制流编程三、总结代码地址：https://gitee.com/lymgoforIT/golang-trick/tree/master/40-clean-code-controll-flow
百里守约学编程·2024-01-20 18:58

69.使用Go标准库compress/gzip压缩数据存入Redis避免BigKey

ConstantsVariablestypeHeadertypeReader三：代码实践1、压缩与解压工具包2、单元测试3、为何压缩后还要用base64编码代码地址：https://gitee.com/lymgoforIT/golang-trick
百里守约学编程·2024-01-20 18:58

kafka参数配置参考和优化建议 —— 筑梦之路

对于Kafka的优化，可以从以下几个方面进行思考和优化：硬件优化：使用高性能的硬件设备，包括高速磁盘、大内存和高性能网络设备，以提高Kafka集群的整体性能。
筑梦之路·2024-01-20 18:57

在控制台从指定时间戳消费kafka

1.重置消费位点${KAFKA_HOME}/bin/kafka-consumer-groups.sh\--bootstrap-server127.0.0.1:9092\--grouptest_group
Mathieu66·2024-01-20 18:57

Kafka Console Client 的 Consumer Group

以往使用kafka-console-consumer.sh消费Kafka消息时并没有太在意过ConsumerGroup，在命令行中也不会使用--group参数，本文针对KafkaConsoleClient
　Laurence·2024-01-20 18:26

处理积压消息

一、避免消息积压对于绝大多数使用消息队列的业务来说，消息队列本身的处理能力要远大于业务系统的处理能力。
滴流乱转的小胖子·2024-01-20 17:50

Golang 依赖管理

在go中有两个非常重要的环境变量：GOROOT：golang的安装路径，Linux下默认会安装在/usr/local/go之下GOPATH：存放SDK以外的第三方类库；收藏的可复用的代码，包含三个子目录
校长_x·2024-01-20 15:18

golang 主线程等待子线程执行完成

packagemainimport("fmt""sync")funcmain(){varwgsync.WaitGroupwg.Add(3)gofunc(){deferwg.Done()fmt.Println("线程1执行完成")}()gofunc(){deferwg.Done()fmt.Println("线程2执行完成")}()gofunc(){deferwg.Done()fmt.Println(
失去的青春---夕阳下的奔跑·2024-01-20 15:49

消息中间件之Kafka(一)

1.简介高性能的消息中间件，在大数据的业务场景下性能比较好，kafka本身不维护消息位点，而是交由Consumer来维护，消息可以重复消费，并且内部使用了零拷贝技术，性能比较好Broker持久化消息时采用了
coffee_babe·2024-01-20 15:15

kafka hang 问题记录

参考文档https://cloud.tencent.com/developer/article/18214779092端口端口9092通常与ApacheKafka关联。
~kiss~·2024-01-20 15:14

解决celery与kafka的联用问题

0X01背景大数据过滤、导入，用celery下发任务，任务内容为kafka生产一些数据。
LzSkyline·2024-01-20 15:25

使用golang对接微软Azure AI翻译

文章目录一、官方地址二、准备工作三、代码示例一、官方地址https://learn.microsoft.com/zh-CN/azure/ai-services/translator/translator-text-apis?tabs=go二、准备工作创建服务创建服务连接地址：https://portal.azure.com/#create/Microsoft.CognitiveServicesTe
李子木、·2024-01-20 14:10

4.Kafka消费过程

四、Kafka消费过程分析1.消费方式consumer采用pull（拉）模式从broker中读取数据。pull模式不足之处是，如果kafka没有数据，消费者可能会陷入循环中，一直返回空数据。
chongweiLin·2024-01-20 14:23

程序员~高级~消息队列

一、什么是消息队列MQ(MessageQuene):翻译为消息队列,通过典型的⽣产者和消费者模型,⽣产者不断向消息队列中⽣产消息，消费者不断的从队列中获取消息。
爱可2020·2024-01-20 13:13

Debezium发布历史75

audit-logs-with-kogito/欢迎关注留言，我是收集整理小能手，工具翻译，仅供参考，笔芯笔芯.使用Kogito进行审核日志的管理服务十月22,2019作者：MaciejSwiderski讨论示例apache-kafkakafka-streamskogito
大大蚊子·2024-01-20 13:13

Debezium发布历史77

欢迎关注留言，我是收集整理小能手，工具翻译，仅供参考，笔芯笔芯.使用Debezium连接器实现秘密外部化十二月13,2019作者：JiriPechanecmysql的秘密示例当Debezium连接器部署到KafkaConnect
大大蚊子·2024-01-20 13:43

Debezium发布历史71

audit-logs-with-change-data-capture-and-stream-processing/欢迎关注留言，我是收集整理小能手，工具翻译，仅供参考，笔芯笔芯.使用变更数据捕获和流处理构建审核日志2019年10月1日作者：GunnarMorling讨论示例apache-kafkakafka-str
大大蚊子·2024-01-20 13:41

Golang开发工具

Golang开发工具1.GolandGoland是一个Go语言IDE下载地址：https://www.jetbrains.com/go/download/#section=windows2.VSCode
风萧萧兮s·2024-01-20 13:31

开源文件清理工具 Czkawka v6.0.0 中文便携版

介绍Czkawka（tch•kav•ka（国际音标：[ʈ͡ʂkafka]），波兰语中的“打嗝”）是一个开源、简单、快速且免费的应用程序，可以从您的计算机中删除不必要的文件。
小虾米的互联网江湖·2024-01-20 12:12

【Flink】Flink1.12.0 FlinkSQL消费Kafka 使用 temporal join 关联维表Hive 最新分区数据 join 不上

文章目录1.概述2.场景12.1概述2.2解决1.概述2.场景12.1概述场景是这样的FlinkSQL消费kafka关联Hive维表最新分区刚开始我往Hive维表里筛了10条左右数据运行FlinkSQL
九师兄·2024-01-20 11:27

flume实现上传nginx日志到kafka

内置的可以满足当下我们的需求，这里选用source是TAILDIR，channel是SPILLABLEMEMORY，sink是org.apache.flume.sink.kafka.KafkaSink。
sf_www·2024-01-20 11:20

深入探讨生产环境中秒杀接口并发量剧增、负载过高的情况该如何应对？

：2.5优化事务范围：3.使用缓存技术3.1.选择合适的缓存系统：3.2.缓存热门商品信息：3.3.缓存热门商品列表：3.4.使用缓存刷新策略：3.5.使用缓存预热：4.异步处理订单4.1.选择合适的消息队列系
喔的 喔的嘛呀·2024-01-20 11:08

Go语言基础（Golang快速上手示例）

目录打包exeWindows打包Linux打包Mac打包赋值工程示例-文件解压工程示例-文字信息转发钉钉机器人(模块)打包exe下载golang安装包，msi文件简单安装https://go.dev/dl
Cy大秦·2024-01-20 11:23

Go语言基础突破（一）——基础语法快速上手

文章目录一、本次学习重点内容：二、详细知识点介绍：1、什么是Go语言特点：2、为什么字节跳动全面使用go语言:3、开发环境——安装Golang：4、推荐编辑器：VScode、Goland5、基础语法1、
爱打辅助的小可爱·2024-01-20 11:23

并发组件 | Go设计模式实战

嗯，Go设计模式实战系列，一个设计模式业务真实使用的golang系列。前言本系列主要分享，如何在我们的真实业务场景中使用设计模式。本系列文章主要采用如下结构：什么是「XX设计模式」？
TIGERB_Blog·2024-01-20 11:50

[面试题～]Golang

3.数组和切片3.1数组和切片的区别Go语言中数组是固定长度的，不能动态扩容，在编译期就会确定大小。切片是一种数据结构，包含一个底层数组的指针，当前切片个数len以及切片的最大容量cap，描述的是一块数组。3.2切片的扩容策略切片的扩容都是调用growslice方法，不同版本，扩容机制也有细微差距。Go1.17版本，切片在扩容时会进行内存对齐，这个和内存分配策略相关。进行内存对齐之后，新slice
程序员三木·2024-01-20 11:20

【Flink-CDC】Flink CDC 介绍和原理概述

FlinkSQLCDC的数据同步方案实践4.1.案例1:FlinkSQLCDC+JDBCConnector4.2.案例2:CDCStreamingETL4.3.案例3:StreamingChangestoKafkaCDC
bmyyyyyy·2024-01-20 10:27

100天精通鸿蒙从入门到跳槽——第8天：TypeScript 知识储备：泛型

《100天精通Golang》—Go语言学习之旅！《100天精通鸿蒙》—从Web/安卓到鸿蒙大师！
猫头虎·2024-01-20 10:23

python接收activemq服务器的消息，转发到另外两个activemq服务器消息中

pika是一个流行的AMQP（高级消息队列协议）客户端库，可以与ActiveMQ等消息代理进行交互。
三希·2024-01-20 10:51

大数据开发之Kafka（概述、快速入门、生产者）

第1章：Kafka概述1.1定义Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。
Key-Key·2024-01-20 10:39

Kafka 新版消费者 API（三）：以时间戳查询消息和消费速度控制

1.以时间戳查询消息(1)Kafka新版消费者基于时间戳索引消费消息kafka在0.10.1.1版本增加了时间索引文件，因此我们可以根据时间戳来访问消息。
CoderJed·2024-01-20 10:18
上一页 45 46 47 48 49 50 51 52 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他