kafka消息队列golang 第32页

Kafka与RocketMQ性能对比大揭秘

在双十一过程中投入同样的硬件资源，Kafka搭建的日志集群单个Topic可以达到几百万的TPS，而使用RocketMQ组件的核心业务集群，集群TPS只能达到几十万TPS，这样的现象激发了我对两者性能方面的思考

Java柱柱·2024-01-31 07:21

构建高效可靠的消息队列系统：设计与实现

集群搭建1.1DockerCompose配置示例2.容错和恢复2.1异常检测与自动故障迁移2.2SpringBoot代码示例3.心跳检测4.优雅关闭2.2、持久性1.生产者消息持久化2.队列的持久化3.消息队列的持久化总结

喔的喔的嘛呀·2024-01-31 07:31

【Kafka】服务器Broker与Controller详解

Broker概述Broker总体工作流程Broker重要参数Controller为什么需要Controller具体作用数据服务Leader选举选举流程脑裂问题羊群效应触发leader选举Broker概述Kafka

Ethan-running·2024-01-31 06:59

golang给图片添加文字水印

pdfimport("bytes""github.com/pdfcpu/pdfcpu/pkg/api""github.com/pdfcpu/pdfcpu/pkg/font""github.com/pdfcpu/pdfcpu/pkg/pdfcpu/model""github.com/pdfcpu/pdfcpu/pkg/pdfcpu/types""github.com/pdfcpu/pdfcpu/pk

HardCorePlayer·2024-01-31 06:20

golang实现pdf中自动换行的表格

需要用到的库：jung-kurt/gofpdf由于CellFormat方法不支持\n换行，会被变成乱码，MultiCell方法会自动将坐标定位到下一行。所以需要自己实现坐标的计算变换。通过Rect方法画出单元格，MultiCell方法在格内自动换行写字，在计算坐标重复写单元格，最终组成一行。参考ExampleFpdf_Rect()实现自动换行的表格import"github.com/jung-ku

HardCorePlayer·2024-01-31 06:01

Java教程：Rabbitmq监听器，用于监听topic类型消息队列，并进行业务处理

本章介绍如何使用Rabbitmq监听器，用于监听topic类型消息队列，并进行业务处理源码：importcn.hutool.json.JSONUtil;importcom.alibaba.fastjson.JSONObject

首席摸鱼师·2024-01-31 06:19

golang：beego的简单介绍和TiDB数据库的客户端实现

查阅官方文档和源码可以知道，beego库中有一个orm包负责数据库接口的封装。这个包支持若干个数据库引擎：看到了一个文档，对ORM(Object-RelationalMapping)这个东西解释得比较清楚：具体的客户端实现见下：packagemainimport("github.com/beego/beego/v2/client/orm"//don'tforgetthis_"github.com/

PenguinLeee·2024-01-31 05:20

go 安装后 VScode 安装go插件失败，只要三条命令搞定

传送门mkdir-p$env:GOPATH/src/golang.org/x/cd$env:GOPATH/src/golang.org/x/gitclonehttps://github.com/golang

qq254085850·2024-01-31 05:16

Zookeeper实现分布式队列

目录Zookeeper分布式队列普通方式实现设计思路具体实现使用Curator实现具体实现注意事项Zookeeper分布式队列常见的消息队列有:RabbitMQ，RocketMQ，Kafka等。

山鸟与鱼！·2024-01-31 05:33

spring boot 使用 Kafka

一、Kafka作为消息队列的好处高吞吐量：Kafka能够处理大规模的数据流，并支持高吞吐量的消息传输。持久性：Kafka将消息持久化到磁盘上，保证了消息不会因为系统故障而丢失。

奋力向前123·2024-01-31 03:20

golang 通过 Redis GEO 实现 LBS 功能

LBS基于位置的服务（LocationBasedServices，LBS），是利用各类型的定位技术来获取定位设备当前的所在位置，通过移动互联网向定位设备提供信息资源和基础服务。LBS首先读者可利用定位技术确定自身的空间位置，随后读者便可通过移动互联网来获取与位置相关资源和信息。LBS服务中融合了移动通讯、互联网络、空间定位、位置信息、大数据等多种信息技术，利用移动互联网络服务平台进行数据更新和交互

hwholiday·2024-01-31 02:07

Python JoinableQueue控制进程之间同步

以下demo可以很好的理解JoinableQueue的用法"""JoinableQueue消息类必须在消息队列内的任务被消费（get）时，使用task_down()方法发送被消费信号"""frommultiprocessingimportProcess

FY_2018·2024-01-31 02:36

WTF 使用指南：自制高逼格终端仪表盘

本文演示环境为Windowsx64，Golang版本为1.14。简介WTF是一个Golang开发的终端仪表盘工具。通过WTF，我

Xpitz·2024-01-31 01:58

Golang标准库——runtime

runtimeruntime包提供和go运行时环境的互操作，如控制go程的函数。它也包括用于reflect包的低层次类型信息；参见》reflect报的文档获取运行时类型系统的可编程接口。EnvironmentVariables下面的环境变量（$name或%name%，这依赖于主机的操作系统）控制go程序的运行时行为。它们的含义和用法可能在各发行版之间改变。环境变量GOGC设置最初的垃圾收集目标百分

DevilRoshan·2024-01-31 01:53

双创竞赛项目申报：Java + Spring Boot的实战指南

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！

计算机编程指导师·2024-01-31 00:34

Java与Vue：打造高效车联网位置信息管理系统

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！

计算机编程指导师·2024-01-31 00:32

10分钟将你的Go工程转换为Go Module模式

自从在Go1.11和高版本中引入了Go的新管理系统以来，GoLang开发人员已经接受了包版本控制解决方案。

JFrog·2024-01-30 23:53

【Linux】匿名管道 | 命名管道

进程间的通信分类管道匿名管道pipe命名管道SystemVIPCSystemV消息队列SystemV共享内存SystemV信号量POSIXIPC消息队列共享内存信号量互斥量条

深度搜索·2024-01-30 23:58

记录一下Golang语言第一段代码！

1.DOS操作系统--Microsoft公司推出的操作系统。(在windows之前的操作系统)--DOS是英文"DiskOperatingSystem"的缩写,其中文含意是”磁盘操作系统”--DOS是单用户、单任务的操作系统.(只能执行一个任务)2.DOS命令-在windows中，我们通过鼠标菜单等来操作系统，而在dos操作系统中，要通过dos命令来操作系统，-是DOS操作系统的命令，是一种面向磁

小龙在慢慢变强..·2024-01-30 23:25

Redis持久化机制

一、Redis持久化简介Redis（RemoteDictionaryServer）是一个高性能的键值对（key-value）存储系统，通常用作数据库、缓存和消息队列等。

无问287·2024-01-30 23:23

【Kafka系列】生产级集群参数配置

Hyatt1024·2024-01-30 23:44

【Kafka系列】Kafka副本机制详解

目录1.前言2.副本定义3.副本角色4.In-syncReplicas（ISR）5.Unclean领导者选举（UncleanLeaderElection）6.小结1.前言所谓的副本机制（Replication），也可以称之为备份机制，通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝。副本机制有什么好处呢？提供数据冗余。即使系统部分组件失效，系统依然能够继续运转，因而增加了整体可用性以及

Hyatt1024·2024-01-30 23:44

【Kafka系列】Kafka线上集群部署方案

目录前言操作系统磁盘磁盘容量带宽小结前言Kafka线上集群部署方案怎么做？既然是集群部署，那必然就要有多个Kafka节点机器，且需要仔细地考量各种因素，结合自身的业务需求而制定。

Hyatt1024·2024-01-30 23:13

RabbitMQ的安装及使用

1AMQP协议AMQP,即AdvancedMessageQueuingProtocol，一个为进程之间提供统一异步消息传递服务的应用层标准高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计

嫣夜来·2024-01-30 22:52

RabbitMQ 安装和使用

一.简介1.MQ概述MQ全称MessageQueue（[kjuː]）（消息队列），是在消息的传输过程中保存消息的容器。多用于分布式系统之间进行通信。

前行@·2024-01-30 22:21

RabbitMQ安装及使用讲解

RabbitMQ是一个开源的消息队列系统，它能够让你轻松地构建分布式、可扩展和可靠的应用程序。

不爱敲代码吖·2024-01-30 22:20

RabbitMQ、Kafka、RocketMQ 是如何实现高可用的？

本文从高可用的角度观察一下RabbitMQ、Kafka、RocketMQ，看看它们各自的实现思路。

SlowGO·2024-01-30 22:03

Kafka常见问题

1.Kafka介绍Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。

头未秃·2024-01-30 21:48

kafka常见参数配置

Broker端参数auto.create.topics.enable：是否允许自动创建Topic。建议最好设置成false，即不允许自动创建Topic。线上环境里面有很多名字稀奇古怪的Topic，大概都是因为该参数被设置成了true的缘故。unclean.leader.election.enable：是否允许UncleanLeader选举。关闭UncleanLeader选举的。何谓Unclean？

YYangBBB·2024-01-30 21:48

Kafka 常见问题

Kafka常见问题1.什么是分布式？2.什么是Kafka？3.为什么用Kafka（使用消息队列的好处）？4.消息队列的两种模式？5.Kafka的组成（架构）？

斯沃福德·2024-01-30 21:47

Kafka常见配置

producer.properties配置acks消息确认机制，ack可配置为三种:0,1,-1(all)，默认为1acks=0，producer端发送消息后，不管broker的副本是否成功收到消息，producer端都认为发送成功。优点：时延最小，缺点：有消息丢失风险，如果消息生产成功后在发送过程中leader异常，则消息丢失。可靠性低，leader收到消息后，如果同步到其他follower过程

Jessie_hhhhhzy·2024-01-30 21:17

Kafka常见参数

参数名含义默认值解释max.request.size生产端：最大请求字节大小1MB如果生产请求消息体大小大于该值，客户端生产时会报错max.poll.records消费端：一次poll()请求最大拉取消息条数500条如果单条消息处理时间长，需要减少该参数值，反之增加fetch.min.bytes消费端：一次poll()请求最小返回字节大小1增加该值可以提高吞吐量，同时也会产生一定延迟fetch.m

沉默终止·2024-01-30 21:46

kafka学习笔记一

目录第一章初识Kafka一、kafka的作用二、kafka架构三、分区&日志四、生产者&消费者五、kafka高性能之道总结：kafka读写性能高的原因？

薛薛哦·2024-01-30 21:56

kafka学习笔记二

课程地址：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）_哔哩哔哩_bilibili讲解版本：kafka3.x；时长13小时官网：ApacheKafkaKafka2.8.0以后也可以配置不采用

薛薛哦·2024-01-30 21:25

kafka集群搭建需要做的事情

首先，虚拟机克隆好之后的步骤如下：1.修改IP、主机名，关闭防火墙；（reboot重启）2.在/etc/hosts文件中进行IP与主机名的映射配置，集群中每天都记得配置；3.安装JDK并进行分发；进入/etc/profile.d/目录创建my_env.sh文件并在其中配置JAVA_HOME并进行分发；（分发jdk前先卸载自带的jdk）；4.安装zookeeper并进行分发，具体为：首先，在zook

薛薛哦·2024-01-30 21:24

一碰就头疼的 Kafka 消息重复问题，立马解决！

一碰就头疼的Kafka消息重复问题，立马解决！

一名技术极客·2024-01-30 20:13

RabbitMQ学习（一）AMQP协议

一、RabbitMQ简介MQ全称为MessageQueue,是一种分布式应用程序的的通信方法，它是消费-生产者模型的一个典型的代表，producer往消息队列中不断写入消息，而另一端consumer则可以读取或者订阅队列中的消息

kobe0429·2024-01-30 19:43

golang日常开发系列之一--defer的那些坑

后端技术小屋·2024-01-30 19:17

Golang学习笔记之接口(interface)

接⼝是⼀个或多个⽅法签名的集合，任何类型的⽅法集中只要拥有与之对应的全部⽅法，就表⽰它"实现"了该接⼝。所谓对应⽅法，是指有相同名称、参数列表(不包括参数名)以及返回值。当然，该类型还可以有其他⽅法。•接⼝命名习惯以er结尾，结构体。•接⼝只有⽅法签名，没有实现。•接⼝没有数据字段。•可在接⼝中嵌⼊其他接⼝。•类型可实现多个接⼝。•引用类型•实现接口不需要显式的声明，只需实现相应方法即可•多个类型

学生黄哲·2024-01-30 19:57

Idea 创建Golang项目

创建go项目配置golang命令行执行gomodinitmain执行gorunmain.go

鲁尼的小宝贝·2024-01-30 19:29

使用idea2019 创建GO项目

1、搭建Go语言开发环境（1）安装goSDK下载go安装包并安装下载地址：Go下载-Go语言中文网-Golang中文社区也可以使用idea直接加载安装（2）Go配置（a）设置go环境变量GOROOT为go

J_bean·2024-01-30 19:56

Linux：理解信号量以及内核中的三种通信方式

文章目录共享内存的通信速度消息队列msggetmsgsndmsgrcvmsgctl信号量semgetsemctl内核看待ipc资源单独设计的模块ipc资源的维护理解信号量总结本篇主要是基于共享内存，延伸出对于消息队列和信号量

海绵宝宝de派小星·2024-01-30 19:26

idea创建golang项目

目录1、设置环境2、创建项目3、设置项目配置4、初始化项目5、安装本项目的外部依赖包6、运行项目7、访问页面查看结果1、设置环境1启用GoModules功能goenv-wGO111MODULE=on2.阿里云goenv-wGOPROXY=https://mirrors.aliyun.com/goproxy/,direct上述命令中，https://mirrors.aliyun.com/goprox

顿悟树下你和我·2024-01-30 19:55

golang版本使用令牌桶算法来实现限流的策略

代码packagemainimport("fmt""sync""time")//令牌桶结构体typeTokenBucketstruct{tokenschanstruct{}ratetime.Duration//桶容量limitint}//创建令牌桶funcNewTokenBucket(ratetime.Duration,limitint)*TokenBucket{return&TokenBucke

micro_cloud_fly·2024-01-30 18:40

saltstack——大型环境自动化运维工具

saltstack依赖于zeromq消息队列，采用yaml格式编写配置文件，比较简单。支持api及自定义python模块，能

KFC质检员·2024-01-30 18:22

Redis & Nosql 概述

前言这个系列要讲的是几乎所有互联网公司都在使用的Redis，Redis适用于挺多的业务场景，比如会话存储、数据分析、消息队列、缓存等。

邹志全·2024-01-30 18:24

云原生学习路线导航页（持续更新中）

云原生学习路线导航页（持续更新中）本文作为云原生学习系列文章的导航页，内容实时更新，笔者会对其中列出的每一项，进行学习并整理成文章，敬请期待1、形成对云原生的基本认识2、golang学习2.1.golang

格桑阿sir·2024-01-30 17:02

Golang知识点总结

数据结构ContextContext的调用链：和链表有点像，只是它的方向相反：Context指向它的父节点，链表则指向下一个节点重要概念：（源码位置：src/context/context.go)主要的context结构：emptyCtx，cancelCtx，timerCtx，valueCtxparentCancelCtx(parentContext):往上寻找第一个可以cancel的contex

JYCJ_·2024-01-30 17:01

知识点积累系列（一）golang语言篇【持续更新】

云原生学习路线导航页（持续更新中）本文是知识点积累系列文章的第一篇，记录golang语言相关的知识点1.结构体的mapstructure是什么mapstructure:"default"mapstructure

格桑阿sir·2024-01-30 17:29

RabbitMQ安全防护，加固策略

RabbitMq简介中间件简介消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题实现高性能，高可用，可伸缩和最终一致性[架构]使用较多的消息队列有ActiveMQ（安全）

中年程序员一枚·2024-01-30 17:27

推荐频道

kafka消息队列golang