Kafak

1.5 Go关于kafka的使用

kafaka非常好用的消息队列一堆好处，不废话上代码1.生产者packagemainimport("fmt""github.com/Shopify/sarama""log")funcmain(){//构建生产者
Goplayer王布斯·2023-09-06 10:01

Macos brew安装启动服务

@version启动mysql,并设置为开机启动brewservicesstartkafka关闭mysqlbrewservicesstopkafka重启mysqlbrewservicesrestartkafak
兔宰子·2023-09-03 08:26

新版kafka内置zookeeper配置单机版

本机安装kafak主机电脑ip地址为：192.168.171.130其中9092端口，为kafka自身内置端口；谨记此为新版kafka!!!!!!
洋洋洒洒_晨·2023-09-03 03:42

kafak消费数据，webSocket实时推送数据到前端

1.导入webSocket依赖org.springframework.bootspring-boot-starter-websocket2.编写webSocket类packagecom.skyable.device.config.webSocket;importlombok.extern.slf4j.Slf4j;importorg.springframework.stereotype.Compon
老友wan·2023-08-25 17:51

Flink-Basic API Concepts-overview

集合是由数据源构造出来的（如：文件，kafaktopic，或者本地内存中的集合等）。结果会返回给sink，sink可能代表着写入文件或者标准输出。
耳边的火·2023-08-24 12:50

Canal+MQ的顺序性问题

我们在通过Canal把MySQL的Binlog数据发送到MQ(kafak/rocketmq)时，需要关注mq的顺序性问题。
风筝flying·2023-08-23 11:06

kafka读写速度快的原因

kafak读写速度快的原因：一：生产者写入数据kafka会把收到的消息都写入到硬盘中，它绝对不会丢失数据，为了优化写入速度kafka采用了两个技术：顺序写入和内存映射文件1.顺序写入磁盘读写有两种方式，
lol、蜗牛·2023-08-18 23:01

Kafka消息订阅发布系统设计介绍

转http://hi.baidu.com/wupengwuhao/blog/item/b836e8c4985a8122f8dc61b7.htmlKafka学习总结一、Kafaka简介Kafka是一个分布式的消息发布
iteye_5347·2023-08-11 06:56

分布式 - 消息队列Kafka：Kafka生产者发送消息的3种方式

文章目录1.Kafka生产者2.kafaka命令行操作3.Kafka生产者发送消息流程4.Kafka生产者发送消息的3种方式1.发送即忘记2.同步发送3.异步发送5.Kafka消息对象ProducerRecord1
我一直在流浪·2023-08-10 07:26

手把手教你 在linux上安装kafka

准备服务器2.选一台服务器配置kafka安装包2.1下载安装包2.2解压安装包2.3修改配置文件3.分发安装包到其他机器4.修改每台机器的broker.id5.配置环境变量6.启停kafka服务6.1启动kafak
广阔天地大有可为·2023-08-10 05:00

librdkafka poll等问题

4.打印librdkafka的默认配置参数5.一次librakafak写kafka效率问题排查历程1.librdkafka中producer的poll是干什么用的？
疼疼国王·2023-08-08 22:27

java人脸识别开源算法，就是这么简单

目录Kafka的基本介绍Kafka的设计原理分析Kafka数据传输的事务特点Kafka消息存储格式副本（replication）策略Kafka消息分组，消息消费原理Kafak顺序写入与数据读取消费者（读取数据
Java后端面试题大全·2023-08-03 01:37

kafka部署

1.kafka安装部署1.1kafaka下载https://archive.apache.org/dist/kafka/2.4.0/kafka_2.12-2.4.0.tgzBinarydownloads
weixin_44815878·2023-08-02 10:49

增加配置logback.xml解决kafka生产者、消费者不停打印日志问题

增加配置logback.xml解决kafka生产者、消费者不停打印日志问题pom.xml引入kafak依赖，增加配置logback.xml，设置日志级别，解决kafka生产者、消费者不停打印日志问题org.apache.kafkakafka-clients
最笨的羊羊·2023-08-02 08:18

kafka单机安装

kafaka安装一、下载https://kafka.apache.org/27/documentation.html使用请直接查看官网：https://kafka.apache.org/27/documentation.html
liurongming·2023-07-31 23:16

golang入门笔记—kafka

LogAgent的工作流程：1.读日志——tailf第三方库2.往kafka中写日志–sarama第三方库kafka参考网站介绍：Kafaka是一个分布式数据流平台，可以运行在单台服务器上，也可以在多台服务器上部署形成集群
小张同学该努力了·2023-07-31 08:50

Flink流处理api之sink

sink来完成通过这样的形式来完成任务的输出操作stream.addSink(newMySink(xxxxxx));当然Flink官网也集成了一些sink的框架其中官方的有还有ApacheBahir下面的kafaksink
Sakura_❀_·2023-07-26 03:30

搜集了一些题

kafak的话需要将顺序消费的消息通过指定分区策略发送到指定的partition中如果了解rocketMq的话,可以顺带一句,rkmq自带顺序消息功能,分为全局顺序和局部顺序消息,一般情况下都采用局部顺序消
乐观的Terry·2023-07-25 22:07

Kafka学习(1)基础和搭建

kafka基础：(1)kafaka与其他的消息系统一样，发送的也是序列化的对象，比如String，和经过序列化处理的对象(2)消息类型：Queue：队列，点对点的消息类型topic：主题，群发消息(3)
枣泥馅·2023-07-22 14:49

Kafka极速部署与使用(Windows环境)

解压以后目录如下：folder可以看到，有一个bin下面有一个windows目录，这里提供可以在windows中运行的bat文件2.然后到kafak/config目录下，设置zookeeper端口。
火眼red·2023-07-20 21:20

Kafka

注意：kafak是用scala语言编写的。1.2Kafka适合什么样的场景?它可以用于两大类别的应用:构造实时流数据管道
daiwei-dave·2023-07-16 02:21

【大物联网技术干货】如何将物联网数据从设备连接到Kafka集群？

一关于kafaka的特点1实时流ApacheKafka是一个实时流平台，在大大小小的组织中得到了广泛的采用。
牵牛刘先生·2023-07-15 01:52

Flink 版本数据湖(hudi)实时数仓---flinkcdc hudi kafak hive

1.架构图2.实现实例2.1通过flinkcdc的两张表合并成一张视图，同时写入到数据湖(hudi)中同时写入到kafka中2.2实现思路1.在flinksql中创建flinkcdc表2.创建视图(用两张表关联后需要的列的结果显示为一张速度)3.创建输出表，关联Hudi表，并且自动同步到Hive表4.查询视图数据，插入到输出表--flink后台实时执行2.3pom文件需要的类wudl-hudiwu
wudl5566·2023-06-16 15:35

美的中间件面试（部分）

用redis有遇到过大key问题吗，怎么解决我介绍项目中用异步解耦的思路来从mysql同步数据到redis，具体就是binlog+kafaka。
qq_23204557·2023-06-16 06:13

RocketMq和Kafka对比

为了优化写入速度Kafak采用了两个技术，顺序写入和MMFile。顺序写入：因为硬盘是机械结构，每次读写都会寻址->写入，其中寻址是一个“机械动作”，它是最耗时的。
想飞的盗版鱼·2023-06-10 16:15

微服务（Microservices）--Basic

简单来说，就是将一个系统按业务划分成多个子系统，每个子系统都是完整的，可独立运行的，子系统间的交互可通过HTTP协议进行通信（也可以采用消息队列来通信，如RoocketMQ，Kafaka等）。
LtMamba·2023-06-09 20:21

Centos7系统部署搭建Kafka集群

kafka集群搭建一、环境准备1.1服务器准备1.2版本信息1.3启动kafka环境1.3.1获取kafka1.3.2启动kafka1.3.2.1kafka&&ZooKeeper1.3.2.2kafak
timi先生·2023-06-09 00:09

Kafka删除topic

/bin/kafka-topics--delete--zookeeper【zookeeperserver】--topic【topicname】如果kafaka启动时加载的配置文件中
但行益事莫问前程·2023-04-21 09:25

Hudi集成Flink-写入方式

1.2.1、创建mysql表1.2.2、将binlog日志写入kafka1、使用mysql-cdc监听binlog2、kafka作为sink表3、写入sink表1.2.3、将kakfa数据写入hudi1、kafak
宝哥大数据·2023-04-21 00:31

kafka

kafka消息队列使用消息件：肖峰，解耦和，扩展，异步kafaka是一个分布式的消息引擎支持发布/订阅消息多个分区，提高并发能力消息持久化到磁盘topic主题Kafka通过topic对消息进行归类。
这是给你机会向·2023-04-18 00:41

Reactor模型在库存指令模块中的运用

Reactor是一种高性能网络模型，在netty、redis、nginx、kafaka、memcached等重要组件，以及唯品会自研的OSP框架都有应用，Reactor模型在提升性能和解耦方面都做得非常好
软件开发随心记·2023-04-17 13:44

kafaka学习

kafaka消息队列：通常用来解决一个进程内，多线程环境下，资源竞争的问题；但是消息队列的锁的粒度太大了，需要进行拆分消息队列中间组件一个进程中，同时存在生产者、消费者、消息队列，在分布式系统中，需要把消息队列拆分出来
曾格0·2023-04-16 12:48

Spring Cloud Stream 结合rocketmq

alibaba/spring-cloud-alibaba/wiki/RocketMQ你可以在这个地址上下载到相关示例项目，配置项等相关信息spring-cloud-stream文档（这个地址似乎只有集合kafaka
sry1201·2023-04-15 02:18

高性能分布式消息系统 —— Kafka

一、背景和简介1、什么是kafaka  对于一个初创公司，系统架构非常简单，面向客户有个数据源系统（SourceSystem），数据会被汇聚到目标系统（TargetSystem），只需要有一个整合环境即可
小胡_鸭·2023-04-10 07:35

SpringCloud基本的思想

SpringCloud3.1.简介3.2基本思想Springboot是一个身怀绝技的武林高手，能上九天揽月下五洋捉鳖，反正就是牛b，他喜欢结交武林各路英雄豪杰，有MyBatis、Redis、RabbitMQ、Kafaka
汪程序猿·2023-04-07 07:01

Kafka

1Kafka概述1.1kafaka简介ApacheKafka是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统，使用Scala与Java语言编写，能够将消息从一个端点传递到另一个端点，
MiniSoulBigBang·2023-04-06 19:20

使用Debezium+Kafka 为SqlServer 表建立Snapshot

本文不涉及zookeeperkafakadebezium的原理,也不使用docker等.requirement一个已经部署好的或者正在运行的SQLServer实例一个Windows10主机可以运行Wsl2
Codmowa·2023-04-06 14:36

21. Fabric2.2 基于Kafka共识算法部署区块链集群

1.从csdn下载作者打包的Kafaka-Fabric压缩包，里面有二进制文件及部署文件。
明神特烦恼·2023-04-05 21:02

架构师级别应该具备的知识技能

Java技术集合架构师级别应该具备的知识技能架构师级别应该具备的知识技能Java基础Java集合Java多线程并发JVMSpring原理微服务Netty与RPC网络协议日志ZookeeperKafakaRabbitMQHbaseMongoDBCsassandra
ITMAOO·2023-04-03 17:06

消息队列Kafka（一）介绍及安装以及基本原理

kafak官网：http://kafka.apache.org/kafka介绍-名词解释：producer：发布消息的对象称之为主题的生产者（Kafkatopicproducer）topic：Kafka
借东西的小人儿·2023-03-15 05:10

kafka：spring集成 kafka(springboot集成、客户端集成)

摘要对于java的kafka集成，一般选用springboot集成kafka，但可能由于对接方kafka老旧、kafka不安全等问题导致kafak版本与spring版本不兼容，这个时候就得自己根据kafka
崛起之路·2023-03-15 04:13

Kafaka入门（1）- Kafka简介和安装与启动（mac）

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。kafka是一个高性能的消息队列，也是一个分布式流处理平台。kafka中文网kafka官网1.kafka基础概念kafka.pngProducer：Producer即生产者，消息的产生者，是消息的入口。kafkacluster：Broker：Broker是kafka实例，每个服务器上有一个或多个kafka的实
卓三阳·2023-03-13 03:14

Go语言版本的kafakaAPI

概述go语言版本的kafakaAPI准备golangsarama简单使用生产和消费的过程都是通过一个配置开始的.生产者//设置配置config:=sarama.NewConfig()//等待服务器所有副本都保存成功后的响应
吴佳浩·2023-03-12 01:48

kafka删除topic及其相关数据

/bin/kafka-topics--delete--zookeeper【zookeeperserver】--topic【topicname】如果kafaka启动时加载的配置文
逝水如歌·2023-03-11 20:02

Kafaka基础快速入门

Kafaka基本入门文章目录Kafaka基本入门一基本认识1.1消息中间件（消息队列）1.2常用消息中间件1.3通信协议1.4基本术语二kafaka的基本介绍2.1概述2.2消息系统介绍2.3点对点消息传递模式
长安不及十里·2023-01-07 17:48

springboot+kafka中@KafkaListener动态指定多个topic问题

目录说明总结一下大家问的最多的一个问题终极方法思路实现代码总结说明本项目为springboot+kafak的整合项目，故其用了springboot中对kafak的消费注解@KafkaListener首先
·2022-12-28 15:51

kafka的auto.offset.reset

关于kafak的offsetoffset指的是每个消费组消费的下标，每条消息对应一个下标每次消费数据如果提交offset，那么下次消费就会从提交offset+1开始消费。
Citroooon·2022-12-26 12:26

kafka 的使用原理及通过spring-kafka 自定义封装包的原理

目录：Kafka封装包接入1.Kafka工作原理2.SpringKafka介绍3.kafka封装包的设计及使用Kafka封装包接入1.Kafaka工作原理1).kafka的定义：消息队列的两种模式：1)
焱宣·2022-12-21 08:33

软件开发中的上游upstream

我们这里的上游，特定指的是开源项目，如LinuxKernel、Kubernetes、Docker、Hadoop、Kafaka等，由最初的发起者或非营利性组织的社区所维护，其他
legend050709ComeON·2022-12-15 12:24

Kafka3.x核心速查手册三、服务端原理篇-1、Zookeeper整体数据

但是Kafak为了保证高吞吐，高性能，很多具体实现都是相当复杂的。如果直接跳进去学习研究，很快就会晕头转向。所以，找一个简单清晰的主线就显得尤为重要。
roykingw·2022-12-10 11:56
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他