Kafka原理解析

记录一次kafka -＞ flink无数据的坑

模式：perjobflinkonyarnkafka到flink,在flinkTM的Logs中：INFOorg.apache.kafka.Clients.consumer.internals.AbstractCoordinator-Markingthecoordinatorip
小迷糊同学·2023-09-19 21:20

一次记录 flink job 消费kafka 迁移pulsar踩坑过程

背景简述业务上，原有的kafka集群迁移pulsar后续会下线kafak集群，原有的一些消费kafkatopic的任务和进程需要迁移至pulsar并下线旧的消费kafka任务。
提灯寻梦在南国·2023-09-19 21:20

flink无法消费kafka消息的一次问题记录

flink无法消费kafka的消息，本地开发时也没有错误信息打印，后来排查到注掉addsink()后就可以消费到消息；继续排查发现是写入hbase的配置中，由于地址无法连通导致的。
菜鸟很菜·2023-09-19 21:49

新版kafka可视化界面组件

二、安装kafka可视化客户端工具（kafkatool2）1、下载安装在官网中找到对应自己电脑系统的版本：kafkaTool2官网下载地址：OffsetExplorer这个方案是为Kafka依赖zookeeper
小赖同学啊·2023-09-19 20:53

【大数据之Kafka】十四、Kafka-Eagle监控

  Kafka-Eagle框架可以监控Kafka集群的整体运行情况，在生产环境中经常使用。
阿宁呀·2023-09-19 18:12

【大数据之Kafka】十一、Kafka消费者及消费者组案例

步骤：（1）创建包名：com.study.kafka.consumer（2）创建类：CustomConsumerpackagecom.study.kafka.consumer;import
阿宁呀·2023-09-19 18:11

【大数据之Kafka】十二、Kafka之offset位移及漏消费和重复消费

1offset的默认维护位置  Kafka0.9版本之前，consumer默认将offset保存在Zookeeper中。
阿宁呀·2023-09-19 18:11

【大数据之Kafka】十三、Kafka消费者生产经验之分区的分配及再平衡、数据积压和消费者事务

Kafka有四种主流的分区分配策略：Range、RoundRobin、Sticky、CooperativeSticky。  通过配置参数partition.assignment.strate
阿宁呀·2023-09-19 18:11

Kafka的安装与基本操作

Kafka的安装与基本操作一、前提工作二、Kafka安装三、Kafka基本操作一、前提工作必须安装了zookeeper单机可参考：zookeeper单机安装与配置集群可参考：Zookeeper的集群安装二
卢元东·2023-09-19 17:23

yum 快速安装zookeeper、Kafka集群部署

Kafka集群部署并启动在本文中将从演示如何搭建一个Kafka集群开始，然后简要介绍一下关于Kafka集群的一些基础知识点。
伟哥学程序·2023-09-19 17:23

Kafka集群部署及基本操作

安装包下载：http://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgzhttp://kafka.apache.org/http://kafka.apachecn.org
Sur chemin·2023-09-19 17:52

Kafka安装与使用

一、Kafka简介Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。
Charge8·2023-09-19 17:52

Kafka 安装及基本入门

介绍Kafka是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。
ColorlessCube·2023-09-19 17:52

kafka安装部署及集群部署，基本使用和应用

path=/kafka/1.1.0/kafka_2.11-1.1.0.tgz安装过程1.tar-zxvf解压安装包kafka目录介绍/bin操作kafka的可执行脚本/config配置文件/libs依赖库目录
小马的学习笔记·2023-09-19 17:51

四十三、Kafka的安装部署与基本操作

上篇文章我们简单介绍了一下Kafka相关的知识，这篇文章我们来实际的安装一下Kafka并进行一下基本的操作。
象在舞·2023-09-19 17:21

kafka的安装、部署及应用

1.介绍1.1.简介kafka是一款分布式、支持分区的、多副本，基于zookeeper协调的分布式消息中间件。其最大特性就是能够实时处理大量消息。
-飞鹤-·2023-09-19 17:20

kafka安装部署，和基本操作

kafka下载地址：ApacheKafka我这里下载3.5.12、通过rz命令上传到linux服务器3、解压tar-zxvfkafka_2.12-3.5.1.tgz4、在config目录下修改配置文件server.properties
bai_shuang·2023-09-19 17:49

Java程序员：世界有三个伟大的发明「火、轮子、kafka」

一、Kafka是什么？有人说世界上有三个伟大的发明：火，轮子，以及Kafka。
吃井不忘挖水人呢·2023-09-19 17:56

一文告诉你为什么时序场景下 TDengine 数据订阅比 Kafka 好

在TDengine3.0中，我们对流式计算、数据订阅功能都进行了再升级，帮助用户极大简化了数据架构的复杂程度，降低整体运维成本。TDengine提供的类似消息队列产品的数据订阅、消费接口，本质上是为了帮助应用实时获取写入TDengine的数据，或者以事件到达顺序处理数据，与其他消息队列相比，它提供了更大的灵活性，同时有效地降低了传输的数据量与应用的复杂度。在本篇文章中，TDengine研发人员详细
·2023-09-19 17:19

【无标题】

KafkaKafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。Kafka可以用作Flink应用程序的数据源。
躺着听Jay·2023-09-19 17:24

kafka manager

安装要求Kafka0.8..or0.9..or0.10..or0.11..Java8+sbt0.13.x配置系统至少需要配置zookeeper集群的地址，可以在kafka-manager安装包的conf
HelloMoney_0ff4·2023-09-19 17:06

ElasticSearch节点嗅探机制实践

同时我们使用Flink实时消费kafka消息，将订单数据写入到对应的ES索引中。想要使用Elasticsearch服务，则要先创建一个可以连接到ES集群的客户端。
·2023-09-19 16:14

Spring Boot + Disruptor 实现消息队列，告诉你什么叫快、什么叫高效！

01、背景工作中遇到项目使用Disruptor做消息队列,对你没看错,不是Kafka,也不是rabbitmq;Disruptor有个最大的优点就是快,还有一点它是开源的哦,下面做个简单的记录.02、Disruptor
·2023-09-19 16:44

9月15日上课内容 Zookeeper集群 + Kafka集群

Zookeeper本章结构Zookeeper概述Zookeeper定义*（了解）Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。Zookeeper工作机制*****（非常重要，需要掌握）Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zook
m0_70766460·2023-09-19 15:00

kafka操作3

kafka消费方式pull（拉）模式：consumer采用从broker中主动拉取数据。kafka采用这种方式。
The_theme·2023-09-19 14:52

ELK 企业级日志分析系统 ELFK

目录一、概述二、组件介绍2.1、ElasticSearch2.2、Kiabana2.3、Logstash2.4、可以添加的其它组件：Filebeat2.5、缓存/消息队列（redis、kafka、RabbitMQ
我叫yyy·2023-09-19 14:28

【ELFK】之zookeeper

kafka是不可以脱离zookeeper进行单独
manyulanlanlu·2023-09-19 14:58

【二叉搜索树】将二叉搜索树变平衡-力扣 1382 题

推荐:kuan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-09-19 12:54

终于产完了！Zookeeper 打怪升级进阶成神之路（2023最新版）

前面给大家介绍了：关系型数据库MySQL、NoSQL数据库Redis、MongoDB、搜索引擎ElasticSearch、大数据Hadoop框架、PostgreSQL数据库、消息中间件Kafka等知识体系学习的文章
·2023-09-19 12:16

【树】B树与B+树

推荐:kuan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-09-19 12:34

使用 Spring Kafka 进行非阻塞重试的集成测试

Kafka的非阻塞重试是通过为主题配置重试主题来实现的。如果需要，还可以配置额外的死信主题。如果所有重试都耗尽，事件将被转发到DLT。在公共领域中有很多资源可用于了解技术细节。
沃趣数据库管理平台·2023-09-19 11:22

游戏ip多开安全指南：保障多重账号操作安全性

一、了解游戏ip多开的原理与优势原理解析：游戏ip多开利用不同的IP地址进行多账号登录，避免游戏服务端的账号冲突检测，同时增加多账号操
q56731523·2023-09-19 11:35

flink1.13解决读取kafka数据写入hive中hive客户端查询不到数据问题

flink1.13版本前可参考如下方式:https://blog.csdn.net/m0_37592814/article/details/108044830flink1.13之前的版本可以参考上一文章https://blog.csdn.net/m0_37592814/article/details/108044830flink1.13版本可以通过如下方式快速解决：在创建hive表时添加参数指定时
天涯到处跑·2023-09-19 11:24

【kafka】mac环境安装kafka

生产中使用到的中间件使用心得记录，感兴趣可以关注我一起学习～环境：硬件：mac软件：kafkav3.0.0安装步骤：终端安装：通过brew安装，会默认直接安装最新的版本步骤1：brewinstallkafka
程序届的悟空·2023-09-19 10:50

linux安装配置 kafka并简单使用

目录一解压安装包二修改配置三启动kafka四简单使用kafka一解压安装包这里提供了网盘资源链接:https://pan.baidu.com/s/1wUxEQuiPB1wRsjJ-FPPu7Q?
超爱慢·2023-09-19 10:50

kafka集群配置

kafka版本：kafka_2.12-2.8.01.解压[root@node1software]#tar-zxfkafka_2.12-2.8.0.tgz-C/opt/module/2.修改环境变量[root
jmzcc·2023-09-19 10:49

Kafka学习笔记（二）

Kafka环境搭建准备工作Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群。
一个帅哥的人生·2023-09-19 09:10

计算机毕设 flink大数据淘宝用户行为数据实时分析与可视化

文章目录0前言1、环境准备1.1flink下载相关jar包1.2生成kafka数据1.3开发前的三个小tip2、flink-sql客户端编写运行sql2.1创建kafka数据源表2.2指标统计：每小时成交量
DanCheng-studio·2023-09-19 07:52

Hadoop+zookeeper+Flume+Spark+Kafka+Hbase大数据集群搭建

HadoopzookeeperFlumeSparkKafkaHbase大数据集群搭建教程集群搭建流程一、环境的准备和必要软件的下载下载并安装vmvare虚拟机软件下载centos7系统镜像文件，下载链接下载
jjjkkkhhhggg·2023-09-19 07:42

腾讯mini项目-【指标监控服务重构】2023-08-17

今日已办定位昨日发现的问题来回测试发现依然出现该问题将pub/sub的库替换为原来官方基于sarama的实现，发现问题解决了，所以问题的根本是kafkago这个库本身存在问题依据官方的实现，尝试自定义实现
奥库甘道夫·2023-09-19 02:36

【日记】文章更新计划

,pink%}第一版发布【完结~开发规范系列】Linux系列重新定位，不再只是简单的说常用命令周二rocketmq更换为nginx系列微服务内容变更，现在主要说架构方便的内容周四变更为设计模式系列更新Kafka
程序员朱永胜·2023-09-19 01:15

【Kafka系列】（二）Kafka的基本使用

有的时候博客内容会有变动，首发博客是最新的，其他博客地址可能会未同步,认准https://blog.zysicyj.top首发博客地址[1]文章更新计划[2]系列文章地址[3]Kafka线上集群部署方案怎么做操作系统先说结论
程序员朱永胜·2023-09-19 01:15

中间件·kafka

查看命令查看主题[root@host-192-168-2-165~]#kafka-topics.sh--list--zookeeper=10.143.200.13:24002,10.143.200.14
Mustangx·2023-09-19 00:24

【1】JVM类加载机制

举个例子publicclassKafka{publicstaticvoidmain
codingJanson·2023-09-18 23:15

【Kafka系列】（二）Kafka的基本使用

有的时候博客内容会有变动，首发博客是最新的，其他博客地址可能会未同步,认准https://blog.zysicyj.top首发博客地址文章更新计划系列文章地址Kafka线上集群部署方案怎么做操作系统先说结论
·2023-09-18 23:06

【日记】文章更新计划

,pink%}第一版发布【完结~开发规范系列】Linux系列重新定位，不再只是简单的说常用命令周二rocketmq更换为nginx系列微服务内容变更，现在主要说架构方便的内容周四变更为设计模式系列更新Kafka
·2023-09-18 23:32

Kafka自带zookeeper---集群安装部署

kafka简介kafka官网：http://kafka.apache.org/kafka下载页面：http://kafka.apache.org/downloadskafka配置快速入门：http://
magic33416563·2023-09-18 21:49

消息队列之 RabbitMQ

市面上的消息队列产品有很多，比如老牌的ActiveMQ、RabbitMQ，目前我看最火的Kafka，还有ZeroMQ，去年底阿里巴巴捐赠给Apache的RocketMQ，连redis这样的NoSQ
哥本哈根月光·2023-09-18 21:13

CPGI130原理

ExpCpGoflowerlimit(0.60-1.00,defaultvalue:0.65)LENGTHsetlengthoflowerlimit(200-1500,defaultvalue:500bp)原理解析
dasdadf·2023-09-18 20:15

蚂蚁课堂-2-kafka集群环境搭建

每天服务器都要安装jdk1.8环境安装Zookeeper集群环境安装kafka集群环境运行测试image.pngimage.png服务器环境准备使用vmare虚拟三台服务器centos6.5A:192.168.9.200B
liangxifeng833·2023-09-18 20:11
上一页 107 108 109 110 111 112 113 114 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他