kafka迁

Kafaka之架构

Kafka重要概念broker一个Kafka的集群通常由多个broker组成，这样才能实现负载均衡、以及容错broker是无状态（Sateless）的，它们是通过ZooKeeper来维护集群状态一个Kafka
无语堵上西楼·2024-01-11 07:28

基于Flume、Kafka和Storm实现企业大数据平台的实时数据采集

近年来，随着企业信息化建设的飞速发展，大数据应用的问题越来越备受关注。很多企业投入大量的人力、物力和财力建设企业大数据平台，平台建设工作涵盖数据采集、数据处理、数据存储、数据服务、数据展示以及数据质量管理各个环节。而数据采集作为企业大数据平台建设的首要环节，是企业大数据平台建设的根本所在，如果数据采集环节技术体系架构可靠性不高、稳定性不强且不易扩展，企业大数据平台建设就失去了意义。尤其是面对数据量
皮皮杂谈·2024-01-11 07:26

分布式必学的消息中间件---Kafka篇（想不出好名字了＞ ＜）

12.Kafka篇文章目录12.Kafka篇12.1什么是消息中间件？12.2kafka是什么？有什么作用？12.3生产者发送消息有哪些
CodingLemon.·2024-01-11 06:53

【Kafka-3.x-教程】-【六】Kafka 外部系统集成 【Flume、Flink、SpringBoot、Spark】

【Kafka-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程
bmyyyyyy·2024-01-11 06:50

【Kafka-3.x-教程】-【一】Kafka 概述、Kafka 快速入门

【Kafka-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程
bmyyyyyy·2024-01-11 06:19

【Kafka-3.x-教程】-【二】Kafka-生产者-Producer

【Kafka-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程
bmyyyyyy·2024-01-11 06:19

【Kafka-3.x-教程】-【三】Kafka-Broker、Kafka-Kraft

【Kafka-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程
bmyyyyyy·2024-01-11 06:19

【Kafka-3.x-教程】-【五】Kafka-监控-Eagle

【Kafka-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程
bmyyyyyy·2024-01-11 06:19

Kafka-基础(同步消息、异步消息、事务消息、分区规则、Leader选举、分区副本、分区分配策略、消息消费)

Kafka-基础Kafka是基于发布/订阅的消息队列，主要用于大数据实时处理领域，Kafka是一个开源的分布式事件流平台，被数千家公式用于高性能数据管道、流分析、数据集成、关键任务应用等消息队列类型目前在企业中比较常见的消息队列重排主要有
JolyouLu·2024-01-11 06:18

【总结】消息队列 - Kafka

3.kafka相关概念1）producer（生产者）：消息生产者，发布消息到kafka集群的终端或服务。produ
tianya3530·2024-01-11 06:48

kafka，zookeper的搭建 消息队列---------基于linux

Kafka和RabbitMQ的区别首先是在不考虑一些非功能性限制（如运营成本，开发人员对两个平台的了解等）的情况下：优先选择RabbitMQ的条件高级灵活的路由规则。
kjshuan·2024-01-11 06:14

Kafka - Broker 详解

目录零、前置一、KafkaBroker工作流程1.Zookeeper存储的Kafka信息2.KafkaBroker总体工作流程模拟Kafka上下线，Zookeeper中数据变化3.Broker重要参数二
不会调制解调的猫·2024-01-11 06:41

【Kafka-3.x-教程】-【四】Kafka-消费者-Consumer

【Kafka-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程
bmyyyyyy·2024-01-11 06:40

【Kafka-3.x-教程】-【七】Kafka 生产调优、Kafka 压力测试

【Kafka-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程
bmyyyyyy·2024-01-11 06:40

09、Kafka ------ 通过修改保存时间来删除消息（retention.ms 配置）

目录通过修改保存时间来删除消息★删除指定主题的消息演示1、修改kafka检查过期消息的时间间隔2、修改主题下消息的过期时间3、查看修改是否生效4、先查看下主题下有没有消息5、添加几条消息看效果6、查看消息是否被删除
_L_J_H_·2024-01-11 06:39

08、Kafka ------ 消息存储相关的配置--＞消息过期时间设置、查看主题下的消息存活时间等配置

目录消息存储相关的配置★消息的存储介绍★消息过期时间及处理方式演示：log.cleanup.policy属性配置★修改指定主题的消息保存时间演示：将test2主题下的消息的保存时间设为10个小时1、先查看test2主题下的配置2、然后设置消息的保存时间3、然后再查一遍test2的配置，看是否修改成功★查看指定主题的配置命令1：查看所有对象的信息命令2：查看特定主题的信息消息存储相关的配置★消息的存
_L_J_H_·2024-01-11 06:09

kafka连接失败时springboot项目启动停机问题

问题：springboot整合kafka，作为消费端，对端的kafka系统是在生产环境，在本地开发测试时配置了对端的生产环境的kafka地址。
行善积德_Fei·2024-01-11 06:38

使用Springboot+websocket+kafka模拟实时数据传输

文章目录使用Springboot+websocket+kafka模拟实时数据传输环境准备数据源读取WebSocket服务器网页启动使用Springboot+websocket+kafka模拟实时数据传输环境准备环境
叶梦璃愁·2024-01-11 06:36

Kafka Connect 启动服务以及提交任务初体验

Kafka提供两种启动方式，一种是单机版standalone，一种是分布式版distributed，与之想对应的配置文件也是分开的单机版的配置文件：connect-standalone.properties
LijunYe·2024-01-11 05:08

记忆不老

见证了我们在老去，时过境迁。但是我们的记忆不老。那些我们深爱过的人，那些感觉和情节会是我们这一生最珍贵的礼物
觚不孤·2024-01-11 05:55

读书笔记72

我最喜欢的一段是：帝盘庚之时，殷已都(du)河(指黄河)北，盘庚渡河南，复居成汤之故居，乃五迁，无定处(chu)。般民答胥皆怨，不欲徙(xi，迁移)。——《史记·股本纪》
初二13李佳阳·2024-01-11 05:06

Kafka之集群搭建

1.为什么要使用kafka集群单机服务下，Kafka已经具备了非常高的性能。TPS能够达到百万级别。但是，在实际工作中使用时，单机搭建的Kafka会有很大的局限性。消息太多，需要分开保存。
瑜伽娃娃·2024-01-11 03:22

9.2、增量表数据同步

1、数据通道2、Flume配置1）Flume配置概述Flume需要将Kafka中topic_db主题的数据传输到HDFS，故其需选用KafkaSource以及HDFSSink，Channel选用FileChannel
施小赞·2024-01-11 02:16

2021-05-19 Kafka Docker安装配置

1.下载docker镜像kafka镜像dockerpullwurstmeister/kafkazookeeper镜像dockerpullwurstmeister/zookeeper2.启动ZK容器dockerrun-d
四川辣条协会会长·2024-01-11 01:13

我心中的诗经——氓

以尔车来，以我贿迁。桑之未落，其叶沃若。于嗟鸠兮！无食桑葚。于嗟女兮！无与士耽。士之耽兮，犹可说也。女之耽兮，不可说也。桑之落矣，其黄而陨。自我徂尔，三岁食贫。淇水汤汤，渐车帷裳。女也不爽，士贰其
月婷轩·2024-01-11 01:01

49改变

今年是第三年在四川工作，一晃时间过的真快，三年的时间过去了，成长的高度却不明显，三年前来这里的时候单身，三年后的今天还是单身，是我不懂的珍惜还是时过境迁人心不古，我辜负了青春对我的爱戴，回忆起青春的美丽风景一处处都好动人
脑不二·2024-01-11 00:37

Java面试题整理（带答案）

题目来源是https://blog.csdn.net/sufu1065/article/details/88051083我删除了自己不使用的框架技术栈，像Hibernate、Kafka、Zookeeper
隔壁老赵·2024-01-11 00:37

Kafka 基本概念和术语

1、消息Record：Kafka是消息引擎嘛，这里的消息就是指Kafka处理的主要对象。2、主题Topic：主题是承载消息的逻辑容器，在实际使用中多用来区分具体的业务。
Java-Talk·2024-01-11 00:15

springCould中的Bus-从小白开始【11】

目前支持RabbitMQ和Kafka。S
会敲代码的小张·2024-01-10 23:56

黑马头条(APP端)

项目包含三个部分用户移动app端用户自媒体端管理平台端涉及技术栈：SpringBoot+SpringCloud+nacos+swagger+freemarker+OSS+ElasticSearch+Redis+Kafka
一码一上午·2024-01-10 23:41

张兆和与沈从文，不对等的爱终究会让婚姻破碎

其祖父沈宏富随父亲迁
不爱吃鱼的喵喵酱·2024-01-10 22:54

离线数仓构建案例一

数据采集日志数据（文件）到Kafka自己写个程序模拟一些用户的行为数据，这些数据存在一个文件夹中。接着使用flume监控采集这些文件，然后发送给kafka中待消费。
躺着听Jay·2024-01-10 22:06

【高效开发工具系列】idea注释设置

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-10 22:30

那些过去被人指指点点所谓的“差生”如今混得风生水起

正所谓没有对比就没有伤害，有学霸的地方难免就会对比出所谓的“学渣”，但时过境迁，不知你是否了解过之前那些曾经被人指指点点的“差生”如今身在何方呢？又过着什么样的生活呢?
北港zz·2024-01-10 21:38

与知己的一封信

在学习秒迁。在活动中把自己的舞蹈做出来。我也要活精彩。从今天开始，忙自己的。那一刻我给自己的解释是：挣钱，花4000吃个蟹。只是没有说。但目标有。目标目标目标。从耿
lygly9·2024-01-10 21:22

登顶大雁顶，打卡美人鱼拍摄地

深圳十峰：大雁顶，大雁顶海拔801米，为深圳第三高峰，是坐山观海的最佳地点，相传每到秋冬时节，成群结队的大雁南飞过冬迁徒的季节，大雁顶上都可以看到成群结队休息的大雁，路段类型和七娘山一样，主要是半土路半石板阶梯
Magic7788520·2024-01-10 21:16

81、Spark Streaming之DStream以及基本工作原理

它支持从很多种数据源中读取数据，比如Kafka、Flume、Twitter、ZeroMQ、Kinesis或者是TCPSocket。
ZFH__ZJ·2024-01-10 20:43

七十列传 · 游侠列传

汉司马迁韩子曰：「儒以文乱法，而侠以武犯禁。」二者皆讥，而学士多称于世云。至如以术取宰相卿大夫，辅翼其世主，功名俱著于春秋，固无可言者。
美女米豆·2024-01-10 20:12

面试|Kafka常见面试问题总结

[TOC]现如今，Kafka已不再是一个单纯的消息队列系统。Kafka是一个分布式的流处理平台，被越来越多的公司使用，Kafka可以被用于高性能的数据管道，流处理分析，数据集成等场景。
tracy_668·2024-01-10 19:22

docker 快速启动 Confluent Kafka

文章目录参考资料来自ConfluentKafka与Confluent创建docker-compose.yml启动服务创建Topic向quickstart中写入数据消费quickstart中的数据关闭Kafka
秀强·2024-01-10 16:20

Kafka 中 topic、partition、offset、replica、ISR 等概念详解

文章目录消息的数据结构topic和partition位移（offset）replicaleader和followerISR先说一个题外话，就是Kafka名字的由来：IthoughtthatsinceKafkawasasystemoptimizedforwritingusingawriter
秀强·2024-01-10 16:20

Java内存泄漏问题分析

内存泄漏也是一个老八股文了，下面来看看实际项目中内存泄漏的场景分析时间回到9月某一天分析阶段一现象：在当时各种请求在那段时间响应很慢，特别是kafka异步消费线程不足点：当时主业务基本不可用，有点急，未及时
北i·2024-01-10 15:38

023 分享 | 环境对教育的重要性

说到孟子，大家都会想到一个耳熟能详的故事，就是孟母三迁。那么，孟母为什么搬
大帅要多读书呀·2024-01-10 15:32

FlinkSQL设置sink的并行度

pt_dtstring,proc_timetimestamp,ctimetimestamp,PRIMARYKEY(tqi_id)NOTENFORCED)with('connector'='upsert-kafka
青云游子·2024-01-10 15:51

《PySpark大数据分析实战》-26.数据可视化图表Seaborn介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-10 14:58

分布式系统架构设计之分布式消息队列中间件的技术选型报告

1、主流消息队列中间件01Kafka基本原理Kafka基于发布-订阅模式，它维护了一个或多个Topic，生产者将消息发送到Topic，消费者从Topic中读取消息。
灸哥漫谈·2024-01-10 13:38

日志系统二（ilogtail+kafka+logstash+es+kibana）

流程介绍：ilogtail日志采集写入kafka指定TopicLogstash消费kafak消息写入ESKibana展示数据注：ilogtail采集的日志也能直接写入ES，需求ES版本8.0+一、ilogtail
`Liar`·2024-01-10 13:24

暑假实践作业

1924年充任昌黎县警察局长，直隶（今河北）临、抚、昌、卢、迁五县警备司令部上校参谋长兼地方保甲团团总。1931年九一八事变后，孙铭武积极动员乡民亲友举旗抗日，打击日本侵略者。
爱农乡五年二班李语涵·2024-01-10 13:43

零落的世界

叶子念叨着自己曾经春天的绿意翩跹莺歌燕舞更不失一丁点拔节的粗犷豁达周围簇拥的万紫千红淋琅满目仿佛那些闲暇的人沉溺在欣赏这片旖旎的风光时过境迁大海的咸涩在叶子的表面漫溢、流淌灯光和广场冷酷成渍点斑驳几缕夕照轻描淡写抹在满目疮痍的黄叶上雀鸟大喊匪夷所思整个森林莫名其妙笼罩在惶惑惶恐中
肖先·2024-01-10 12:40

用hextoraw解决update、delete语句执行慢

问题描述    近期在做数据同步功能，各模块数据经过AOP拦截，形成insert、update、delete语句，统一进入Kafka，然后由消费端取出消费到Oracle。    
活宝战斗机·2024-01-10 12:51
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他