【面试专栏】Kafka

Flink和Kafka连接时的精确一次保证

（2）输入端输入数据源端的Kafka可以对数据进行持久化保存，并可以重置偏移量（offset）。所以我们可以在Source任务（FlinkKafkaConsumer）中将当前读取的偏移量保存为算子状态
Stephen6Yang·2023-12-20 11:09

flink kafka

Mac下Kafka安装与启动https://www.jianshu.com/p/a581372f07b4https://github.com/wangzhiwubigdata/God-Of-BigData
夏天_edbf·2023-12-20 11:15

Docker 快速部署Kafka

network=host-d-eALLOW_ANONYMOUS_LOGIN=yes--namezookeeperbitnami/zookeeper:latest2、部署kakfadockerrun-d--namekafka-server
再ZzZ·2023-12-20 10:59

【kafka实践】12｜如何实现exactly once

前面的章节中我们聊到如何避免保证消息丢失，没有印象的同学可以再看看，本节我们将展开如何实现kafka的一次精确。
叁戒·2023-12-20 09:06

掌握实时数据流：使用Apache Flink消费Kafka数据

导读：使用Flink实时消费Kafka数据的案例是探索实时数据处理领域的绝佳方式。不仅非常实用，而且对于理解现代数据架构和流处理技术具有重要意义。
昊昊该干饭了·2023-12-20 08:14

Kafka使用总结

1、Kafka是何如做到高性能的？a、消息批处理减少网络通信开销，提升系统吞吐能力（先攒一波，消息以“批”为单位进行处理）生产端：无论是同步发送还是异步发送，Kafka都不会立即就把这条消息发送出去。
J_HelloWorld·2023-12-20 08:06

2023_Spark_实验三十：测试Flume到Kafka

实验目的：测试Flume采集数据发送到Kafka实验方法：通过centos7集群测试，将flume采集的数据放到kafka中实验步骤：一、kafka可视化工具介绍KafkaTool是一个用于管理和使用ApacheKafka
pblh123·2023-12-20 08:23

《PySpark大数据分析实战》-15.云服务模式Databricks介绍创建集群

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-20 06:47

kafka设置消费者组

安装部署后consumer.propertiesgroup.id=test-group单机测试，自己开俩窗口，一个测试消费者，一个测试生产者（创建消息那步）创建主题bin/kafka-topics.sh
看完能不能点赞？·2023-12-20 05:09

KAFKA

KAFKAkafka入门什么是kafaka应该如何理解?
MapSet·2023-12-19 23:02

在Python中使用Kafka帮助我们处理数据

Kafka是一个分布式的流数据平台，它可以快速地处理大量的实时数据。Python是一种广泛使用的编程语言，它具有易学易用、高效、灵活等特点。
测试萧十一郎·2023-12-19 22:47

Kafka 基础架构

从宏观角度上讲，Kafka大体分为三个角色：生产者，Kafka集群，消费者。
zmx_messi·2023-12-19 18:48

Kafka 数据乱序

原因说明：因为在kafka1.x以后，启用幂等后，kafka服务端会缓存producer发来的最近5个request的元数据，故无论如何，都可以保证
zmx_messi·2023-12-19 18:48

Kafka Broker总体工作流程

上面是Zookeeper集群，下面是Kafka集群，两个集群通信：1）每台KafkaBroker节点启动之后，都会向Zookeeper进行注册，告诉他，我开启了。
zmx_messi·2023-12-19 18:48

@KafkaListener 注解配置多个 topic

见如下示例主要见@KafkaListener中topics属性的配置其中${xxxx.topic1}为从springBoot配置文件中读取的属性值@KafkaListener(topics={"${xxxx.topic1
极光雨雨·2023-12-19 18:18

Kafka中Ack应答级别和数据去重

在Kafka中，保证数据安全可靠的条件是：数据完全可靠条件=ACK级别设置为-1+分区副本大于等于2+ISR里应答的最小副本数量大于等于2；Ack应答级别可靠性总结：acks=0，生产者发送过来数据就不管了
zmx_messi·2023-12-19 18:17

Kafka消息延迟和时序性详解（文末送书）

目录一、概括1.1介绍Kafka消息延迟和时序性1.1.1什么是Kafka消息延迟？1.1.2为什么消息延迟很重要？1.1.3什么是Kafka消息时序性？
哪 吒·2023-12-19 17:15

Kafka 分级存储在腾讯云的实践与演进

导语腾讯云消息队列Kafka内核负责人鲁仕林为大家带来了《Kafka分级存储在腾讯云的实践与演进》的精彩分享，从Kafka架构遇到的问题与挑战、Kafka弹性架构方案类比、Kafka分级存储架构及原理以及腾讯云的落地与实践四个方面详细分享了
腾讯云中间件·2023-12-19 13:34

Kafka 安装与部署

目录Kafka下载（1）将kafka_2.11-2.4.1.tgz上传至/opt/software/（2）解压安装包至/opt/module/[huwei@hadoop101~]$cd/opt/software
夏木夕·2023-12-19 12:05

消息队列kafka详解：Kafka原理分析总结

目前越来越多的开源分布式处理系统如Cloudera、ApacheStorm、Spark等都支持与Kafka集成。
码农小旋风·2023-12-19 11:43

【面试专栏】深入理解volatile

文章同步更新在个人公众号“梓莘”，欢迎大家关注，相互交流。谈谈对volatile的理解volatile是java虚拟机提供的轻量级的同步机制（同步比如synchronized）拥有3大特性：保证可见性不保证原子性禁止指令重排简单来说也就是volatile保证可见和有序，但是并不保证原子性。要更好的理解这个需要对JMM有个大概的了解，接下来先看下JMM的简单概念。谈谈JMM（JavaMemoryMo
霓裳梦竹·2023-12-19 09:53

Kafka--从Zookeeper数据理解Kafka集群工作机制

从Zookeeper数据理解Kafka集群工作机制这一部分主要是理解Kafka的服务端重要原理。但是Kafka为了保证高吞吐，高性能，高可扩展的三高架构，很多具体设计都是相当复杂的。
长情知热爱·2023-12-19 09:43

【ranger】CDP环境 更新 ranger 权限策略会发生低概率丢失权限策略的解决方法

一、问题描述：我们的kafka服务在更新（添加）ranger权限时，会有极低的概率导致MM2同步服务报错，报错内容NotAuthorized。
kiraraLou·2023-12-19 08:32

Elasticsearch集群部署 head监控插件 Kibana部署 Nginx反向代理 Logstash部署

一、组件介绍1、Elasticsearch：2、Logstash3、Kibana4、Kafka：5、Filebeat:二、Elasticsearch集群部署服务器创建用户安装ES修改配置文件创建数据和日志目录设置
火腿炒馕·2023-12-19 07:59

手动配置 kafka 用户密码，认证方式等的方式

场景部分场景会指定使用某一kafka来提高安全性，这里就不得不使用用户密码认证方式等来控制方法示例//手动加载配置信息privateMapconsumerConfigs(){Mapprops=newHashMap
极光雨雨·2023-12-19 06:48

win环境下启动kafka Port already in use: 6688； nested exception is

背景zk启动成功后，接下来启动kafka，再启动kafka后一直说端口被占用。
小赖同学啊·2023-12-19 06:23

2023_Spark_实验二十六：编写Shell模拟生成点击实时数据

实验步骤：1、选择集群中的一台虚拟机，最好和flume/kafka等在同一台，在该虚拟机的合适
pblh123·2023-12-19 05:29

2023_Spark_实验二十九：Flume配置KafkaSink

实验目的：掌握Flume采集数据发送到Kafka的方法实验方法：通过配置Flume的KafkaSink采集数据到Kafka中实验步骤：一、明确日志采集方式一般Flume采集日志source有两种方式：1
pblh123·2023-12-19 05:54

【Python系列】Python函数

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-12-19 04:33

60道KafKa高频题整理（附答案背诵版）

废话不多说，直接上干货简述什么是Kafka的Topic？Kafka的Topic是一个存储消息的逻辑概念，可以认为是一个消息集合。每条消息发送到Kafka集群的消息都有一个类别，这个类别就是Topic。
帅地·2023-12-19 04:17

14、Kafka 请求是怎么被处理的

Kafka请求是怎么被处理的1、处理请求的2种常见方案1.1、顺序处理请求1.2、每个请求使用单独线程处理2、Kafka是如何处理请求的？
cjh-Java·2023-12-19 04:17

13、Kafka副本机制详解

Kafka副本机制详解1、副本定义2、副本角色3、In-syncReplicas（ISR）4、Unclean领导者选举（UncleanLeaderElection）所谓的副本机制（Replication
cjh-Java·2023-12-19 04:16

12、Kafka中位移提交那些事儿

Kafka中位移提交那些事儿1、自动提交位移2、手动提交位移2.1、同步提交位移2.2、异步提交位移2.3、更精细化的位移管理Consumer端有个位移的概念，它和消息在分区中的位移不是一回事儿，虽然它们的英文都是
cjh-Java·2023-12-19 04:16

kafka同步mysql数据报Possibly consider using a shorter maxLifetime value.

目前有需求是在两个mysql数据库间同步数据，采用的方案是先利用maxwell将源数据库的log_bin日志传到kafka，再从kafka消费到目的数据库，但最近发现日志中总是报这么个warn:[13:
lucas1018·2023-12-19 03:29

kafka介绍

设计原理kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力。
海若Hero·2023-12-19 02:53

3002-Redis多数据中心

数据中心：容灾、就近访问、性能Redis异地同步：保证AP；无法进行全量同步（单线程）、无法去环（源实例ID+timpstamp）、可扩展性；快手自研的客户端+Kafka自研客户端Reader代理层监听
红苹果_小米粒·2023-12-19 01:30

09-Pub/Sub

Subscription关于ChannelEventing中的ChannelCRD负责定义名称空间级别的消息总线它的后端要基于特定的实现，如In-MemoryChannel（简称imc）、NATSChannel或KafkaChannel
爱写代码的小男孩·2023-12-18 23:35

【Flink-Kafka-To-RocketMQ】使用 Flink 自定义 Sink 消费 Kafka 数据写入 RocketMQ

【Flink-Kafka-To-RocketMQ】使用Flink自定义Sink消费Kafka数据写入RocketMQ1）准备环境2）代码实现2.1.主程序2.2.conf2.2.1.ConfigTools2.3
bmyyyyyy·2023-12-18 23:19

Kafka

1.请简述Kafka的基本架构和工作原理。Kafka是一个分布式发布-订阅消息系统，主要用于建立实时数据管道和流应用。它是水平可扩展的、容错的、快速的，并在数千家公司的生产中运行。
编织幻境的妖·2023-12-18 22:10

【中间件】ElasticSearch在Java中的调用尝试

ElasticSearchElasticSearch的两个主要功能：全文检索形成ELK集群，进行日志检索（ElasticSearch、LogStash、Kibana）日志采集（服务器、移动设备、IOT传感器）->数据传输汇聚（Kafka
清河__·2023-12-18 21:59

Flink系列之：Table API Connectors之Raw Format

这样在upsert-kafka中使用时可能会有限制，因为upsert-kafka将null值视为墓碑消息（在键上删除）。因
最笨的羊羊·2023-12-18 21:23

认识Apache Bookkeeper

Bookkeeper有一个非常成功的应用案例：apachepulsar，是近年雅虎开源的一个MQ，pulsar相对于kafka来说，在存储上有优势，kafka的单个partition的存储容
无醉_1866·2023-12-18 19:27

香！阿里微服务手册开源，内容涵盖SpringBoot+SpringCloud+MQ等诸多技术栈

涵盖了当下使用和面试过程中的流程技术，包含了：SpringBoot,Thymeleaf、Jetty、Redis整合、C3P0整合、Druid整合、MyBatis整合、ActiveMQ整合、RabbitMQ整合、Kafka
Java全能架构师·2023-12-18 19:18

笔记：kafka、kafka-connector环境搭建及Kafka基本命令

安装kafka（Ubuntu16.04）：wgethttps://downloads.apache.org/kafka/3.3.1/kafka_2.12-3.3.1.tgz安装jdksudoapt-getinstallopenjdk
爷一隐居青楼·2023-12-18 18:04

消息队列系列4 - 原理初探之RocketMQ（荣耀典藏版）

RocketMQ是一个纯Java、分布式、队列模型的开源消息中间件，前身是MetaQ，是阿里参考Kafka特点研发的一个队列模型的消息中间
海棠Flower未眠·2023-12-18 16:39

spring-kakfa依赖管理之org/springframework/kafka/listener/CommonErrorHandler错误

问题：整个项目使用spring-boot2.6.8版本，使用gradle构建，在common模块指定了implementation'org.springframework.kafka:spring-kafka
russle·2023-12-18 15:52

【剪映】点滴剪时光

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-12-18 15:17

单日30PB量级！火山引擎ByteHouse云原生的数据导入这么做

在分享中，火山引擎ByteHouse技术专家以Kafka和物化MySQL两种实时导入技术为例，介绍了ByteHouse的整体架构演进以及
字节数据平台·2023-12-18 14:39

wsl kafka的简单应用

安装并配置单机版kafka所需环境wsl2环境可用性较高，如下介绍在该环境中安装单机版本kafka的详细过程。
metabit·2023-12-18 14:57

3、电商数仓（数仓数据同步策略）

实时数仓同步数据实时数仓由Flink源源不断从Kafka当中读数据计算，所以不需要手动同步数据到实时数仓。
tianyi6_6·2023-12-18 14:46
上一页 33 34 35 36 37 38 39 40 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他