【面试专栏】Kafka

Docker 启动容器遇到 operation not permitted 错误的解决

但在Mac上运行正常，注Mac上的Docker版本不同于Linux）报错示例：$dockerrun--rm-itquay.io/debezium/connect:2.1......realpath:/kafka
xchenhao·2023-11-24 20:45

kafka精准一次、事务、幂等性

Kafka事务消息中间件的消息保障的3个级别Atmostonce至多一次。数据丢失。Atlastonce至少一次。数据冗余Exactlyone精准一次。好！！！
Made in Program·2023-11-24 19:36

Kafka的可靠性保证

概念创建Topic的时候可以指定--replication-factor3，表示分区的副本数，不要超过broker的数量。Leader是负责读写的节点，⽽其他副本则是Follower。Producer只把消息发送到Leader，Follower定期地到Leader上Pull数据。ISR是Leader负责维护的与其保持同步的Replica列表，即当前活跃的副本列表。如果⼀个Follow落后太多，Le
david161·2023-11-24 18:21

【应用】PHP调用百度文档翻译接口

思路：1、上传文档；2、调用翻译接口；3、通过kafka监听接口回调，处理返回数据，保存到本地（方便以后扩展，如加入用户信息，查看我的翻译记录）4、前端监听后端服务，通过swoole的websocket
林坤源·2023-11-24 18:35

Grafana如何实现折线柱状图

最近整理了一份大厂面试资料《史上最全大厂面试题》，Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、Kafka、Elasticsearch、数据库等等获取方式
飞乐鸟·2023-11-24 18:05

docker安装kafka

单机版window下新建一个文件kafka-alone.yml，文件内容如下：version:'2'services:zk:image:zookeeper:3.6container_name:zk_c0ports
zhaoxichen_10·2023-11-24 17:35

Serverless 在数据处理场景下的最佳应用

我们知道传统的数据处理无外乎涉及Kafka、Logstash、FileBeats、Spark、Flink、CLS、COS等组件。
Serverless·2023-11-24 17:49

大数据集群报错集锦及解决方案

文章目录前言1Hadoop1.1Yarn上执行MR计算报错空指针1.2NameNode启动失败2Hive2.1Hive数据量过大3Kafka3.1Kafka集群部分机器起不来4Azkaban4.1Azkaban
陈舟的舟·2023-11-24 16:22

Doris系列之高级功能-Rollup操作

Doris系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-24 16:31

Doris系列之物化视图操作

Doris系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-24 16:31

doris实现数据聚合的三种方式--多明细聚合、物化视图与rollup

doris实现数据聚合的三种方式假设以①ds、hour为维度计算pv②ds为维度计算pv1、三种聚合方式（1）聚合模型+数据源多次写入flink写入kafka代码insertintolog_exp_pvselectdshour
Dylan ZhaoHT·2023-11-24 16:24

Kafka 常见面试题

Kafka常见面试题目录概述需求：设计思路实现思路分析1.什么是一次性语义？2.:Kafka如何保证生产一次性语义？
执于代码·2023-11-24 16:10

Kafka-安装和使用

一、下载安装包1、选择所需版本下载[root@ywxtdbopt]#wgethttps://archive.apache.org/dist/kafka/2.1.0/kafka_2.12-2.1.0.tgz2
蚂蚁兄弟·2023-11-24 16:10

Kafka源码分析 Topic与Partition使用

文章目录主题与分区Topic的管理命令1.创建Topic2.查看Topic3.修改Topic4.删除Topickafka-topics.sh命令式创建Topic代码阅读分析主题与分区Topic的管理命令
顧棟·2023-11-24 15:09

kafka分区停留在UnderReplicated状态

发现线上一台机器有topic一直停留在UnderReplicated状态。通过命令查看结果如下我的broker节点只有3个，但是这个副本数设置成了4。因此判断是副本数设置的问题。多多了的1,2,3什么的都不存在的。通过以下脚本修改副本数即可。cat>increase-replication-factor.json<
weixin_34117211·2023-11-24 15:07

kafka常考面试题整理分享（含答案）

1.Kafka中的ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)代表什么？
独行侠梦·2023-11-24 15:04

Kafka中offset的相关操作

1关于offsetoffset用于记录消息消费的进度，主要有以下几种，Currentoffset，用于记录消费者已经接收到(不一定有完成消费)的消息序号，保证同一个消息不会被重复消费，可以我们通过kafka-consumer-groups.sh
Blue summer·2023-11-24 15:03

Kafka常见面试题

2.kafka是什么？有什么作用？3.kafka的架构是怎么样的？4.KafkaReplicas是怎么管理的？5.如何确定当前能读到哪一条消息？6.生产者发送消息有哪些模式？
小狐憨憨·2023-11-24 15:02

kafka使用——基本操作（3）

文章目录管理主题创建主题自动创建手动创建查看主题查看所有主题查看特定主题信息查看正在同步的主题查看没有Leader的分区查看主题覆盖配置修改主题修改主题级别配置增加分区删除主题生产者基本操作启动生产者消费者基本操作单主题消费多主题消费单播与广播单播广播分区操作分布Leader平衡分区迁移节点下线分区迁移集群扩容数据迁移增加分区增加副本连接器基本操作独立模式分布式模式镜像操作管理主题创建主题在Kaf
蛋蛋奶茶香·2023-11-24 15:59

kafka常见面试题及答案

1.Kafka是什么？它的主要组件是什么？Kafka是一个分布式流处理平台，最初由LinkedIn公司开发，现已成为Apache基金会的开源项目。
沉墨的夜·2023-11-24 15:56

kafka 常见面试题

1、什么是零拷贝技术（Zero-Copy）传统数据文件拷贝过程  传统的数据文件拷贝过程如下图所示，大概可以分成四个过程：(1)操作系统将数据从磁盘中加载到内核空间的ReadBuffer（页缓存区）中。(2)应用程序将ReadBuffer中的数据拷贝到应用空间的应用缓冲区中。(3)应用程序将应用缓冲区的数据拷贝到内核的SocketBuffer中。(4)操作系统将数据从SocketBuffer中发送
hzau_itdog·2023-11-24 15:24

面试|Kafka常见面试问题总结

现如今，Kafka已不再是一个单纯的消息队列系统。Kafka是一个分布式的流处理平台，被越来越多的公司使用，Kafka可以被用于高性能的数据管道，流处理分析，数据集成等场景。
大数据技术与数仓·2023-11-24 15:54

深入理解Kafka系列（七）--管理Kafka

深入理解Kafka系列（七）--管理Kafka系列文章目录前言正文主题操作创建主题增加分区其他操作消费者群组偏移量管理动态配置变更覆盖主题的配置项覆盖客户端的配置其他相关操作分区管理首选的首领选举修改分区副本转储日志片段消费和生产控制台生产者控制台消费者不安全的操作移动集群控制器取消分区重分配移出待删除的主题手动删除主题总结系列文章目录
Zong_0915·2023-11-24 15:22

实时分析海量新数据的难点 和解决方案

解决方案：使用分布式计算和存储技术，如Hadoop、Spark、Kafka等，将数据分散存储在多个节点上，同时进行分布式计算和处理，以实现数据的实时处理和分析。2.数据质量的保障：海量新
29597739c454·2023-11-24 15:56

kafka常见面试问题（1）

问题1：什么是ApacheKafka?答：ApacheKafka是一个发布-订阅开源消息代理应用程序。这个消息传递应用程序是用“scala”编码的。基本上，这个项目是由Apache软件启动的。
Computer_hello·2023-11-24 15:18

2023年最新kafka常见面试题

2023年最新kafka常见面试题Kafka的设计时什么样的呢？
IT枫斗者·2023-11-24 15:47

Kafka常见面试问题

1、Kafka分区设计及主副本如何同步ApacheKafka是一种分布式流处理平台，它使用分布式复制协议来实现高可用性和容错性。
长江七号zzj·2023-11-24 15:17

Kafka报错under-replicated partitions

1under-replicatedpartitions异常原因Kafka报错underreplicatedpartitions意味着某些分区的副本数量未达到预期的复制因子。
Blue summer·2023-11-24 15:46

40、Flink 的Apache Kafka connector（kafka source 和sink 说明及使用示例） 完整版

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用api介绍及入门示例14、Flink的tableapi与sql之数据类型:内置数据类型以及它们的属性15、Flink的tableapi与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理
一瓢一瓢的饮 alanchan·2023-11-24 15:41

【中间件】kafka

目录一、概述二、生产者1.发送原理2.生产者分区Partition分区好处分区策略3.生产者如何提高吞吐量4.数据可靠性ACK应答级别数据不丢失：ACK+ISR数据不重复：幂等性数据有序三、broker1.工作流程2.副本相关3.底层存储4.高效读写数据四、消费者1.工作流程2.分区分配和重平衡3.offset位移一、概述定义：是一个分布式的基于发布/订阅模式的消息队列（MessageQueue）
和瑚·2023-11-24 13:11

Flink-Exactly Once(如何保证数据的唯一性和不重复!)

kafka中如何保证数据不丢失1.kafka中如何保证数据不丢失2.向kafka中sink数据packagecom.wt.flink.sinkimportorg.apache.flink.api.common.serialization.SimpleStringSchemaimportorg.apache.flink.connec
a-tao必须奥利给·2023-11-24 11:52

大数据之使用Flink消费Kafka中topic为ods_mall_data的数据，根据数据中不同的表将数据分别分发至kafka的DWD层

，代码执行结果以及数据的展示无法给出，可参照我以往的博客其中有相同数据源展示题目：提示：以下是本篇文章正文内容，下面案例可供参考（使用Scala语言编写）一、读题分析涉及组件：Scala，Flink，Kafka
约定Da于配置·2023-11-24 11:49

SpringBoot——》配置logback日志文件

推荐链接：总结——》【Java】总结——》【Mysql】总结——》【Redis】总结——》【Kafka】总结——》【Spring】总结——》【SpringBoot】总结——》【MyBatis、MyBatis-Plus
小仙。·2023-11-24 10:11

为什么 Flink 抛弃了 Scala

曾经红遍一时的Scala想当初Spark横空出世之后，Scala简直就是语言界的一颗璀璨新星，惹得大家纷纷侧目，连Kafka这类技术框架也选择用Scala语言进行开发重构。
shengjk1·2023-11-24 10:40

详解分布式微服务架构

目录一、微服务简介1、分布式微服务架的诞生2、微服务架构与SOA架构的区别3、微服务框架引来的问题二、服务通信RESTfulAPI：消息队列（如RabbitMQ、Kafka）：gRPC：GraphQL：
不想步入秃头的年龄·2023-11-24 09:22

Kafka应用总结

在今年的两个项目中，为了处理大量的游戏日志，于是引入了kafka。经过一段时间的运行，现将整个应用的过程做一个记录和归档。
筑梦之队·2023-11-24 07:19

Flink实战（八十二）：flink-sql使用（九）Flink sql 解析复杂（嵌套）JSON

原文链接：http://apache-flink.147419.n8.nabble.com/flink-1-10-sql-kafka-format-json-schema-json-object-td4665
王知无(import_bigdata)·2023-11-24 06:44

Kafka Replication: The case for MirrorMaker 2.0

ApacheKafkahasbecomeanessentialcomponentofenterprisedatapipelinesandisusedfortrackingclickstreameventdata
weixin_30685047·2023-11-24 05:40

Kafka Broker

文章目录KafkaBrokerKafkaBroker工作流程Zookeeper存储的Kafka信息KafkaBroker总体工作流程Broker重要参数生产经验-节点服役和退役服役新节点退役旧节点Kafka
Smartaotao·2023-11-24 04:46

Kafka-Eagle监控

Kafka-Eagle监控前言一、MySQL环境准备二、Kafka环境准备Kafka-Eagle安装前言Kafka-Eagle框架可以监控Kafka集群的整体运行情况，在生产环境中经常使用提示：官网-https
Smartaotao·2023-11-24 04:46

Kafka集成Flink

集成Flink一、Flink环境准备二、Flink生产者1.在包名下创建java类：FlinkKafkaProducer三、Flink消费者Flink是一个在大数据开发中非常常用的组件。
Smartaotao·2023-11-24 04:46

Kafka消费者

Kafka消费者Kafka消费方式Kafka消费者工作流程消费者总体工作流程消费者组原理消费者重要参数消费者API独立消费者案例（订阅主题）独立消费者案例（订阅分区）消费者组案例生产经验-分区的分配以及再平衡
Smartaotao·2023-11-24 04:16

k8s集群引入外部服务kafka

apiVersion:v1kind:Servicemetadata:labels:app:kafkaname:kafkanamespace:apache-sparkspec:type:ClusterIPports
青春不流名·2023-11-24 00:36

docker 部署 zookeeper & kafka

文章目录Zookeeper集群部署1.官方下载二进制包2.初始化3.修改配置文件4.启动5.查看集群状态Kafka集群部署Zookeeper集群部署主机名称IP地址mypidzookeeper_110.160.1.51zookeeper
小伙计~·2023-11-23 23:24

Hadoop常用组件zookeeper,kafka

Hadoop常用组件zookeeper,kafkaZooKeeper是一个开源的分布式应用程序协调系统。
wayne342175926·2023-11-23 23:22

zookeeper和kafka的理解

Zookeeper是什么ZooKeeper翻译一下就是“动物园管理员”，他是一些管动物的管理员，关于他的名字来源给你们找来了，可以看看。关于“ZooKeeper”这个项目的名字，其实也有一段趣闻。在立项初期，考虑到之前内部很多项目都是使用动物的名字来命名的(例如著名的Pig项目),雅虎的工程师希望给这个项目也取一个动物的名字。时任研究院的首席科学家RaghuRamakrishnan开玩笑地说：“在
☞心态☜·2023-11-23 23:51

Zookeeper+kafka搭建+验证

一、JDK配置1.Zookeeper和kafka都依赖于JDK因此首先需要在服务器上安装JDK，在官网下载或者百度下载JDK8.linux版本的压缩包。
笨小鬼·2023-11-23 23:50

kafka开启JMX，EFAK要监控kafka服务器？

目录先看看效果首页EFAKTVMonitorkafka为啥开启JMX软件的版本号部署的服务器EFAK的配置文件(参考)（重点）修改kafka的配置，开启JMX先看看效果首页EFAK的kafkaos下的Memory
技术武器库·2023-11-23 23:18

CentOS 7安装Zookeeper和Kafka

home/install_package下主机:主机浮动IP是10.11.0.200，主机IP是192.168.57.30安装包apache-zookeeper-3.8.1-bin.tar.gz下载路径kafka
不会画画的画师·2023-11-23 23:47

关闭kafka和zookeeper的jmx端口

关闭kafka和zookeeper的jmx端口这是一个随机端口还监听在0.0.0.0上关闭方式在systemctl里设置环境变量Environment="KAFKA_JMX_OPTS=-Dcom.sun.management.jmxremote.host
cumt_TTR·2023-11-23 23:17
上一页 48 49 50 51 52 53 54 55 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他