【面试专栏】Kafka

RocketMQ 简单原理

但是，如今例如RocketMQ、Kafka这些优秀的消息中间件不仅仅是通过一个队列来实现消息存储的。队列模型就像我们理解队列一样，消息中间件的队列模型就真的只是一个队列(类似blockQueue?)
球磨川禊·2023-12-25 23:49

Kafka生产环境问题总结与性能优化实践

Kafka可视化管理工具kafka-manager安装及基本使用可参考：httos://wwwcnbloas.com/dadonaaa/o/8205302.html线上环境规划1.消息丢失情况：消
光芒软件工匠·2023-12-25 21:26

Kafka、RocketMQ、RabbitMQ消息丢失可能存在的地方，以及解决方案

这里主要对比：Kafka、RocketMQ、RabbitMQ介绍一下消息生产、存储、消费三者的架构形式。
程序员中的吴彦祖·2023-12-25 17:30

大白话带你认识 Kafka

前言Kafka是我在疫情期间在游戏之余学的。虽然之前用过ActiveMQ和RabbitMQ，但是在Kafka这门技术面前我也算是一个初学者。文章中若有说法有点完善或者不准确的地方敬请指出。
Guide哥·2023-12-25 14:25

SpringBoot整合Kafka

现在大多数公司都是使用SpringBoot技术，所以使用SpringBoot整合Kafka是比较重要的。接下来我们就来使用SpringBoot整合Kafka。
萧 炎·2023-12-25 14:12

Kafka设计原理详解

Kafka核心总控制器(Controller)在Kafka集群中，通常会有一个或多个broker，其中一个会被选举为控制器(KafkaController)，其主要职责是管理整个集群中所有分区和副本的状态
光芒软件工匠·2023-12-25 14:42

Kafka入门及可视化界面推荐

Kafka官方文档：https://kafka.apache.org/documentation/Kafka中文文档-ApacheCN快速开始vimconfig/server.propertieslog.dirs
沉梦听雨.·2023-12-25 14:10

Kafka生产问题总结及性能优化实践

Kafka可视化管理工具kafka-manager安装及基本使用可参考：https://www.cnblogs.com/dadonggg/p/8205302.htmlKafka可视化管理工具kafdorp
Memory_2020·2023-12-25 12:26

Kafka操作指令笔记

/kafka-consumer-groups.sh--bootstrap-server{kafka集群地址}--describe--group{消费组名称}bin/kafka-consumer-groups.sh
是二狗诶·2023-12-25 12:22

flink 读取kafka 数据写入mysql

创建flink环境：StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism(1);EnvironmentSettingsbuild=EnvironmentSettings.newInstance().useBlinkPlanner().inStream
赤土 炙焱·2023-12-25 12:20

Kafka下沉到HDFS报错

错误信息24十二月202312:38:25,127INFO[SinkRunner-PollingRunner-DefaultSinkProcessor](org.apache.flume.sink.hdfs.HDFSCompressedDataStream.configure:64)-Serializer=TEXT,UseRawLocalFileSystem=false24十二月202312:38
Stephen6Yang·2023-12-25 07:12

Kafka高效读数据

https://blog.csdn.net/qq_33342248/article/details/107901838
不可一世的绵羊·2023-12-25 07:07

安装Hadoop 3.3.5

Hadoop架构设计论述kafka依赖Zookeeper管理自身集群（Broker、Offset、Producer、Consumer等），所以先要安装Zookeeper。
IT WorryFree·2023-12-25 06:03

6.Redis发布订阅（Redis Pub/Sub）

6.Redis发布订阅（RedisPub/Sub）专业的事情你就交给专业的人做，MQ、RabbitMQ、Kafka人就是专门做消息队列的，Redis还来掺乎一脚。是什么？
凇:)·2023-12-25 06:11

【Flink】 Flink实时读取mysql数据

准备你需要将这两个依赖添加到pom.xml中mysqlmysql-connector-java8.0.0读取kafka数据这里我依旧用的以前的student类，自己本地起了kafka然后造一些测试数据，
奔向理想的星辰大海·2023-12-25 05:58

Linux虚拟机、JDK、zookeeper、Kafka的安装

我注意到zookeeper和kafka的视频教程总是跳过了环境配置这个地方，自己去安装虚拟机遇上一些坑，浪费很多时间，因此写一篇从虚拟机安装-jdk安装-zk安装-kfk安装的流程化教程。
PuppyCoding·2023-12-25 04:26

[Suricata]结果写入kafka

目前是公司正在搞得项目,所以只说思路,具体代码就不贴了修改配置中的写出类型suricata.yaml配置中,修改eve.json的filetype为kafka,并在下面新增几个配置传入kafka的broker
LzSkyline·2023-12-25 03:41

kafka-安装与简单使用-01

一、基础概念Kafka是什么Kafka是一个分布式流数据系统，使用Zookeeper进行集群的管理。
伍六七_ba5e·2023-12-25 02:27

【Linux系统基础】（2）在Linux上部署MySQL、RabbitMQ、ElasticSearch、Zookeeper、Kafka、NoSQL等各类软件

实战章节：在Linux上部署各类软件前言为什么学习各类软件在Linux上的部署在前面，我们学习了许多的Linux命令和高级技巧，这些知识点比较零散，同学们跟随着课程的内容进行练习虽然可以基础掌握这些命令和技巧的使用，但是并没有一些具体的实操能够串联起来这些知识点。所以，现在我们设计了各类软件在Linux上部署安装的实战章节，可以让同学们：对前面学习的各类操作命令进行复习和练习，从而深度掌握它们本章
老牛源码·2023-12-25 01:38

【微服务】springboot整合kafka-stream使用详解

目录一、前言二、kafkastream概述2.1什么是kafkastream2.2为什么需要kafkastream2.2.1对接成本低2.2.2节省资源2.2.3使用简单2.3kafkastream特点
小码农叔叔·2023-12-24 21:04

Kafka单节点安装部署

本文主要是基于Kafka最新版kafka_2.12-2.8.0进行配置，这里ZooKeeper服务器的搭建主要是用kafka内置的ZooKeeper便捷脚本来快速简单地创建一个单节点ZooKeeper实例
程序员储物箱·2023-12-24 19:28

Start kafka connect

启动kafkabroker先下载从官网下载kafkaconsole包，wget"https://archive.apache.org/dist/kafka/0.11.0.1/kafka_2.12-0.11.0.1
yehongyu_2018·2023-12-24 17:50

docker-compose搭建kafka单机集群环境

1.配置网络(复用已有网络)1.1创建docker虚拟网络#创建一个名为clickhouse的桥接(bridge)虚拟网络，网关172.26.0.1，网段为172.25.0.0dockernetworkcreate-dbridge--subnet=172.26.0.0/16--gateway=172.26.0.1clickhouse2.启停命令在docker-compose.yml路径下:构建开启
销毁first·2023-12-24 12:05

k8s日志收集方案及实战

kibana安装配置2.1kibana安装2.2kibana配置2.3启动kibana3、zookeeper安装配置3.1zookeeper安装3.2启动zookeeper3.3检查zookeeper状态4、kafka
唐僧骑白马·2023-12-24 11:03

kubernetes集群 应用实践 kafka部署

kubernetes集群应用实践kafka部署零.1、环境说明零.2、kafka架构说明zookeeper在kafka集群中的作用一、Broker注册二、Topic注册三、TopicPartition选主四
师范大学通信大怨总·2023-12-24 11:58

《PySpark大数据分析实战》-04.了解Spark

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-06.安装环境准备

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-17.云服务模式Databricks介绍运行作业

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-02.了解Hadoop

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:02

《PySpark大数据分析实战》-01.关于数据

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:01

《PySpark大数据分析实战》-18.什么是数据分析

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:01

微服务之配置中心与服务跟踪

配置中心数据分类事件调度（kafka）消息服务和事件的统一调度，常用用kafka，activemq等。
武昌库里写JAVA·2023-12-24 09:02

ELK分析k8s应用日志

ELK分析k8s应用日志日志收集过程架构安装elasticsearch-6.8.6安装kafkakafka-manager安装安装filebeat在spinnaker中配置日志收集容器filebeat部署
岳大博·2023-12-24 09:48

【Flink】Flink-Kafka序列化反序列化

SimpleStringSchema，对字符串进行序列化反序列化，这个Schema中既实现了了序列化，也实现了反序列化newSimpleStringSchema()union.addSink(newFlinkKafkaProducer011
一杯咖啡半杯糖·2023-12-24 08:52

Flink消費kafka数据的反序列化方式

Flink消費kafka数据的反序列化方式Flink反序列化顶层接口1.DeserializationSchema接口2.KafkaDeserializationSchema接口接收kafka数据时常用的反序列化类
闻风-堡·2023-12-24 08:52

Flink实时计算运用（七）Flink 自定义序列化Protobuf接入实现方案

功能：kafka对同一Topic的生产与消费，采用Protobuf做序列化与反序列化传输，验证能否正常解析数据。
麦神-mirson·2023-12-24 08:49

记flink消费kafka 数据序列化失败

报错如下Exceptioninthread"main"org.apache.flink.runtime.client.JobExecutionException:Jobexecutionfailed.atorg.apache.flink.runtime.jobmaster.JobResult.toJobExecutionResult(JobResult.java:147)atorg.apache.
lbl251·2023-12-24 08:49

【Kafka集群架构设计原理】

文章目录一、Kafka的Zookeeper元数据梳理一、Kafka的Zookeeper元数据梳理1、zookeeper整体数据Kafka将状态信息保存在Zookeeper中，这些状态信息记录了每个Kafka
向前再向前·2023-12-24 07:35

kafka 入门详解

KafkaKafka核心概念什么是KafkaKafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。
janlle·2023-12-24 06:23

Kafka日志

位置server.properties配置文件中通过log.dir指定日志存储目录log.dir/{topic}-{partition}核心文件.log存储消息的日志文件，固定大小为1G，写满后会新增一个文件，文件名表示当前日志文件记录的第一条消息的偏移量。.index以偏移量为索引来记录对应的.log日志文件中的消息偏移量.timeindex以时间戳为索引来记录对应的.log日志文件中的消息偏移
小淘淘喵的主人·2023-12-24 06:46

【kafka】在linux中安装并简单部署使用

文章目录简介优势消息模型JMS规范AMQP模型基本概念Topic主题Partition分区偏移量Record消息记录副本Broker消息代理下载本地伪分布式安装配置启动伪分布式集群创建主题消费者生产者简介分布式流处理平台：发布订阅消息队列、具有存储功能、一个流处理框架优势吞吐量好，性能好伸缩性好，支持在线扩展容错性和可靠性（容错性：一个消息存储三份）与大数据生态紧密结合，可无缝对接hadoop、s
古枫桐·2023-12-24 05:35

Kafka+Flink 实现准实时异常检测系统

1.背景介绍异常检测可以定义为“基于行动者（人或机器）的行为是否正常作出决策”，这项技术可以应用于非常多的行业中，比如金融场景中做交易检测、贷款检测；工业场景中做生产线预警；安防场景做入侵检测等等。根据业务要求的不同，流计算在其中扮演着不同的角色：既可以做在线的欺诈检测，也可以做决策后近实时的结果分析、全局预警与规则调整等。本文先介绍一种准实时的异常检测系统。所谓准实时，即要求延迟在100ms以内
Java大生·2023-12-24 00:27

【Kafka架构及应用】

Kafka的架构和运行原理Kafka是一个分布式流处理平台，它由以下几个核心组件组成：Broker：Kafka集群中的一个节点，负责接收、存储和转发消息。
Oo_Amy_oO·2023-12-24 00:25

如何应对 RocketMQ 消息堆积

虽然笔者经常讲：RocketMQ、Kafka具备堆积的能力，但是以下场景需要重点关注消息堆积和延迟的问题：业务系统上下游能力不匹配造成的持续堆积，且无法自行恢复。
虚无火星车·2023-12-23 21:53

[每周一更]-(第37期)：PHP常见的操作消息队列

Kafka：Kafka是另一个流行的消息队列系统，也被广泛应用于分布式系统的消息传递和异步处理。在PHP中，可以使用rdkaf
ifanatic·2023-12-23 16:41

[每周一更]-(第38期)：Go常见的操作消息队列

ApacheKafka：ApacheKafka是一个开源的分布式流处理平台，也可以用作消息队列，用于处理高容量的消息流和实时数据。Kafka提供了高
ifanatic·2023-12-23 16:40

SparkStreaming和Kafka

0.一些问题SparkStreaming如何消费KafkaKafka的offset如何维护如何获取Kafka的offsetKafka获取offset的时候会不会消费kafka的记录Kafka的分区和sparktask
天之見證·2023-12-23 16:25

【高效开发工具系列】eclipse部署web项目

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-12-23 12:10

11-Kafka

1KafkaKafka是一个分布式流式数据平台，它具有三个关键特性MessageSystem:Pub-Sub消息系统Availability&Reliability：以容错及持久化的方式存储数据记录流Scalable
爱写代码的小男孩·2023-12-23 09:20

SparkStreaming学习记录

2.BasicConceptsMaven依赖org.apache.sparkspark-streaming_2.122.4.1provided如果数据源来自Kafka或Flume等，需要添加如下依赖SourceArtifactKafkaspark-streaming
Jorvi·2023-12-23 08:49
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他