kafka消息系统源码解析

4.Doris数据导入导出

导入Doris支持多种数据源导入如S3HDFSKafka本地文件Binlog等官方文档导入的原子性保证Doris的每一个导入作业，不论是使用BrokerLoad进行批量导入，还是使用INSERT语句进行单条导入
夹毛局的程序员·2024-01-28 16:27

python logging 使用kafka进行日志收集

kafka日志处理类importloggingimportjsonfromdatetimeimportdatetimefromkafkaimportKafkaProducerimportsocketimportconfigparser
walk walk·2024-01-28 15:18

spark-streaming与kafka的整合

1.概述在2.x中，spark有两个用来与kafka整合的代码，版本代号为0.8和0.10，由于在0.8，kafka有两套消费者api，根据高级api得到了Receiver-basedApproach，
王大为学习笔记·2024-01-28 14:47

Kafka-服务端-ControllerChannelManager、ControllerContext、ControllerBrokerRequestBatch

ControllerChannelManagerControllerLeader通过发送多种请求管理集群中的其他Broker,KafkaController使用ControllerChannelManager
Andy技术支援·2024-01-28 07:11

【Kafka】高级特性：消费者

目录消息消费消息消费流程信息注册消息消费消费方式反序列化拦截器消费者原理剖析消费者组和消费者心跳机制消费者位移概述位移管理位移提交再平衡何时发生再平衡避免重平衡再平衡原理消费组状态机参数配置消息消费消息消费流程参考：https://mp.weixin.qq.com/s/v6jUK8TIPi1Debfd40GU3w消费者消费也主要分为两个阶段：信息注册阶段，即整个消费者组向集群注册消费信息等信息消费
Ethan-running·2024-01-28 07:39

Kafka入门

文章目录基础架构工作流程文件存储生产者producer消息发送分区策略producer发送消息流程RecordAccumulator（记录累加器）生产者高级设计之自定义数据结构生产者高级设计之内存池设计producerACK是什么Leader何时发送ack?生产者ACK策略Broker副本数据一致性问题follower故障和leader故障AtLeastOnce+幂等性=ExactlyOnceZo
FREE_GIFT_白给怪·2024-01-28 07:08

Python网络爬虫实战——实验8：Python爬虫项目部署与kafka消息队实战

【实验内容】本实验主要介绍关于在Linux云环境下部署和运行爬虫项目并使用kafka发送消息队列。
武汉唯众智创·2024-01-28 07:37

Kafka-服务端-PartitionLeaderSelector、ReplicaStateMachine

PartitionLeaderSelector通过对前面的分析可知，PartitionMachine将Leader副本选举、确定ISR集合的工作委托给了PartitionLeaderSelector接口实现，PartitionMachine可以专注于管理分区状态。这是策略模式的一种典型的应用场景。图展示了PartitionLeaderSelector的实现类，这五个不同的实现提供了不同的策略。Pa
Andy技术支援·2024-01-28 07:37

Java技术栈 —— Kafka入门（一）

Java技术栈——Kafka入门（一）一、什么是Kafka？二、如何安装Kafka？一、什么是Kafka？Kafka是一种消息队列，通过订阅-发布机制可以实现解耦合，用异步处理代替同步处理[1]。
键盘国治理专家·2024-01-28 07:07

【Kafka】高级特性：主题

目录主题的管理创建主题查看主题修改主题删除主题增加分区分区副本的分配必要参数配置KafkaAdminClient应用功能操作示例主题的管理使用kafka-topics.sh脚本。
Ethan-running·2024-01-28 07:36

springboot2.2.9整合kafka之KafkaListener实现原理

1、开启kafka的注解@EnableKafka通过开启kafka注解可以看到Import的类KafkaListenerConfigurationSelector加载一个配置类KafkaBootstrapConfiguration
室内篮球·2024-01-28 07:36

kafka-JVM采集器安装

Kafka采集器安装说明①下载安装采集器下载采集器，并上传至服务器https://github.com/prometheus/jmx_exporterkafka_jmx_exporter.tar.gz②
长空~·2024-01-28 07:27

Zookeeper+Kafka+Log4j日志采集与管理系统

1、Zookeeper+Kafka+Log4j-日志采集与管理随着系统规模变大和复杂度上升，我们的日志管理变得复杂，一个完整的系统通常会有几十上百个节点。
ff&yy·2024-01-28 06:28

MQ面试题之Kafka

本人毕业到现在使用的都是公司内部产品，对于通用产品无实际经验，但是各种消息中间件大差不差，故而本次选择一个相对较熟悉的Kafka进行详细介绍。
for62·2024-01-28 05:39

ES面试题合集

前言前文介绍了消息中间件之Kafka，我们的知识体系逐渐丰满。本文将继续深入，介绍搜索引擎ES。ES面试题合集Elasticsearch有哪些特性？
for62·2024-01-28 05:09

Spring(20) GET请求参数偶发性丢失问题

文章目录一、问题现象二、问题分析2.1发生时间2.2发生位置2.3源码解析2.4Tomcat机制2.5原因总结三、问题复现四、问题修复一、问题现象最近偶遇一诡异棘手问题：一个用于获取token的GET接口
ACGkaka_·2024-01-28 03:03

java 分布式 日志方案_ELK + kafka 分布式日志解决方案

本文介绍使用ELK(elasticsearch、logstash、kibana)+kafka来搭建一个日志系统。
kimi无悔-618·2024-01-28 02:37

Kafka的安装部署、基本操作、集群环境

1、Kafka的安装部署下载kafkakafka_2.11-2.0.0.tgz安装过程安装过程非常简单，只需要解压就行，因为这个是编译好之后的可执行程序tar-zxvfkafka_2.11-2.0.0.
有梦想的虫子_2018·2024-01-28 01:46

Map#computeIfAbsent

Map#computeIfAbsent1.源码解析1.1java.util.Map#computeIfAbsent2.demo1.源码解析1.1java.util.Map#computeIfAbsentdefaultVcomputeIfAbsent
hao9e·2024-01-28 00:52

SpringBoot 源码解析5：ConfigurationClassPostProcessor整体流程和@ComponentScan源码分析

SpringBoot源码解析5：ConfigurationClassPostProcessor整体流程和@ComponentScan源码分析1.知道以下几点，读ConfigurationClassPostProcessor
hao9e·2024-01-28 00:51

SpringBoot 源码解析4：refresh 方法解析

SpringBoot源码解析4：refresh方法解析1.refresh方法解析2.准备刷新AbstractApplicationContext#prepareRefresh3.获取bean工厂AbstractApplicationContext
hao9e·2024-01-28 00:21

设计模式-责任链模式

适用于什么场景事件/消息系统：在GUI编程中，当一个事件（如鼠标点击、键盘按键）发生时，这个事件可能会被多个监听器监听并处理。这些监听器就形成了一个责任链。
spcof·2024-01-27 21:30

JVM系列-9.性能调优

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-27 21:19

对于mysql，redis，Kafka，zookeeper磁盘缓存技术使用分析

对于mysql，redis，Kafka，zookeeper磁盘缓存技术使用分析大部分组件是基于磁盘存储的，但由于CPU速度和磁盘速度之间的鸿沟，都会使用缓存技术来提高性能，缓存简单来说就是一块内存区域，
魏春雨·2024-01-27 21:07

Kafla 学习（一）初始学习kafla

发布与订阅消息系统在了解发布与订阅系统之前，我们需要了解一下需求场景，知道为什么会出现这个系统？
程序胖·2024-01-27 20:27

源码解析 | SLAM 多点导航开发思路介绍

不久前，我们发布了一个多点SLAM的功能包，今天给大家介绍这个功能包的开发思路。开发背景：在使用ROSNavigation&RViz进行2DNavGoal导航的时候，我们会遇到这些情况：给定导航的目标点只能设置一个，当有多点任务时需要等待一个个任务结束后，再次手动给目标无法暂停或取消任务任务不可循环开发目的：完成多目标点导航，可以对导航环节进行操控，如可循环、取消、重置任务等。开发思路：2DNav
Autolabor·2024-01-27 19:28

LeakCanary原理从0到1

文章目录引用分类强引用软引用弱引用虚引用LeakCanary理论依据源码解析LeakCanary2.0的初始化放在了自带的ContentProvider中:为了使文章尽量通俗易懂。
d袋鼠b·2024-01-27 19:48

MQ消息队列主流消息服务规范及代表产品

市面上消息队列的种类繁多，我们经常在做技术选型的时候，就会搜“RabbitMQ/RocketMQ/Kafka…的区别”这样的字眼，为了就是更好地选型，结合业务需求以及消息队列的性能、功能特性、设计规范来综合考虑
c_zyer·2024-01-27 18:13

linux内核radeon gpu源码解析

1.什么是radeon简介Radeon（中文名称称为镭龙™）是一个英文产品的商标。Radeon是AMD公司出品的显示芯片的一种系列。俗称A卡。全称一般写作：AMDRadeonHDxxxx，例如台式机显卡型号：AMDRadeonHD6450。HD7000系列以后，AMD启用新的AMDRadeonR9/R7xxx命名旗下新的显示芯片。出产型号AMDRadeon系列的台式机显卡有：AMDRadeonRX
人间正道是沧桑a·2024-01-27 18:51

【代码随想录-数组】移除元素

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-27 18:08

SpringBoot activemq收发消息、配置及原理

与Springframework相比，SpringBoot更近了一步，通过auto-configuration机制实现了对jms及amqp主流框架如ActiveMQ、RabbitMQ以及Kafka的自动配置
weixin_44612246·2024-01-27 17:16

Kafka-4.1-工作原理综述

1Kafka工作原理详解1.1工作流程Kafka集群将Record流存储在称为Topic的类中，每个记录由⼀个键、⼀个值和⼀个时间戳组成。
江中散人·2024-01-27 16:47

【云原生进阶之PaaS中间件】第三章Kafka-2-安装部署

1安装部署1.1kafka的分布式kafka是依靠zookeeper来实现分布式的，所以再启动前需要先启动zookeeper，如下图1.2集群部署官方下载地址：ApacheKafka（1）安装和Hadoop
江中散人·2024-01-27 16:16

【云原生进阶之PaaS中间件】第三章Kafka-3-命令操作

1命令操作1.1主题命令操作查看操作主题命令参数：[atguigu@hadoop102kafka]$bin/kafka-topics.sh参数描述--bootstrap-server，连接的KafkaBroker
江中散人·2024-01-27 16:16

【Spring连载】使用Spring访问 Apache Kafka（十六）----空payload和‘Tombstone‘记录的日志压缩

【Spring连载】使用Spring访问ApacheKafka（十六）----空payload和'Tombstone'记录的LogCompaction当你使用LogCompaction时，你可以发送和接收具有空
85程序员老王·2024-01-27 16:26

【Spring连载】使用Spring访问 Apache Kafka（十七）----处理异常

【Spring连载】使用Spring访问ApacheKafka（十七）----处理异常HandlingExceptions一、监听器错误处理程序ListenerErrorHandlers二、容器错误处理程序
85程序员老王·2024-01-27 16:26

【Spring连载】使用Spring访问 Apache Kafka（十八）----非阻塞重试

【Spring连载】使用Spring访问ApacheKafka（十八）----非阻塞重试Non-BlockingRetries一、HowThePatternWorks二、BackOffDelayPrecision
85程序员老王·2024-01-27 16:26

【Spring连载】使用Spring访问 Apache Kafka（十）----监控

【Spring连载】使用Spring访问ApacheKafka（十）----监控Monitoring一、监控监听器性能MonitoringListenerPerformance二、监控KafkaTemplate
85程序员老王·2024-01-27 16:56

【Spring连载】使用Spring访问 Apache Kafka（十一）----事务

【Spring连载】使用Spring访问ApacheKafka（十一）----事务Transactions一、概览二、使用KafkaTransactionManager三、事务同步TransactionSynchronization
85程序员老王·2024-01-27 16:56

【Spring连载】使用Spring访问 Apache Kafka（六）----应用程序事件

【Spring连载】使用Spring访问ApacheKafka（六）----应用程序事件ApplicationEvents一、检测空闲和无响应的Consumers二、事件消费EventConsumption
85程序员老王·2024-01-27 16:55

【Spring连载】使用Spring访问 Apache Kafka（七）----Topic/Partition初始偏移量&定位到特定的偏移量

【Spring连载】使用Spring访问ApacheKafka（七）----Topic/Partition初始偏移量&定位到特定的偏移量一、Topic/Partition的初始偏移量InitialOffset
85程序员老王·2024-01-27 16:55

【Spring连载】使用Spring访问 Apache Kafka（三）----接收消息

【Spring连载】使用Spring访问ApacheKafka（三）----接收消息一、消息监听器MessageListeners二、消息监听器容器MessageListenerContainers2.1
85程序员老王·2024-01-27 16:25

【Spring连载】使用Spring访问 Apache Kafka（十五）----消息头

【Spring连载】使用Spring访问ApacheKafka（十五）----消息头MessageHeadersApacheKafkaclient中提供了对消息中headers的支持。
85程序员老王·2024-01-27 16:53

Ansible源码解析Inventory总管概念__init__.py

包含基础的grouphost类，也包含配置文件解析、文件夹解析以及动态inventory(script.py)类的解析host_list参数的不同情况来做不同解析的事情，看看源码解析就知道，后面的一部分代码就是来用获取东西的
weixin_34366546·2024-01-27 15:31

ansible源码解析-ansible配置文件加载过程

前言ansible作为自动化工具，在执行时会读取/etc/ansible/ansible.cfg配置文件，获取其中配置参数用于后续执行，那么ansible执行时，代码是如何加载这个配置文件的呢？本文代码示例为ansible2.11版本ansible命令执行举个栗子：ansible-i/etc/ansible/hostslocalhost-clocal-mshell-a"ls/tmp"在执行这个代码
^白开水^·2024-01-27 15:00

基于django 开发的框架 jumpserver 源码解析(六) celery 的 集成 以及 ansible api 的调用过程。

celery的集成以及ansibleapi的调用过程。django框架集成了celery,初衷就是一下请求到view的时候，需要执行一些耗时程序，需要一个异步的东西，来代替执行。jumpserver中出现了大量这样的源码。classAssetRefreshHardwareApi(generics.RetrieveAPIView):"""Refreshassethardwareinfo"""quer
pyVincent001·2024-01-27 15:30

Ansible源码解析：在动态清单中使用Host Variable存储ssh登录凭证

（本文基于Ansible2.7）前两天有位朋友问到是否可以使用用户名+口令的登录方式来代替预先分发RSA公钥到目标主机以实现免密登录的方式，这无疑是可以的，而且很简单。只需要在Inventory中给host增加两个variable，它们分别是：ansible_ssh_useransible_ssh_pass并安装sshpass包，以便使用非交互的方式提供登录口令。在lib/ansible/cons
三苦·2024-01-27 15:29

浅聊ansible的幂等 file模块源码解析

描述#  幂等性是在实际应用中经常需要考虑的概念，尤其是运维中。相较于将幂等性理解为各种异常情况的综合处理，将其理解为执行时需要考虑到在前次执行产生的影响的情况下能够正常执行则会更加容易接近业务需求。  ansible包含众多的模块，大部分内置模块都能够保证操作的幂等性，即相关操作的多次执行能够达到相同结果这一特性，不会出现多次执行带来副作用的影响。但是也有不满足幂等原则的，比如shell模块、r
一只晨兴夜不得寐的运维人·2024-01-27 15:28

flume+kafka+SparkStreaming+mysql+ssm+高德地图热力图项目

第一步、编写python脚本，产生模拟数据#coding=UTF-8importrandomimporttimephone=["13869555210","18542360152","15422556663","18852487210","13993584664","18754366522","15222436542","13369568452","13893556666","1536669855
printf200·2024-01-27 12:24

二维数组中的查找

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码【谁再说Spring不支持多线程事务，你给我抽他！
smart哥·2024-01-27 11:25
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他