【Kafka源码解读】

Kafka 下载与启动

目录一.前言二.版本下载2.1.版本说明三.快速启动3.1.下载解压3.2.启动服务3.3.创建一个主题（Topic）3.4.发送消息3.5.消费消息3.6.使用KafkaConnect来导入/导出数据
流华追梦·2024-02-10 08:00

第七篇——Apache Kafka的设计与实现

作者：禅与计算机程序设计艺术1.简介ApacheKafka是Apache软件基金会推出的一个开源分布式流处理平台，它最初由LinkedIn开发并于2011年9月正式发布，目前已成为Apache项目之一，
禅与计算机程序设计艺术·2024-02-10 06:23

SpringBoot源码解读与原理分析(六)WebMvc场景的自动装配

文章目录2.6WebMvc场景下的自动装配原理2.6.1WebMvcAutoConfiguration2.6.2Servlet容器的装配2.6.2.1EmbeddedTomcat、EmbeddedJetty、EmbeddedUndertow2.6.2.2BeanPostProcessorsRegistrar(后置处理器的注册器)2.6.2.3两个定制器的注册2.6.3DispatcherServl
灰色孤星A·2024-02-10 06:23

Kafka原理

一、producer设计原理发消息的流程1.计算分区根本key和value的配置对消息进行序列化，如果指定了分区，就发送到指定的分区，如果没有指定，就用key%topic的分区数目，如果key也没有，就随机生成一个counter，用counter%topic的分区数目，这个counter每次使用完之后递增。2.发送到batch，唤醒sender线程根据分区获取到对应的batchs，然后将消息app
一只小星_·2024-02-10 02:30

2021BTAJ面试真题详解，kafka查看topic数据内容

一、分布式架构学习路线图据统计，人的阅读时间在20分钟以内是能够达到全身心投入的，顾文章单张篇幅以后会尽量缩短，但更新会尽量相应频繁一些。二、计算机软件发展历史首先我们了解下计算机软件的发展历史,大概总结概括，分为c/s时代，web1.0时代和web2.0时代。**c/s时代:**富客户端方案。卖软件可赚钱。例如qq、影音、游戏。**1.0时代:**主要是单向信息的发布，即信息门户—广大浏览器客户
莫晓前端资料·2024-02-09 22:14

Kafka系列之：kafka集群管理工具Know Streaming安装详细步骤

Kafka系列之：kafka集群管理工具KnowStreaming安装详细步骤一、安装JDK-11二、安装mysql数据库详细步骤三、安装Elasticsearch数据库详细步骤四、安装KnowStreaming
最笨的羊羊·2024-02-09 15:41

Kafka系列之：Unexpected handshake request with client mechanism PLAIN, enabled mechanisms are []

Kafka系列之：UnexpectedhandshakerequestwithclientmechanismPLAIN,enabledmechanismsare[]一、完整报错二、错误原因三、解决方法一
最笨的羊羊·2024-02-09 15:41

深入浅出理解kafka原理系列之：自动提交和手动提交

深入浅出理解kafka原理系列之：自动提交和手动提交一、kafka消费者提交的内容二、自动提交三、自动提交代码示例四、手动提交五、手动同步提交代码示例六、手动异步提交代码示例一、kafka消费者提交的内容消费组
最笨的羊羊·2024-02-09 15:40

深入浅出理解kafka原理系列之：kafka消费者参数设置

深入浅出理解kafka原理系列之：kafka消费者参数设置1.max.poll.records2.max.poll.interval.ms3.enable.auto.commit4.heartbeat.interval.ms5
最笨的羊羊·2024-02-09 15:10

Kafka系列之：Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据

Kafka系列之：Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据一、基于日志大小二、基于时间大小三、参数设置四、设置命令一、基于日志大小"log.retention.bytes"是
最笨的羊羊·2024-02-09 15:09

Transformer实战-系列教程14：DETR 源码解读1

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读1、项目配置主要环境installPyTorch1.5+pipinstallpycocotoolspipinstallcythonpipinstallscipy需要下载coco数据集，这个数据集比较大，训练集8w图像，验证集4w图
机器学习杨卓越·2024-02-09 14:17

mysql源码解读——MVCC

一、什么是MVCCMVCC（Multi-VersionConcurrencyControl）多版本并发控制,这个玩意儿当初大意过，竟然理解成了源代码的版本控制。傻了巴唧的。MVCC其实是用来做数据安全性的，有过多线程的共享数据控制的编写经验的开发人员，理解起来会更容易一些。后来在区块链中的提高交易速度时，有一些链采用了并行交易，而这其中，对交易的控制管理也使用了MVCC的控制方式。在MySql数据
fpcc·2024-02-09 14:58

初识kafka

[TOC]Kafka起初是由Linkedin公司采用Scala语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统，现己被捐献给Apache基金会。
tracy_668·2024-02-09 14:07

69.Kudu、Spark2、Kafka安装—CDH

69.1演示环境介绍CDH集群运行正常操作系统版本为：CentOS6.5CM和CDH版本为：5.12.1CM管理员为：admin用户操作系统用户为：root用户69.2操作演示Kudu安装Kudu的Parcel部署下载Kudu的Parcel包：http://archive.cloudera.com/kudu/parcels/5.12.1/KUDU-1.4.0-1.cdh5.12.1.p0.10-e
大勇任卷舒·2024-02-09 14:55

spring boot 怎样集成kafka

SpringBoot可以使用SpringforApacheKafka库来集成Kafka。
low sapkj·2024-02-09 12:34

Spring Boot 集成 Kafka

SpringBoot作为主流微服务框架，拥有成熟的社区生态。市场应用广泛，为了方便大家，整理了一个基于springboot的常用中间件快速集成入门系列手册，涉及RPC、缓存、消息队列、分库分表、注册中心、分布式配置等常用开源组件，大概有几十篇文章，陆续会开放出来，感兴趣同学请提前关注&收藏消息通信有两种基本模型，即发布-订阅（Pub-Sub）模型和点对点（PointtoPoint）模型，发布-订阅
互联网全栈架构·2024-02-09 12:34

ELK环境搭建

Windows8.1elasticsearch：5.5.1logstash：2.0.0kibana：5.5.1注：由于实验性搭建，选择windows系统，但选择Linux系统效果更佳二、部署方案1.ELK+Redis2.ELK+Kafka
枯木风·2024-02-09 12:08

腾讯AI大佬详解Apache Kafka实战

内容简介1.ApacheKafka简介：ApacheKafka是由Apache软件基金会开发的一个开源消息系统项目，由Scala写成。Kafka最初是由LinkedIn开发，并于2011年初开源。
笑起来真好看LQQ·2024-02-09 08:53

Kafka消息传递的可靠性

kafka拥有以下可靠性保证：可以保证分区消息的顺序。
阿猫阿狗Hakuna·2024-02-09 07:14

SQL条件判断语句嵌套window子句的应用【易错点】--HiveSql面试题25

数据分析4小结0需求分析需求：表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041spark1351flink2661kafka1471oozie108
莫叫石榴姐·2024-02-09 06:00

HiveSQL——条件判断语句嵌套windows子句的应用

0需求分析需求：表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041spark1351flink2661kafka1471oozie108
爱吃辣条byte·2024-02-09 06:58

linux 消息发布工具-kafka

下载地址：https://mirrors.cnnic.cn/apache/kafka一、系统构成在整个消息发布流程中，kafka作为一个中间件对系统的运行提供了解耦、削峰、异步处理的能力。
强壮的向阳花·2024-02-09 05:53

【云原生进阶之PaaS中间件】第三章Kafka-4.3.2-broker网络模型

1kafka网络模型运行原理kafkabroker在启动的时候，会根据你配置的listeners初始化它的网络组件，用来接收外界的请求，这个listeners你可能没配置过，它默认的配置是listeners
江中散人·2024-02-09 05:19

【云原生进阶之PaaS中间件】第三章Kafka-4.3.3-broker的leader和follower工作机制

1leader和follower1.1kafka的副本kafka副本的作用就是提高数据的可靠性，系统默认副本数量是1，生产环境一般配置数量是2个，保证数据可靠性；否则副本太多会增加磁盘的存储空间，增加网络上的数据传输
江中散人·2024-02-09 05:19

2024最新Java面试题及答案！（ 2024年 1 月最新版，持续更新）

面试题大全~这套互联网Java工程师面试题包括了：Java面试、Spring、JVM、MyBatis、Redis、MySQL、并发编程、微服务、Linux、Springboot、SpringCloud、MQ、Kafka
程序一逸·2024-02-09 05:00

SpringBoot源码解读与原理分析(七)BeanFactory

文章目录3SpringBoot的IOC容器3.1SpringFramework的IOC容器3.1.1BeanFactory3.1.1.1BeanFactory根接口3.1.1.2HierarchicalBeanFactory3.1.1.3ListableBeanFactory3.1.1.4AutowireCapableBeanFactory3.1.1.5ConfigurableBeanFactor
灰色孤星A·2024-02-09 03:53

SpringBoot源码解读与原理分析(二十五)IOC容器的刷新(六)

文章目录7.12完成容器的创建工作7.12.1LifecycleProcessor7.12.2getLifecycleProcessor().onRefresh()7.13清除缓存7.14IOC容器初始化中的扩展点7.14.1invokeBeanFactoryPostProcessors7.14.1.1ImportSelector和ImportBeanDefinitionRegistrar7.14
灰色孤星A·2024-02-09 03:22

SpringBoot源码解读与原理分析(十四)SpringApplication的总体设计

文章目录4SpringBoot的核心引导：SpringApplication4.1总体设计4.1.1启动失败的错误报告4.1.2Bean的延迟初始化4.1.3SpringApplication的定制4.1.4Web类型推断4.1.5监听与回调1.核心监听类SpringApplicationRunListener2.SpringBoot新引入的事件4.1.6应用退出4SpringBoot的核心引导：
灰色孤星A·2024-02-09 03:52

SpringBoot源码解读与原理分析(二十二)IOC容器的刷新(三)ConfigurationClassPostProcessor

文章目录7.5.7ConfigurationClassPostProcessor7.5.7.1processConfigBeanDefinitions的主体逻辑7.5.7.2ConfigurationClassParser7.5.7.3ConfigurationClassParser的parse方法（1）处理@Component注解（2）处理@PropertySource注解（3）处理@Compo
灰色孤星A·2024-02-09 03:52

SpringBoot源码解读与原理分析(二十四)IOC容器的刷新(五)

文章目录7.11初始化所有剩下的单实例bean对象7.11.1beanFactory.preInstantiateSingletons7.11.2getBean7.11.2.1别名的解析处理7.11.2.2判断是否已注册过7.11.2.3创建前的检查7.11.2.4标记准备创建的bean对象7.11.2.5合并BeanDefinition7.11.2.6bean对象的创建7.11.2.7getSi
灰色孤星A·2024-02-09 03:52

SpringBoot源码解读与原理分析(十一)BeanDefinition

文章目录3.5BeanDefinition3.5.1BeanDefinition概述3.5.3BeanDefinition的结构与设计3.5.3.1AttributeAccessor3.5.3.2BeanMetadataElement3.5.3.3AbstractBeanDefinition3.5.3.4GenericBeanDefinition3.5.3.5ChildBeanDefinition
灰色孤星A·2024-02-09 03:51

SpringBoot源码解读与原理分析(十二)后置处理器

文章目录3.6后置处理器3.6.1后置处理器概述3.6.2BeanPostProcessor3.6.2.1BeanPostProcessor概述1.postProcessBeforeInitialization2.postProcessAfterInitialization3.6.2.2BeanPostProcessor的扩展1.InstantiationAwareBeanPostProcesso
灰色孤星A·2024-02-09 03:51

SpringBoot源码解读与原理分析(十三)IOC容器的启动流程

文章目录3.7IOC容器的启动流程1.prepareRefresh——初始化前的预处理2.obtainFreshBeanFactory——初始化BeanFactory3.prepareBeanFactory——BeanFactory的预处理动作4.postProcessBeanFactory——BeanFactory的后置处理5.invokeBeanFactoryPostProcessors——执
灰色孤星A·2024-02-09 03:51

SpringBoot源码解读与原理分析(九)SpringBoot对IOC容器的拓展

文章目录3.2SpringBoot对IOC容器的拓展3.2.1WebServerApplicationContext3.2.2AnnotationConfigServletWebServerApplicationContext3.2.3ReactiveWebApplicationContext3.3SpringBoot选择注解驱动的原因3.3.1配置方式的对比3.3.1.1历史背景的比较3.3.1
灰色孤星A·2024-02-09 03:50

SpringBoot源码解读与原理分析（入门）

SpringBoot源码解读与原理分析（入门）简介：由Pivotal团队提供的全新框架其设计目的是用来简化新Spring应用的初始搭建以及开发过程使用了特定的方式来进行配置快速应用开发领域运行原理以及特点特点
果办办·2024-02-09 03:49

SpringBoot源码解读与原理分析(八)ApplicationContext

文章目录3.1.2ApplicationContext3.1.2.1ApplicationContext根接口3.1.2.2ConfigurableApplicationContext3.1.2.3EnvironmentCapable3.1.2.4MessageSource3.1.2.5ApplicationEventPublisher3.1.2.6ResourcePatternResolver3
灰色孤星A·2024-02-09 03:18

Kafka 入门介绍

目录一.前言二.使用场景三.分布式的流平台四.Kafka的基本术语4.1.主题和日志（Topic和Log）4.2.分布式（Distribution）4.3.异地数据同步技术（Geo-Replication
流华追梦·2024-02-09 00:43

Fate-Serving推理服务源码解读

https://fate-serving.readthedocs.io/en/develop/?query=guest什么是Fate-Servingfate-serving是FATE的在线部分，在使用FATE进行联邦建模完成之后，可以使用fate-serving进行包括单笔预测、多笔预测以及多host预测在内的在线联合预测。模型的初始化流程在FATE中建好模型之后，通过fate-flow的推送模型
SakamataZ·2024-02-08 22:20

secretflow推理服务源码解读

secretflow-serving（https://github.com/secretflow/serving）是隐语提供的一套aby3的推理服务，代码量只有clickhouse的百分之一（一万行不到），但是麻雀虽小，五脏俱全，有模型加载和推理的整套流程，还结合Prometheus实现了监控服务。secretflow-serving使用了C++17，代码也写的很清晰易懂，本文就结合它的架构解读一
SakamataZ·2024-02-08 22:20

Elasticsearch: 非结构化的数据搜索

singleDoc#《olap/clickhousekeeper一致性协调服务》)，kafka->redpanda(https://www.
SakamataZ·2024-02-08 22:48

Kafka实战(五) - Kafka的秘技"坂本"之争

只有顺应版本,才能成就王者不败神话也是能否用好Kafka的关键。
JavaEdge·2024-02-08 20:50

消息中间件：Puslar、Kafka、RabbigMQ、ActiveMQ

消息队列消息队列：它主要用来暂存生产者生产的消息，供后续其他消费者来消费。它的功能主要有两个：暂存（存储）队列（有序：先进先出从目前互联网应用中使用消息队列的场景来看，主要有以下三个：异步处理数据系统应用解耦业务流量削峰消息队列模型点对点模式多个生产者可以向同一个消息队列发送消息，一个消息只能被一个消费者消费，在被消费成功后，这条消息会被移除。如果消费者处理消息失败了，那么这条消息会重新被消费。发
Kingairy·2024-02-08 18:33

一探究竟，详解Kafka生产者和消费者的工作原理！

主题和日志对于每个主题，Kafka群集都会维护一个分区日志，如下所示：image.png每个分区（Partition）都是有序的(所以每一个Partition内部都是有序的)，不变的记录序列，这些记录连续地附加到结构化的提交日志中
废柴程序员·2024-02-08 17:42

flink消费kafka源

后来一通折腾，发现我当时消费的配置，是用FlinkKafkaConsu
MinaLing·2024-02-08 16:14

2.Kafka生产过程

三、Kafka生产过程分析1.写入方式producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高
chongweiLin·2024-02-08 12:56

Java的常见api以及异常情况-2

目录1、equals方法源码解读2、replace替换方法3、split分割方法4、indexOf方法5、常见的api1、equals方法源码解读publicclassAPI_test04{publicstaticvoidmain
真的学不了一点。。。·2024-02-08 11:36

Spark streaming batch运行时间过长问题02

继续排查发现，在用Spark读取Kafka数据之后，由于数据通过Kafka读取后是逗号分隔的字符串，但是为了解决字符串某些字段中还有逗号的问题，只能使用正则表达式匹配，导致性能过慢。
kk_io·2024-02-08 10:01

Flink Checkpoint过程

Checkpoint使用了Chandy-Lamport算法流程1.正常流式处理（尚未Checkpoint）如下图，Topic有两个分区，并行度也为2，根据奇偶数我们假设任务从Kafka的某个Topic中读取数据
orange大数据技术探索者·2024-02-08 09:49

Flink Format系列(2)-CSV

Flink的csv格式支持读和写csv格式的数据，只需要指定'format'='csv'，下面以kafka为例。
sf_www·2024-02-08 09:48

Transformer实战-系列教程10：SwinTransformer 源码解读3（SwinTransformerBlock类）

实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码SwinTransformer算法原理SwinTransformer源码解读
机器学习杨卓越·2024-02-08 09:09
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他