Kafka源码分析

通过nginx学习linux进程名的修改

目录1.缘起2.背景知识3.源码分析3.1准备工作3.2设置进程名字1.缘起  在运行nginx的时候，用ps查看nginx的进程信息，可能的输出如下：root421693105016:51?
码农心语·2024-02-08 11:30

nginx stream proxy 模块的ssl连接源码分析

目录1.源起2.分析验证环境的配置3.源码分析3.1代理模块的请求入口点分析3.2发起与上游服务器的连接3.3连接回调3.4TCP连接建立成功后为上下游数据透传做准备3.5TCP连接的ssl上下文初始化
码农心语·2024-02-08 11:59

Spark streaming batch运行时间过长问题02

继续排查发现，在用Spark读取Kafka数据之后，由于数据通过Kafka读取后是逗号分隔的字符串，但是为了解决字符串某些字段中还有逗号的问题，只能使用正则表达式匹配，导致性能过慢。
kk_io·2024-02-08 10:01

Flink Checkpoint过程

Checkpoint使用了Chandy-Lamport算法流程1.正常流式处理（尚未Checkpoint）如下图，Topic有两个分区，并行度也为2，根据奇偶数我们假设任务从Kafka的某个Topic中读取数据
orange大数据技术探索者·2024-02-08 09:49

Flink Format系列(2)-CSV

Flink的csv格式支持读和写csv格式的数据，只需要指定'format'='csv'，下面以kafka为例。
sf_www·2024-02-08 09:48

storm整合kafka

maven4.0.0storm-kafka-mysqlstorm-kafka-mysql0.0.1-SNAPSHOTjarstorm-kafka-mysqlUTF-8javaxjavaee-api8.0providedorg.glassfish.webjavax.servlet.jsp.jstl1.2.2org.apache.stormstorm-core0.9.5provided
piziyang12138·2024-02-08 09:01

基于注解的SpringAOP源码解析（三）

注意，读完本篇文章需要很长很长时间在之前的2篇文章：AOP源码分析（一）AOP源码分析（二）中，我们搭建了SpringAOP源码分析的环境，介绍了@EnableAspectJAutoProxy注解和postProcessBeforeInstantiation
Java学习录·2024-02-08 08:18

View#post(Runnable runnable)为什么能拿到view的宽高。

基于androidsdk-23的源码分析，文章分成两个部分，实际上我是先写第二部分了再写第一部分的。第一部分看一下view.post的内部。
HWilliamgo·2024-02-08 08:24

如何查看kafka的topic的消费者组有没有积压

Kafka自带的命令行工具kafka-consumer-groups.sh来查看消费者组的消费情况，包括是否有积压。具体步骤如下：打开命令行终端，进入Kafka安装目录下的bin文件夹。
不会吐丝的蜘蛛侠。·2024-02-08 08:29

【Java】ArrayList和LinkedList的区别是什么

目录1.数据结构2.性能特点3.源码分析4.代码演示5.细节和使用场景ArrayList和LinkedList分别代表了两类不同的数据结构：动态数组和链表。
王果冻ddd·2024-02-08 07:54

【深入浅出 Yarn 架构与实现】6-4 Container 生命周期源码分析

本文将深入探讨AM向RM申请并获得Container资源后，在NM节点上如何启动和清理Container。将详细分析整个过程的源码实现。一、Container生命周期介绍Container的启动由ApplicationMaster通过调用RPC函数ContainerManagementProtocol#startContainers()发起请求，NM中的ContainerManagerImpl组件
大数据王小皮·2024-02-08 07:27

大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习（stage3）

个人大数据技术栈：DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域：Python
道-闇影·2024-02-08 06:07

网络|使用 Wireshark 分析 TLS/SSL 协议

背景服务端(3.205)是开启SASL_SSL协议的9094端口的Kafka服务器客户端(77.20)连接9094端口的生产者。
thlzjfefe·2024-02-08 06:29

Hyperledger-Fabric源码分析（Gossip-Emitter）

接下来我们来看看Emitter模块，这里初略的看就是gossip的消息发送的模块。下面我们来具体分析下启动时机funcNewGossipService(conf*Config,s*grpc.Server,saapi.SecurityAdvisor,mcsapi.MessageCryptoService,selfIdentityapi.PeerIdentityType,secureDialOptsa
Pillar_Zhong·2024-02-08 04:11

Install Kafka on Ubuntu 16

0准备模拟生产环境，安装Kafka，需要最少三台机器，如下主机名IPKafka-110.0.0.5Kafka-210.0.0.6Kafka-310.0.0.7Kafka是使用scala编写的运行与jvm
华阳_3bcf·2024-02-08 04:27

Spring Boot原理剖析和源码分析

SpringBoot原理剖析和源码分析依赖管理问题一：为什么导入dependency时不需要指定版本？
左师兄zuosx·2024-02-08 03:53

消息队列使用的四种场景介绍

使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ。二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。
Bin哥厉害7·2024-02-08 03:19

阅读《极客时间 | Kafka核心技术与实战》（一）【Kafka入门】

阅读《极客时间|Kafka核心技术与实战》为什么要学习Kafka消息引擎系统ABC一篇文章带你快速搞定Kafka术语我应该选择哪种Kafka？
_蓝天IT_·2024-02-08 01:13

第二十三章、AtomicInteger源码分析—基于CAS的乐观锁实现

1.悲观锁与乐观锁cpu是时分复用的，也就是把cpu的时间片，分配给不同的thread/process轮流执行，时间片与时间片之间，需要进行cpu切换，也就是会发生进程的切换。切换涉及到清空寄存器，缓存数据。然后重新加载新的thread所需数据。当一个线程被挂起时，加入到阻塞队列，在一定的时间或条件下，在通过notify()，notifyAll()唤醒回来。在某个资源不可用的时候，就将cpu让出，
小母牛不生产奶·2024-02-08 00:17

【Canal源码分析】Canal Server的启动和停止过程

一、序列图1.1启动启动序列图.png1.2停止停止序列图.png二、源码分析整个server启动的过程比较复杂，看图难以理解，需要辅以文字说明。
端木轩·2024-02-07 22:31

2021，Java最全的分布式面试题合集附答案，共2w字！

分布式分为分布式缓存（Redis）、分布式锁（Redis或Zookeeper）、分布式服务（Dubbo或SpringCloud）、分布式服务协调（Zookeeper）、分布式消息队列（Kafka、RabbitMq
码农突围·2024-02-07 21:52

玩转RabbitMq

从消息组件来分类(两类):1.JMS组件:ActiveMq(慢)2.AMQP组件:协议组件(性能高):两个主要的开源项目|-RabbitMq==>速度快(十年加的一款产品)|-Kafka==>大数据时代产物
dreamer_0137·2024-02-07 21:51

SpringBoot集成Kafka

引入Kafka依赖org.springframework.kafkaspring-kafka修改配置文件spring:kafka:bootstrap-servers:127.0.0.1:9092,127.0.0.1
DanceDonkey·2024-02-07 20:41

SpringBoot集成kafka收发消息

传递消息为对象目前springboot整合后的kafka，因为序列化器是StringSerializer，这个时候如果需要传递对象可以有两种方式方式一：可以自定义序列化器，对象类型众多，这种方式通用性不强
慕容潇湘·2024-02-07 20:41

Springboot 集成KafkaAdmin

基础知识点(256条消息)看完这篇Kafka，你也许就会了Kafka_心的步伐的博客-CSDN博客需要注意消费者offset的配置，生产者ackdocker安装kafka和zookeeper记得修改ip
试验者·2024-02-07 20:10

Kafka整理

常用消息中间件对比Kafka是LinkedIn开源的分布式发布-订阅消息系统，目前归属于Apache定级项目。
瑜骐·2024-02-07 19:08

vue双向绑定的原理及实现双向绑定MVVM源码分析

Vue双向数据绑定的原理：可以将对象的属性绑定到UI，具体的说，我们有一个对象，该对象有一个name属性，当我们给这个对象name属性赋新值的时候，新值在UI上也会得到更新。同样的道理，当我们有一个输入框或者textarea的时候，我们输入一个新值的时候，也会在该对象的name属性得到更新。数据劫持实现双向数据绑定：vue.js则是采用数据劫持结合发布者-订阅者模式，通过Object.define
前端来入坑·2024-02-07 19:40

4、Kafka消费者-从Kafka读取数据

（2）Kafka两种模型提供单一消费者模型：消费者组。消费者用组名标记自己。Topic上消息发给此组中一个消费者。1）所有消费者在一个组中，变成队列。2）不同的组中，变成发布-订阅。
hedgehog1112·2024-02-07 19:04

Adb显示第3方应用的包名原理

Android早期版本实现原理请看Android源码分析-pm命令的实现，列出包名pmlistpackage，列出系统库pmlistlibraries_pmlistpackages-CSDN博客Android12
亚瑟-小郎·2024-02-07 16:24

02Nginx源码分析之总结内存开辟的相关函数(ngx_alloc.c，ngx_palloc.c)

02Nginx源码分析之总结内存开辟的相关函数(ngx_alloc.c，ngx_palloc.c)前言：写这一篇的目的是为了方便接下来的阅读，否则每次都要对应查找相应的函数，非常麻烦。
Mango酱·2024-02-07 15:53

DataX详解和架构介绍

系列文章目录一、DataX详解和架构介绍二、DataX源码分析JobContainer三、DataX源码分析TaskGroupContainer四、DataX源码分析TaskExecutor五、DataX
shandongwill·2024-02-07 14:27

日志收集系统ELK+kafka部署

日志收集系统ELK+kafka部署文章目录日志收集系统ELK+kafka部署一、系统准备1.1部署简介1.2升级内核1.3内核优化1.4安装NTP服务1.5关闭swap分区二、部署ISCSI2.1配置数据网络
MappleZF·2024-02-07 13:47

深入理解AQS独占锁之ReentrantLock源码分析

并发工具类的应用场景详解上一章我们讲解了ReentrantLock、Semaphore、CountDownLatch、CyclicBarrier等同步工具类的应用场景及实现，本章我们重点讲解ReentrantLock源码分析
Myname_China·2024-02-07 12:22

读写锁ReentrantReadWriteLock&StampLock详解

传送门：深入理解AQS独占锁之ReentrantLock源码分析目录读写锁介绍ReentrantReadWriteLock介绍ReentrantReadWriteLock的使用应用场景锁降级读写锁设计思路
Myname_China·2024-02-07 12:22

Vue.js 源码分析——模板编译和组件化

一、模板编译模板编译介绍：模板编译的主要目的是将模板（template）转换为渲染函数（render）titlesomecontent渲染函数render(h){returnh('div',[h('h1',{on:{click:this.handler}},'title'),h('p','somecontent')])}模板编译的作用Vue2.x使用VNode描述视图以及各种交互，用自己编写的VN
丽__·2024-02-07 12:41

2020-11-23

Kafka-server启动报错ERRORProcessorgotuncaughtexception.ERRORProcessorgotuncaughtexception.
北大荒码农·2024-02-07 12:33

Eureka源码分析（九）清理过期租约

下面我们来说说eureka的过期机制。其实这篇文章主要介绍的是AbstractInstanceRegistry的内部类EvictionTask。我们知道AbstractInstanceRegistry是包括了所有注册到EurekaServer上的实例。而EvictionTask就是清理过期租约的定时任务。在Eureka-Server启动时，初始化EvictionTask定时执行。protected
skyguard·2024-02-07 11:21

freertos 源码分析三 task 结构与几个链表

任务控制块taskControlBLock结构体，以下为部分typedefstructtskTaskControlBlock{volatileStackType_t*pxTopOfStack;//栈顶指针ListItem_txStateListItem;//任务状态表项ListItem_txEventListItem;//事件表项UBaseType_tuxPriority;//优先级StackTy
yvee·2024-02-07 10:20

freertos 源码分析四 任务创建的简单分析

任务创建xTaskCreate为TCB和TCB栈分配空间，初始化，加入就绪任务链表#if(configSUPPORT_DYNAMIC_ALLOCATION==1)BaseType_txTaskCreate(TaskFunction_tpxTaskCode,constchar*constpcName,constconfigSTACK_DEPTH_TYPEusStackDepth,void*const
yvee·2024-02-07 10:17

【极数系列】ClassNotFoundException: org.apache.flink.connector.base.source.reader.RecordEmitter & 详细分析解决

文章目录01Flink集成KafkaConnector运行报错02解决方案03原因分析04深入认识4.1flink-connector-base简介概述4.2flink-connector-base功能作用
浅夏的猫·2024-02-07 10:11

【Kafka专栏】windows搭建Kafka环境 & 详细教程（01）

文章目录01引言1.1官网地址1.2概述简介1.3kafka与zookeeper02部署zookeeper2.1下载组件包2.2解压压缩包（1）解压到任意路径（2）解压后的目录创建数据目录data2.3
浅夏的猫·2024-02-07 10:41

【极数系列】Flink集成KafkaSource & 实时消费数据（10）

文章目录01引言02连接器依赖2.1kafka连接器依赖2.2base基础依赖03连接器使用方法04消息订阅4.1主题订阅4.2正则表达式订阅4.3Partition列分区订阅05消息解析06起始消费位点
浅夏的猫·2024-02-07 10:41

【极数系列】Flink集成KafkaSink & 实时输出数据（11）

文章目录01引言02连接器依赖2.1kafka连接器依赖2.2base基础依赖03使用方法04序列化器05指标监控06项目源码实战6.1包结构6.2pom.xml依赖6.3配置文件6.4创建sink作业
浅夏的猫·2024-02-07 10:37

使用debezuim，实现PG同步Oracle

1.对于bytea类型，debezuim发给kafka的是一个很短的奇怪字符串。使用wal2json直接decode出来的，是完整的数据，但是到了debezuim，就只有很短的字符串了。
howard_shooter·2024-02-07 10:25

Doris中的本地routineload环境，用于开发回归测试用例

----------------2024-2-6-更新--------------doris的routineload，就是从kafka中加载数据到表，特点是定时、周期性的从kafka取数据。
howard_shooter·2024-02-07 10:24

ConcurrentLinkedHashMap源码分析

一、简介ConcurrentLinkedHashMap是google开源的线程安全的方便并发的Map,Map利用LRU缓存机制对Map中存储对象进行换入换出管理。采用两套资源控制机制，一套同步机制，使用ConcurrentMap对对象数据进行KV存储，保证多线程并发安全地调用Map资源，而对于存储对象的换入换出管理则采用异步机制，使用Queuebuffer存储每次的因对象读写而产生的对象换入换出任
lim快乐_无限·2024-02-07 09:15

大数据命令，一文在手，全部都有（送纯净版文档）

比如linux，kafka命令就比较多，hdfs操作也多。但是对于HBase.....这类框架命令比较少，就不再本篇展示。望周知。其中内容包含以下，具体命令会一一介绍。
大数据左右手·2024-02-07 09:35

Flink执行流程与源码分析（面试必问，建议收藏）

Flink主要组件作业管理器（JobManager）(1)控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的Jobmanager所控制执行(2)Jobmanager会先接收到要执行的应用程序，这个应用程序会包括：作业图（JobGraph）、逻辑数据流图（ogicaldataflowgraph）和打包了所有的类、库和其它资源的JAR包。(3)Jobmanager会把Jobgraph
大数据左右手·2024-02-07 09:04

ELK日志系统技术架构

问题和挑战：主要配置1.ES集群中所有节点使用虚拟机2.索引按照天生成3.数据节点负责数据的索引4.通过Nginx将用户的检索请求负载在数据节点运行状况部分索引节点负载非常高2.索引速度非常慢，经常出现Kafka
leo_hush·2024-02-07 09:58

spring cloud stream

链接:支持的中间件后文使用kafka测试。
此剑之势丶愈斩愈烈·2024-02-07 08:56
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他