Kafka源码分析

flume案例

在构建数仓时，经常会用到flume接收日志数据，通常涉及到的组件为kafka，hdfs等。下面以一个flume接收指定topic数据，并存入hdfs的案例，大致了解下flume相关使用规则。
不加班程序员·2024-01-23 06:48

RocketMQ源码分析----长轮询

废话这篇文章主要讲RocketMQ的长轮询，为什么叫长轮询我也不清楚....主要别人这样叫我也这样叫吧，大家明白意思就好。正文RcocketMQ消费者的模式是pull模式，也就是会定时向Broker请求消息进行消费。在源码中实现是开启了后台线程不停的去pull（当然会先从队列去PullRequest，队列为空会阻塞），刚研究RocketMQ消费者pull的代码之后不久，有个问题：如果长时间没有消息
_六道木·2024-01-23 05:50

【分布式技术】消息队列Kafka

目录一、Kafka概述二、消息队列Kafka的好处三、消息队列Kafka的两种模式四、Kafka1、Kafka定义2、Kafka简介3、Kafka的特性五、Kafka的系统架构六、实操部署Kafka集群步骤一
liu_xueyin·2024-01-23 04:01

《Linux高性能服务器编程》笔记05

raichen/LinuxServerCodes豆瓣:Linux高性能服务器编程文章目录Linux高性能服务器编程第12章高性能I/O框架库Libevent12.1I/O框架库概述12.2Libevent源码分析
阿正的梦工坊·2024-01-23 04:26

PostgreSQL源码分析：postgres.c阅读笔记

postgres.c是PostgreSQL后端的重要源代码文件，负责管理查询的整体流程。本文以PostgreSQL-12.2为例，首先对postgres.c的功能、包含的函数及函数间的调用关系进行简单概述；然后详细介绍其中的入口函数PostgresMain，并且对于PostgresMain函数涉及的通信协议将做进一步展开说明。1.postgres.c概况PostgreSQL是典型的C/S的模式，服
fufufunny·2024-01-23 03:19

Hadoop -- ZooKeeper

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop、Hbase、kafka、dubbo等重要组件。
Cool_Pepsi·2024-01-23 02:42

Spring Security源码分析三：Spring Social实现QQ社交登录

OAuth2.0的认证流程示意图http://dandandeshangni.oss-cn-beijing.aliyuncs.com/github/Spring%20Security/OAuth2-Sequence.png请求第三方应用第三方应用将用户请求导向服务提供商用户同意授权服务提供商返回codeclient根据code去服务提供商换取令牌返回令牌获取用户信息在标准的OAuth2协议中，1-
淡淡的伤你·2024-01-23 00:38

spring boot kafka 发送消息 完整的例子工程

以下是一个简单的SpringBootKafka发送消息的完整例子：首先，添加SpringBootKafka的依赖到你的pom.xml文件：xmlorg.springframework.bootspring-boot-starter-kafka
欧亨利式结局·2024-01-23 00:47

Redisson分布式锁源码篇

❤️文章目录Redisson分布式锁源码篇一、使用Redisson分布式锁1.1引入依赖1.2调用API二、源码解析2.1可重入锁原理(1)原理解释(2)源码分析①尝试获取锁②
欧克小奥·2024-01-22 23:13

【算法Hot100系列】跳跃游戏

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-22 21:04

vector的模拟实现

vector的使用以及对一些常见bug的认识有了string类的模拟实现，vector的模拟实现我们上手起来就简单一点了：首先为了和库里面的vector混淆视听，放入自己命名的空间里，并且根据vector的源码分析我们得出了三个成员变量
只是雪豹·2024-01-22 21:00

源码分析->解密Lifecycle（1）之监听

关键字：Lifecycle源码分析基于androidx.appcompat:appcompat:1.2.01.什么是Lifecycle？
杨0612·2024-01-22 21:23

kafka基础入门

ApacheKafka是一个事件流平台，其结合了三个关键的功能，使你可以完成端到端的事件流解决方案。发布(写)和订阅(读)事件流，包括从其他系统连续导入/导出数据。事件流存储具有持久性和可靠性。
从大数据到人工智能·2024-01-22 19:08

【算法Hot100系列】字母异位词分组

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-22 19:59

大数据之使用Flume监听本地文件采集数据流到HDFS

本文介绍Flume监听本地文件采集数据流到HDFS我还写了一篇文章是Flume监听端口采集数据流到Kafka【点击即可跳转，写的也非常详细】任务一：在Master节点使用Flume采集/data_log
十二点的泡面·2024-01-22 19:54

大数据之使用Flume监听端口采集数据流到Kafka

本文介绍Flume监听端口采集数据流到Kafka我还写了一篇文章是Flume监听本地文件采集数据流到HDFS【点击即可跳转，写的也非常详细】任务一：实时数据采集前摘：Flume是一种分布式、高可靠、高可用的数据收集系统
十二点的泡面·2024-01-22 19:53

Prometheus插件安装kafka_exporter

下载地址https://github.com/danielqsj/kafka_exporter/releases解压tar-zxvfkafka_exporter-1.7.0.linux-amd64.tar.gzmvkafka_exporter
weixin_43169720·2024-01-22 18:41

Spark消费Kafka的两种方式

目录介绍Receiver方式code原理如何保证数据不丢失但是会导致数据重复问题优点缺点Direct(NoReceiver)方式code特点优点缺点介绍kafka版本，kafka0.8支持Receiver
这个程序猿可太秀了·2024-01-22 17:57

Kafka Connect: Debezium MySQL Connector 的 Partition 和 Replication 配置

使用KafkaConnect的DebeziumMySQLConnector将MySQL数据库中的CDC数据写入Kafka时，在Kafka默认允许自动创建Topic的情况下，KafkaConnect自动创建的
　Laurence·2024-01-22 17:56

如何本地安装Python Flask并结合内网穿透实现远程开发

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-22 17:36

在windows初装kafka

1.下载kafka:http://kafka.apache.org/downloadsimage.png2.解压image.png3.运行CMD到这里：image.png1).启动zookeeper.
小狼在IT·2024-01-22 17:37

SpringBoot @Schedule未按时执行问题解决

检查@Schedule的源码（Spring@Schedule源码分析），发现Schedule定时任务时串行的（定义的线程池是核心线
黄国海Argo·2024-01-22 13:57

分布式系统中为什么需要使用消息队列

当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发的Notify、MetaQ、RocketMQ等。
码农小旋风·2024-01-22 12:44

springboot 自动注入源码分析spring.factories

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档目录前言一、铂金手写starter组件，开源starter组件结构1.项目层级2.各个项目引入关系3.项目侧使用二、星耀源码跟踪分析1.SpringApplication.run开始到->refreshContext2.spring的refreshContext->invokeBeanFactoryPostProcessors3.in
zengliangxi·2024-01-22 12:10

SpringBoot 自动装配

自动装配源码分析：处理@Import的注解，获取AutoConfigurationImportSelector类调用AutoConfigurationImportSelector.selectImports
罗志宏·2024-01-22 12:39

【Flink-1.17-教程】-【四】Flink DataStream API（1）源算子（Source）

创建执行环境1.2.执行模式（ExecutionMode）1.3.触发程序执行2）源算子（Source）2.1.准备工作2.2.从集合中读取数据2.3.从文件读取数据2.4.从Socket读取数据2.5.从Kafka
bmyyyyyy·2024-01-22 11:34

【后端目录贴】

【大数据】kafka8.【JAVA】目录贴9.【linux】目录贴10.【后端】深入浅出Node.js
骑鱼过海的猫123·2024-01-22 11:39

SpringCloud Alibaba 深入源码 - Nacos 分级存储模型、支撑百万服务注册压力、解决并发读写问题（CopyOnWrite）

目录一、SpringCloudAlibaba源码分析1.1、SpringCloud&SpringCloudAlibaba常用组件1.2、Nacos的服务注册表结构是怎样的？
陈亦康·2024-01-22 10:49

【io_uring】内核源码分析

文章目录1.`io_uring`2.系统调用`io_uring_setup`2.1.`io_uring_setup`2.2.`io_uring_create`2.3.`io_sq_offload_start`3.系统调用`io_uring_enter`4.系统调用`io_uring_register`5.内核线程`io_sq_thread`6.`IOPOLL`模式6.1.启用6.2.限制6.3.调
ywang_wnlo·2024-01-22 10:57

[executorService.invokeAll+Callable实现批量等待任务并发执行】 1.多线程导表案例 2.使用for循环+Future的isDone()实现等待源码分析

ThreadDto.java//定义可以并行的任务importjava.util.concurrent.Callable;publicclassThreadDtoimplementsCallable{@OverridepublicBooleancall()throwsException{//一个线程里面具体又干10件事for(inti=0;ilist=newLinkedListtaskMap=Ma
zfoo-framework·2024-01-22 10:22

开源库之 OkHttp 源码分析

分析一波OkHttp的源码实现。简单使用官方给出了使用例子，具体详情参考官网。//创建OkHttp请求客户端OkHttpClientclient=newOkHttpClient();//构建一个请求Requestrequest=newRequest.Builder().url(url).build();//执行网络请求并返回结果Responseresponse=client.newCall(req
glumes·2024-01-22 09:52

某马头条——day06

kafka概述kafka环境搭建dockerpullzookeeper:3.4.14dockerrun-d--namezookeeper-p2181:2181zookeeper:3.4.14安装kafkadockerpullwurstmeister
北岭山脚鼠鼠·2024-01-22 09:55

Flink on yarn 实时日志收集到 kafka 打造日志检索系统

点击上方"JasonLee实时计算",选择"设为星标"再也不用担心错过重要文章后台回复"监控",获取grafana监控Flink最新的模板背景在Flinkonyarn的模式下,程序运行的日志会分散的存储在不同的DN上,当Flink任务发生异常的时候,我们需要查看日志来定位问题,一般我们会选择通过FlinkUI上面的logs来查看日志,或者登录到对应的服务器上去查看,但是在任务日志量非常大的情况下,
JasonLee实时计算·2024-01-22 08:33

ELK日志分析

Logstash（1）定义（2）插件①input②filter③output（三）可以添加的其它组件1.Filebeat（1）定义（2）filebeat结合logstash带来好处2.缓存/消息队列（redis、kafka
江南字子川·2024-01-22 08:55

Kotlin协程的JVM实现源码分析（下）

协程根据是否保存切换调用栈，分为：有栈协程（stackfulcoroutine）无栈协程（stacklesscoroutine）在代码上的区别是：是否可在普通函数里调用，并暂停其执行。Kotlin协程，必须在挂起函数中调用和恢复，属于无栈协程。常见的语言，协程实现：有栈协程：Go、Lua无栈协程：Kotlin、C++20、Clojure、JavaScript二、无栈协程和Continuation2
ClassOps·2024-01-22 08:18

JVM系列-3.类的生命周期

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-22 08:16

JVM系列-1.初识JVM

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-22 08:16

JVM系列-2.字节码文件详解

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-22 08:07

Kafka（八）使用Kafka构建数据管道

目录1使用场景2构建数据管道时需要考虑的问题2.1及时性2.2可靠性高可用可靠性数据传递2.3高吞吐量2.4数据格式2.5转换ETLELT2.6安全性2.7故障处理2.8耦合性和灵活性临时数据管道元数据丢失末端处理3使用ConnectAPI3.1Connect的数据处理流程sourcesinkconnectorsTasksWorkersTransformerConverters偏移量管理3.2运行
yunyun1886358·2024-01-22 07:35

kafka入门(十)：副本数据同步

Kafka通过多副本机制实现故障自动转移，在Kafka集群中某个broker节点失效的情况下仍然保证服务可用。
乐之者v·2024-01-22 07:04

Spark写入kafka（批数据和流式）

Spark写入（批数据和流式处理）Spark写入kafka批处理写入kafka基础#spark写入数据到kafkafrompyspark.sqlimportSparkSession,functionsasFss
中长跑路上crush·2024-01-22 07:02

大数据开发之电商数仓（hadoop、flume、hive、hdfs、zookeeper、kafka）

第1章：数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念：为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本，提高产品质量。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括：业务数据、用户行为数据和爬虫数据等3、业务系统数据库
Key-Key·2024-01-22 07:29

Kafka常见指令及监控程序介绍

kafka在流数据、IO削峰上非常有用，以下对于这款程序，做一些常见指令介绍。
necessary653·2024-01-22 07:49

Kafka 生产者投递内存池源码刨铣

大体逻辑是这样的。。初始化BufferPool的时候会指定BufferPool的大小以及内存块(poolableSize)的大小。在申请内存的时候如果申请的内存大小大于指定的内存块大小就会抛出异常，无法申请。如果是等于poolableSize的话，就会判断free中是否有，有的话就直接从free中取出，没有的话再去申请（这个free可以里面为一个缓存，每次归还的时候会归还到free中（前提free
老耿·2024-01-22 06:02

Android wifi探究四：Wifi P2P framework层源码分析

上一篇博客对应用程序下使用Wi-FiP2PApi连接附近的设备的过程做了一个简单的梳理，我们只是学会了怎么使用api,但对api背后的机制一无所知。那么这篇博客就开始尝试分析api背后的实现机制，也就是androidframework中Wi-FiP2P的工作机制。WifiP2P在framework层也是一个Service，它的启动过程和WifiService一样：mSystemServiceMan
阳光玻璃杯·2024-01-22 06:58

SpringCloud Gateway微服务网关实战与源码分析

概述定义SpringCloudGateway官网地址https://spring.io/projects/spring-cloud-gateway/最新版本3.1.3SpringCloudGateway文档地址https://docs.spring.io/spring-cloud-gateway/docs/current/reference/html/SpringCloudGatewayGitHu
Java技术人·2024-01-22 05:09

SpringBoot 自定义Banner

源码分析通常我们SpringBoot项目是通过SpringBoot.run(Appcation.class)启动的。
假女吖☌·2024-01-22 05:27

Flink 源码之 Window Slice

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录前言Windowslice是Flink对SQLwindow聚合的一种优化方式。
AlienPaul·2024-01-22 04:29

并发编程（八）——异步编程

一、FutureTask应用&源码分析1.1FutureTask介绍FutureTask是一个可以取消异步任务的类。FutureTask对Future做的一个基本实现。
小灰灰-58·2024-01-22 01:41

深入剖析：Kafka流数据处理引擎的核心面试问题解析75问（5.7万字参考答案）

Kafka是一款开源的分布式流处理平台，被广泛应用于构建实时数据管道、日志聚合、事件驱动的架构等场景。本文将深入探究Kafka的基本原理、特点以及其在实际应用中的价值和作用。
danci_·2024-01-22 00:08
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他