Flume源码分析第12页

flume自定义拦截器

要自定义Flume拦截器，你需要编写一个实现org.apache.flume.interceptor.Interceptor接口的自定义拦截器类。

不加班程序员·2024-01-23 06:25

flume案例

在构建数仓时，经常会用到flume接收日志数据，通常涉及到的组件为kafka，hdfs等。下面以一个flume接收指定topic数据，并存入hdfs的案例，大致了解下flume相关使用规则。

不加班程序员·2024-01-23 06:48

RocketMQ源码分析----长轮询

废话这篇文章主要讲RocketMQ的长轮询，为什么叫长轮询我也不清楚....主要别人这样叫我也这样叫吧，大家明白意思就好。正文RcocketMQ消费者的模式是pull模式，也就是会定时向Broker请求消息进行消费。在源码中实现是开启了后台线程不停的去pull（当然会先从队列去PullRequest，队列为空会阻塞），刚研究RocketMQ消费者pull的代码之后不久，有个问题：如果长时间没有消息

_六道木·2024-01-23 05:50

《Linux高性能服务器编程》笔记05

raichen/LinuxServerCodes豆瓣:Linux高性能服务器编程文章目录Linux高性能服务器编程第12章高性能I/O框架库Libevent12.1I/O框架库概述12.2Libevent源码分析

阿正的梦工坊·2024-01-23 04:26

PostgreSQL源码分析：postgres.c阅读笔记

postgres.c是PostgreSQL后端的重要源代码文件，负责管理查询的整体流程。本文以PostgreSQL-12.2为例，首先对postgres.c的功能、包含的函数及函数间的调用关系进行简单概述；然后详细介绍其中的入口函数PostgresMain，并且对于PostgresMain函数涉及的通信协议将做进一步展开说明。1.postgres.c概况PostgreSQL是典型的C/S的模式，服

fufufunny·2024-01-23 03:19

Spring Security源码分析三：Spring Social实现QQ社交登录

OAuth2.0的认证流程示意图http://dandandeshangni.oss-cn-beijing.aliyuncs.com/github/Spring%20Security/OAuth2-Sequence.png请求第三方应用第三方应用将用户请求导向服务提供商用户同意授权服务提供商返回codeclient根据code去服务提供商换取令牌返回令牌获取用户信息在标准的OAuth2协议中，1-

淡淡的伤你·2024-01-23 00:38

Redisson分布式锁源码篇

❤️文章目录Redisson分布式锁源码篇一、使用Redisson分布式锁1.1引入依赖1.2调用API二、源码解析2.1可重入锁原理(1)原理解释(2)源码分析①尝试获取锁②

欧克小奥·2024-01-22 23:13

vector的模拟实现

vector的使用以及对一些常见bug的认识有了string类的模拟实现，vector的模拟实现我们上手起来就简单一点了：首先为了和库里面的vector混淆视听，放入自己命名的空间里，并且根据vector的源码分析我们得出了三个成员变量

只是雪豹·2024-01-22 21:00

源码分析->解密Lifecycle（1）之监听

关键字：Lifecycle源码分析基于androidx.appcompat:appcompat:1.2.01.什么是Lifecycle？

杨0612·2024-01-22 21:23

大数据之使用Flume监听本地文件采集数据流到HDFS

本文介绍Flume监听本地文件采集数据流到HDFS我还写了一篇文章是Flume监听端口采集数据流到Kafka【点击即可跳转，写的也非常详细】任务一：在Master节点使用Flume采集/data_log

十二点的泡面·2024-01-22 19:54

大数据之使用Flume监听端口采集数据流到Kafka

本文介绍Flume监听端口采集数据流到Kafka我还写了一篇文章是Flume监听本地文件采集数据流到HDFS【点击即可跳转，写的也非常详细】任务一：实时数据采集前摘：Flume是一种分布式、高可靠、高可用的数据收集系统

十二点的泡面·2024-01-22 19:53

SpringBoot @Schedule未按时执行问题解决

检查@Schedule的源码（Spring@Schedule源码分析），发现Schedule定时任务时串行的（定义的线程池是核心线

黄国海Argo·2024-01-22 13:57

springboot 自动注入源码分析spring.factories

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档目录前言一、铂金手写starter组件，开源starter组件结构1.项目层级2.各个项目引入关系3.项目侧使用二、星耀源码跟踪分析1.SpringApplication.run开始到->refreshContext2.spring的refreshContext->invokeBeanFactoryPostProcessors3.in

zengliangxi·2024-01-22 12:10

SpringBoot 自动装配

自动装配源码分析：处理@Import的注解，获取AutoConfigurationImportSelector类调用AutoConfigurationImportSelector.selectImports

罗志宏·2024-01-22 12:39

SpringCloud Alibaba 深入源码 - Nacos 分级存储模型、支撑百万服务注册压力、解决并发读写问题（CopyOnWrite）

目录一、SpringCloudAlibaba源码分析1.1、SpringCloud&SpringCloudAlibaba常用组件1.2、Nacos的服务注册表结构是怎样的？

陈亦康·2024-01-22 10:49

【io_uring】内核源码分析

文章目录1.`io_uring`2.系统调用`io_uring_setup`2.1.`io_uring_setup`2.2.`io_uring_create`2.3.`io_sq_offload_start`3.系统调用`io_uring_enter`4.系统调用`io_uring_register`5.内核线程`io_sq_thread`6.`IOPOLL`模式6.1.启用6.2.限制6.3.调

ywang_wnlo·2024-01-22 10:57

[executorService.invokeAll+Callable实现批量等待任务并发执行】 1.多线程导表案例 2.使用for循环+Future的isDone()实现等待源码分析

ThreadDto.java//定义可以并行的任务importjava.util.concurrent.Callable;publicclassThreadDtoimplementsCallable{@OverridepublicBooleancall()throwsException{//一个线程里面具体又干10件事for(inti=0;ilist=newLinkedListtaskMap=Ma

zfoo-framework·2024-01-22 10:22

开源库之 OkHttp 源码分析

分析一波OkHttp的源码实现。简单使用官方给出了使用例子，具体详情参考官网。//创建OkHttp请求客户端OkHttpClientclient=newOkHttpClient();//构建一个请求Requestrequest=newRequest.Builder().url(url).build();//执行网络请求并返回结果Responseresponse=client.newCall(req

glumes·2024-01-22 09:52

Kotlin协程的JVM实现源码分析（下）

协程根据是否保存切换调用栈，分为：有栈协程（stackfulcoroutine）无栈协程（stacklesscoroutine）在代码上的区别是：是否可在普通函数里调用，并暂停其执行。Kotlin协程，必须在挂起函数中调用和恢复，属于无栈协程。常见的语言，协程实现：有栈协程：Go、Lua无栈协程：Kotlin、C++20、Clojure、JavaScript二、无栈协程和Continuation2

ClassOps·2024-01-22 08:18

大数据开发之电商数仓（hadoop、flume、hive、hdfs、zookeeper、kafka）

第1章：数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念：为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本，提高产品质量。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括：业务数据、用户行为数据和爬虫数据等3、业务系统数据库

Key-Key·2024-01-22 07:29

Android wifi探究四：Wifi P2P framework层源码分析

上一篇博客对应用程序下使用Wi-FiP2PApi连接附近的设备的过程做了一个简单的梳理，我们只是学会了怎么使用api,但对api背后的机制一无所知。那么这篇博客就开始尝试分析api背后的实现机制，也就是androidframework中Wi-FiP2P的工作机制。WifiP2P在framework层也是一个Service，它的启动过程和WifiService一样：mSystemServiceMan

阳光玻璃杯·2024-01-22 06:58

SpringCloud Gateway微服务网关实战与源码分析

概述定义SpringCloudGateway官网地址https://spring.io/projects/spring-cloud-gateway/最新版本3.1.3SpringCloudGateway文档地址https://docs.spring.io/spring-cloud-gateway/docs/current/reference/html/SpringCloudGatewayGitHu

Java技术人·2024-01-22 05:09

SpringBoot 自定义Banner

源码分析通常我们SpringBoot项目是通过SpringBoot.run(Appcation.class)启动的。

假女吖☌·2024-01-22 05:27

Flink 源码之 Window Slice

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录前言Windowslice是Flink对SQLwindow聚合的一种优化方式。

AlienPaul·2024-01-22 04:29

并发编程（八）——异步编程

一、FutureTask应用&源码分析1.1FutureTask介绍FutureTask是一个可以取消异步任务的类。FutureTask对Future做的一个基本实现。

小灰灰-58·2024-01-22 01:41

SpringCloudAlibaba系列之Nacos配置管理

目录说明认识配置中心Nacos架构图Nacos配置管理实现原理核心源码分析-客户端核心源码分析-服务端配置修改的实时通知主流配置中心对比小小收获说明本篇文章主要目的是从头到尾比较粗粒度的分析Nacos配置中心的一些实现

逆流而上的龟·2024-01-21 22:37

SpringBoot的启动流程源码分析

new一个IOC容器，传入配置好的文件xml,在这个地方打bugAnnotationConfigApplicationContextcontext=newAnnotationConfigApplicationContext(MyConfig.class);在这个debug的栈帧中，下面几个不用看，直接看到getBean内容如图所示，name传的就是我们在xml的bean标签的id,这里是insta

爱生活，更爱技术·2024-01-21 22:30

FutureTask应用&源码分析

FutureTask应用&源码分析1.1FutureTask介绍FutureTask是一个可以取消异步任务的类。FutureTask对Future做的一个基本实现。可以调用方法区开始和取消一个任务。

小笨哥·2024-01-21 22:20

Semaphone应用&源码分析

Semaphone应用&源码分析3.1Semaphore介绍sync，ReentrantLock是互斥锁，保证一个资源同一时间只允许被一个线程访问Semaphore（信号量）保证1个或多个资源可以被指定数量的线程同时访问底层实现是基于

小笨哥·2024-01-21 22:19

CyclicBarrier应用&源码分析

二、CyclicBarrier应用&源码分析2.1CyclicBarrier介绍从名字上来看CyclicBarrier，就是代表循环屏障Barrier屏障：让一个或多个线程达到一个屏障点，会被阻塞。

小笨哥·2024-01-21 22:49

CompletableFuture应用&源码分析

CompletableFuture应用&源码分析2.1CompletableFuture介绍平时多线程开发一般就是使用Runnable，Callable，Thread，FutureTask，ThreadPoolExecutor

小笨哥·2024-01-21 22:48

作为所有类的顶层父类，没想到Object的魔力如此之大！

源码分析跟进Object类的源码中我们可以看到，类的注释中对它做了一个总结性的注释。在Object的内部主要提供了这样的11种方法，大家可以在源码中一个个的跟进

JavaBuild888·2024-01-21 18:35

Android进阶之自定义View原理(三)View的绘制流程

，并举例说明了这两个知识点的具体应用，本篇我们继续从源码入手看看View的绘制流程，与测量和布局流程，View的绘制过程要简单一些，主要流程如下:View绘制流程图.png（一）View的draw流程源码分析

kakaxicm·2024-01-21 17:03

Flume安装配置（超详细，傻瓜式安装）

Flume安装配置使用的三台主机名称分别为bigdata1，bigdata2，bigdata3。

佛系爱学习·2024-01-21 17:11

JUC并发编程与源码分析学习笔记(二)

二十九、多线程锁之线程锁知识概述说说Java“锁”事从轻松的乐观锁和悲观锁开讲通过8种情况演示锁运行案例，看看我们到底锁的是什么公平锁和非公平锁可重入锁（又名递归锁）死锁及排查写锁（独占锁）/读锁（共享锁）自旋锁SpinLock无锁->独占锁->读写锁->邮戳锁无锁->偏向锁->轻量锁->重量锁大厂面试题复盘并发编程高级面试解析一、Synchronized相关问题1、Synchronized用过吗

突然好想你之路在脚下·2024-01-21 17:11

Go源码分析——Slice篇

Go源码分析专栏Go源码解析——Channel篇Go源码分析——Map篇Go源码分析——Slice篇文章目录Go源码

卑微的程序猿·2024-01-21 16:28

[Java]-HashMap源码分析

前言HashMap底层结构是数组+链表，即使用链地址法解决哈希冲突，数组的每个元素是一个链表，链表上存放的就是哈希值相等的一组元素。该结构常用的方法为put()和get()部分静态常量//默认初始化的数组的大小，即当用户构造HashMap没有指定数组大小时使用；容量必须为2的n次幂staticfinalintDEFAULT_INITIAL_CAPACITY=1implementsMap.Entry

Pacifica_·2024-01-21 15:49

【UE】属性同步发送和接收源码分析

概述UE只有Actor类有属性同步功能，Actor开启属性同步的前提是Actor的bReplicated属性为true，属性同步只有Server可以往Client同步，NetDriver类中负责发送和接收属性同步数据，在Server端每帧调用UNetDriver::TickFlush，将要同步的Actor的属性发送到所有连接的Client，在Client每帧调用UNetDriver::TickDi

你不知道()·2024-01-21 08:42

深入Spring Boot (十六)：从源码分析自动配置原理

切换Druid连接池在分析SpringBoot自动配置实现原理之前，先来看一下在使用SpringBoot开发的项目代码中如何将数据库连接池切换成Druid。对于数据库连接池的选择，SpringBoot官方更偏向于推荐使用HikariCP，原因是他们认为HikariCP的性能和并发性比较好，如果当前代码的classpath路径下存在HikariCP的jar包，则会优先使用HikariCP数据库连接池

wind瑞·2024-01-21 08:07

springBoot自动配置原理源码分析+自定义starter启动器+可视化监控+mybatisPlus使用

一、springBoot自动化配置原理1.starter管理机制通过依赖了解SpringBoot管理了哪些starter通过依赖spring-boot-dependencies搜索starter-发现非常多的官方starter，并且已经帮助我们管理好了版本。项目中使用直接引入对应的starter即可，这个场景下需要的依赖就会自动导入到项目中，简化了繁琐的依赖。所有的场景启动器都依赖于spring-

编程小栈·2024-01-21 08:06

009-基础入门-算法逆向&散列对称非对称&JS源码逆向&AES&DES&RSA&SHA

-算法逆向&散列对称非对称&JS源码逆向&AES&DES&RSA&SHA演示案例：➢算法加密-概念&分类&类型➢加密解密-识别特征&解密条件➢解密实例-密文存储&数据传输安全测试中：密文-有源码直接看源码分析算法

wusuowei2986·2024-01-21 06:35

【Spring源码分析】扫描并注册BeanDefinition逻辑

扫描并注册BeanDefinition逻辑一、ClassPathBeanDefinitionScanner扫描源码分析doScan扫描的具体逻辑findCandidateComponents方法解析generateBeanName

假正经的小柴·2024-01-21 05:05

Netty-Netty源码分析

Netty线程模型图Netty线程模型源码剖析图Netty高并发高性能架构设计精髓主从Reactor线程模型NIO多路复用非阻塞无锁串行化设计思想支持高性能序列化协议零拷贝(直接内存的使用)ByteBuf内存池设计灵活的TCP参数配置能力并发优化无锁串行化设计思想在大多数场景下，并行多线程处理可以提升系统的并发性能。但是，如果对于共享资源的并发访问处理不当，会带来严重的锁竞争，这最终会导致性能的下

长情知热爱·2024-01-21 04:19

k8s client-go源码分析 informer源码分析-初始化与启动分析

informer架构先来回忆一下informer的架构。k8sclient-goinformer主要包括以下部件：（1）Reflector：Reflector从kube-apiserver中list&watch资源对象，然后调用DeltaFIFO的Add/Update/Delete/Replace方法将资源对象及其变化包装成Delta并将其丢到DeltaFIFO中；（2）DeltaFIFO：Del

格格巫 MMQ!!·2024-01-21 00:54

Spring源码分析：IOC容器的刷新 - refresh()

面试常见问题：bean生命周期循环依赖三级缓存FactoryBean和beanFactoryApplicationContext和BeanFactory的区别设计模式bean定义信息BeanDefinition读取xml配置文件，通过抽象接口BeanDefinitionReader读取配置文件规范，源码当中的ConfigurableListableBeanFactory部分内容就是读取.xml配置

GeekInk小火龙·2024-01-20 21:56

分布式定时任务系列8：XXL-job源码分析之远程调用

任务执行引擎设计分布式定时任务系列4：任务执行引擎设计续分布式定时任务系列5：XXL-job中blockingQueue的应用分布式定时任务系列6：XXL-job触发日志过大引发的CPU告警分布式定时任务系列7：XXL-job源码分析之任务触发

kobe_t·2024-01-20 20:36

CVE2020-1938漏洞复现

这个漏洞是tomcat的然后我们先了解漏洞产生的原理首先我们先来看tmocat纠结是干什么的tomcat是个中间件最主要的两个结构、servlet的定义和部分源码，漏洞就是从这来的tomcat处理http请求源码分析

hellodaoyan·2024-01-20 18:22

mybatis查询结果resultMap映射vo源码分析

等操作；将一个复杂查询拆分成简单查询；在vo中的变量有时候会定义初始值，那么当mybatis中查询结果为null的时候，会覆盖这个初始值吗;mybatis版本：3.5.10mysql版本:8.0.32源码分析映射

好大的月亮·2024-01-20 14:23

scratch3.0 源码分析

空无一码·2024-01-20 14:35

【Spring源码分析】执行流程之非懒加载单例Bean的实例化逻辑

执行流程之非懒加载单例Bean的实例化逻辑preInstantiateSingletons()源码分析合并BeanDefinitiongetMergedLocalBeanDefinitionBean的分类

假正经的小柴·2024-01-20 13:17

推荐频道

Flume源码分析