Flume源码分析

数据采集工具Sqoop、Datax、Flume、Canal

离线采集工具Sqoop1.环境配置解压安装包配置环境变量（记得source）添加MySQL驱动包到sqoop文件夹下的libcpmysql-connector-java-5.1.10.jar/sqoop-install-path/lib重命名文件并配置文件mvsqoop-env-template.shsqoop-env.sh#添加环境变量exportHADOOP_COMMON_HOME=/usr/
yue-verdure·2024-02-08 06:08

大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习（stage3）

Boys，Grils，Friends！MynameisJinsuo.Shi.一个不正经的大数据开发工程师，目前从事在公司主要进行CDP平台的数据接入、数据的ETL、数据的融合与事件的展开工作。个人大数据技术栈：DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域：Python，P
道-闇影·2024-02-08 06:07

数据同步工具对比——SeaTunnel 、DataX、Sqoop、Flume、Flink CDC

本文将对比五种流行的数据处理工具：SeaTunnel、DataX、Sqoop、Flume和FlinkCDC，从它们的设计理念、使用场景、优缺点等方面进行详细介绍。
大数据_苡~·2024-02-08 06:33

Hyperledger-Fabric源码分析（Gossip-Emitter）

接下来我们来看看Emitter模块，这里初略的看就是gossip的消息发送的模块。下面我们来具体分析下启动时机funcNewGossipService(conf*Config,s*grpc.Server,saapi.SecurityAdvisor,mcsapi.MessageCryptoService,selfIdentityapi.PeerIdentityType,secureDialOptsa
Pillar_Zhong·2024-02-08 04:11

Spring Boot原理剖析和源码分析

SpringBoot原理剖析和源码分析依赖管理问题一：为什么导入dependency时不需要指定版本？
左师兄zuosx·2024-02-08 03:53

第二十三章、AtomicInteger源码分析—基于CAS的乐观锁实现

1.悲观锁与乐观锁cpu是时分复用的，也就是把cpu的时间片，分配给不同的thread/process轮流执行，时间片与时间片之间，需要进行cpu切换，也就是会发生进程的切换。切换涉及到清空寄存器，缓存数据。然后重新加载新的thread所需数据。当一个线程被挂起时，加入到阻塞队列，在一定的时间或条件下，在通过notify()，notifyAll()唤醒回来。在某个资源不可用的时候，就将cpu让出，
小母牛不生产奶·2024-02-08 00:17

【Canal源码分析】Canal Server的启动和停止过程

一、序列图1.1启动启动序列图.png1.2停止停止序列图.png二、源码分析整个server启动的过程比较复杂，看图难以理解，需要辅以文字说明。
端木轩·2024-02-07 22:31

vue双向绑定的原理及实现双向绑定MVVM源码分析

Vue双向数据绑定的原理：可以将对象的属性绑定到UI，具体的说，我们有一个对象，该对象有一个name属性，当我们给这个对象name属性赋新值的时候，新值在UI上也会得到更新。同样的道理，当我们有一个输入框或者textarea的时候，我们输入一个新值的时候，也会在该对象的name属性得到更新。数据劫持实现双向数据绑定：vue.js则是采用数据劫持结合发布者-订阅者模式，通过Object.define
前端来入坑·2024-02-07 19:40

Adb显示第3方应用的包名原理

Android早期版本实现原理请看Android源码分析-pm命令的实现，列出包名pmlistpackage，列出系统库pmlistlibraries_pmlistpackages-CSDN博客Android12
亚瑟-小郎·2024-02-07 16:24

02Nginx源码分析之总结内存开辟的相关函数(ngx_alloc.c，ngx_palloc.c)

02Nginx源码分析之总结内存开辟的相关函数(ngx_alloc.c，ngx_palloc.c)前言：写这一篇的目的是为了方便接下来的阅读，否则每次都要对应查找相应的函数，非常麻烦。
Mango酱·2024-02-07 15:53

DataX详解和架构介绍

系列文章目录一、DataX详解和架构介绍二、DataX源码分析JobContainer三、DataX源码分析TaskGroupContainer四、DataX源码分析TaskExecutor五、DataX
shandongwill·2024-02-07 14:27

深入理解AQS独占锁之ReentrantLock源码分析

并发工具类的应用场景详解上一章我们讲解了ReentrantLock、Semaphore、CountDownLatch、CyclicBarrier等同步工具类的应用场景及实现，本章我们重点讲解ReentrantLock源码分析
Myname_China·2024-02-07 12:22

读写锁ReentrantReadWriteLock&StampLock详解

传送门：深入理解AQS独占锁之ReentrantLock源码分析目录读写锁介绍ReentrantReadWriteLock介绍ReentrantReadWriteLock的使用应用场景锁降级读写锁设计思路
Myname_China·2024-02-07 12:22

Vue.js 源码分析——模板编译和组件化

一、模板编译模板编译介绍：模板编译的主要目的是将模板（template）转换为渲染函数（render）titlesomecontent渲染函数render(h){returnh('div',[h('h1',{on:{click:this.handler}},'title'),h('p','somecontent')])}模板编译的作用Vue2.x使用VNode描述视图以及各种交互，用自己编写的VN
丽__·2024-02-07 12:41

Eureka源码分析（九）清理过期租约

下面我们来说说eureka的过期机制。其实这篇文章主要介绍的是AbstractInstanceRegistry的内部类EvictionTask。我们知道AbstractInstanceRegistry是包括了所有注册到EurekaServer上的实例。而EvictionTask就是清理过期租约的定时任务。在Eureka-Server启动时，初始化EvictionTask定时执行。protected
skyguard·2024-02-07 11:21

freertos 源码分析三 task 结构与几个链表

任务控制块taskControlBLock结构体，以下为部分typedefstructtskTaskControlBlock{volatileStackType_t*pxTopOfStack;//栈顶指针ListItem_txStateListItem;//任务状态表项ListItem_txEventListItem;//事件表项UBaseType_tuxPriority;//优先级StackTy
yvee·2024-02-07 10:20

freertos 源码分析四 任务创建的简单分析

任务创建xTaskCreate为TCB和TCB栈分配空间，初始化，加入就绪任务链表#if(configSUPPORT_DYNAMIC_ALLOCATION==1)BaseType_txTaskCreate(TaskFunction_tpxTaskCode,constchar*constpcName,constconfigSTACK_DEPTH_TYPEusStackDepth,void*const
yvee·2024-02-07 10:17

ConcurrentLinkedHashMap源码分析

一、简介ConcurrentLinkedHashMap是google开源的线程安全的方便并发的Map,Map利用LRU缓存机制对Map中存储对象进行换入换出管理。采用两套资源控制机制，一套同步机制，使用ConcurrentMap对对象数据进行KV存储，保证多线程并发安全地调用Map资源，而对于存储对象的换入换出管理则采用异步机制，使用Queuebuffer存储每次的因对象读写而产生的对象换入换出任
lim快乐_无限·2024-02-07 09:15

Flink执行流程与源码分析（面试必问，建议收藏）

Flink主要组件作业管理器（JobManager）(1)控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的Jobmanager所控制执行(2)Jobmanager会先接收到要执行的应用程序，这个应用程序会包括：作业图（JobGraph）、逻辑数据流图（ogicaldataflowgraph）和打包了所有的类、库和其它资源的JAR包。(3)Jobmanager会把Jobgraph
大数据左右手·2024-02-07 09:04

三级？是缓存不是片！ spring的三级缓存---学习spring框架第一步

二、是怎么解决的三、反思总结源码分析：DefaultSingletonBeanRegistry类getSingleton方法三级缓存的作用反思总结面试点：1、三级缓存原理：如上2、二级缓存就可以解决了为什么还要有三级缓存为什么需要早期引用
苏汀star·2024-02-07 08:17

nginx upstream server主动健康检测模块ngx_http_upstream_check_module 使用和源码分析(中）

目录6.源码分析6.1解析指令分析6.2待检查的服务器的添加和状态查询6.3本模块的进程初始化函数6.4准备执行健康检测任务6.5执行健康检测任务本篇对ngx_http_upstream_check_module
码农心语·2024-02-07 07:53

nginx upstream server主动健康检测模块ngx_http_upstream_check_module 使用和源码分析(下）

目录7.实现一个UDP健康检测功能7.1功能定义7.2定义一个新的健康检测类型7.3增加udp特定的健康检测需要的配置指令7.3.1ngx_http_upstream_check_srv_conf_s结构体的扩展7.3.2check_udp_send的实现7.3.3check_udp_expect的实现7.3.416进制解码代码的实现7.4ngx_http_upstream_check函数的修改7
码农心语·2024-02-07 07:50

Golang context 万字解析实现原理

Golang：context基于go1.21版本Context是什么Context的功能应用场景源码分析1.10Context核心结构1.1Err错误2.1emptyCtx3.1Background()
Go 的学习之路·2024-02-07 04:02

RocketMQ源码分析（四）消息的发送

消息发送的主要步骤为：验证消息，查找路由，消息发送（包含异常机制处理）我们以DefaultMQProducer#send为切入口：以下代码为验证消息publicSendResultsend(Messagemsg)throwsMQClientException,RemotingException,MQBrokerException,InterruptedException{//校验消息（主要是长度是
甘_·2024-02-07 04:01

muduo-net 源码分析（七）——TcpServer 和 TcpConnection（二）

先序这一节我们将继续完善TcpServer和TCPConnection类，并且解决上一节思考的问题【一定要理清思路】；TcpServer源码分析重要的变量ConnectionCallbackconnectionCallback
cyjiayou·2024-02-07 03:02

Java Character源码剖析

下面结合源码分析Character的贡献。Unicode也许你没听过Unicode，但应该见过UTF-8。
洒水水儿·2024-02-07 02:54

libevent源码分析（2）－－2.1.8－－结构体 struct event和struct event_callback

一、event_callback结构体structevent_callback{//下一个回调事件TAILQ_ENTRY(event_callback)evcb_active_next;//回调事件的状态标识，具体为：//#defineEVLIST_TIMEOUT0x01//event在time堆中，min_heap//#defineEVLIST_INSERTED0x02//event在已注册事件
录事参军·2024-02-07 01:18

Libevent源码分析-----与event相关的一些函数和操作

Libevent提供了一些与event相关的操作函数和操作。本文就重点讲一下这方面的源代码。在Libevent中，无论是event还是event_base，都是使用指针而不会使用变量。实际上，如果查看Libevent不同的版本，就可以发现event和event_base这两个结构体的成员是不同的。对比libevent-2.0.21-stable和libevent-1.4.13-stable这两个版
amoscykl·2024-02-07 01:48

Libevent源码分析-----信号event的处理

信号event的工作原理：前面讲解了Libevent如何监听一个IO事件，现在来讲一下Libevent如何监听信号。Libevent对于信号的处理是采用统一事件源的方式。简单地说，就是把信号也转换成IO事件，集成到Libevent中。统一事件源的工作原理如下：假如用户要监听SIGINT信号，那么在实现的内部就对SIGINT这个信号设置捕抓函数。此外，在实现的内部还要建立一条管道(pipe)，并把这
amoscykl·2024-02-07 01:47

Libevent源码分析-----超时event的处理

如何成为超时event：Libevent允许创建一个超时event，使用evtimer_new宏。//event.h文件#defineevtimer_new(b,cb,arg)event_new((b),-1,0,(cb),(arg)) 从宏的实现来看，它一样是用到了一般的event_new，并且不使用任何的文件描述符。从超时event宏的实现来看，无论是evtimer创建的event还是一般ev
amoscykl·2024-02-07 01:47

Libevent源码分析-event_base

event_base数据结构初始化event_base相关接口前面介绍了event，本节介绍Reactor的核心结构：event_base，它在event-internal.h中。event_base是整个libevent的核心，它持有所有注册的事件，并负责通知激活的事件。event_base数据结构structevent_base{conststructeventop*evsel;void*ev
KangRoger·2024-02-07 01:16

MyBatis的二级缓存以及装饰器模式运用

目录Mybatis中如何配置二级缓存基于注解配置缓存基于XML配置缓存Cache解析处理过程Cache支持的过期策略缓存的基本实现装饰器模式Mybatis缓存实现源码分析BlockingCacheLRU
陈脩·2024-02-06 21:08

JUC AQS ReentrantLock源码分析（一）

Java的内置锁一直都是备受争议的，在JDK1.6之前，synchronized这个重量级锁其性能一直都是较为低下，虽然在1.6后，进行大量的锁优化策略,但是与Lock相比synchronized还是存在一些缺陷的：虽然synchronized提供了便捷性的隐式获取锁释放锁机制（基于JVM机制），但是它却缺少了获取锁与释放锁的可操作性，可中断、超时获取锁，且它为独占式在高并发场景下性能大打折扣。如
程序员Yamy·2024-02-06 19:13

[k8s源码分析][client-go] workqueue

1.前言转载请说明原文出处,尊重他人劳动成果!源码位置:https://github.com/nicktming/client-go/tree/tming-v13.0/util/workqueue分支:tming-v13.0(基于v13.0版本)本文将分析util包中的workqueue.在各类controller中经常会使用该workqueue中的一些类.architecture.png2.qu
nicktming·2024-02-06 15:10

nginx upstream server主动健康检测模块ngx_http_upstream_check_module 使用和源码分析(上）

2.1check2.2check_keepalive_requests2.3check_http_send2.4check_http_expect_alive2.5check_shm_size2.6check_status3.加载健康检测模块3.1模块的编译3.2模块的配置4.测试验证5.思考与问题6.源码分析
码农心语·2024-02-06 14:27

设计模式之原型模式

克隆羊问题1.1传统方式解决克隆羊问题1.2代码1.3传统方式的缺点二、原型模式2.1原型模式基本介绍2.2原型模式原理结构uml类图2.3原型模式解决克隆羊问题的应用实例2.4原型模式在Spring框架中源码分析三
咱老李·2024-02-06 11:41

Spring框架AOP源码分析(二)

AOP编程使用1.注解版本实现AOP开启事物注解权限@Aspect指定一个类为切面类@Pointcut("execution(*com.itmayiedu.service.UserService.add(..))")指定切入点表达式@Before("pointCut_()")前置通知:目标方法之前执行@After("pointCut_()")后置通知：目标方法之后执行（始终执行）@AfterRet
Mark_ZSQ·2024-02-06 10:18

Flume多进程传输

1.Flume介绍Flume是一种分布式、可靠且可用的服务，用于高效收集、聚合和移动大量日志数据。它具有基于流数据流的简单而灵活的架构。
tuoluzhe8521·2024-02-06 10:42

Flume拦截器使用-实现分表、解决零点漂移等

1.场景分析使用flume做数据传输时，可能遇到将一个数据流中的多张表分别保存到各自位置的问题，同时由于采集时间和数据实际发生时间存在差异，因此需要根据数据实际发生时间进行分区保存。
tuoluzhe8521·2024-02-06 09:09

RTthread线程间通信(邮箱,消息队列,信号/软件中断)---03信号(软件中断)源码分析

信号实际使用看这一个#ifdefined(RT_USING_SIGNALS)rt_sigset_tsig_pending;/**sig_vectors==RT_NULL){//这一个线程之前没有安转过rt_thread_alloc_sig(tid);}if(tid->sig_vectors){old=tid->sig_vectors[signo];if(handler==SIG_IGN)tid->
唐·柯里昂798·2024-02-06 09:15

netty-websocket扩展协议及token鉴权补充

文章源码：gitee源码部分可以看上一篇文章中的源码分析netty-websocket鉴权token及统一请求和响应头（鉴权控制器）最近刚好没事，看到有朋友说自定义协议好搞，我就想了想，发现上面那种方式实现确实麻烦
离别又见离别·2024-02-06 08:12

c++之std::unique_lock, std::lock, std::scoped_lock及std::condition_variable

可用的第二个参数有三种，而lock_guard只有一种unique_lock的析构需要判断_M_owns，而lock_guard无需判定条件变量的传参为unique_lock说什么都不如源码来的简单明了1.1源码分析
liuge·2024-02-06 08:12

flume+Kafka+flink实时统计实战(单机版)

下面有些命令由于Kafka版本原因可能会报下面这种错误，请注意：ApacheKafka:bootstrap-serverisnotarecognizedoption2.5.0之前的版本使用broker-list2.5.0之后的版本使用bootstrap-server#Kafka启动服务安装配置好zookeeper，添加好环境变量，打开cmd，输入命令启动服务。zkServer或bin/zkServ
xiaolege_·2024-02-06 08:30

xv6（RISC-V）操作系统源码分析第六节——锁

一、程序并发执行带来的问题及解决方案（一）并发执行带来的问题程序的并发执行提高了程序执行的效率，这是大多数内核所追求的，xv6也是这样。xv6采用两种方式实现程序的并发执行：采用多处理器架构在一个CPU上实现多线程机制xv6采用多处理器架构（硬件系统具有多个CPU独立执行）来实现程序的并发执行。这些CPU共享同一个DRAM，这种共享就带了问题：一个CPU在读取一个数据的同时，另一个CPU正在更新它
MCQSLW·2024-02-06 08:05

xv6（RISC-V）操作系统源码分析第一节——操作系统接口

一、内核与进程xv6使用传统形式内核（一个向其他运行中的程序提供服务的特殊程序）。每一个正在运行的程序称为进程，进程拥有自己的指令、数据与栈的内存空间。它们的功能如下：指令：实现程序的运算数据：用于运算过程的变量栈：管理程序的过程调用一个计算机通常有许多进程，但只有一个内核。二、进程调用内核服务的方式——系统调用进程通过调用系统调用来调用内核的服务。系统调用是操作系统接口中的一个调用。系统调用会进
MCQSLW·2024-02-06 08:34

xv6（RISC-V）操作系统源码分析第二节——操作系统组织

一、一个操作系统的基本要求一个操作系统至少需要满足以下三个要求：多路复用进程隔离进程通信（一）多路复用硬件CPU的数量有限，且往往少于同时存在的进程数量。而操作系统需要支持进程的并发执行，所以操作系统应该能使多个进程分时共享计算机的资源。（二）进程隔离一个进程的运行，应当具有一定的独立性，这个独立性指该进程在一定程度上不受其他进程的影响。这可以保证出了bug的程序不会严重影响其他程序的正常运行。（
MCQSLW·2024-02-06 08:34

xv6（RISC-V）操作系统源码分析第三节——地址映射与内存分配

一、xv6页表的作用物理内存指DRAM中的存储单元。物理存储器的一个字节有一个地址，称为物理地址。当指令操作虚拟地址时，分页硬件会将其翻译成物理地址，然后发送给DRAM硬件以读写。而分页硬件操作的核心数据结构就是页表。页表在物理内存中。通过页表机制，xv6为每个进程提供各自私有的地址空间和内存。页表决定了内存地址的含义与物理内存的哪些部分可以被访问。页表提供了一个间接层次，允许xv6实现如下技巧：
MCQSLW·2024-02-06 08:34

xv6（RISC-V）操作系统源码分析第五节——中断与设备驱动

一、驱动程序驱动程序是操作系统中管理特定设备的代码，它的功能包括：配置设备相关的硬件控制设备的执行处理设备产生的中断与等待设备I/O的进程进行交互驱动程序会与它所管理的设备并发执行。驱动程序必须了解设备的硬件接口。设备可以产生设备中断，在xv6中，内核中的devintr程序会处理这个中断。许多设备驱动程序会在两个上下文（context）中执行代码。这两个上下文分别是：上半部分（tophalf）：在
MCQSLW·2024-02-06 08:34

Semaphore源码分析

1.Semaphore定义Semaphore主要用于限量控制并发执行代码的工具类,其内部通过一个permit来进行定义并发执行的数量,其实可以理解为一个限制数量的ReadLock获取.Semaphore主要特点:Semaphore方法的实现通过Sync(AQS的继承类)代理来实现2.支持公平与非公平模式,都是在AQS的子类里面进行,主要区分在tryAcquire里面先看一个简单的demoimpor
铁甲依然在_978f·2024-02-06 07:12

ReentrantLock源码分析、LockSuppor、ReentrantReadWriteLock、锁优化的方法

ReentrantLock类图我们看一下重入锁ReentrantLock类关系图，它是实现了Lock接口的类。NonfairSync和FairSync都继承自抽象类Sync，在ReentrantLock中有非公平锁NonfairSync和公平锁FairSync的实现。在重入锁ReentrantLock类关系图中，我们可以看到NonfairSync和FairSync都继承自抽象类Sync，而Sync
_蓝天IT_·2024-02-06 07:12
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他