Flume源码阅读

记Flume-NG一些注意事项

记Flume-NG一些注意事项(不定时更新，欢迎提供信息)这里只考虑flume本身的一些东西，对于JVM、HDFS、HBase等得暂不涉及。。。。
达微·2024-01-06 19:46

Hive源码阅读--导读

总述Hive的执行流程大致分为两部分，即任务的提交与返回,命令的编译与执行。前者在CliDriver类中流转，后者主要在Driver与ParseDriver类，核心编译在BaseSemanticAnalyzer和QueryPlan类中。任务的提交与返回调用顺序：main--(程序的开始)–>run--(任务的开始，读取用户传参与相关配置，初始化日志)–>executeDriver--(确保传入的语
寒 暄·2024-01-06 17:25

Flume基础知识（七）：Flume 事务与 Flume Agent 内部原理

1.Flume事务详解2.FlumeAgent内部原理重要组件：1）ChannelSelectorChannelSelector的作用就是选出Event将要被发往哪个Channel。
依晴无旧·2024-01-06 17:58

Flume基础知识（九）：Flume 企业开发案例之复制和多路复用

1）案例需求使用Flume-1监控文件变动，Flume-1将变动内容传递给Flume-2，Flume-2负责存储到HDFS。
依晴无旧·2024-01-06 17:58

Flume基础知识（六）：Flume实战之实时监控目录下的多个追加文件

1）案例需求:使用Flume监听整个目录的实时追加文件，并上传至HDFS2）需求分析:3）实现步骤：（1）创建配置文件flume-taildir-hdfs.c
依晴无旧·2024-01-06 17:28

Flume基础知识（八）：Flume 拓扑结构全解

1.简单串联这种模式是将多个flume顺序连接起来了，从最初的source开始到最终sink传送的目的存储系统。
依晴无旧·2024-01-06 17:51

Spark Streaming与数据源连接：Kinesis、Flume等

本文将介绍如何使用SparkStreaming连接各种数据源，包括AmazonKinesis、ApacheFlume等，并提供详细的示例代码，以帮助大家构建实时数据处理应用程序。
晓之以理的喵~~·2024-01-06 16:13

flume实验（数据采集与预处理课程，皆是本机操作）

avro类型固定的日志文件内容spooling类型固定的日志目录的新增文件内容exec类型自定义的、实时的（采集新增加的），去重的采集固定的日志文件的内容syslog类型利用tcp、udp通信协议，采集端自动采集端口日志5140netcat类型也是利用tcp、udp通信协议，自定义端口avro端口，只接收来来自外部avro客户端的事件流（avro序列化后的数据）监听固定的日志文件的内容avro监听
你这个年纪你是怎么睡得着的·2024-01-06 14:10

大数据采集与预处理技术

大数据的关键技术1.3大数据采集与数据预处理技术1.3.1大数据采集技术1.3.2数据预处理技术第二章数据采集基础2.1传统数据采集技术2.2大数据采集基础第三章大数据采集架构1.Chukwa数据采集2.Flume
Sparky*·2024-01-06 14:10

【数据采集与预处理】流数据采集工具Flume

目录一、Flume简介（一）Flume定义（二）Flume作用二、Flume组成架构三、Flume安装配置（一）下载Flume（二）解压安装包（三）配置环境变量（四）查看Flume版本信息四、Flume
Francek Chen·2024-01-06 14:07

Kotlin 协程源码阅读笔记 —— Flow

Kotlin协程源码阅读笔记——FlowFlow就是Kotlin协程中的流，我们可以通过它在Kotlin中进行写出流式代码，大名鼎鼎的RxJava就是流式编程的库（不过我遇到很多的人他们只会用RxJava
程序员小何SS·2024-01-06 10:00

qt源码阅读准备

qt源码阅读准备阅读qt源码前先了解以下知识，对阅读qt源码有极大的好处。
在黎明的反思·2024-01-06 10:28

glog源码阅读笔记

C++项目中常用的日志库有glog和spdlog之前看了一下glog的源码，一些内容记录分享一下。glog是谷歌开源的一个日志库，使用c++98编写注意：glog是个同步日志库，即日志记录和落盘是在同一个线程进行glog是线程安全的，不同线程之间通过互斥量来同步源码路径https://github.com/google/glog代码量vscodecounter统计代码量：源码结构glog支持baz
zhaoyqcsdn·2024-01-06 06:48

eigen源码阅读笔记-1

Eigen是一个C++模板库，提供了许多用于线性代数、矩阵运算和数值计算的功能。它被设计用来高效地进行数学运算，并且具有良好的性能。一些主要特点包括：模板库：Eigen完全是一个基于模板的库，因此可以用于任何数值类型（如整数、浮点数、双精度数等），并且可以进行静态和动态大小的矩阵运算。高性能：Eigen采用了一些优化技术，例如表达式模板、矢量化指令等，以提高运行速度和优化内存访问模式，从而实现高性
zhaoyqcsdn·2024-01-06 06:48

「准备工作」Dubbo源码阅读环境搭建

结果，你自己连Dubbo源码阅读环境都没搭建过的话，尴尬不？Dubbo官方也有对应的源码环境搭建教程（@源码构建），不过我的更详细完善一点。并且，更清晰易懂。
CoderChronicle·2024-01-06 05:38

SparkStreaming基础解析（四）

SparkStreaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。
有语忆语·2024-01-05 10:05

metartc5_jz源码阅读-g_yang_ice_stun_receive

//收到stun服务器的返回数据voidg_yang_ice_stun_receive(char*data,int32_tsize,void*user){if(user==NULL)return;//拿到请求的StunRequestYangIceStunRequest*request=(YangIceStunRequest*)user;//0x00或0x01为stun返回数据的起始标记。uint8
王方帅·2024-01-05 00:47

metartc5_jz源码阅读-yang_ipc_rtcrecv_start_thread

void*yang_ipc_rtcrecv_start_thread(void*obj){//从形参拿到RtcSessionYangIpcRtcSession*session=(YangIpcRtcSession*)obj;session->isConvert=1;//重置流捕获变量，创建流捕获变量。YangStreamCapturedata;memset(&data,0,sizeof(YangS
王方帅·2024-01-05 00:17

metartc5_jz源码阅读-yang_ice_stun_request

//发起stunrequest，用于请求本机的外网ip地址用于p2p打洞int32_tyang_ice_stun_request(YangIceServer*server,int32_tlocalport){chartmp[1024]={0};int32_terr=Yang_Ok;int32_twaitTime=0;//创建udpYangRtcUdp*udp=(YangRtcUdp*)calloc
王方帅·2024-01-05 00:17

metartc5_jz源码阅读-yang_sdp_genLocalSdp2

int32_tyang_sdp_genLocalSdp2(YangRtcSession*session,int32_tlocalport,char*dst,YangStreamOptTyperole){int32_tmediaServer=session->context.avinfo->sys.mediaServer;int32_tredPayloadtype=1;char*src=(char*
王方帅·2024-01-05 00:17

metartc5_jz源码阅读-yang_ice_initIce

//初始化ice，感觉这个逻辑跟谷歌官方的webrtc正好是相反的逻辑，正常应该县判断Host能不能通，不通在Stun，Stun也不通则走Turn中继。voidyang_ice_initIce(YangIceSession*session){//根据candidateType进行初始化switch(session->candidateType){//Host则什么也不做caseYangIceHos
王方帅·2024-01-05 00:17

metartc5_jz源码阅读-main.c

#include#include#include#include#include#include#include//声明一个TimerYangCTimer*m_5stimer=NULL;intg_waitState=0;//声明一个互斥锁pthread_mutex_tg_lock;//声明一个条件锁pthread_cond_tg_cond;//创建ctrl+c的回调函数，设置b_exit为1，si
王方帅·2024-01-05 00:46

metartc5_jz源码阅读-yang_run_p2pserver_thread

void*yang_run_p2pserver_thread(void*obj){//为p2pServer创建socket，AF_INET表示ip4，SOCK_STREAM表示面向可靠连接的TCPYangP2pServer*p2p=(YangP2pServer*)obj;p2p->isStart=1;p2p->serverfd=socket(AF_INET,SOCK_STREAM,IPPROTO_
王方帅·2024-01-05 00:46

metartc5_jz源码阅读-yang_run_rtcudp_thread

void*yang_run_rtcudp_thread(void*obj){//拿到传入的UdpSessionYangUdpSession*udp=(YangUdpSession*)obj;//设置为开始udp->isStart=1;//设置socket的超时时间为200msstructtimevaltv;tv.tv_sec=0;tv.tv_usec=200000;//200mssetsockop
王方帅·2024-01-05 00:43

g2o源码阅读

之前写的g2o源码阅读笔记，分享给有需要的人整个文档请自行下载，这里只贴一个图片。下载地址：文档下载
haithink·2024-01-04 20:23

RunTime 基础数据结构

1.源码RunTime源码阅读(一)之weakRunTime源码阅读(二)关联对象RunTime源码阅读(三)dealloc的释放RunTime源码阅读(四)内存管理RunTime源码阅读(五)之category
某非著名程序员·2024-01-04 17:57

【图像拼接（Image Stitching）】关于【图像拼接论文源码精读】专栏的相关说明，包含专栏内文章结构说明、源码阅读顺序、培养代码能力、如何创新等（不定期更新）

文章目录前言专栏简介专栏亮点：适用人群文章结构1.跑通代码，复现结果2.源码解读，看懂原理3.总结思考，试图创新【图像拼接论文源码精读】专栏文章目录前言本文是【图像拼接论文源码精读】专栏的相关说明，将一些共性的东西在这里做统一说明，就不在每一篇文章中重复了。本专栏对应的【图像拼接论文精读】专栏：【图像拼接（ImageStitching）】关于【图像拼接论文精读】专栏的相关说明，包含专栏使用说明、创
十小大·2024-01-04 17:16

【图像拼接】源码精读：Quality evaluation-based iterative seam estimation for image stitching

第一次来请先看这篇文章：【图像拼接（ImageStitching）】关于【图像拼接论文源码精读】专栏的相关说明，包含专栏内文章结构说明、源码阅读顺序、培养代码能力、如何创新等（不定期更新）【图像拼接论文源码精读
十小大·2024-01-04 17:16

【图像拼接】源码精读：Perception-based seam cutting for image stitching

第一次来请先看这篇文章：【图像拼接（ImageStitching）】关于【图像拼接论文源码精读】专栏的相关说明，包含专栏内文章结构说明、源码阅读顺序、培养代码能力、如何创新等（不定期更新）【图像拼接论文源码精读
十小大·2024-01-04 17:15

Flume基础知识（二）：Flume安装部署

1.Flume安装部署1.1安装地址（1）Flume官网地址：WelcometoApacheFlume—ApacheFlume（2）文档查看地址：Flume1.11.0UserGuide—ApacheFlume
依晴无旧·2024-01-04 10:08

Flume基础知识（四）：Flume实战之实时监控单个追加文件

1）案例需求：实时监控Hive日志，并上传到HDFS中2）需求分析：3）实现步骤：（1）Flume要想将数据输出到HDFS，依赖Hadoop相关jar包检查/etc/profile.d/my_env.sh
依晴无旧·2024-01-04 10:08

Flume基础知识（五）：Flume实战之实时监控目录下多个新文件

1）案例需求：使用Flume监听整个目录的文件，并上传至HDFS2）需求分析：3）实现步骤：（1）创建配置文件flume-dir-hdfs.conf创建一个文件vimflume-dir-hdfs.conf
依晴无旧·2024-01-04 10:08

Flume

FlumeFlume是一种分布式、可靠且可用的服务高效收集、聚合和移动大量日志数据。它具有基于流媒体的简单灵活的架构数据流。它坚固耐用，容错，可靠性可调机制以及许多故障转移和恢复机制。
李昊哲小课·2024-01-04 10:03

Flume基础知识（三）：Flume 实战监控端口数据官方案例

1.监控端口数据官方案例1）案例需求：使用Flume监听一个端口，收集该端口数据，并打印到控制台。
依晴无旧·2024-01-04 10:26

Spark Streaming + Flume

Push，指的是Flume主动push数据给SparkStreaming。Pull，指的是SparkStreaming主动从Flume拉取数据。
歌哥居士·2024-01-03 18:53

基于 Flink 的百亿数据去重实践

在工作中经常会遇到去重的场景，例如基于App的用户行为日志分析系统，用户的行为日志从手机客户端上报到Nginx服务端，通过Logstash、Flume或其他工具将日志从Nginx写入到Kafka中。
zhisheng_blog·2024-01-03 16:52

八、Flume-拦截器

1、默认拦截器官网提供了几个默认拦截器，具体使用可查官方文档image.png2、自定义拦截器（实现MapReducer中的日志的清洗功能）a.编写代码（实现Interceptor接口，并实现内部接口Builder）Interceptor接口主要实现具体的拦截器的功能，内部接口Builder功能包含实例化Interceptor，以及获取配置文件传给Interceptorpackagetop.guj
一种依耐丶从未离开·2024-01-03 13:02

Flume基础知识（一）：Flume组成原理与架构

1.Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。
依晴无旧·2024-01-03 07:18

Flume日志采集

1、Flume分布式系统中最核心的角色是agent，flume采集系统是由一个一个agent所连接起来的形成的2、每一个agent相当于一个数据采集员，内部有三个组件构成Source：采集组件，用于跟数据源对接
smartjiang·2024-01-03 00:44

JQuery源码阅读（一）整体架构

很早就听一些大神说要读源码，直到前一段时间春招受挫才立下决心，先入手一个JQuery吧，以后有机会可以摸一摸Vue。jQuery，说起都有一种张国荣、陈百强的感觉了，但是还是可以重温的，面试官教育我，不能盲目跟风，人云亦云。其实看了几天了，一行一行看没有重点，直到看了几个大佬的博文（比如下面这位），觉得可以尝试了。一位大佬.png还有一位出了一个系列的，大家在中文社区应该看得到（他也参加过蚂蚁金服
Atlas_lili·2024-01-02 20:42

SpringBoot2.2.6启动run方法之prepareContext

源码解读进度首先我们的源码阅读进度publicConfigurableApplicationContextrun(String...args){//用于记录启动时间Sto
噼咔丘·2024-01-02 14:15

PPP/INS紧组合代码学习

可以参考这篇优秀博文，链接：KF-GINS源码阅读_李郑骁学导航的博客-CSDN博客IGNAV是基于RTKLIB进行二次开发的，因此熟悉RTKLIB源代码的学习起来会容易一些。
进击中的小龙·2024-01-02 10:38

【图像拼接】源码精读：Seam-guided local alignment and stitching for large parallax images

第一次来请先看这篇文章：【图像拼接（ImageStitching）】关于【图像拼接论文源码精读】专栏的相关说明，包含专栏内文章结构说明、源码阅读顺序、培养代码能力、如何创新等（不定期更新）【图像拼接论文源码精读
十小大·2024-01-02 06:42

Mybatis底层原理分析以及源码阅读

费话不多少先上图，我只喜欢画图分析，看图片：有两个问题：问题1：我们一直在写Mapper/DAO只写了接口，没有写具体的实现吧？【是的】问题2：没有写实现类就没办法实例化执行后续的操作，那么又怎么去访问了数据库，并且拿到了数据呢？虽说我们没有亲自去写实现类，但是mybatis通过动态字节码技术，也就是动态代理帮我们去生成了代理实现类，比如：我们在UserMapper.java接口里写了一个inse
walking_w·2024-01-02 00:31

详解大数据数据仓库分层架构

大数据数据仓库是基于HIVE构建的数据仓库，分布文件系统为HDFS，资源管理为Yarn，计算引擎主要包括MapReduce/Tez/Spark等，分层架构如下：1、数据来源层：日志或者关系型数据库，并通过Flume
Alukar·2024-01-01 14:47

大数据编程期末大作业

目录一、Hadoop基础操作二、RDD编程三、SparkSQL编程四、SparkStreaming编程五、Flume的安装配置一、Hadoop基础操作按要求完成以下操作：1、在HDFS中创建目录/user
Francek Chen·2024-01-01 14:50

从仿写持久层框架到MyBatis核心源码阅读

接上篇手写持久层框架：https://blog.csdn.net/liwenyang1992/article/details/134884703MyBatis源码MyBatis架构原理&主要组件MyBatis架构设计MyBatis架构四层作用是什么呢？API接口层：提供API，增加、删除、修改、查询等接口，通过API接口对数据库进行操作。数据处理层：主要负责SQL的查询、解析、执行以及结果映射的处
帅喵·2024-01-01 09:42

tendermint源码阅读（八）

关注点：fastsync这次说的内容很简单，直接看代码吧tendermint/v0.26.0/node/node.go#L243,L251//Decidewhethertofast-syncornot//Wedon'tfast-syncwhentheonlyvalidatorisus.fastSync:=config.FastSyncifstate.Validators.Size()==1{add
印随2018·2024-01-01 00:53

flume（二）、安装

1、安装在我的ecs虚拟机安装，去Flume官网找到下载地址2、配置环境变量export到path中，不多说进入flume的安装目录下conf中，复制一个模板cpflume-env.sh.templateflume-env.sh
yezide·2023-12-31 18:24

Impala4.x源码阅读笔记（三）——Impala如何管理Iceberg表元数据

上一篇文章Impala4.x源码阅读笔记（二）——Impala如何高效读取Iceberg表简单介绍了Iceberg表的基本情况和Impala是如何对其进行扫描的。
Eyizoha·2023-12-30 10:57
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他