Flume源码阅读

[源码阅读]——Sylar服务器框架：IO协程调度模块

IO协程调度模块epoll相关内核事件表epoll_wait函数LT和ET模式EPOLLONESHOT事件IO协程调度模块概述IO协程调度器具体实现总结epoll相关内核事件表  epoll是Linux特有的I/O复用函数。其使用一组函数来完成任务，将用户关心的文件描述符上的事件放在内核里的一个时间表中，无需像select和poll每次调用都要重复传入文件描述符集或事件集。epoll需要使用一个额
甄姬、巴豆·2023-11-09 18:34

[源码阅读]——Sylar服务器框架：协程模块

协程模块协程概念sylar协程模块其他协程概念  按照本人简单的理解，协程可以看成是一个轻量级的线程，或者是可以切换出去的函数。相比之下本人认为其和函数更像，只是在程序中，如果我们在函数fun()中执行函数test(),则是test()必须执行完毕后，才会返回fun()继续执行。而对于协程来说，其可以执行一半退出，让出cpu执行权。同样，当满足其执行要求时，其会从退出的地方继续执行，又获得了CPU
甄姬、巴豆·2023-11-09 18:04

[学习分享]----sylar服务器框架源码阅读--协程调度模块

协程调度模块sylar作者在本站的地址为这里，也可以查看作者主页，也有视频教程可以点击这里。此外，也可以看一下赵路强大佬的关于sylar协程模块的博客点击这里，我本人在阅读sylar源码的时候也是参考了赵路强大佬的解析可以点击这里。各位看官也可以加我的qq和我讨论2511010742在上期博客中，实现了两个协程之间的切换，但是单独的切换两个协程并不能做到什么高效率的事情，在一个子协程中不可以直接调
码上自有颜如玉·2023-11-09 18:00

odoo16前端框架源码阅读——ormService.js

odoo16前端框架源码阅读——ormService.js路径：addons\web\static\src\core\orm_service.js简单翻译一下代码中的注释：ORM服务是js代码和python
加菲大叔·2023-11-09 18:26

Nacos源码系列——第一章（Nacos核心源码主线剖析上）

在大多数的公司中，你能用你的知识解决问题就可以，不一定非要涉及到源码，但是你们应该知道如果想进大厂的话，对读源码的能力是非常高的，甚至像阿里，字节这样的厂，面试经常会问到，尤其是做中间件组件，对开源框架的源码阅读能力
风清扬逍遥子·2023-11-08 22:19

【FastCAE源码阅读6】C++与Python的集成，实现相互调用

分析FastCAE代码之前先看看C++与Python如何相互调用的。一、C++调用Python先写个C++调用Python的例子，然后再来看FastCAE集成Python就比较简单了。直接上代码：#include#include"python.h"intmain(){Py_Initialize();PyRun_SimpleStringFlags("print('helloworld')",NULL
loveoobaby·2023-11-08 15:27

AFL源码阅读笔记（二）—— llvm_mode 和 pass 源码

书接上回：AFL源码阅读笔记（一）——gcc普通插桩上一篇文章中我们分析了传统编译器（gcc、clang）背景下进行插桩，整体而言比较粗暴，思路是碰到可插桩的情况，通过trampoline跳到插桩代码（
CSU_DEZ_THU·2023-11-08 10:05

php插桩 xdebug,[原创]AFL编译插桩部分源码分析

开始之前本篇是afl源码阅读的第二篇，在上一篇我没有主要介绍插桩相关的内容，放在这一章来简单讲一下。在本篇之后还会有最后一篇第三篇来介绍AFL的LLVM优化的相关内容。
Grfxlf·2023-11-08 10:33

Kafka -- kafka整合flume

1、编写配置文件：vimflume-car-to-kafka.propertiesagent.sources=s1agent.channels=c1agent.sinks=k1agent.sources.s1
新手小农·2023-11-08 09:53

基于MMdetection的RT-DETR目标检测器的源码解析（上）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、RT-DETR目标检测器二、源码阅读及debug过程1.下载项目2.网络结构3.目标检测器文件：rtdetr.py解析4.
CL雾岚·2023-11-07 23:41

FreeRTOS源码阅读笔记2--list.c

list.c中主要完成列表数据结构的操作，有列表和列表项的初始化、列表的插入和移除。2.1列表初始化vListInitialise()2.1.1函数原型voidvListInitialise(List_t*constpxList)pxList：列表指针，指向要初始化的列表。2.1.2函数框架简单来说，列表的初始化就是链表根节点的初始化，如图所示：2.2列表项初始化vListInitialiseIt
c_up·2023-11-07 23:19

Syzkaller学习笔记---更新syz-manager(二)

Syzkaller学习笔记Syzkaller安装文件系统内核Androidcommonkernel参考文献syzkaller源码阅读笔记-1前言syz-extractmainarchListcreateArchesworkerprocessArchprocessFileextractcheckUnsupportedCallsarchList
無名之涟·2023-11-07 13:52

Spark Streaming知识点总结

SparkStreaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。
「miraitowa」·2023-11-07 05:41

从零开始手写VIO第二讲vio_data_simulation-master源码阅读

目录前言项目结构Param.hparam.cppimu.himu.cpputilities.h前言这是高博的课程《从零开始手写VIO》里面第二讲vio_data_simulation-master的源码阅读
Chaoz3·2023-11-07 00:14

Flume+Kafka收集Docker容器内分布式日志应用实践

1背景和问题随着云计算、PaaS平台的普及，虚拟化、容器化等技术的应用，例如Docker等技术，越来越多的服务会部署在云端。通常，我们需要需要获取日志，来进行监控、分析、预测、统计等工作，但是云端的服务不是物理的固定资源，日志获取的难度增加了，以往可以SSH登陆的或者FTP获取的，现在可不那么容易获得，但这又是工程师迫切需要的，最典型的场景便是：上线过程中，一切都在GUI化的PaaS平台点点鼠标完
码农老K·2023-11-06 23:54

React 表单源码阅读笔记

1概念1.1什么是表单实际上广义上的表单并不是特别好界定，维基上讲表单是一系列带有空格的文档，用于输写或选择。更具体的，在网页中表单主要负责数据采集的功能，我们下文中所提到的表单都指后者。如下图展示的是Google个人资料中配置页面更改姓名的表单：1.2表单的职责表单通过适当的UI&交互，将用户的输入转化为特定的数据结构，js中通常是对象然后传输过程中通常是json，例如上述示例中很可能实际的表单
frontend_frank·2023-11-06 23:58

UE5——源码阅读——11——引擎预初始化

尝试启用专用的主线程，专门服务于日志的是否支持多线程分配空间和获取数量是否运行在服务器上面，线程数设置为2创建线程流设置初始化测试位注册显示标志的控制台变量读取默认配置注册控制台变量的回调函数设置MinMip的最小纹理常驻的MinMip层级通过配置读取信息判断如果不是在服务器状态下，预加载分辨率的设置初始化Scalability系统，这个系统可以设置控制台变量和回调函数初始化设置配置文件的控制台变
吴俊荣·2023-11-06 22:44

UE5——源码阅读——9——引擎预初始化

加载项目模块判断项目是否是有意义的准备读取模块对应着错误信息广播加载插件模块根据配置是否已经启用插件开始遍历所有的插件尝试读取插件检查上一次完成的加载阶段是否大于当前的加载阶段通知加载完成
吴俊荣·2023-11-06 22:43

UE5——源码阅读——5——引擎预初始化

初始化IO调度器初始化文本本地化系统初始化着色器代码库检测当前的命令行参数是否包含文件覆盖的选项向引擎二进制搜索路径中添加一些特定的限制的子目录，保证依赖的动态库文件可以被正确的找到，这些被限制的目录通常是包含一些受限的或者是特定平台的相关的资源特定限制的子目录包含NoRedist，NotForLicensees，CarefullyRedist获取模块目录拼接和添加路径处理文件命令行的操作初始化异
吴俊荣·2023-11-06 22:13

UE5——源码阅读——6——引擎预初始化

判断是否是发行版本，是否要进行基准测试，并且设置基准测试的标准通过解析命令行参数进行确定性的运算判读是不是需要进行固定的时间步长根据命令行参数以及设置的基准测试的标准来判断是否使用固定的随机的种子定义随机种子获取当前时钟周期数作为一个随机种子初始化随机如果不是程序模式初始化平台文件是否是程序模式，如果不是修正程序文件的大小写判断是否设置项目文件路径尝试加载项目文件判断是否存在企业项目判断是否有项目
吴俊荣·2023-11-06 22:13

UE5——源码阅读——7——引擎预初始化

创建一个性能计数器，用于统计引擎在初始化性能加载核心模块是否记录配置文件信息是否记录Pak文件信息记录配置文件和Pak文件初始化渲染相关的变量没有编辑器标记和命令行标记拿到当前日志的指针初始化Oodle(是4.27引入的压缩算法)读取模块加载RHI模块加载管理地形的模块加载渲染核心模块加载纹理压缩器模块加载Virtualization加载音频编辑模块加载动画模块CSV统计相关的初始化应用程序生命周
吴俊荣·2023-11-06 22:13

UE5——源码阅读——8——引擎预初始化

初始化文本本地化执行平台特定的初始化内容执行应用程序的特定预初始化将当前的工作目录设置为可执行的目录处理命令行选项启用内存保护（根据命令行是否启用内存保护）是否启用UE5内存管理的炼狱测试是否启用UE5内存中有问题的测试添加buildmachine确保目录存在更新MiniDump日志初始化输出设备（日志）初始化配置系统开始应用配置预设运行清除延迟自动委托函数拿到插件管理和项目管理并读取
吴俊荣·2023-11-06 22:13

UE5——源码阅读——10——引擎预初始化

运行延迟注册委托初始化堆栈跟踪检测是否需要覆盖打印时间检测所必要的插件是否是可用的获取目标信息拿到编辑器目标名检测当前运行的可执行文件是否是正确的检测项目模块是否有过时和不兼容的检测插件模块是否有过时和不兼容的报错误信息强制通讯判断是不是需要编译拿到上下文显示一个进度条，开始一个任务，编译游戏项目检测项目模块和插件模块是否过期处理配置和命令行的信息读取项目和插件模块进入PostConfigInit
吴俊荣·2023-11-06 22:36

FreeRTOS源码阅读笔记1--task.c

在FreeRTOS中，创建任务有两种方式：动态创建和静态创建。区别就是：动态创建任务的栈和任务TCB是由操作系统动态分配（malloc）内存空间，任务删除时可以释放内存（free）；而静态创建任务的任务栈和TCB是由程序员预先分配好内存空间，是静态内存，在任务删除时内存空间不可以释放。1.1动态创建任务-xTaskCreate()1.1.1TCB结构体（主要成员）pxTopOfStack：栈顶指针
c_up·2023-11-06 22:19

Flink（一）【WordCount 快速入门】

前言学完了Hadoop、Spark，本想着先把Kafka、Flume这些工具先学完的，但想了想还是把核心的技术先学完最后再去把那些工具学学。
让线程再跑一会·2023-11-06 20:51

Flume从入门到精通一站式学习笔记

文章目录什么是FlumeFlume的特性Flume高级应用场景Flume的三大核心组件Source：数据源channelsinkFlume安装部署Flume的使用案例：采集文件内容上传至HDFS案例：采集网站日志上传至
小崔的技术博客·2023-11-06 18:49

VTK源码阅读--VTK里的智能指针vtkSmartPointer类

vtkSmartPointer类vtkSmartPointer是一个类模板，为vtkSmartPointerBase超类持有的对象提供自动强制转换。#ifndefvtkSmartPointer_h#definevtkSmartPointer_h#include"vtkSmartPointerBase.h"#include"vtkMeta.h"//forIsComplete#include"vtkN
黑山老妖的笔记本·2023-11-06 17:44

【FastCAE源码阅读4】VTK OrientationMarkerWidget方向标记组件的使用

FastCAE前处理窗口有个方向指示的组件，会跟踪场景进行旋转，这种设计在很多三维软件都有类似的设计，效果如下图：FastCAE采用的是VTK自带的vtkOrientationMarkerWidget实现的，具体代码如下：voidGraph3DWindow::initAxes(){vtkSmartPointeraxesActor=vtkSmartPointer::New();_axesWidget
loveoobaby·2023-11-06 17:44

【FastCAE源码阅读5】使用VTK实现鼠标拾取对象并高亮

鼠标拾取对象是很多软件的基本功能。FastCAE的拾取比较简单，是通过VTK实现的。对几何而言，拾取类型切换在工具栏上，单击后再来单击视图区对象进行拾取，拾取后的对象会高亮显示。效果如下图：一、拾取对象拾取对象是在PropPickerInteractionStyle类实现的，该类是vtkInteractorStyleRubberBandPick的子类，重写原来的鼠标处理函数。当鼠标左键按下，会触发
loveoobaby·2023-11-06 17:42

UE5——源码阅读——4——引擎预初始化

预初始化的开始处理和结束处理将GEnginePreInitPreStartupScreenEndTime设置为平台的时间ON_SCOPE_EXIT这个就是在程序结束后执行一个Lambda，这个弘的目的是简化代码确保正确的时机正确的执行清理操作，降低因资源泄露而导致BUG的概率处理延迟注册的委托，标记开始引擎预初始化标记关于日志的，如果日志存在就把当前的线程设置为主线程判断当前是否有statname
吴俊荣·2023-11-06 11:28

UE5——源码阅读——3——引擎退出

这边主要是做了个标记，为了UE的性能分析把全局运行设置为0，把日志也设置为空判断预加载屏幕关闭visuallogger关闭资源编译的管理器引擎预退出预退出的核心代理关闭网络追踪关闭所有电影场景的捕捉接口关闭UE中用于MID的缓存关闭引擎分析和Studio分析屏幕保护器阻止程序的清理工作，主要保证程序能足够退出删除屏幕保护器关闭时间码提供器以及自定义时间步长关闭头显设备会重置动态分辨率的动态会反向初
吴俊荣·2023-11-06 11:58

UE5——源码阅读——2

这个是非常大的作用域，当程序离开这个东西，就会把它释放掉，设置了一个作用域把当前线程标记为主线程插入了一个默认的Main,这个东西其实是标记点，这个标记是在UE内部有个性能分析工具可以看到这个标记点，主要是确定位置和时间核心代理这边的代理是预初始化这边有很多都可以用的这个结构体主要负责关闭引擎主要是用于程序崩溃时记录内存的状况判断程序是不是控制台的程序执行引擎的预初始化判断失败和引擎是否退出这个主
吴俊荣·2023-11-06 11:57

一步一步深入mysql源码_（3.2）mysql基础深入——mysql源码阅读工具安装与应用

(3.2)mysql基础深入——mysql源码阅读工具安装与应用关键字：mysql源码阅读工具工具列举：一般多用【1】【2】【3】吧【1】sourceinsight【2】写字板/记事本UE【3】gdb(
廖俊涛·2023-11-06 11:57

UE5——源码阅读——1

UE启动hInInstance：项目实例hPrevInstance：项目上一个实例pCmdLine：参数nCmdShow：窗口显示TRACE_BOOKMARK(TEXT(“WinMain.Enter”));：UE用来追踪记录的函数，用于标记应用程序在执行过程中一些特定的位置，以便于调试。SetupWindowsEnvironment：主要是设置Windows环境的函数这个主要是处理命令行检查是否是
吴俊荣·2023-11-06 11:55

springboot源码阅读系列1---启动

开始springboot的启动入口非常直接，main方法里执行的run：publicstaticvoidmain(String[]args){SpringApplication.run(Application.class,args);}之后是初始化SpringApplication，然后执行的run方法：同时，将启动入口的类，如Application.class作为参数传入到构造函数中去。通常这个
夜里慢慢行456·2023-11-06 09:12

计算机毕设 基于大数据的服务器数据分析与可视化系统 -python 可视化 大数据

文章目录0前言1课题背景2实现效果3数据收集分析过程**总体框架图****kafka创建日志主题****flume收集日志写到kafka****python读取kafka实时处理****数据分析可视化*
DanCheng-studio·2023-11-06 07:18

【游戏编程扯淡精粹】EASTL源码阅读

【游戏编程扯淡精粹】EASTL源码阅读侯捷先生在《漫谈程序员与编程》中讲到STL运用的三个档次：“会用STL，是一种档次。对STL原理有所了解，又是一个档次。追踪过STL源码，又是一个档次。
zoloypzuo·2023-11-06 06:54

mmdetection源码阅读笔记（2）--Loss

之前做完比赛过后计划看看mmdetection的源码写点blog,写了两篇过后忙其他事去了,这里就接着把之前没写完的东西补上。之前写了模型和网络的创建，这里就主要写下训练过程中具体的loss,主要分为以下几部分RPN_lossbbox_lossmask_lossRPN_lossrpn_loss的实现具体定义在mmdet/models/anchor_head/rpn_head.pydefloss(s
EwanRenton·2023-11-06 04:07

「IDEA插件精选」安利一个IDEA骚操作:一键生成方法的序列图

在平时的学习/工作中，我们会经常面临如下场景：阅读别人的代码阅读框架源码阅读自己很久之前写的代码。千万不要觉得工作就是单纯写代码，实际工作中，你会发现你的大部分时间实际都花在了阅读和理解已有代码上。
Guide哥·2023-11-06 00:44

Docker源码阅读总结

Docker总架构图客户端-服务器架构以及请求的发送，解析等原理不再赘述，这不是我们学习docker的重点。我们知道，Docker提供给了我们一个在隔离环境中运行的进程，那么我其实想深入探究的是容器的网络是怎么在这个隔离的环境中与其他容器，与宿主机，与外界进行数据交换的。镜像是一种什么样的结构，使得一个静态的镜像就生成多个动态运行的容器。容器内的进程是怎么样去创建，运行的，这个进程和普通的宿主机的
麻烦把可乐递给我·2023-11-05 23:19

Spring源码阅读

参考资料：spring源码深度解析Spring版本：Spring-4.3.5-RELEASE吐槽下，老外写的东西真晕啊，像亲妈一样啰啰嗦嗦帮你考虑了各种情况，然后最好还不忘加一句：如果你不满意，还可以拓展！！！1.spring核心代码1.1核心流程初始化过程非常清晰的模板方法，每一个步骤封装成一个具体的函数进行代理，职责清晰明了；@Overridepublicvoidrefresh()throws
飞盏·2023-11-05 22:50

Linux内核分析(三)--内核源码阅读与启动

目录一、引言二、kernel源码阅读------>2.1、理解代码的组织结构------>2.2、深入各个模块学习------>2.3、可以暂时忽略的地方------>2.4、阅读流程三、kernel启动
文艺小少年·2023-11-05 20:36

大数据开发笔记（四）：Hive分区详解

大数据开发面试知识点总结_GoAI的博客-CSDN博客_大数据开发面试本文详细介绍大数据hadoop生态圈各部分知识，包括不限于hdfs、yarn、mapreduce、hive、sqoop、kafka、flume
GoAI·2023-11-05 16:08

aosp - 源码阅读环境搭建

1背景Android开发平时都是看的都是SDK中的源码，SDK中有很多代码都被隐藏了，看不了。mac上没有sourceinsight工具，折腾半天vscode插件，也没能设置通代码跳转功能。后来，看到有在线版aosp预览网站，第一个是androidxref，体验还不错，就是加载慢，后来出了个国内版本androdxref，加载快了很多，但有时死活加载不出来大文件，比如Activity.java只加载
Billion.Lee·2023-11-05 13:32

Lua源码阅读笔记 - table的长度

table数据结构首先看一下lua中table的数据结构：//lobject.h/***Tables*/typedefunionTKey{struct{TValuefields;structNode*next;/*forchaining*/}nk;TValuetvk;}TKey;typedefstructNode{TValuei_val;TKeyi_key;}Node;typedefstructT
FJay·2023-11-05 09:46

axios 源码阅读

https://juejin.im/post/6885471967714115597#heading-15*HTTP拦截器的设计与实现：从任务注册、任务编排和任务调度三个方面来分析Axios拦截器的实现。任务注册就是我们最常见的观察者，维护handlers数组。任务编排组装任务调用链chain，将interceptor.fulfilled,interceptor.rejected和dispatch
good__day·2023-11-05 06:51

debounce实现 js_聊聊lodash的debounce实现

前段时间团队内部搞了一个代码训练营，大家组织在一起实现lodash的throttle和debounce，实现起来觉得并不麻烦，但是最后和官方的一对比，发现功能的实现上还是有差距的，为了寻找我的问题，把官方源码阅读了一遍
weixin_39568232·2023-11-04 19:30

Flink、Hive、Flume

Hive简介Hive和数据库比较由于Hive采用了类似SQL的查询语言HQL（HiveQueryLanguage)，因此很容易将hive理解为数据库。其实从结构上来看，Hive和数据库除了拥有类似的查询语言，再无类似之处。将从多个方面来阐述Hive和数据库的差异。数据库可以用在Online的应用中，但是Hive是为数据仓库而设计的，清楚这一点，有助于从应用角度理解Hive的特性。查询语言由于SQL
笨鸟先-森·2023-11-04 13:46

大数据技能竞赛（需要提供相关答疑私信）

实时数据分析，可视化，综合分析）大数据平台搭建大数据技术与应用技能竞赛题目解析及代码分析实验Hadoop完全分布式安装配置/伪分布式安装配置Spark、Zookeeper、Flink、Hive、Kafka、Flume
笨鸟先-森·2023-11-04 13:03

Hdoop入门之Flume

概要Flume是一个高可用的，分布式的实时的日志采集系统。Flume分为三个组件，Ource组件，负责信息的采集，并将采集的信息发送诶Channel。
lurenjia·2023-11-04 10:01
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他