Flume源码阅读

Flink 源码阅读环境搭建并调试 Flink-Clients 模块

本文大纲一、Flink官方文档这么全面，为什么还要读Flink源码读文档和读源码的目的是不一样的，就拿ApacheFlink这个项目来说，如果你想知道Flink的使用功能，设计思想，实现原理，看官方文档就足够了；如果你想了解的就是具体细节，比如说StreamGraph是怎么生成的或者是ExactlyOnce究竟如何实现的，那么就需要去阅读源码了。关键是看你的目的是什么，如果你想了解思想，经验等看文
KK架构·2023-11-25 15:31

源码阅读：分布式服务注册中心XXL-REGISTRY（基于1.0.2）

前言因为公司最近项目原因正好用到了《分布式任务调度平台XXL-JOB》，项目结束打算看看他的源码，发现他还依赖于《分布式服务框架XXL-RPC》，于是我决定先看XXL-RPC。但当我正准备看的时候，我发现XXL-RPC依赖于《分布式服务注册中心XXL-REGISTRY》，于是我决定先看XXL-REGISTRY让我们先看看它自己怎么吹自己的[1.1概述]XXL-REGISTRY是一个轻量级分布式服务
鸡熟了·2023-11-25 15:06

【源码阅读】【苦练基本功】Golang内置函数分析

Golangpackagebuiltin中内置函数我分为两部分介绍，第一部分为基础类型，第二部分为包含函数、接口，较复杂一些第一部分//boolisthesetofbooleanvalues,trueandfalse.typeboolbool//trueandfalsearethetwountypedbooleanvalues.const(true=0==0//Untypedbool.false=
在路上的德尔菲·2023-11-25 13:12

Flume采集Kafka并把数据sink到OSS

安装环境Java环境,略(Flume依赖Java)Flume下载,略Scala环境,略(Kafka依赖Scala)Kafak下载,略Hadoop下载,略(不需要启动,写OSS依赖)配置Hadoop下载JindoSDK
不住在隔壁的老王·2023-11-25 07:34

redis源码阅读 2 - 解读makefile, make编译生成 redis-cli redis-server

下载源码[email protected]:redis/redis.git生成带debug信息的redis-server和redis-clicdredismakeCFLAGS="-g-O0"指定编译参数支持debug增加CFLAGS="-g-O0"参数，支持编辑器debugmakeCFLAGS="-g-O0"官方关于debug说明连接https://redis.io/topics/deb
youwen21·2023-11-24 23:09

“山葫芦”San Holo：EDM的革新者

本文首发于公众号：ECOECHO音乐谈到时下最流行的FutureBass音乐制作人，或许你会想到Monstercat厂牌旗下戴着可爱呆萌的头套的Marshmello（棉花糖），或是来自悉尼的实验电子音乐人Flume
ECOECHOMUSIC·2023-11-24 21:28

deepxde 源码阅读笔记（长期更新）

2023.11.23阅读的deepxdeversion:1.9.01.train_aux_vars，即pde当中的第三个参数这个变量的含义困惑很久。最后发现就是operatorlearning的PDEs方程parameters。脉络：defpdeaux_vars->deepxde目前支持tf1最多，但是对其他框架也有支持，仓库的主要维护者LuLu跟百度应该有合作，目前对paddlepaddle的支
构建的乐趣·2023-11-24 17:22

Doris系列之高级功能-Rollup操作

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-24 16:31

Doris系列之物化视图操作

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-24 16:31

源码阅读笔记--job

job就是对work的封装（应该对应于咱们项目中的task，只不过facebook做了一个封装）。job可以触发或者分派在下面三种情况：立即，在调用线程中立即派发NBIO，进行IO相关操作，以及一些定时器相关的操作普通线程池，libphenom可以有多个线程池Jobdefinitionstructph_job_def{//Thecallbacktorunwhenthejobisdispatched
sxr008·2023-11-24 13:05

ES傻瓜式教程

而且是非常完善的产品，ELK代表的是：E就是ElasticSearch，L就是Logstach，K就是kibanaE：EalsticSearch搜索和分析的功能L：Logstach搜集数据的功能，类似于flume
熊猫珊珊·2023-11-24 12:58

SpringBoot源码初学者（一）：SpringBoot功能扩展接口的使用与源码分析

长时间的学习当中，也总结出这些文章的部分问题：没有说明用法，直接讲解源码，其实很多新手对SpringBoot了解不够多，还不明白怎么用，更不要想能理解源码了源码阅读跳跃大，没有说
敲代码的旺财·2023-11-24 09:53

Vue源码阅读 - 文件结构与运行机制

vue已是目前国内前端web端三分天下之一，同时也作为本人主要技术栈之一，在日常使用中知其然也好奇着所以然，另外最近的社区涌现了一大票vue源码阅读类的文章，在下借这个机会从大家的文章和讨论中汲取了一些营养
沙子揉碎在眼睛里·2023-11-24 08:50

大数据-数仓-数据采集-业务数据（三）：增量同步采集【MySQL-(Maxwell)-＞Kafka-(Flume)-＞HDFS】【每日增量：每天只将业务数据中新增及变化的数据同步到数据仓库】

增量同步策略解释：每日增量，就是每天只将业务数据中的新增及变化的数据同步到数据仓库中，适用：表数据量大，且每天只会有新的数据插入的场景，特点：采用每日增量的表，通常会在首日先进行一个全量同步。例如：退单表、订单状态表、支付流水表、订单详情表、活动与订单关联表、商品评论表Maxwell的实现原理很简单，就是将自己伪装成Slave，并遵循Mysql主从复制的协议，从master中同步数据。Maxwel
u013250861·2023-11-23 18:41

Flume数据采集项目常见问题——（一）

目录1HDFS无法看到当天日志如何解决（二分法去找错误）2日志文件数据采集到kafka为什么选择kafkachannel？3Maxwell的原理？4Maxwell如何实现断点续传？1HDFS无法看到当天日志如何解决（二分法去找错误）（1）首先查看各个组件启动情况，确认组件已经正常启动。同时确保模拟生成的日志数据文件正常生成。（2）其次查看Kafka相关Topic中是否有数据，如果有数据，进行步骤3
平平无奇程序猿·2023-11-23 18:09

【大数据】数仓5.0_业务采集➕数据同步策略（数仓环境搭建完成）

目录前言一、日志采集flumeinkafka1.配置flume2.日志采集flume测试3.日志采集Flume启停脚本（针对file_to_kafka.conf）二、业务数据采集平台1.电商业务简介1.1
欧叶冲冲冲·2023-11-23 18:04

大数据基础设施搭建 - Flume

解压压缩包三、监控本地文件（filetokafka）3.1编写配置文件3.2自定义拦截器3.2.1开发拦截器jar包（1）创建maven项目（2）开发拦截器类（3）开发pom文件（4）打成jar包上传到Flume3.2.3
m0_46218511·2023-11-23 13:37

FreeRTOS源码阅读笔记4--semphr.h

信号量是特殊的队列--无法存储消息的队列，相关的接口函数声明在semphr.h中，通过宏定义替换队列函数实现。4.1创建二值信号量xSemaphoreCreateBinary()4.1.1函数原型queueQUEUE_TYPE_BINARY_SEMAPHORE：一个宏，表示创建队列的类型是二值信号量4.1.2函数框架创建二值信号量实际上是，创建了一个队列，这个队列的长度为1，存储队列消息的空间为0
c_up·2023-11-23 07:26

源码阅读（一）--python数据分析

github地址us_baby_names项目地址tv_inspired_baby_names项目地址运行使用环境python2.7(运行过程中缺少包自行安装)jupyter1.0.0安装使用运行代码##cd进.ipynb所在目录cdpython##开启jupyterjupyternotebook捕获.PNG点击对应文件（注意要先把数据集下载到对应目录）然后点击运行，等待一段时间就会出现结果。结果
genglintong·2023-11-22 15:22

二百零七、Flume——Flume实时采集5分钟频率的Kafka数据直接写入ODS层表的HDFS文件路径下

一、目的在离线数仓中，需要用Flume去采集Kafka中的数据，然后写入HDFS中。由于每种数据类型的频率、数据大小、数据规模不同，因此每种数据的采集需要不同的Flume配置文件。
天地风雷水火山泽·2023-11-22 09:15

Doris系列之动态分区操作

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-22 05:32

数据治理入门

处理模式模式名称常见场景常见框架批处理夜间几个小时，无人值守hivesparkdatax流处理7*24H一直运行，无人值守maxwell,flink,flume,kafka即席处理人机交互接口访问web
十七✧ᐦ̤·2023-11-22 04:36

Vue3 源码阅读（9）：渲染器 —— diff 算法

这篇文章讲解Vue中常说的diff算法，既会讲解Vue3的版本，也会讲解Vue2的版本。1，前置知识1-1，diff算法的作用diff算法用于更新元素节点的子节点1-2，元素子节点的类型元素的子节点有三种类型，分别是：空、文本、元素节点（一个或者多个）。新旧节点的子节点各有三种情况，所以总共有9中情形，分别是：newVNode的子节点oldVNode的子节点需要进行的操作1空空不做任何操作2空文本
纷飞丿·2023-11-21 20:57

Vue3 源码阅读（8）：渲染器 —— 总体思路

这篇文章先从整体视角了解一下渲染器。渲染器的作用是将VNode渲染到页面上，具体操作包括挂载和更新。第一次渲染的时候就是挂载操作，挂载只需要创建新的元素并将元素挂载到页面上即可。下次渲染的时候，由于页面上已经有真实DOM了，所以下次渲染是更新操作，更新操作需要细致的比较新老VNode，然后对页面上的真实DOM进行最小量的更新。首先看下自定义渲染器API1，自定义渲染器API自定义渲染器API的官方
纷飞丿·2023-11-21 20:27

源码阅读笔记：分布式服务框架XXL-RPC（基于1.4.1）todo

前言：接上篇，看完了注册中心，该看看RPC框架了——《分布式服务框架XXL-RPC》老样子，想看看它自己怎么吹的1.1概述>XXL-RPC是一个分布式服务框架，提供稳定高性能的RPC远程服务调用功能。拥有"高性能、分布式、注册中心、负载均衡、服务治理"等特性。现已开放源代码，开箱即用。>1.2特性>1、快速接入：接入步骤非常简洁，两分钟即可上手；2、服务透明：系统完整的封装了底层通信细节，开发时调
鸡熟了·2023-11-21 11:39

Apache ShenYu源码阅读系列-基于WebSocket的数据同步

ApacheShenYu是一个异步的，高性能的，跨语言的，响应式的API网关。在ShenYu网关中，数据同步是指，当在后台管理系统中，数据发送了更新后，如何将更新的数据同步到网关中。ApacheShenYu网关当前支持ZooKeeper、WebSocket、Http长轮询、Nacos、Etcd和Consul进行数据同步。本文的主要内容是基于WebSocket的数据同步源码分析。本文基于shenyu
子夜2104·2023-11-21 09:30

[源码阅读]SMUG Planner

ASafeMulti-GoalPlannerforMobileRobotsinChallengingEnvironments动态规划算法实现函数1.从起点开始连接起点到最后一个TOI的所有POI并计算路径代价，2.然后转入到上一个TOI（倒数第二个），计算新的TOI到刚刚的TOI内所有POI之间的路径以及代价，3.计算当前TOI每一个POIj到起点时经过的上一个TOI的第k个POI，记录下路径代价
星星的月亮叫太阳·2023-11-21 07:06

java--org.springframework.web.servlet.FrameworkServlet 抽象类 - 源码阅读 - 笔记 - spring mvc ( 二 )

第一步：用户GET请求—>调用Servlet的service()方法，而抽象类型javax.servlet.http.HttpServlet实现了service()方法HttpServlet的service()做了请求类型分发，调用doGet方法第二步：org.springframework.web.servlet.FrameworkServlet抽象类重写了HttpServlet的doGet方法
听心的原因·2023-11-21 03:27

书籍、视频、GiteeGitHub项目

EffectiveC++、MoreEffectiveC++、STL源码剖析、深度探索C++模型服务器：TCP/IP网络编程、Linux高性能服务端编程、Linux多线程服务端编程：使用muduoC++网络库其他：通用源码阅读指导书视频其他资源拓跋阿秀
君莫vv·2023-11-20 23:57

Flume框架

第1章Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。
暗东方·2023-11-20 18:15

Flume基本原理及使用

Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume最主要是用在分布式系统中，例如读取服务器本地的磁盘数据，并将数据写入到HDFS中。
zkyCoder·2023-11-20 18:45

Flume日志采集系统的安装和部署

基本介绍：按照flume的官方文档，flume是一种分布式的，可靠的，有效收集，聚集和移动大量的日志数据的可用服务。
wangzfox·2023-11-20 18:44

flink kafka flume 从开发到部署遇到的问题及解决方案

最近遇到了比较多的中间件的环境问题整理了些注意事项启动顺序zookeeper->kafka->flink->flink提交的job->flumekafka的快照保存时间的设置log.retention.hours
Nryana0·2023-11-20 18:38

大数据技术之Flume(概述,安装,案例等)

第1章概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。
往事随风_h·2023-11-20 18:37

Flume的安装部署及常见问题解决

1.安装地址（1）Flume官网地址：http://flume.apache.org/（2）文档查看地址：http://flume.apache.org/FlumeUserGuide.html（3）下载地址
Appreciate(欣赏)·2023-11-20 17:32

二百零四、Flume——登录监听窗口报错Ncat: bind to :::44444: Address already in use. QUITTING.

一、目的Flume安装好后测试开启监听窗口44444，结果报错Ncat:bindto:::44444:Addressalreadyinuse.QUITTING.二、报错详情Ncat:bindto:::44444
天地风雷水火山泽·2023-11-20 17:16

二百零五、Flume——数据流监控工具Ganglia单机版安装以及使用Ganglia监控Flume任务的数据流（附流程截图）

一、目的Flume采集Kafka的数据流需要实时监控，这时就需要用到监控工具Ganglia二、Ganglia简介Ganglia由gmond、gmetad和gweb三部分组成。
天地风雷水火山泽·2023-11-20 17:16

二百零六、Flume——Flume1.9.0单机版部署脚本（附截图）

一、目的在实际项目部署时，要实现易部署易维护，需要把安装步骤变成安装脚本实现快速部署二、部署脚本在Linux中文件位置文件夹中只有脚本文件flume-install.sh和tar包apache-flume
天地风雷水火山泽·2023-11-20 17:36

数据实时增量同步之CDC工具—Canal、mysql_stream、go-mysql-transfer、Maxwell

CDC工具对比实现原理：Mysqlbinlog讲解：mysqlbinlog的三种格式常见的数据采集工具（相关知识）：DataX(处理离线数据)Flume（处理实时数据）Logstash（处理离线数据）Sqoop
好奇新·2023-11-20 13:30

【离线数仓-2-数据采集】

.用户行为日志数据采集1.节点之间配置免密登录2.linux环境变量说明3.用户行为日志模拟脚本4.Hadoop的搭建5.Hadoop在项目中的优化6.Zookeeper的安装7.kafka的安装8.Flume
Apache Minor Trend·2023-11-20 13:00

大数据开发面试（一）

1、Kafka和Flume的应用场景？Kafka和Flume的应用场景如下：Kafka：定位消息队列，适用于多个生产者和消费者共享一个主题队列的场景。适用于需要高吞吐量、可扩展性和容错能力的场景。
ChlinRei·2023-11-20 01:41

2011-2022年高职大数据竞赛-赛题内容

数据采集与实时计算第六部分赛题模拟实现-数据可视化第一部分竞赛内容赛项以大数据技术与应用为核心内容和工作基础，重点考查参赛选手基于Spark、Flink平台环境下，充分利用SparkCore、SparkSQL、Flume
xlw2003·2023-11-19 21:54

2011-2022年高职大数据竞赛-赛题任务剖析

数据采集与实时计算第六部分赛题模拟实现-数据可视化（一）任务一：大数据平台环境搭建具体内容按照大数据分析平台需求，需要完成Hadoop完全分布式、Spark安装配置、Flink安装配置、Hive安装配置、Kafka安装配置、Flume
xlw2003·2023-11-19 21:54

seata源码阅读-AT模式

demo用例image.png角色划分：TM：事务管理，开启、提交、回滚分布式事务RM:资源管理，注册、汇报、执资源，负责接收TC发过来的提交、回滚消息，并作出提交，回滚操作TC:事务管理器服务功能，存储事务日志、补偿异常事务等、集中管理事务全局锁（全局行锁）整体流程：•TM开启分布式事务，TM向TC注册全局事务记录；•按业务场景，编排数据库、服务等事务内资源（RM向TC汇报资源准备状态）；•TM
w_j_y·2023-11-19 20:54

Superset源码阅读(TODO)

我的Superset源码阅读笔记版本Superset1.3.2一、技术框架搭建环境参考ApacheSuperset二次开发环境配置Superset使用到的技术框架：前端采用，D3–React：为数据提供渲染为
终回首·2023-11-19 14:19

Apache Hive源码阅读环境搭建

前置软件：JDK1.8Maven3.3.91下载源码#下载源码gitclonehttps://github.com/apache/hive.gitcdhive#查看标签gittag#切换到要阅读的指定版本的taggitcheckoutrel/release-2.1.02编译源码mvncleaninstall-DskipTests执行报错日志如下E:\os_ws\hive\common>mvncle
终回首·2023-11-19 14:08

05-Hadoop01之HDFS

一、Hadoop介绍Hadoop分为三部分：Common、HDFS、Yarn、MapReduce(有点过时了)Hadoop生态圈：除了hadoop技术以外，还有hive、zookeeper、flume、
YuPangZa·2023-11-19 10:54

[源码阅读]——Sylar服务器框架：定时器模块

定时器模块定时器模块概述sylar定时器设计Timer类定时器管理类总结定时器模块概述  sylar是基于epoll实现了定时器的功能，由于epoll的精度是毫秒级，所以其定时器的精度也是毫秒级。关于定时器有基于时间轮的设计、时间堆的设计等，在sylar中，其采用了最小堆的设计。具体关于定时器的讲解大家可以参考本人之前做的阅读笔记：【阅读】《Linux高性能服务器编程》——第十一章。  定时器通常
甄姬、巴豆·2023-11-19 08:32

第十章 Spring之源码阅读——IOC篇

Spring源码阅读目录第一章Spring之最熟悉的陌生人——IOC第二章Spring之假如让你来写IOC容器——加载资源篇第三章Spring之假如让你来写IOC容器——解析配置文件篇第四章Spring
穷儒公羊·2023-11-19 05:05

Spring源码阅读之类型转换

Spring源码阅读之类型转换一、Spring类型转换实现基于JavaBeans接口的类型转换器实现基于java.beans.PropertyEditor接口扩展Spring3.0+通用类型转换实现Spring3.0
ClarenceZero·2023-11-19 05:21
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他