Flume源码分析

kmeans设置中心_Spark分布式机器学习源码分析：Kmeans族聚类

Spark是一个极为优秀的大数据框架，在大数据批处理上基本无人能敌，流处理上也有一席之地，机器学习则是当前正火热AI人工智能的驱动引擎，在大数据场景下如何发挥AI技术成为优秀的大数据挖掘工程师必备技能。本文采用的组件版本为：Ubuntu19.10、Jdk1.8.0_241、Scala2.11.12、Hadoop3.2.1、Spark2.4.5，老规矩先开启一系列Hadoop、Spark服务与Spa
weixin_39699121·2023-12-15 19:27

Spark 随机森林算法原理、源码分析及案例实战

图1.Spark与其它大数据处理工具的活跃程度比较回页首环境要求操作系统：Linux，本文采用的Ubuntu10.04，大家可以根据自己的喜好使用自己擅长的Linux发行版Java与Scala版本：Scala2.10.4，Java1.7Spark集群环境（3台）：Hadoop2.4.1+Spark1.4.0，Spark集群搭建方式参见本人博客：http://blog.csdn.net/lovehu
黑谷子·2023-12-15 19:51

CopyOnWriterArrayList 详解

CopyOnWriterArrayList详解文章目录CopyOnWriterArrayList详解1.简介2.原理3.优点4.缺点5.源码分析5.1添加操作5.2删除操作5.3弱一致性的迭代器6.ArrayList
GeGe&YoYo·2023-12-15 18:45

Flink 源码之 Buffer Timeout优化

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录BufferTimeout概念Flink每个算子向下游发送数据需要两个条件：输出buffer空间占满buffer中数据存在时间超过buffertimeout
AlienPaul·2023-12-15 18:55

【SpringBoot系列】spring-kafka consumer源码分析

‍♂️个人主页：@香菜的个人主页，加ischongxin，备注csdn✍作者简介：csdn认证博客专家，游戏开发领域优质创作者,华为云享专家，2021年度华为云年度十佳博主希望大家多多支持，我们一起进步！如果文章对你有帮助的话，欢迎评论点赞收藏加关注+系列文章：SpringBoot学习大纲，可以留言自己想了解的技术点目录1、spring-
香菜+·2023-12-15 18:05

若依源码分析

一.登录1.1生成验证码基本思路后端生成一个表达式,7+4=?@117+4=?转成图片,传到前端进行展示将结果11存入redis前端代码实现:请求后端地址:http://localhost/dev-api/captchaImage,通过反向代理解决前后端跨域问题,将请求路径变为:http://localhost:8080/captchaImage后端代码实现:/***生成验证码*/@GetMapp
小钟不想敲代码·2023-12-15 17:26

大数据基础知识

为了一场紧急考试，没有正经系统学习过大数据知识的我开始恶补概念涉及Hadoop、Hbase、Spark、Flink、Flume、Kafka、Sqoop、HDFS、Hive、Mapreduce、Impala
偶余杭·2023-12-15 17:22

docker-compose 源码分析

最近搞devops相关的内容，将机房的机器集中起来，方便服务部署，算力集中管理等。在k8s等都基本搭建完毕之后，闲暇时间学习下docker-compose工作原理。环境准备下载compose源码，当前最新版本是1.23.0$gitclonehttps://github.com/docker/compose然后通过pycharm导入到项目架构图docker-compose架构图.jpg在docker
走在成长的道路上·2023-12-15 16:20

IOS底层(七): alloc相关: calloc源码分析

OC底层源码/原理合集建议先看下IOS底层(三):alloc相关1.初探alloc,init,new源码分析alloc初始化关键三个步骤计算内存大小instanceSize,申请内存calloc,指针关联
ShawnRufus·2023-12-15 16:28

flume系列之：使用通配符批量消费kafka的Topic

flume系列之：使用通配符批量消费kafka的Topic#指定kafkatopic使用注释的这个#kafka_topics:"optics-production-data"#flume使用通配符kafka_topics_regex
最笨的羊羊·2023-12-15 16:59

flume系列之：监控flume agent channel的填充百分比

flume系列之：监控flumeagentchannel的填充百分比一、监控效果二、获取flumeagent三、飞书告警四、获取每个flumeagentchannel的填充百分比一、监控效果二、获取flumeagentdefgetKafkaFlumeAgent
最笨的羊羊·2023-12-15 16:17

Gradle 生态系统源码分析

Gradle进阶第七篇锲而不舍，金石可镂GradleProject上卷GradleProject对应一个模块，对于一个多模块构建的项目，它会有RootProject，和所有SubProject。这些都是在setting.gradle中配置的：include':lib'include':app'rootProject.name="GradleDebug"Project的实现类是DefaultProj
杰克熏·2023-12-15 15:58

Spring Boot中JdbcTemplate多数据源配置

我是撸代码的羊驼，前阿里巴巴架构师，现某互联网公司CTO联系v：sulny_ann（17362204968），加我进群，大家一起学习，一起进步，一起对抗互联网寒冬在《SpringBoot中JdbcTemplate源码分析
撸代码的羊驼·2023-12-15 13:39

Java集合知识点整理

Map接口CollectionList重复有序1ArrayListList接口的主要实现类，底层用数组实现优点访问速度快缺点插入和删除开销大：增加和删除元素时，需要对整个数组进行遍历、定位和移动线程不安全源码分析
方人也几点·2023-12-15 12:33

JAVA集合框架详解

文章目录集合概述Collection体系集合Collection父接口Collection子接口List集合List实现类ArrayList【重点】ArrayList源码分析VectorLinkedListLinkedList
lazydog036·2023-12-15 12:32

【基础知识】大数据概述

发展历程中国开源生态图谱2023参考内容中国开源生态图谱2023.pdf技术组件说明数据集成sqoop、dataX、flume数据存储hdfs、kafka数据处理mapreduce、hive、impala
偏振万花筒·2023-12-15 12:39

基于FFmpeg源码分析HLS拉流

本文分析ffmpeg针对hls处理的源码概述：首先通过http请求获取m3u8文件，通过解析m3u8文件获取切片最早的的ts文件获取常规的AVFormatContext信息。代码主要实现在hls.c文件.伪代码如下：可以看出针对hls的协议处理主要实现是在avformat_open_input中，具体细节接下来分析。AVFormatContext*pFormatCtx=nullptr;char*p
程序员老舅·2023-12-15 12:05

flink源码分析之功能组件(五)-高可用组件

简介本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics
中间件XL·2023-12-15 11:21

Java 并发（2）AbstractQueuedSynchronizer 源码分析之独占模式

转https://mp.weixin.qq.com/s/LgJ95VrXK8-bEi231QvPiQ在上一篇《Java并发系列（1）AbstractQueuedSynchronizer源码分析之概要分析
george_george·2023-12-15 11:17

tapable最详细源码分析及手写实现

tapable整体介绍tapable是一个类似于Node.js中的EventEmitter的库，但更专注于自定义事件的触发和处理。const{SyncHook,SyncBailHook,SyncWaterfallHook,SyncLoopHook,AsyncParallelHook,AsyncParallelBailHook,AsyncSeriesHook,AsyncSeriesBailHook,
小蛮牧码者·2023-12-15 09:35

60.Sentinel源码分析

Sentinel源码分析1.Sentinel的基本概念Sentinel实现限流、隔离、降级、熔断等功能，本质要做的就是两件事情：统计数据：统计某个资源的访问数据（QPS、RT等信息）规则判断：判断限流规则
醉梦依依惜（互粉互赞）·2023-12-15 08:19

57.Nacos源码分析1

一、下载Nacos源码并运行。1.下载Nacos源码并运行要研究Nacos源码自然不能用打包好的Nacos服务端jar包来运行，需要下载源码自己编译来运行。1.1.下载Nacos源码Nacos的GitHub地址：https://github.com/alibaba/nacos课前资料中已经提供了下载好的1.4.2版本的Nacos源码：如果需要研究其他版本的同学，也可以自行下载：大家找到其relea
醉梦依依惜（互粉互赞）·2023-12-15 08:19

58.Nacos源码分析2

三、服务心跳。3.服务心跳Nacos的实例分为临时实例和永久实例两种，可以通过在yaml文件配置：spring:application: name:order-servicecloud: nacos:  discovery:   ephemeral:false#设置实例为永久实例。true：临时;false：永久  server-addr:192.168.150.1:8845临时实例基于心跳方式做
醉梦依依惜（互粉互赞）·2023-12-15 08:19

56.微服务面试篇

二、Nacos源码分析和Sentinel源码分析。三、Nacos的服务注册表结构是怎样的？四、Nacos如何支撑数十万服务注册压力？五、Nacos如何避免并发读写冲突问题？
醉梦依依惜（互粉互赞）·2023-12-15 08:41

（Linux内核源码分析）Linux 内核无线子系统

Linux内核源码分析（内存调优/文件系统/进程管理/设备驱动/网络协议栈）1.全局概览在开始探索Linux无线具体细节之前，让我们先来把握一下Linux无线子系统整体结构。
攻城狮百里·2023-12-15 08:59

Flum--环境搭建实验

1.解压flum安装包解压到/opt/module下：tar-zxvf/opt/software/apache-flume-1.9.0-bin.tar.gz-C/opt/module/2.修改flum名字
芝士小熊饼干·2023-12-15 07:01

Flume+Kafka+Storm+Redis构建大数据实时处理系统

在下面给出的完整案例中，我们将会完成下面的几项工作：如何一步步构建我们的实时处理系统（Flume+Kafka+Storm+Redis）实时处理网站的用户访问日志，并统计出该网站的PV、UV将实时分析出的
Summer_1981·2023-12-15 06:16

07用户行为日志数据采集

用户行为数据由Flume从Kafka直接同步到HDFS，由于离线数仓采用Hive的分区表按天统计，所以目标路径要包含一层日期。具体数据流向如下图所示。
kk_io·2023-12-15 06:22

Java集合总结(含源码分析)

Java集合总结image-20201226095900455上图有些错误，Deque是继承Queue的，而不是Collection；且LinkedList没有继承Deque。image-20201211144153730image-20201226095932197一、概述及常用集合API一览IterableIterable里面有Iterator迭代器接口，Iterator接口有如下两个方法：b
LJH_9442·2023-12-15 05:01

JAVA BIO深入剖析

编程实例回顾客户端案例如下服务端案例如下小结4BIO模式下多发和多收消息客户端代码如下服务端代码如下小结5BIO模式下接收多个客户端概述客户端案例代码如下服务端案例代码如下小结6伪异步I/O编程概述客户端源码分析线程池处理类服务端源码分析小结
duration～·2023-12-15 01:01

SpringMvc入坑系列(一)----maven插件启动tomcat

springboot傻瓜式教程用久了，回过来研究下SSM的工作流程，当然从SpringMVC开始，从傻瓜式入门处理请求和页面交互，再到后面深入源码分析。本人写了一年多的后端和半年多的前端了。
Nuyoahll-_-ll·2023-12-14 22:43

flink源码分析之功能组件(六)-心跳组件

简介本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics
中间件XL·2023-12-14 16:10

GoLong的学习之路，进阶，微服务之使用，RPC包（包括源码分析）

今天这篇是接上上篇RPC原理之后这篇是讲如何使用go本身自带的标准库RPC。这篇篇幅会比较短。重点在于上一章对的补充。文章目录RPC包的概念使用RPC包服务器代码分析如何实现的？总结Server还提供了两个注册服务的方法客户端代码分析如何实现的？如何异步编程同步？总结codec／序列化框架使用JSON协议的RPCRPC包的概念回顾RPC原理看完回顾后其实就可以继续需了解并使用go中所提供的包。Go
红蒲公英·2023-12-14 15:50

kubelet源码分析（一）源码阅读前提-kubelet简介、架构及依赖技术

前言作为云原生的从业人员，k8s是不可逾越的一座大山。笔者经过一年有余的k8s操作实践后，决定定期阅读分析k8s源码，以加深对这门技术的理解和应用。本文在编写前参考了kubelet启动流程分析，这篇文章对于kubelet的源码有比较清晰的介绍，笔者第一遍的kubelet源码阅读，是参照这篇文章梳理的脉络逐步进行的。这篇文章的行文思路和文章结构也可以让新入手的读者能够对整个kubelet的源码轮廓有
bug_createman·2023-12-14 14:09

JVM类加载器ClassLoader的源码分析

1、ClassLoader与现有类加载器的关系ClassLoader与现有类加载器的关系：ClassLoader是一个抽象类。如果我们给定了一个类的二进制名称，类加载器应尝试去定位或生成构成定义类的数据。一种典型的策略是将给定的二进制名称转换为文件名，然后去文件系统中读取这个文件名所对应的class文件。2、ClassLoader的主要方法抽象类ClassLoader的主要方法：(内部没有抽象方法
小熊学Java·2023-12-14 14:10

【源码解析】flink sql执行源码概述：flink sql执行过程中有哪些阶段，这些阶段的源码大概位置在哪里

文章目录一.sql执行流程源码分析1.Sql语句解析成语法树阶段（SQL->SqlNode）2.SqlNode验证（SqlNode–>Operation）3.语义分析（Operation->RelNode
roman_日积跬步-终至千里·2023-12-14 12:20

二百一十八、Hadoop——Hadoop启动报错Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)

一、目的在完成Flume拓扑结构之聚合的开发案例，启动了hurys23服务器早已安装好的Hadoop，结果居然报错了二、报错详情hurys23:Permissiondenied(publickey,gssapi-keyex
天地风雷水火山泽·2023-12-14 12:39

二百一十五、Flume——Flume拓扑结构之复制和多路复用的开发案例（亲测，附截图）

一、目的对于Flume的复制和多路复用拓扑结构，进行一个小的开发测试二、复制和多路复用拓扑结构（一）结构含义Flume支持将事件流向一个或者多个目的地。
天地风雷水火山泽·2023-12-14 12:09

二百一十六、Flume——Flume拓扑结构之负载均衡和故障转移的开发案例（亲测，附截图）

一、目的对于Flume的负载均衡和故障转移拓扑结构，进行一个开发测试二、负载均衡和故障转移（一）结构含义Flume支持使用将多个sink逻辑上分到一个sink组（二）结构特征sink组配合不同的SinkProcessor
天地风雷水火山泽·2023-12-14 12:09

已解决：java.net.ConnectException: Call From XXXXX to XXXXX :8020 failed on connection Exception: 拒绝连接；

文章目录前言报错提示如下：解决方案前言最近在忙着做一些日志监控类的项目，Flume做的，主要是针对几个业务数据库，监控一下运行日志，为啥？
想做CTO的任同学...·2023-12-14 12:04

zookeeper2==zookeeper源码阅读，集群如何选举出LEADER

源码分析：首先将三台机器的data目录下除了myid之外的都清掉，从零开始启动。
一个java开发·2023-12-14 12:22

二百一十七、Flume——Flume拓扑结构之聚合的开发案例（亲测，附截图）

一、目的对于Flume的聚合拓扑结构，进行一个开发测试二、聚合（一）结构含义这种模式是我们最常见的，也非常实用。
天地风雷水火山泽·2023-12-14 12:31

解决Hbase报错:ERROR: Can‘t get master address from ZooKeeper； znode data == null

文章目录问题描述解决方案问题描述报错了：这啥公司啊，怎么给的文档怎么错这么多，起一服务，集群里总有几个组件报错继上次Flume脚本，使用hdfssink报错了以后，hbase又报错了，报错提示如下：hbase
想做CTO的任同学...·2023-12-14 12:30

Flume+Kafka双剑合璧玩转大数据平台日志采集

为此建议将日志采集分析系统分为如下几个模块：数据采集模块：负责从各节点上实时采集数据，建议选用Flume-NG来
java菜·2023-12-07 00:17

大数据实战项目_电商推荐系统

一、项目介绍Hadoop+Spark+(Python)Scala+SparkSQL+SparkStreaming+MongoDB+Redis+Kafka+Flume+(SpringMVC+vue)1项目介绍
Guff_hys·2023-12-06 20:28

RocketMQ源码分析（一）源码的各个模块

首先，你得有源码，这个网上都可以找到，各个版本大差不差；但是由于RocketMQ并入了Apache基金会，所以没了中文注释，看起来会有些费劲。我这边用的是RocketMQ4.4.0的源码，仅对核心源码进行分析，扩展包里的就暂时不谈了。本篇文章我会解释这些模块大致是做什么用的，详细分析后续更新。以下是源码的结构：001.jpg其中有几个模块是核心：namesrv：namesrv的核心代码，可以理解是
甘_·2023-12-06 17:31

MQTT框架和使用

MQTT2.1安装APP2.2启动服务器2.3使用MQTTX2.3.1建立连接2.3.2订阅主题2.3.3发布主题2.4使用mosquitto2.4.1发布消息2.4.2订阅消息3.kawaii-mqtt源码分析
罗小白的干爹·2023-12-06 17:18

flume 实时监控 Hive 日志，并上传到 HDFS 中

-3.1.2.jar、hadoop-hdfs-3.1.2.jar、commons-io-2.5.jar、htrace-core4-4.1.0-incubating.jar拷贝到/opt/moudle/flume
无名刺客·2023-12-06 12:41

二百一十三、Flume——Flume拓扑结构介绍

一、目的最近在看尚硅谷的Flume资料，看到拓扑结构这一块，觉得蛮有意思，于是整理一下Flume的4种拓扑结构二、拓扑结构（一）简单串联1、结构含义这种模式是将多个flume顺序连接起来了，从最初的source
天地风雷水火山泽·2023-12-06 12:40

Flume 概述+环境配置+监听Hive日志信息并写入到hdfs

Flume介绍Flume是Apache基金会组织的一个提供的高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理
Transkai47·2023-12-06 12:40
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他