MapReduce源码分析

RocketMQ源码 Broker-BrokerFastFailure 快速失败请求组件源码分析

前言BrokerFastFailure快速失败处理组件，主要负责，在系统激活broker快速失败能力时，以后台定时调度任务方式进行过期任务清理。主要对以下几类任务进行处理：消息存储组件中的请求。如果消息存储组件中的OSPageCacheBusy（系统页缓存繁忙）为true，则对它的请求循环进行快速失败处理。清理发送线程池队列中的过期请求。清理拉取线程池队列中的过期请求。清理心跳线程池队列中的过期请
虚空小白·2024-01-03 20:52

RocketMQ源码 Broker-ConsumerFilterManager 消费者数据过滤管理组件源码分析

前言ConsumerFilterManager继承了ConfigManager配置管理组件，拥有将内存数据持久化到磁盘文件consumerFilter.json的能力。它主要负责，对在消费者拉取消息时，进行消息数据过滤，且只针对使用表达式过滤的消费者有效。源码版本：4.9.3源码架构图核心数据结构可以看到内存中维护了topic->consumergroup->ConsumerFilterData映
虚空小白·2024-01-03 20:51

RocketMQ源码 Broker-SubscriptionGroupManager 订阅组管理组件源码分析

前言SubscriptionGroupManager继承了ConfigManager配置管理组件，拥有将内存数据持久化到磁盘文件subscriptionGroup.json的能力。它主要负责维护所有消费组在内存中的订阅数据。源码版本：4.9.3源码架构图核心数据结构主要的数据结构比较简单，维护了Map的映射关系。//订阅组管理组件publicclassSubscriptionGroupManage
虚空小白·2024-01-03 20:21

RocketMQ源码 Broker-FilterServerManager 过滤服务器管理组件源码分析

前言FilterServerManager负责维护过滤服务器长连接与过滤服务器信息映射关系，并且内部有定时调度线程，不断检查过滤服务器实际数量和配置数量是否一致，如果不一致，就根据配置构建命令行命令，执行命令启动FilterServer过滤服务器进程。过滤服务器实例，是RockerMQ的高级功能，复制支持更复杂的过滤条件。源码版本：4.9.3源码架构图核心数据结构//过滤服务器管理组件public
虚空小白·2024-01-03 20:21

RocketMQ源码 Broker-BrokerStatsManager Broker统计管理组件源码分析

前言BrokerStatsManager主要负责对broker端的系统指标进行统计，如QUEUE_GET_NUMS队列获取数量、QUEUE_GET_SIZE队列获取大小指标的分钟、小时、天级别的统计数据。它针对的所有指标都是使用后台定时调度线程，对统计条目中的数据进行后台统计计算，存储在统计条目中的对应集合里，以便使用。源码版本：4.9.3源码架构图核心数据结构最核心的是维护了一个数据统计tabl
虚空小白·2024-01-03 20:21

RocketMQ源码 NameServer启动流程源码分析

前言RocketMQ在启动Namesrv的过程中会创建NamesrvController控制器，并初始化一些核心组件RouteInfoManager路由信息管理组件、NettyRemotingServer网络通信服务器组件、BrokerHousekeepingService网络通信监听器组件，使用了大量JUC并发知识和Netty网络通信的应用。它启动后，主要负责与Broker通信维护消息队列路由信
虚空小白·2024-01-03 20:21

RocketMQ源码 创建Topic流程源码分析

前言MQAdminImplMQ管理组件提供了大量对mq进行管理的工具，其中一个就是创建Topic。它内部实现是通过mqClient工具从NameServer拉取当前Topic对应的路由元数据信息，解析遍历和当前topic有关的broker高可用分组集合，找到分组中的master主节点，然后依次对broker主节点发送创建topic请求。broker高可用分组的主节点收到请求后，将topic元数据存
虚空小白·2024-01-03 20:47

大数据Hadoop入门学习线路图

Hadoop是系统学习大数据的必会知识之一，Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的
千_锋小小千·2024-01-03 19:12

【Spark精讲】RDD缓存源码分析

面试题：cache后面能不能接其他算子，它是不是action操作？能，不是action算子。源码解析RDD调用cache或persist之后，会指定RDD的缓存级别，但只是在成员变量中记录了RDD的存储级别，并未真正地对RDD进行缓存。只有当RDD计算的时候才会对RDD进行缓存。以HadoopRDD为例overridedefcompute(split:Partition,context:TaskC
话数Science·2024-01-03 18:08

【MySQL工具】pt-online-schema-change源码分析

(＾－＾)V目录源码分析Getconfigurationinformation.ConnecttoMySQL.Create--plugin.Setuplagandloadmonitors.Checkforreplicationfilters.Print
DBA之路·2024-01-03 14:55

HBase Java API 03：HBase与MapReduce整合

HBase版本：1.2.61.案例说明现有hbase表"student"，其中内容如下：hbase(main):025:0>scan'student'ROWCOLUMN+CELL0001column=info:age,timestamp=1516139523768,value=150001column=info:name,timestamp=1516139523388,value=Madeline
CoderJed·2024-01-03 14:14

八、Flume-拦截器

1、默认拦截器官网提供了几个默认拦截器，具体使用可查官方文档image.png2、自定义拦截器（实现MapReducer中的日志的清洗功能）a.编写代码（实现Interceptor接口，并实现内部接口Builder
一种依耐丶从未离开·2024-01-03 13:02

Rxjava* 2.0 源码分析 2019-01-25

title:Rxjava*2.0源码分析Rxjava2.0源码分析参考：AndroidRxJava2.0：手把手带你源码分析RxJavahttps://www.jianshu.com/p/e1c48a00951a
亮亮_be3c·2024-01-03 13:03

Netty源码分析--PoolSubPage

PoolSubPage内部数据结构分析finalclassPoolSubpage{finalPoolChunkchunk;//所属的PoolChunkprivatefinalintmemoryMapIdx;//在memoryMap的索引idmemoryMap[id]privatefinalintrunOffset;//在PoolChunk的运行时内存偏移量privatefinalintpageSi
shoulda·2024-01-03 13:25

LruCache源码分析

对这个类的源码分析主要是以下几个目的：get方法put方法容量控制lru算法的实现publicfinalVget(Kkey){if(key==null){thrownewNullPointerException
成虫_62d0·2024-01-03 12:18

Trino源码分析：sql字段解析

业务中需要对Trino查询语句中涉及的字段进行处理，所以对这一段源码进行追踪分析，记录如下。源码追踪是从QueuedStatementResource类开始的。QueuedStatementResource类与ExecutingStatementResource类，提供用户执行查询相关的Restful接口。由于解决业务问题中未涉及ExecutingStatementResource类，所以本文只从
aguo718·2024-01-03 11:38

2024.1.2 Spark 简介,架构,环境部署,词频统计

3.1SparkLocal模式搭建3.2通过Anaconda安装python3环境3.3PySpark库安装四.Spark集群模式架构介绍五.pycharm远程开发环境六.Spark词频统计一.Spark简介1.Spark和MapReduceMR
白白的wj·2024-01-03 09:41

Spark一：Spark介绍、技术栈与运行模式

1.2Spark作用中间结果输出Spark的Job中间输出结果可以保存在内存中，从而不再需要读写HDFSMapReduce的替代方案Spark比M
eight_Jessen·2024-01-03 09:11

Spark解决构建倒排索引问题的步骤

相比于MapReduce，采用spark解决问题则简单得多：用户无需受限于（MapReduce中的）Mapper、Combiner和Reducer等组件要求的固定表达方式，而只需将解决方案翻译成Spark
皮皮杂谈·2024-01-03 08:26

fa1智能指针Dev

并且根据源码分析智能指针的实现原理。一、为什么需要使用智能指针1.1内存泄漏C++在堆上申请内存后，需要手动对内存进行释放。
曼城英泽·2024-01-03 08:52

MapReduce架构和算法(2)

一个、combiner计划每map它可能会产生大量的输出，combiner的作用是map输出端先做合并。reducer的数据量。combiner最基本是实现本地key的归并，combiner具有类似本地的reduce功能假设不用combiner，那么，全部的结果都是reduce完毕。效率会相对低下。使用combiner，先完毕的map会在本地聚合，提升速度。注意：Combiner的输出是Reduc
weixin_34194551·2024-01-03 08:37

MapReduce求最大值

思想：在map端找出map端的最大值（局部）。map的cleanup方法输出这个最大值，再通过reduce端将map端的局部最大进行比较。求出最终最大的那个值。怎么样找出map端的最大值？老样子，先看数据！销售时间社保卡号商品编码商品名称销售数量应收金额实收金额2018-01-01001616528236701强力VC银翘片6.082.869.02018-01-010012697828861464
爱吃芝麻·2024-01-03 08:37

设计一个基于MapReduce的算法，求出数据集中的最小值。假设Reducer任务数量大于1，请简要描述该算法(可使用分区. 合并过程)

设计一个基于MapReduce的算法，求出数据集中的最小值。
无敌海苔咪·2024-01-03 08:28

计算机毕业设计吊打导师hadoop+spark+hive知识图谱医生推荐系统 医生数据分析可视化大屏 医生爬虫 医疗可视化 医生大数据 机器学习 大数据毕业设计

流程：1.Python爬虫采集中华健康网约10万医生数据，最终存入mysql数据库；2.使用pandas+numpy/hadoop+mapreduce对mysql中的医生数据进行数据分析，使用高德地图解析地理位置
计算机毕业设计大神·2024-01-03 07:53

Clojure 实战(4)：编写 Hadoop MapReduce 脚本

它是Apache基金会下的开源项目，受Google两篇论文的启发，采用分布式的文件系统HDFS，以及通用的MapReduce解决方案，能够在数千台物理节点上进行分布式并行计算。
张吉Jerry·2024-01-03 07:35

spring源码分析-XML对应BeanDefinition存入BeanDefinitionRegistry流程

1.流程图2.源码分析刷新容器其实就是初始化容器创建bean其中有对xml的解析就是一下这些信息（用spring中的这些信息来解析dom）这个map存在DefaultListbleBeanFactory
普通小马鹿~·2024-01-03 04:52

hive 与mapreduce

hive不触发mapreduce的操作：hive.fetch.task.conversion这个参数与sql触发mr操作有关：取值一共有三个noneminimalmore默认的设置的值是more配置参数为
流砂月歌·2024-01-03 02:08

Spark源码分析之：Shuffle

这一篇我们来分析Spark2.1的Shuffle流程。其实ShuffleDependency从SparkContext初始化就已经被DAGScheduler划分好了，本文主要探讨在Task运行过程中的ShufleWrite和ShuffleRead。要从Task运行开始说起，就要知道Task在哪里运行的。我们普遍认为Executor是负责执行Task的，但是我们发现Executor其实就是一个类pr
你说个der·2024-01-03 02:30

Redis Sentinel 源码分析 - Sentinel的初始化

作者：WenHui转载：中间件小哥RedisSentinel是Redis提供的高可用模型解决方案。Sentinel可以自动监测一个或多个Redis主备实例，并在主实例宕机的情况下自动实行主备倒换。本系列通过作者对RedisSentinel源码的理解，详细说明Sentinel的代码实现方式。Sentinel使用Redis内核相同的事件驱动代码框架，但Sentinel有自己独特的初始化步骤。在这篇文章
中间件小哥·2024-01-03 01:01

Android无限广告轮播 - 自定义BannerView

上次讲了Android无限广告轮播-ViewPager源码分析，有了源码分析我们对ViewPager就有了一个大概的了解，那么再来封装成自定义View，就会简单许多，附视频讲解地址：http://pan.baidu.com
你也不知道·2024-01-03 00:40

freeRtos源码分析之核心数据结构链表

FreeRtos源码分析核心数据结构链表1.常见链表类型什么是链表，链表是一种通过指针串联在一起的线性结构，每一个节点由两部分组成，一个是数据域一个是指针域（存放指向下一个节点的指针），最后一个节点的指针域指向
执笔-叙写流年·2024-01-03 00:32

freeRtos源码分析之任务调度原理

freeRtos源码分析之调度原理1.任务切换的本质在FreeRtos中任务切换的本质是函数调用，CPU在指定时间内执行不同的函数，从微观上看每个任务都是顺序执行的，但是CPU运算能力很强，可以在很短时间内完成指令的执行
执笔-叙写流年·2024-01-03 00:32

seata分布式事务server模块源码分析

目录seata-server源码分析简介1、seata-server入口main()方法分析2、参数解析ParameterParse初始化方法init()分析2.1、配置工厂类ConfigurationFactory
老谭酸菜面·2024-01-02 19:01

Hbase介绍以及Hive优势

因为HBase基于Hadoop的HDFS完成分布式存储，以及MapReduce完成分布式并行计算，所以它的一些特点与Hadoop相同，依靠横向扩展，通过不断增加性价比高的商业服务器来增加计算和存储能力。
毛毛虫同学·2024-01-02 14:38

【设计模式】责任链模式

文章目录前言一、概述结构二、案例三、优缺点五、JDK源码分析总结前言【设计模式】责任链模式——行为型模式，包含JDK源码分析。
浩泽学编程·2024-01-02 14:24

10.Hadoop框架下MapReduce中的map个数如何控制

一个job的map阶段并行度由客户端在提交job时决定客户端对map阶段并行度的规划基本逻辑为：一、将待处理的文件进行逻辑切片（根据处理数据文件的大小，划分多个split），然后每一个split分配一个maptask并行处理实例二、具体切片规划是由FileInputFormat实现类的getSplits()方法完成切分规则如下：1.简单地按照文件的内容长度进行切片2.切片大小默认是datanode
__元昊__·2024-01-02 13:45

【zookeeper选举源码分析】

文章目录为什么要看源码：1、提升技术功底：学习源码里的优秀设计思想，比如一些疑难问题的解决思路，还有一些优秀的设计模式，整体提升自己的技术功底2、深度掌握技术框架：源码看多了，对于一个新技术或框架的掌握速度会有大幅提升，看下框架demo大致就能知道底层的实现，技术框架更新再快也不怕3、快速定位线上问题：遇到线上问题，特别是框架源码里的问题(比如bug)，能够快速定位，这就是相比其他没看过源码的人的
向前再向前·2024-01-02 11:37

Couchdb 垂直权限绕过漏洞(CVE-2017-12635)

它是一个使用JSON作为存储格式，JavaScript作为查询语言，MapReduce和HTTP作为API的NoSQL数据库。
黄公子学安全·2024-01-02 10:51

react源码分析（1）-综述

目录2021SC@SDUSC整体介绍目录结构测试项目的运行与安装总结2021SC@SDUSC整体介绍react是一个比较流行的前端应用框架，具有声明化，组件化，一次学习，跨平台编写的特性。可以用于构建用户界面，支持JSX语法（当然也可以不使用，react.createElement方法就可以创造reactElement元素，但不如JSX简洁，两者可以用Babel进行转化），各个组件可以有自身的状态
zyuxing·2024-01-02 07:35

elementUI源码分析-01-目录及整体介绍

一、目录结构build：webpack等打包相关的文件examples：官网示例等packages：组件相关的核心代码src/directives：封装的自定义指令src/locale:语言相关的src/mixins：方式mixin相关的src/transitions:封装的相关动画src/utils:相关的工具函数test：单元测试文件types：ts相关的文件二、使用配置当我们在vue中使用e
范小饭_·2024-01-02 06:31

Java集合 : 底层原理剖析

Collection接口方法三、⭐️Iterator迭代器接口1.Iterator接口中的方法2.foreach循环遍历集合元素四、⭐️Collection子接口:List1.List的接口框架2.ArrayList的源码分析
侯静川·2024-01-02 06:06

【Spring Boot配置文件简介】

SpringBoot配置文件简介简单介绍一下springboot的配置文件吧，主要介绍一下配置文件的优先级以及配置文件的使用，后面我会写一篇关于配置文件的源码分析文章，今天就先给大家热一下身，自己今天也摸一下鱼
不务专业的程序员--阿飞·2024-01-02 05:24

【2023】hadoop基础介绍

目录Hadoop组成HDFSHDFS操作HDFS分布式文件存储NameNode元数据数据读写流程YARN和MapReduceMapReduce：分布式计算YARN：资源管控调度YARN架构提交任务到**
方渐鸿·2024-01-02 03:26

Qt仿Android带特效的数字时钟源码分析（滑动，翻页，旋转效果）

这个数字时钟的源码可以在QtDemo中找到，风格是仿Android的，不过该Demo中含有三种动画效果（鉴于本人未曾用过Android的系统，因此不知道Android的数字时钟是否也含有这三种效果），其分别为滑动、翻页和旋转。由于本人的QtCreator输入中文后显示的都是乱码，因而在此只能使用英文进行注释，后期如果有时间再进行中文的相关整理。可能有些地方理解并不是很正确。希望大家多多指正！以下为
ryxjxyx·2024-01-02 00:23

Spring Cloud Netflex Eureka Client源码分析

前言从今天开始，来分析下服务注册与发现组件eureka，eureka篇只作为学习使用，生产环境推荐使用nacos作为服务注册与发现组件，后面我也会抽时间分析下nacos相关源码。基本介绍SpringCloud封装了Netflix公司开发的Eureka模块来实现服务注册和发现(请对比Zookeeper)。Eureka采用了C-S的设计架构。EurekaServer作为服务注册功能的服务器，它是服务注
程序员L札记·2024-01-01 21:22

安卓MediaRecorder(2)录制源码分析

文章目录前言JAVAnewMediaRecorder()源码分析android_media_MediaRecorder.cppnative_init()MediaRecorder.javapostEventFromNativeandroid_media_MediaRecorder.cppnative_setup
清霜辰·2024-01-01 18:50

【设计模式】策略模式

文章目录前言一、概述结构二、实现案例三、优缺点使用场景四、JDK源码分析总结前言【设计模式】策略模式——行为型设计模式。
浩泽学编程·2024-01-01 16:30

React Router-简单原理

以下内容主要参考自深入理解react-router路由系统react-router的实现原理前端路由实现与react-router源码分析react-router怎么实现页面局部刷新和url变化的路由的原理并不复杂
zhulichao·2024-01-01 15:49

python 实现hadoop的mapreduce

为了用python实现mapreduce，我们先引入下面两个个知识sys.stdin()itertools之groupbysys模块的简单学习sys.stdin是一个文件描述符，代表标准输入，不需使用open
数据蛙datafrog·2024-01-01 15:42

详解大数据数据仓库分层架构

大数据数据仓库是基于HIVE构建的数据仓库，分布文件系统为HDFS，资源管理为Yarn，计算引擎主要包括MapReduce/Tez/Spark等，分层架构如下：1、数据来源层：日志或者关系型数据库，并通过
Alukar·2024-01-01 14:47
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他