MapReduce源码分析

scratch3.0 源码分析

最新一直在做少儿编程方向的创业，用到了scratch3.0，在这里简单分享一下其原理。什么是scratch3.0？Scratch是美国麻省理工学院的“终身幼儿园团队”开发的一款图形化编程工具，通过点击并拖拽的方式就能完成编程，可以帮助儿童或成人初学者更好地学习编程的基础概念等。Scratch1.0在2007年第一次公开发布，随后在2012年又推出了Scratch2.0版本，而Scratch3.0则
空无一码·2024-01-20 14:35

Hive性能优化

原因是mapreduce作业初始化的时间是比较长的。sum,count,max,min等UDAF，不怕数据倾斜问题,hadoop在map端的汇总合并优化，使数据倾斜不成问题。
La victoria·2024-01-20 13:23

Hive调优一文打尽

影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、Job或I/O过多、MapReduce分配不合理等等。
跟着大数据和AI去旅行·2024-01-20 13:16

【Spring源码分析】执行流程之非懒加载单例Bean的实例化逻辑

执行流程之非懒加载单例Bean的实例化逻辑preInstantiateSingletons()源码分析合并BeanDefinitiongetMergedLocalBeanDefinitionBean的分类
假正经的小柴·2024-01-20 13:17

【Spring源码分析】从源码角度去熟悉依赖注入（一）

从源码角度去熟悉依赖注入一、全局出发引出各种依赖注入策略二、@Autowired依赖注入源码分析属性注入源码分析（AutowiredFieldElement.inject）方法注入源码分析（AutowiredMethodElement.inject
假正经的小柴·2024-01-20 13:17

【Spring源码分析】BeanFactory系列接口解读

认识Bean工厂一、认识Bean工厂BeanFactoryListableBeanFactoryHierarchicalBeanFactoryAutowireCapableBeanFactoryConfigurableBeanFactoryConfigurableListableBeanFactory二、总结一、认识Bean工厂SpringBean工厂是Spring框架提供的一种机制，用于创建和管
假正经的小柴·2024-01-20 13:17

阿里云 E-MapReduce 全面开启 Serverless 时代

本文整理自阿里云智能EMR负责人李钰（花名：绝顶）在2023云栖大会开源大数据专场的分享，演讲主题为阿里云E-MapReduce全面开启Serverless时代。
Apache Spark中国社区·2024-01-20 12:22

Hadoop基础知识

狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架
坐在风口上de猪·2024-01-20 10:10

MapReduce基础知识

MapReduce1、介绍MapReduceMapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。
坐在风口上de猪·2024-01-20 09:18

令牌桶算法与Guava的实现RateLimiter源码分析

令牌桶算法与Guava的实现RateLimiter源码分析令牌桶RateLimiter简介RateLimiter使用示例导入maven依赖编写测试代码RateLimiter的实现源码解析SmoothRateLimiterSmoothBursty
迷思特王·2024-01-20 09:39

mixin看这篇事半功倍

这里写目录标题一、mixin是什么二、使用场景三、源码分析一、mixin是什么Mixin是面向对象程序设计语言中的类，提供了方法的实现。
花言儿·2024-01-20 09:11

Spring-Boot-配置刷新

#I.配置动态刷新本篇将介绍并演示如何实现配置信息的刷新，但不会涉及到底层的实现原理，想要探究里面的神奇，可以网上google一下，或者期待后续的源码分析篇#1.ContextReferer我们这里主要借助这
无心六神通·2024-01-20 08:20

Python5个内建高阶函数的使用

本文结合各种实际的例子详细讲解了Python5个内建高阶函数的使用，能够帮助理解Python的数据结构和提高数据处理的效率，这5个函数分别是：mapreducefiltersorted/sortzipimage
玄机L·2024-01-20 06:46

SpringMVC父子容器源码分析

书接上文文章目录一、Spring整合SpringMVC1.Spring整合SpringMVC案例分析2.Spring和SpringMVC父子容器的关系3.SPI机制详解二、源码分析1.注册父子容器2.加载父子容器一
jakiechaipush·2024-01-20 05:06

RockerMQ源码分析——Broker消息发送流程

org.apache.rocketmq.example.quickstart.Producer创建一个消息的生产者，且指定一个组设置namesrv地址，可以从此地址获取topic的队列信息启动生产者实例循环中创建消息对象，并指定topic、tag和消息体在循环中发送消息，采用默认的负载策略，调用org.apache.rocketmq.client.producer.DefaultMQProduce
fustcyasdy·2024-01-20 05:01

MIT 6.824 分布式系统 lab1 MapReduce 遇到死锁问题

记录学习6.824的lab1遇到的坑（死锁了）代码逻辑借鉴：https://blog.csdn.net/weixin_45938441/article/details/124018485问题描述目前处于编写worker与coordinate进行RPC通信的环节，worker中的Map和Reduce方法还都没有开动只有一个打印逻辑，只是想先测一下，worker和coordinate之间能否正常通信。
花里胡哨的菜只因·2024-01-20 03:55

【深入设计模式】单例模式—从源码分析内部类单例、枚举单例以及单例模式在框架中的应用

@[toc]前面我们介绍了单例模式的饿汉式和懒汉式写法，以及从最简陋的懒汉式到DCL版本的演进，相信你对单例模式已经有了很深刻的认识。这一章节将继续介绍另外两种单例模式的写法——静态内部类和枚举类单例，在介绍完成后从底层代码剖析这两种写法的优势和原理。最后便是单例模式在JDK和其他框架下的的源码以及应用。1.使用静态内部类实现单例模式1.1静态内部类单例写法前面介绍了饿汉式的单例模式确保了线程安全
SK_Jaco·2024-01-20 01:34

Apollo 应用与源码分析：Monitor监控-软件监控-定位、camera、功能安全、数据记录监控

目录定位监控代码分析备注camera监控代码分析功能安全监控代码分析CheckSafty函数分析RunOnce函数分析记录功能监控代码分析SmartRecorderStatusproto状态的上报位置分析监控信息汇总服务代码分析定位监控代码classLocalizationMonitor:publicRecurrentRunner{public:LocalizationMonitor();void
Ym影子·2024-01-19 23:53

mybatis 源码分析-日志

Mybatis没有提供日志实现类，需要接入第三方的日志组件，但第三方组件都有自己的log级别，并且各不相同，Mybatis统一提供了tracedebugwarnerror四个日志级别。Mybatis使用适配器模式，在每个第三方日志厂商和自己的log之间都存在一个XXXlog适配器，将第三方的日志级别适配为自己的log级别。接下来看一下是如何接入日志的,在LogFactory中存在一个logCons
大可_6e11·2024-01-19 22:54

Kotlin协程的JVM实现源码分析（上）

本文从协程的启动launch源码入手分析，协程JVM实现分为两篇：协程启动和执行源码分析无栈协程和Continuation基本环境：IntelliJIDEA2023.3.2Kotlin1.8.20kotlinx-coroutines-core1.7.3gradle8.2
ClassOps·2024-01-19 18:58

浅析Redis①：命令处理核心源码分析(上)

写在前面Redis作为我们日常工作中最常使用的缓存数据库，其重要性不言而喻，作为普调开发者，我们在日常开发中使用Redis，主要聚焦于Redis的基层数据结构的命令使用，很少会有人对Redis的内部实现机制进行了解，对于我而言，也是如此，但一直以来，我对于Redis的内部实现都很好奇，它为什么会如此高效，本系列文章是旨在对Redis源代码分析拆解，通过阅读Redis源代码，了解Redis基础数据结
wtopps·2024-01-19 17:55

spring之AOP源码分析上

目录动态代理cglib动态代理jdk动态代理ProxyFactoryAdvice的分类Advisor的理解spring创建代理对象的方式ProxyFactoryBean（相对灵活，可以更精细地控制代理对象的创建过程）BeanNameAutoProxyCreator（适合对特定Bean进行简单代理的场景）DefaultAdvisorAutoProxyCreator（适合使用切面（Aspect）来定义
山鸟与鱼！·2024-01-19 16:23

某汽车外包-大数据开发-面试

1.自我介绍2.hivesql的执行流程3.mapreduce的原理。4.spark的提交参数有那些命令5.sparkrdd,dataframe,dataSe解释一下。
劝学-大数据·2024-01-19 16:28

html流控官源码,Sentinel源码分析----流控规则与FlowSlot

FlowSlot主要是用来进行流控规则的处理，直接看下代码@Overridepublicvoidentry(Contextcontext,ResourceWrapperresourceWrapper,DefaultNodenode,intcount,booleanprioritized,Object...args)throwsThrowable{checkFlow(resourceWrapper,
weixin_39604516·2024-01-19 13:11

分布式鼻祖：Map Reduce 论文深入解析

摘要MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。
西部小笼包·2024-01-19 11:48

任务14：使用MapReduce提取全国每年最低/最高气温

任务描述知识点：使用MapReduce提取数据重点：开发MapReduce程序统计每年每个月的最低气温统计每年每个月的最高气温内容：使用IDEA创建一个MapReduce项目开发MapReduce程序使用
Dija-bl·2024-01-19 09:18

任务13：使用MapReduce对天气数据进行ETL（获取各基站ID）

任务描述知识点：天气数据进行ETL重点：掌握MapReduce程序的运行流程熟练编写MapReduce程序使用MapReduce进行ETL内容：编写MapReduce程序编写Shell脚本，获取MapReduce
Dija-bl·2024-01-19 09:48

Java 读写锁 ReentrantReadWriteLock 源码分析

本文内容：读写锁ReentrantReadWriteLock的源码分析，基于Java7/Java8。阅读建议：虽然我这里会介绍一些AQS的知识，不过如果你完全不了解AQS，看本文就有点吃力了。
Java圈子·2024-01-19 08:47

EventBus 源码分析

本篇文章是EventBus的源码分析，以了解其实现的精髓`。EventBus是针对Android优化的发布-订阅事件总线，简化了Android组件间的通信。
老师好我是小明同学·2024-01-19 07:43

大数据开发之Hadoop（MapReduce）

第1章：MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。
Key-Key·2024-01-19 06:40

大数据开发之Hadoop（Yarn）

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。
Key-Key·2024-01-19 06:09

Spark基础学习--基础介绍

1.2Spark与MapReduce的对比在之前我们学习过MapReduce，同样作为大数据分布式计算引擎，究竟这两者有什么区别呢？
Yan_bigdata·2024-01-19 06:37

Spring Boot - Application Events 的发布顺序_ApplicationFailedEvent

文章目录Pre概述Code源码分析PreSpringBoot-ApplicationEvents的发布顺序_ApplicationEnvironmentPreparedEvent概述SpringBoot
小小工匠·2024-01-19 04:08

Uboot-5（U-Boot源码分析1-启动第一阶段）

来源：朱有鹏老师的嵌入式linux核心教程1、start.S引入1.1、u-boot.lds中找到start.S入口(1)、在C语言中整个项目的入口就是main函数（这是C语言规定的），所以譬如说一个有10000个.c文件的项目，第一个要分析的文件就是包含了main函数的那个文件。(2)、在uboot中因为有汇编阶段参与，因此不能直接找main.c。整个程序的入口取决于链接脚本中ENTRY声明的地
ant-small·2024-01-19 04:38

数据库系统原理总结之——数据管理技术的发展

第八章数据管理技术的发展第八章数据管理技术的发展一、数据库技术发展★★二、数据仓库★★★三、数据挖掘的功能★★★四、大数据的定义★★五、大数据存储★六、NoSQL系统支持的数据存储模型★★★★七、MapReduce
润小仙女·2024-01-19 00:45

Hadoop的心脏：中央异步调度器AsyncDispatcher代码和设计解析

以Yarn、HDFS和MapReduce为主要组成的Hadoop，涉及到大量复杂的、交互的事件处理、状态转换，同时，这些事件调度和状态转换又对实时性和效率提出了极高的要求。
麦兜和小可的舅舅·2024-01-18 22:56

大数据之Spark 知识体系完整解读

Spark简介Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey
金乐笑·2024-01-18 20:15

Hive入门

这些查询语句在Hive中被称作HQL，这些HQL会被翻译成MapReduce作业来执行。Hive把表和字段转换成HDFS中的文件夹和文件，并将这些元数据保持在关系型数据库中，如derby或mysql。
kongxx·2024-01-18 17:11

canal server初始化源码分析

CanalLauncher类是canalserver端启动的入口类，跟随代码进行深入。在开始之前，我们可以先了解下，canal配置方式ManagerCanalInstanceGenerator：基于manager管理的配置方式，实时感知配置并进行server重启SpringCanalInstanceGenerator：基于本地springxml的配置方式，对于多instance的时候，不便于扩展，
程序媛-jjl·2024-01-18 17:38

apache dubbo核心源码分析

dubbo版本:2.7.5dubbo源码下载地址spi自适应扩展点：ExtensionLoader.getExtensionLoader(XXX.class).getAdaptiveExtension();指定名称扩展点:ExtensionLoader.getExtensionLoader(XXX.class).egtExtension(name);激活扩展点:ExtensionLoader.ge
Angela龙·2024-01-18 15:47

深入学习SpringMVC以及学习总结

微服务、Spring，MyBatis，Netty源码分析的朋友可以加我的Java高级交流：854630135，群里有阿里大牛直播讲解技术，以及Java大型互联网技术的视频免费分享给大家。①.
程序员日常填坑·2024-01-18 13:13

【Java基础知识 54】Java BeanUtils用法详解，附源码分析

目录一、org.apache.commons.beanutils.BeanUtils简介二、使用的前置条件三、添加pom四、org.apache.commons.beanutils.BeanUtils代码实例1、为属性赋值2、拷贝对象，为对象赋值3、map转bean4、bean转map五、Apache的BeanUtils与Spring的BeanUtils六、org.springframework.
哪 吒·2024-01-18 12:54

Android Launcher3各启动场景源码分析

文章目录一、概述二、开机启动Launcher2.1、开机启动Launcher流程图2.2、开机启动流程源码分析三、短压Home键启动Launcher3.1、短压Home键启动Launcher流程图3.2
Coder个人博客·2024-01-18 11:35

Android CarService源码分析

文章目录一、CarService的基本架构1.1、AndroidAutomative整体框架1.2、FrameworkCarService1.3、目录结构1.3.1、CarService1.3.2、CarAPP二、CarService的启动流程2.1、系统启动后在SystemServer进程中启动CarServiceHelperService2.2、CarService启动三、CarService
Coder个人博客·2024-01-18 11:34

SpringMVC的执行流程与源码分析

引言通过深入分析SpringMVC的源码，我们可以更好地理解其工作原理和内部机制。这有助于我们更好地使用该框架进行Web应用程序的开发，并解决实际开发中遇到的问题。同时，对于学习和研究SpringMVC框架的人来说，阅读源码并进行分析也是一种重要的学习和提升手段。SpringMVC概述SpringMVC属于SpringFrameWork的后续产品，已经融合在SpringWebFlow里面。Spri
玉韬·2024-01-18 11:48

Hadoop之mapreduce参数大全-7

151.设置客户端与AM之间的IPC（Inter-ProcessCommunication）连接在发生超时时的最大重试次数yarn.app.mapreduce.client-am.ipc.max-retries-on-timeouts
OnePandas·2024-01-18 06:54

Hadoop之mapreduce参数大全-8

176.指定JobHistoryServer在缓存中存储的日期字符串的最大数量mapreduce.jobhistory.datestring.cache.size是ApacheHadoopMapReduce
OnePandas·2024-01-18 06:54

DPDK 中断处理流程

本文整理下之前的学习笔记，基于DPDK17.11版本源码分析。主要分析一下中断处理流程。
分享放大价值·2024-01-18 05:55

阿里云大数据ACA及ACP复习题（21~40)

（D）A:HDFSB:DFSC:RDDD:MapReduce解析：MAPREDUCE（分布式运算编程框架）22.以下选项中不属于MaxCompute特点的是(D)A:支持多种多种经典的分布式计算模型B:
周周的奇妙编程·2024-01-18 03:08

JStorm源码分析-6.Worker

1.程序分析1.1入口JStorm源码分析-5.Supervisor中的最后，我们已经知道了Worker由com.alibaba.jstorm.daemon.worker.Worker启动。
史圣杰·2024-01-18 01:44
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他