MapReduce源码分析

并发编程 —— 源码分析公平锁和非公平锁

前言ReentrantLock提供了公平锁和非公平锁，只需要在构造方法中使用一个boolean参数即可。默认非公平锁。今天从源码层面看看区别和具体实现。1.类UML图image.pngReentrantLock内部有一个抽象类Sync，继承了AQS。而公平锁的实现就是FairSync，非公平锁的实现就是NodFairSync。两把锁的区别在于lock方法的实现。2.公平锁lock方法实现final
莫那一鲁道·2024-01-15 13:29

大数据开发之Hive(基本概念、安装、数据类型、DDL数据定义、DML数据操作)

第1章：Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。
Key-Key·2024-01-15 12:04

大数据开发之Hive（详细版，最后有实战训练）

第1章：Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。
Key-Key·2024-01-15 12:29

Java中的String

楼主通过很多网上的String源码分析文章，加上自己对于源码的阅读理解，综合得出以下内容：概述说明实现的接口成员变量静态内部类成员方法类方法这些内容相对独立，但又有一些关联。
juconcurrent·2024-01-15 11:18

postgreSQL源码分析——存储管理——内存管理（3）

2021SC@SDUSC目录概述高速缓存机制的起源源码分析系统表元组缓存——SysCachecatcacheheader结构体catcache结构体catcache如何组织缓存元组SysCache的初始化
義的爸·2024-01-15 10:33

Mybatis系列-tkmybatis源码分析-01-mybatis、mybatis-spring和tkmybatis的关系

mybatis、mybatis-spring和tkmybatis的关系定义MyBatis是一款优秀的持久层框架，它支持自定义SQL、存储过程以及高级映射。MyBatis免除了几乎所有的JDBC代码以及设置参数和获取结果集的工作。MyBatis可以通过简单的XML或注解来配置和映射原始类型、接口和JavaPOJO（PlainOldJavaObjects，普通老式Java对象）为数据库中的记录。MyB
tinygodd·2024-01-15 10:31

Swift5.x入门21--标准库源码分析，项目实战

Swift源码简介Swift于2015年开源，GitHub地址为：https://github.com/apple/swift源码的常见目录：docs：文档；stdlib：Swift源码；lib：C++源码；include：C++头文件；Array分析map，filter，flatMap，reduce，compactMap在swift-main/stdlib/core中搜索funcxxxpubli
YanZi_33·2024-01-15 10:14

OpenGauss SQL解析源码分析

OpenGaussSQL解析源码分析SQL引擎简介：SQL引擎整个编译的过程如下图所示，在编译的过程中需要对输入的SQL语言进行词法分析、语法分析、语义分析，从而生成逻辑执行计划，逻辑执行计划经过代数优化和代价优化之后
qq_44361136·2024-01-15 09:04

【参赛作品16】openGauss SQL解析源码分析

作者：梅氵SQL引擎简介：SQL引擎整个编译的过程如下图所示，在编译的过程中需要对输入的SQL语言进行词法分析、语法分析、语义分析，从而生成逻辑执行计划，逻辑执行计划经过代数优化和代价优化之后，产生物理执行计划。SQL解析通常包含词法分析、语法分析、语义分析几个子模块。SQL是介于关系演算和关系代数之间的一种描述性语言，它吸取了关系代数中一部分逻辑算子的描述，而放弃了关系代数中"过程化"的部分，S
Gauss松鼠会·2024-01-15 09:00

OpenGauss源码分析-SQL引擎

所讨论文件大多位于src\common\backend\parser文件夹下总流程start_xact_command()：开始一个事务。pg_parse_query()：对查询语句进行词法和语法分析，生成一个或者多个初始的语法分析树。进入foreach(parsetree_item,parsetree_list)循环，对每个语法分析树执行查询。pg_analyze_and_rewrite()：根
WAWA战士·2024-01-15 09:58

从零学Java Map集合

接口的特点2.2常用方法3Map集合的实现类3.1HashMap【重点】3.2LinkedHashMap3.3TreeMap3.4Hashtable（了解）3.5Properties属性集合4HashMap源码分析
贰贰柒丶阿拽·2024-01-15 09:53

redis数据结构源码分析——跳表zset

文章目录跳表的基本思想特点节点与结构跳跃表节点zskiplistNode属性跳跃表链表属性跳表的设计思想和优势API解析zslCreate（创建跳跃表）zslCreateNode（创建节点）zslGetRank（查找排位）zslDelete（删除节点）跳表的基本思想SkipList(跳跃列表)这种随机的数据结构，可以看做是一个二叉树的变种，它在性能上与红黑树、AVL树很相近；但是SkipList(
大牛写代码·2024-01-15 08:51

redis数据结构源码分析——string

前面的文章大体讲解了redis的几种数据类型，针对设计表巧妙的数据类型，后续会出几篇文章单独讲解下，那么本篇文章针对string的源码进行讲解。文章目录字符串的三种编码sds结构sds的设计思想和优势sdsAPI解析sdsnewlen（创建字符串）sdsfree（释放字符串）sdscatlen（拼接字符串）sdsMakeRoomFor（SDS扩容）字符串的三种编码int：整型redis数据结构源码
大牛写代码·2024-01-15 08:20

分布式计算平台 Hadoop 简介

其主要采用MapReduce分布式计算框架，包括根据GFS原理开发的分布式文件系统HDFS、根据BigTable原理开发的数据存储系统HBase以及资源管理系统YARN。
rookiexiong·2024-01-15 08:19

Promise高级版 - 通过输出题理解「Promise源码」

1Promise源码分析Promise的基本工作原理Promise构造函数：Promise构造函数接受一个执行器函数作为参数，该函数有两个参数：resolve和reject。
Xxxxxl17·2024-01-15 08:45

Spring Boot源码解读与原理分析

源码分析中可以关注SpringAppl
终将老去的穷苦程序员·2024-01-15 07:38

Java大数据hadoop2.9.2搭建伪分布式yarn资源管理器

/mapred-site.xmlvimapred-site.xmlmapreduce.framework.nameyarnviyarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffle2
crud-boy·2024-01-15 06:29

线程池 - ThreadPoolExecutor源码分析

之所以存在线程池是基于以下两个原因：1.线程的创建和销毁是需要有资源消耗的，多线程环境下频繁创建、销毁线程会影响系统性能2.对于一个需要频繁创建任务、线程的应用来说，创建的任务数、线程数需要受到控制或管理有了线程池，尤其是类似ThreadPoolExecutor这种可以通过参数调整其行为的线程池，可以近乎完美的解决上述两个问题。####线程池工作原理简单来说线程池的工作原理就是：提前或者在执行任务
weixin_44612246·2024-01-15 06:40

Hive mapreduce的map与reduce个数由什么决定？

文章目录1.MapTask的数量决定2.如何来调整MapTask的数量2.1增加map的数量:调小maxsize(要小于blockSize才有效,比如100byte)2.2减少map的数量:调大minSize（要大于blockSize才有效，比如250M）2.3生产中一般不调整，但是要知道原理。3.ReduceTask的数量决定3.1在执行hiveshell的时候可以看到下列日志3.2官网对这三个
黄土高坡上的独孤前辈·2024-01-15 04:22

chromium通信系统-ipcz系统(十一)-mojo binding

由于比较复杂，这里只做简单源码分析。我们知道要实现rpc，必须实现客户端和服务端。mojo实现了一套领域语言，通过领域语言描述接口和数据，再通过特有编译器编译成c++代码。
TangGeeA·2024-01-15 01:25

java技术专家【分布式框架】【通过C语言深度解读Redis核心架构】02-Redis底层数据结构源码分析之SDS的源码分析

文章目录一、SDS的源码分析1.1、Redis底层数据结构1.2、SDS概述1.3、SDS结构体sdshdr5sdshdr8sdshdr16sdshdr32sdshdr641.4、API解析sdsnewlensdsfreesdscatlensdsMakeRoomFor1.6
不走小道·2024-01-15 01:49

手把手图解教你Java SPI源码分析

原创/朱季谦我在《JavaSPI机制总结系列之开发入门实例》一文当中，分享了JavaSPI的玩法，但是这只是基于表面的应用。若要明白其中的原理实现，还需深入到底层源码，分析一番。这里再重温一下SPI机制的概念：SPI，是ServiceProviderInterface的缩写，即服务提供者接口，单从字面上看，可以这样理解，该机制提供了一种可根据接口类型去动态加载出接口实现类对象的功能。打一个比喻，该
朱季谦·2024-01-15 00:31

【大数据进阶第三阶段之Hue学习笔记】Hue简介和架构介绍

通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据、运行MapReduceJob、执行Hive的SQL语句
Allen_lixl·2024-01-15 00:56

Hadoop之mapreduce参数大全-6

126.指定Map任务运行的节点标签表达式mapreduce.map.node-label-expression是HadoopMapReduce框架中的一个配置属性，用于指定Map任务运行的节点标签表达式
OnePandas·2024-01-14 22:07

深入理解 Spark（二）SparkApplication 提交和运行源码分析

spark核心流程yarn-clientyarn-clusterspark任务调度sparkstage级别调度sparktask级别调度失败重试和白名单对于运行失败的Task，TaskSetManager会记录它失败的次数，如果失败次数还没有超过最大重试次数，那么就把它放回待调度的Task池子中等待重新执行，当重试次数过允许的最大次数，整个Application失败。在记录Task失败次数过程中，
我很ruo·2024-01-14 21:19

深入理解 Spark（三）SparkTask 执行与 shuffle 详解

SparkTask的分发部署与启动流程分析SparkAction算子触发job提交Spark当中Stage切分源码详解Task的提交与执行SparkShuffle机制详解MapReduceShuffle全流程深度剖析
我很ruo·2024-01-14 21:19

Scala Parser原理介绍与源码分析

ScalaParser原理介绍与源码分析版权声明：本文为博主原创文章，未经博主允许不得转载。
海角Q·2024-01-14 18:24

【Scala原理系列】scala Breeze Rand RandBasis 原理方法示例源码分析

scalaBreezeRandRandBasis原理方法示例源码分析文章目录scalaBreezeRandRandBasis原理方法示例源码分析原理Rand接口方法源码RandBasis类方法示例源码RandBasisRand
BigDataMLApplication·2024-01-14 18:52

被标记为事务的方法互相调用的坑（下）

微服务、Spring，MyBatis，Netty源码分析的朋友可以加我的Java高级交流：854630135，群里有阿里大牛直播讲解技术，以及Java大型互联网技术的视频免费
程序员日常填坑·2024-01-14 16:40

test-04-test case generate 测试用例生成 tcases 快速开始

拓展阅读junit5系列基于junit5实现junitperf源码分析Autogeneratemockdataforjavatest.
老马啸西风·2024-01-14 15:06

test-03-test case generate 测试用例生成 Randoop 介绍

拓展阅读junit5系列基于junit5实现junitperf源码分析Autogeneratemockdataforjavatest.
老马啸西风·2024-01-14 14:36

test-04-test case generate 测试用例生成 tcases A model-based test case generator

拓展阅读junit5系列基于junit5实现junitperf源码分析Autogeneratemockdataforjavatest.
老马啸西风·2024-01-14 14:36

test-02-test case generate 测试用例生成 EvoSuite 介绍

拓展阅读junit5系列基于junit5实现junitperf源码分析Autogeneratemockdataforjavatest.
老马啸西风·2024-01-14 14:29

Hadoop HDFS集群 和 Yarn集群的架构

目录前言：Hadoop介绍Hadoop2.XHDFS集群架构Hadoop2.XYarn集群Hadoop介绍Hadoop的核心主要包含两个部分：HDFS和MapReduce。
听风细雨66·2024-01-14 14:15

Vue源码分析—组件化(五)

组件注册在Vue.js中，除了它内置的组件如keep-alive、component、transition、transition-group等，其它用户自定义组件在使用前必须注册。在开发过程中可能会遇到如下报错信息：'Unknowncustomelement:-didyouregisterthecomponentcorrectly?Forrecursivecomponents,makesureto
oWSQo·2024-01-14 14:54

flink源码分析 - yaml解析

flink版本:flink-1.12.1代码位置:org.apache.flink.configuration.GlobalConfiguration主要看下解析yaml文件的方法:org.apache.flink.configuration.GlobalConfiguration#loadYAMLResource/**LicensedtotheApacheSoftwareFoundation(A
zxfBdd·2024-01-14 13:39

flink源码分析 - flink命令启动分析

flink版本:flink-1.12.1源码位置:flink-dist/src/main/flink-bin/bin/flinkflink命令源码:#!/usr/bin/envbash#################################################################################LicensedtotheApacheSoftware
zxfBdd·2024-01-14 13:28

深入理解 Spark（一）spark 运行模式简介与启动流程源码分析

spark的运行模式standalone模式以standalone-client为例，运行过程如下：SparkContext连接到Master，向Master注册并申请资源（CPUCore和Memory）；Master根据SparkContext的资源申请要求和Worker心跳周期内报告的信息决定在哪个Worker上分配资源，然后在该Worker上获取资源，然后启动StandaloneExecut
我很ruo·2024-01-14 10:56

设计模式 代理模式(静态代理 动态代理) 与 Spring Aop源码分析 具体是如何创建Aop代理的

代理模式代理模式是一种结构型设计模式，它通过创建一个代理对象来控制对真实对象的访问。这种模式可以用于提供额外的功能操作，或者扩展目标对象的功能。在代理模式中，代理对象与真实对象实现相同的接口，以便在任何地方都可以使用相同的接口来调用真实对象的方法。这样做的好处是可以在不改变原始代码的情况下，增加或修改代码的行为。根据创建代理对象的方式和时机，代理模式可以被分为静态代理、动态代理等类型。其中，静态代
疯狂的狮子Li·2024-01-14 10:31

安卓MediaRecorder(3)音频采集编码写入详细源码分析

文章目录前言音频采集音频初始化AudioRecord分析AudioSource采集到音频音频编码音频编码后数据处理MPEG4Writer写入音频编码后数据到文件MPEG4Writer::Track取编码后的音频编数据结语本文首发地址https://blog.csdn.net/CSqingchen/article/details/134896808最新更新地址https://gitee.com/ch
清霜辰·2024-01-14 10:23

Hbase跨集群迁移

copyTable的本质也是利用MapReduce进行同步的，与DistC
喧嚣已默，往事非昨·2024-01-14 06:14

【opencv】中值滤波代码分析及优化

opencv源码分析opencv4.7.0实现中值滤波的主要函数有三个：（1）medianBlur_SortNet（2）medianBlur_8u_Om（3）medianBlur_8u_O1其中（1）是实现小核的中值
冷月枫晚·2024-01-14 05:25

【AI】AI和医疗大数据（2/3）

目录四、医疗大数据理论和技术五、非结构化处理的重要性和方法5.1采集技术5.2处理技术5.3存储技术5.4关于Mapreduce四、医疗大数据理论和技术医疗大数据的理论和技术主要包括以下几个方面：数据整合管理技术
giszz·2024-01-14 05:39

(Android 9.0)动态权限运行机制源码分析

概述Google在Android6.0开始引入了权限申请机制，将所有权限分成了正常权限和危险权限。应用的相关功能每次在使用危险权限时需要动态的申请并得到用户的授权才能使用。动态权限申请的使用主要涉及到以下几种方法：方法作用checkSelfPermission(@NonNullStringpermission)检查权限requestPermissions(@NonNullString[]permi
心中有梦丶身边有你·2024-01-14 04:07

Toast源码分析

Toast的使用Toast.makeText(MainActivity.this,"-----",Toast.LENGTH_LONG).show();publicstaticToastmakeText(Contextcontext,CharSequencetext,@Durationintduration){returnmakeText(context,null,text,duration);}p
风月寒·2024-01-14 03:10

第十六节 netty源码分析之 server端的源码分析

nettyserver端以netty官方EchoServer服务器端的启动代码分析:publicfinalclassEchoServer{staticfinalbooleanSSL=System.getProperty("ssl")!=null;staticfinalintPORT=Integer.parseInt(System.getProperty("port","8007"));public
勃列日涅夫·2024-01-14 02:49

大数据调度框架Oozie，这个学习网站让你事半功倍！

它主要用于管理和调度ApacheHadoop作业，支持的任务类型包括HadoopMapReduce、PigJobs等。Oozie的核心概念包括workflowjobs和coordinatorjobs。
知识分享小能手·2024-01-14 01:59

【五】CocosCreator-CCScheduler.js源码分析

PS：只是看源码学习过程中把认为重要的内容以笔记的形式记录下来。【1】HashTimerEntry：用于保存指定target的事件定时器相关参数的数据结构。【2】_hashForTimers：targetId作为key，HashTimerEntry【2】对象作为value的hash数组。【3】ListEntry：用于保存指定target的update定时器相关参数的数据结构【4】_hashForU
0zien0·2024-01-14 01:24

java技术专家【分布式框架】【通过C语言深度解读Redis核心架构】06-内存管理源码分析

文章目录一、动态内存分配器1.1、内存分配器概述进程的内存空间申请动态内存brk函数mmap1.2、Jemalloc设计Jemalloc的内存分配策略1.3、Redis的内存管理Redis的内存管理封装zmalloczcalloczreallocztryrealloc_usable
不走小道·2024-01-14 00:07

java技术专家【分布式框架】【通过C语言深度解读Redis核心架构】02-Redis底层数据结构源码分析之跳跃表的源码分析

文章目录二、跳跃表的源码分析2.1、跳跃表的基本思想2.2、节点与结构跳跃表节点跳跃表链表2.3、API解析zslCreatezslCreateNodezslInsertzslGetRankzslDelete2.4
不走小道·2024-01-14 00:34
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他