MapReduce源码分析

【HarmonyOS】- HAR与HSP区别及使用原则

文章目录知识回顾前言源码分析1.2.3.拓展知识总结知识回顾前言HAR与HSP源码分析1.2.3.拓展知识总结系统提供了两种共享包，HAR静态共享包和HSP动态共享包。
数的羊都睡了·2024-09-09 20:41

fescar源码分析4-TM

一、概要说明这里重点分析下TM的实现。下面是TM的定义：TransactionManager(TM):明确全局事务的范围：开始一个全局事务，提交或者回滚一个全局事务简单来说，就是分布式事务的业务发起方。二、配置定义GlobalTransactionScanner。构造函数如下。applicationId和txServiceGroup我们这里可以理解为一个分布式事务的唯一标识。可以用于保存一个事务的
leiwingqueen·2024-09-09 12:39

Leveldb源码分析--9

6SSTable之36.5读取sstable文件6.5.1类层次Sstable文件的读取逻辑在类Table中，其中涉及到的类还是比较多的，如图6.5-1所示。图6.5-1Table类导出的函数只有3个，先从这三个导出函数开始分析。其中涉及到的类（包括上图中为画出的）都会一一遇到，然后再一一拆解。本节分析sstable的打开逻辑，后面再分析key的查找与数据遍历。6.5.2Table::Open()
sparkliang·2024-09-09 04:23

鸿蒙轻内核M核源码分析系列二十 Newlib C

LiteOS-M内核LibC实现有2种，可以根据需求进行二选一，分别是musllibC和newlibc。本文先学习下NewlibC的实现代码。文中所涉及的源码，均可以在开源站点https://gitee.com/openharmony/kernel_liteos_m获取。使用MuslC库的时候，内核提供了基于LOS_XXX适配实现pthread、mqeue、fs、semaphore、time等模块
OpenHarmony_小贾·2024-09-09 04:50

鸿蒙轻内核M核源码分析系列十七（2） 异常钩子函数的注册操作

本文中所涉及的源码，以OpenHarmonyLiteOS-M内核为例，均可以在开源站点https://gitee.com/openharmony/kernel_liteos_m获取。鸿蒙轻内核异常钩子模块代码主要在components\exchook目录下。异常钩子函数的注册、解注册、异常钩子类型定义在utils\los_debug.h|.c。1、异常钩子函数节点结构体和异常钩子函数节点数组在文件
OpenHarmony_小贾·2024-09-09 04:50

鸿蒙轻内核M核源码分析系列十五 CPU使用率CPUP

CPUP（CentralProcessingUnitPercentage，CPU占用率）分为系统CPU占用率和任务CPU占用率。用户通过系统级的CPU占用率，判断当前系统负载是否超出设计规格。通过系统中各个任务的CPU占用情况，判断各个任务的CPU占用率是否符合设计的预期。系统CPU占用率是指周期时间内系统的CPU占用率，用于表示系统一段时间内的闲忙程度，也表示CPU的负载情况。系统CPU占用率的
OpenHarmony_小贾·2024-09-09 04:50

鸿蒙轻内核M核源码分析系列十六 MPU内存保护单元

本文主要分析鸿蒙轻内核MPU模块的的源码。本文中所涉及的源码，以OpenHarmonyLiteOS-M内核为例，均可以在开源站点https://gitee.com/openharmony/kernel_liteos_m获取。鸿蒙轻内核支持的ARMCortex-M芯片架构都支持MPU的，代码都是一样的，以kernel\arch\arm\cortex-m4\gcc\los_mpu.c为例进行讲解。1、
OpenHarmony_小贾·2024-09-09 04:50

鸿蒙轻内核M核源码分析系列十三 消息队列Queue

队列（Queue）是一种常用于任务间通信的数据结构。任务能够从队列里面读取消息，当队列中的消息为空时，挂起读取任务；当队列中有新消息时，挂起的读取任务被唤醒并处理新消息。任务也能够往队列里写入消息，当队列已经写满消息时，挂起写入任务；当队列中有空闲消息节点时，挂起的写入任务被唤醒并写入消息。如果将读队列和写队列的超时时间设置为0，则不会挂起任务，接口会直接返回，这就是非阻塞模式。消息队列提供了异步
OpenHarmony_小贾·2024-09-09 04:20

Hive的优势与使用场景

它利用Hadoop的MapReduce或Spark来执行查询，具备高度扩展性，适合大数据处理。2.支持SQL-like查询语言(Hi
傲雪凌霜，松柏长青·2024-09-08 17:07

HashMap源码分析

一.HashMap类结构二.属性解析1.默认初始容量staticfinalintDEFAULT_INITIAL_CAPACITY=1MAXIMUM_CAPACITY)initialCapacity=MAXIMUM_CAPACITY;if(loadFactor>>1;n|=n>>>2;n|=n>>>4;n|=n>>>8;n|=n>>>16;return(n=MAXIMUM_CAPACITY)?MAX
SimpleRecord·2024-09-08 17:01

Linux驱动学习--网络设备驱动架构介绍及底层源码分析

------>网络协议接口层------>sk_buff------>sk_buff的操作函数------>网络设备接口层------>net_device相关介绍------>设备驱动接口层四、驱动源码分析
文艺小少年·2024-09-08 00:41

View绘制流程（三） - onLayout

onLayout了，作用是确定view的位置；performTraversals__>perforLayouthost.layout__>view.onLayout__>viewgroup.onLayout2.源码分析
世道无情·2024-09-07 21:31

Mapbox源码分析（1）样式加载

简介:通过源码，我们来一步步分析Mapbox地图引擎如何进行不同样式的数据加载的，这里是基于5.3.0的版本．通过官网案例，我们知道在SDK中配置了不同的style样式给我们使用，通过配置不同style,便可加载不同的类型地图，那么我们便可以从setStyleUrl()这个方法着手．这里我们从MapView的setStyleUrl()方法看起这里我们看到，他将相关配置直接往下传到底层了，从nati
一个观察世界的普通人·2024-09-07 19:17

Spark概念知识笔记

最近总结了个人的各项能力，发现在大数据这方面几乎没有涉及，因此想补充这方面的知识，丰富自己的知识体系，大数据生态主要包含：Hadoop和Spark两个部分，Spark作用相当于MapReduceMapReduce
kuntoria·2024-09-07 05:21

【Hadoop】- MapReduce & YARN 初体验[9]

目录提交MapReduce程序至YARN运行1、提交wordcount示例程序1.1、先准备words.txt文件上传到hdfs，文件内容如下：1.2、在hdfs中创建两个文件夹，分别为/input、/
星星法术嗲人·2024-09-07 04:21

前端MVVM框架设计及实现（一）

最近抽出点时间想弄个dom模块化的模板引擎，不过现在这种都是MVVM自带的，索性就想自己造轮子写一个简单的MVVM框架了借鉴的自然还是从正美的avalon开始了，我记得还是去年6月写过一个系列的avalon源码分析的
baoaoba9317·2024-09-06 13:08

spring读取java启动参数_Spring Boot启动命令参数详解及源码分析

本文带大家系统的了解一下SpringBoot命令行参数相关的功能及相关源码分析。
weixin_39613692·2024-09-06 10:47

DAG (directed acyclic graph) 作为大数据执行引擎的优点

TL;DR-ConceptuallyDAGmodelisastrictgeneralizationofMapReducemodel.DAG-basedsystemslikeSparkandTezthatareawareofthewholeDAGofoperationscandobetterglobaloptimizationsthansystemslikeHadoopMapReducewhicha
joeywen·2024-09-06 04:43

Hadoop组件

Pig：一种高级数据流语言和执行引擎，用于编写MapReduce任务。Pig
静听山水·2024-09-05 20:14

Hadoop-MapReduce机制原理

MapReduce机制原理1、MapReduce概述2、MapReduce特点3、MapReduce局限性4、MapTask5、Map阶段步骤：6、Reduce阶段步骤：7、MapReduce阶段图1、
H.S.T不想卷·2024-09-05 11:46

Ribbon 源码分析【Ribbon 负载均衡】

前言在SpringCloud2020版本以后，移除了对Netflix的依赖，也就移除了负载均衡器Ribbon，SpringCloud官方推荐使用Loadbalancer替换Ribbon，而在LoadBalancer之前SpringCloud一直使用的是Ribbon来做负载[均衡器的，而且Ribbon的负载均衡策略也比Loadbalancer更为丰富，本篇分享一些关于Ribbon相关的源码。Ribb
码农爱java·2024-09-05 07:18

nginx源码分析--内存池

内存池是nginx很重要的数据结构，结构图大概如下。ngx_palloc.h/**Copyright(C)IgorSysoev*Copyright(C)Nginx,Inc.*/#ifndef_NGX_PALLOC_H_INCLUDED_#define_NGX_PALLOC_H_INCLUDED_#include#include/**NGX_MAX_ALLOC_FROM_POOLshouldbe(n
theanarkh·2024-09-05 04:01

EMR组件部署指南

EMR(ElasticMapReduce)是一个大数据处理和分析平台,包含了多个开源组件。
ivwdcwso·2024-09-05 00:05

kube-scheduler调度策略之优选算法(四)

二、正文说明：基于kubernetesv1.12.0源码分析上文我们说的(g*genericScheduler)Schedule()函数调用了PrioritizeNodes()执行优选策略(打分)，接下来我们就具体展开分析
SRExianxian·2024-09-04 23:31

超维小课堂 | 7、ROS使用offboard模式控制无人机定点悬停源码分析

源码分析可以查看代码注释即可。此处为视频详解：源码视频详解：特别注意：
流浪者1015·2024-09-03 13:23

hive学习记录

Hive将HQL（HiveQueryLanguage）转化成MapReduce程序或其他分布式计算引擎（如Tez、Spark）的任务进行计算。
2302_80695227·2024-09-03 12:46

Mapreduce是什么

简单来说，MapReduce是一个编程模型，用以进行大数据量的计算。
whisky丶·2024-09-03 01:07

Hadoop之MapReduce

1.MapReduce解决的问题1)数据问题：10G的TXT文件2)生活问题：统计分类上海市的图书馆的书2.MapReduce是什么MapReduce是一种分布式的离线计算框架，是一种编程模型，用于大规模数据集
qq_43198449·2024-09-03 01:07

生产环境中MapReduce的最佳实践

目录MapReduce跑的慢的原因MapReduce常用调优参数1.MapTask相关参数2.ReduceTask相关参数3.总体调优参数4.其他重要参数调优策略MapReduce数据倾斜问题1.数据预处理
大数据深度洞察·2024-09-03 00:33

apache 网站转nginx_nginx部署避坑指南+高级配置详解

provisionalheadersareshown四：nginx服务访问出现403问题五：nginx的反向代理及负载均衡原理及实现（高级教程）微信前端核心500人群：群内不定期会有赞助商送书活动，BAT大厂资深大牛定期推送面经与源码分析
weixin_39818691·2024-09-03 00:59

Hive 运行在 Tez 上

Tez介绍Tez是一种基于内存的计算框架，速度比MapReduce要快解释：浅蓝色方块表示Map任务，绿色方块表示Reduce任务，蓝色边框的云朵表示中间结果落地磁盘。
爱吃酸梨·2024-09-02 20:07

Spring高手之路22——AOP切面类的封装与解析

2.1什么是Advisor2.2Advisor的构建（源码分析+时序图说明）3.TargetSource的构建和作用3.1TargetSource的作用3.2TargetSource的构建1.AOP是如何收集切面类并封装的
砖业洋__·2024-09-02 15:09

ffplay源码分析（五）包缓存队列和帧缓存队列

在音视频处理流程中，ffplay的有两种队列，包缓存队列（PacketBufferQueue）和帧缓存队列（FrameBufferQueue）。这两个队列的存在，是为了适应音视频数据处理过程中的多线程架构——包括收包线程、解码线程和渲染线程。具体来说，收包线程负责从网络或文件中读取数据并将其放入包缓存队列中；解码线程从包缓存队列中取出数据进行解码，然后将解码后的数据放入帧缓存队列中；最后，渲染线程
头快撑不住了·2024-09-02 12:23

Spring-Security（二）OAuth2认证详解（持续更新）

SpringSecurity&Oauth2系列：SpringSecurity（一）源码分析及认证流程SpringSecurity（二）OAuth2认证详解及自定义异常处理文章目录1、OAuth2.0简介
lbmydream·2024-09-02 11:46

kubernetes垃圾回收器GarbageCollector 源码分析（三）

kubernetes版本：1.13.2接两节：kubernetes垃圾回收器GarbageCollectorController源码分析（一）kubernetes垃圾回收器GarbageCollectorController
进击云原生·2024-09-02 04:32

经验笔记：Hadoop

Hadoop的核心是HadoopDistributedFileSystem(HDFS)和YARN(YetAnotherResourceNegotiator)，这两个组件加上MapReduce编程模型，构成了
漆黑的莫莫·2024-09-02 03:54

16 - ReentrantLock 可重入锁

ReentrantLock可重入锁1.ReentrantLock概念1.1背景1.2保证可见性1.3可重入锁1.4公平锁与非公平锁2.源码分析2.1类结构2.2获取锁2.3释放锁2.4如何实现重入3.总结
坯子蔡·2024-09-01 20:44

大数据毕业设计hadoop+spark+hive微博舆情情感分析 知识图谱微博推荐系统

（一）Selenium自动化Python爬虫工具采集新浪微博评论、热搜、文章等约10万条存入.csv文件作为数据集；（二）使用pandas+numpy或MapReduce对数据进行数据清洗，生成最终的.
qq_79856539·2024-09-01 11:16

Data-Intensive Text Processing with MapReduce

大量高效的MapReduce程序因为它简单的编写方法而产生：除了准备输入数据之外，程序员只需要实现mapper和ruducer接口，或加上合并器（combiner）和分配器（partitioner）。
西二旗小码农·2024-09-01 09:56

双十一云起实验室体验专场，七大场景，体验有礼

\大数据计算场景《基于EMR离线数据分析》E-MapReduce（简称“EMR”）是
阿里云天池·2024-08-31 01:30

mupdf源码分析

作者：帅得不敢出门C++哈哈堂群31843264转载请保留此信息只是粗略地说了下，其实谈上不分析，先列几个比较主要的结构体structfz_obj_s{intrefs;fz_objkindkind;union{intb;inti;floatf;struct{unsignedshortlen;charbuf[1];}s;charn[1];struct{intlen;intcap;fz_obj**it
帅得不敢出门·2024-08-30 16:38

小白学习大数据测试之hadoop hdfs和MapReduce小实战

转发是对小编的最大支持在湿货|大数据测试之hadoop单机环境搭建(超级详细版)这个基础上，我们来运行一个官网的MapReducedemo程序来看看效果和处理过程。
大数据学习02·2024-08-30 11:39

十：深入理解 CyclicBarrier—— 栅栏锁

目录1、CyclicBarrier入门1.1、概念1.2、案例2、CyclicBarrier源码分析2.1、类结构2.2、`await()`方法——CyclicBarrier2.2.1、`dowait(
sco5282·2024-08-30 00:19

虚拟机安装hadoop，hbase（单机伪集群模式）

传统的数据库mysql，oracle显然在处理大数据量级的数据时显得力不从心，所以有些特定的业务需要引进能够处理大数据量的数据库，hadoop提供了分布式文件系统（HDFS）来存储数据，又提供了分布式计算框架（mapreduce
流~星~雨·2024-08-29 21:31

【QT教程】QT6桌面应用开发

QT6桌面应用开发使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT视频课程
QT性能优化QT原理源码QT界面美化·2024-08-29 20:52

【QT教程】QT6 WebEngine QT Web浏览器编程

QT6WebEngine使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT
QT性能优化QT原理源码QT界面美化·2024-08-29 19:45

Hbase离线迁移

hadoopdistcp-Dmapreduce.job.hdfs-servers.token-renewal.exclude="xx.xx.xx.xx"-i-strat
我要用代码向我喜欢的女孩表白·2024-08-29 15:22

UGUI源码分析与研究3-扩展UGUI实现自定义UI组件

扩展UGUI是指在Unity中使用UGUI（UnityGUI）系统来创建自定义UI组件。UGUI是Unity提供的一套用于创建用户界面的工具，它提供了一系列的UI元素和交互件，可以用于构建游戏中的各种用户界面。要扩展UGUI实现自定义UI组件，可以按照以下步骤进行：创建自定义UI组件的脚本：首先，在Unity中创建一个新的C#脚本，用于定义你的自定义UI组件。这个脚本将继承自Unity的UI组件类
unity学院·2024-08-29 14:39

Kylin的工作原理及使用分享操作指南

1.Kylin概述Kylin是一个开源项目，支持SQL查询，兼容与Hive和MapReduce等大数据技术的集成。
vvvae1234·2024-08-29 05:14

IDA 动态调试Android8 SO .init .init_array JNI_Onload

请读者先查看androidloadLibrary源码分析查找关键函数的偏移地址想要调试.init.init_array必须找到，call_function函数中的function(g_a
Sharkchilli·2024-08-29 00:57
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他