MapReduce源码分析

MIT 6.824 -- MapReduce Lab

MIT6.824--MapReduceLab环境准备实验背景实验要求测试说明流程说明实验实现GoLand配置代码实现对象介绍协调器启动工作线程启动Map阶段分配任务执行任务Reduce阶段分配任务执行任务终止阶段崩溃恢复注意事项并发安全文件转换
Binary Oracle·2023-11-28 04:18

SpringBoot——定制错误页面及原理

优质博文：IT-BLOG-CN一、SpringBoot默认的错误处理机制【1】浏览器返回的默认错误页面如下：☞浏览器发送请求的请求头信息如下：text/html会在后面的源码分析中说到。
程序猿进阶·2023-11-28 03:08

无标题文章

*redis数据库的交叉编译，移植以及性能测试>*metro项目采集模块，数据处理模块以及通信模块的测试>*嵌套链表的学习和应用>*基于zeroMQ消息总线实现局域网内的通信>*mqtt协议的学习以及源码分析
MrPretend·2023-11-28 01:35

【Android】Android Framework系列--Launcher3各启动场景源码分析

AndroidFramework系列–Launcher3各启动场景源码分析Launcher3启动场景Launcher3是Android系统提供的默认桌面应用(Launcher)，它的源码路径在“packages
林多·2023-11-28 01:06

EasyDarwin源码分析（三）——rtsp-client

rtsp-client.go这个模块主要实现了客户端的拉流功能。也就是在网页上点击“拉流分发”按钮后，easydarwin会向用户填写的源地址拉流，然后再转发出去，在向源地址拉流的时候，easydarwin相当于是一个rtsp客户端。所以这里使用rtsp-client.go。EasyDarwin中有两个模块分别是rtsp-server和rtsp-client，rtsp-server分析见：rtsp
MountainZero·2023-11-28 00:18

海思3518E开发笔记6.1——RTSP实时图传源码分析

目录源码框架分析RtspServer_initSAMPLE_VENC_720P_CLASSIC详细分析RtspServer_initRtspServerListenParseRequestStringOPTIONSDESCRIBEPLAYvdRTPSendThread源码框架分析主函数中只有两部分，初始化rtsp服务和视频编码程序RtspServer_init我们在编写代码前的设想是让开发板作为服
Spark！·2023-11-28 00:47

Spring中BeanFactory和FactoryBean区别

目录一、BeanFactory二、FactoryBean三、小结Spring学习专栏1.Spring源码分析（一）基本框架介绍2.Spring源码分析（二）两种方案搭建基础框架3.Spring中@Conditional
给自己一个 smile·2023-11-28 00:41

MapReduce 案例之倒排索引

1.倒排索引倒排索引是文档检索系统中最常用的数据结构，被广泛地应用于全文搜索引擎。它主要是用来存储某个单词（或词组）在一个文档或一组文档中的存储位置的映射，即提供了一种根据内容来查找文档的方式。由于不是根据文档来确定文档所包含的内容，而是进行相反的操作，因而称为倒排索引（InvertedIndex）。2.实例描述通常情况下，倒排索引由一个单词（或词组）以及相关的文档列表组成，文档列表中的文档或者是
piziyang12138·2023-11-27 23:45

DICOM图像显示-DCMTK-窗宽窗位调整和源码分析

  本篇文章介绍如何基于dcmtk实现Radiant软件的提供的窗宽窗位操作。dcmtk的其他高级窗宽窗位操作样例图像默认窗宽窗位如下：一.基于dcmtk实现Radiant软件的提供的窗宽窗位操作。radiant的窗宽窗位操作有如下几种：  Defaultwindow是dicom文件中默认的窗宽窗位  Fulldynamic是根据dicom文件中的最大CT值和最小CT值计算的窗宽窗位  Negat
DICOM医学影像·2023-11-27 23:56

dubbo源码分析 之 服务本地暴露

更多技术交流dubbo在服务暴露发生了哪些事，今天我们就来分析一下整个服务暴露中的本地暴露。本地暴露需要服务提供方与服务消费方在同一个JVM。下面我们来写一个本地暴露使用的例子：1DemoService.java2DemoServiceImpl.java3application.xml–Spring配置文件4Provider.java–调用本地暴露的服务使用context.getBean("dem
流浪java·2023-11-27 22:13

[简单集合] HashSet源码分析

2源码分析2.1属性//内部使用HashMapprivatetransientHashMapmap;//DummyvaluetoassociatewithanObjectinthebackingMap/
LZhan·2023-11-27 21:39

Android AIDL中使用Surface问题

interfaceIMonitorService{booleanaddSurface(inSurfacesurface);booleanremoveSurface(inSurfacesurface);}2.构建时报错3.Surface源码分析
smile_sambery·2023-11-27 21:56

Tomcat源码分析

Tomcat源码分析与实例Tomcat是一个开源的JavaWeb服务器，它提供了一种简单的方式来部署和运行JavaWeb应用程序。本文将详细介绍Tomcat的源码分析和实例。
最后一支迷迭香·2023-11-27 20:02

Flink入门（一）——Apache Flink介绍

随着雅虎对hadoop的开源，越来越多的大数据处理技术开始涌入人们的视线，例如目前比较流行的大数据处理引擎ApacheSpark,基本上已经取代了MapReduce成为当前大数据处理的标准。
大数据流动·2023-11-27 20:03

Hive 常见的数据倾斜及调优技巧

Hive在执行MapReduce任务时经常会碰到数据倾斜的问题，表现为一个或者几个reduce节点运行很慢，延长了整个任务完成的时间，这是由于某些key的条数比其他key多很多，这些Key所在的reduce
大数据技术架构·2023-11-27 19:44

【Java底层原理】-＞ Vector & ArrayList & LinkedList 详细分析

Vector&ArrayList&LinkedList详细分析Ⅰ从面试出发Ⅱ相关数据结构与算法ⅢJava集合框架设计结构Ⅳ源码分析①ArrayList②LinkedListⅤ总结Ⅰ从面试出发这篇文章我们先从一个面试问题出发
_为光·2023-11-27 19:37

ArrayList与LinkedList源码分析

ArrayList源码分析1.概述ArrayList是一种变长的集合类，基于定长数组实现。
火龙果儿·2023-11-27 19:36

【ArrayList、LinkedList使用get()方法获取元素时的效率对比，以及源码分析】

目录1.ArrayList使用get()方法的底层源码1.1ArrayList查找快的源码分析2.LinkedList使用get()方法的底层源码2.1LinkedList底层使用的是链表2.2LinkedList
ContinueWW·2023-11-27 19:00

eclipse中编写MapReduce报错Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop

log4j:WARNNoappenderscouldbefoundforlogger(org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARNPleaseinitializethelog4jsystemproperly.log4j:WARNSeehttp://logging.apache.org/log4j/1.2/faq.h
CC小耳朵·2023-11-27 19:59

Spring Cloud Netflex Eureka Server源码分析（二）

前言上一篇>，我们分析了eurekaserver配置和启动阶段的相关源码。今天来看看eurekaserver，是怎么实现服务注册、服务续约、服务下线的。eurakaserver端通过jersey来接收客户端发送的rest请求。Jersey是一个REST框架，提供JAX-RS参考实现等。Jersey提供了自己的API，这些API扩展了JAX-RS工具箱，并具有其他功能和实用程序，以进一步简化REST
程序员L札记·2023-11-27 19:16

ReentrantLock 源码分析

1、ReentrantLock特性  ReentrantLock是一把重入锁，可中断，可以限时，支持公平锁和非公平锁。  下面举一个生活中的例子，帮助大家来更好的理解ReentrantLock这些特性。  快过年了，在北上广的小伙伴们纷纷踏上了回家的旅途。由于小伙伴们一年都没回家了，一下班拿起行李箱就奔向了火车站。争先恐后的跑到G1020检票口检票回家，谁先跑到检票口，谁先验票，谁先回家。那些跑的
喬杰·2023-11-27 18:07

UIAutomator源码分析之启动和运行

https://blog.csdn.net/zhubaitian/article/details/40535579
Ming_a221·2023-11-27 17:48

结合源码谈谈对vue组件化的理解

1.组件定义image.png全局组件和单文件组件两种方式2.1全局组件源码分析1：src\core\global-api\assets.js//是component，filter，directive三个的综合方法
林不羁吖·2023-11-27 16:02

FreeRTOS的学习（十三）——任务创建

FreeRTOS的学习（四）——列表FreeRTOS的学习（五）——系统延时FreeRTOS的学习（六）——系统时钟FreeRTOS的学习（七）——1.队列概念FreeRTOS的学习（七）——2.队列入队源码分析
LEODWL·2023-11-27 13:51

FreeRTOS的学习（七）——2.队列入队源码分析

FreeRTOS的学习（四）——列表FreeRTOS的学习（五）——系统延时FreeRTOS的学习（六）——系统时钟FreeRTOS的学习（七）——1.队列概念FreeRTOS的学习（七）——2.队列入队源码分析
LEODWL·2023-11-27 13:50

FreeRTOS的学习（二）——任务优先级问题

FreeRTOS的学习（四）——列表FreeRTOS的学习（五）——系统延时FreeRTOS的学习（六）——系统时钟FreeRTOS的学习（七）——1.队列概念FreeRTOS的学习（七）——2.队列入队源码分析
LEODWL·2023-11-27 13:20

深入理解FreeRTOS_学习笔记(9.中断管理)

****我们这一章学习一下FreeRTOS的中断管理机制**文章目录前言一、中断是什么二、Cortex-M4中断管理3.源码分析总结前言我们都知道在FreeRTOS中几乎每个函数都有两个api，分别是用在任务之间的和中断之间的
QRS_HL·2023-11-27 13:46

FreeRTOS深入教程（软件定时器源码分析）

文章目录前言一、软件定时器结构体二、软件定时器的工作机制三、创建软件定时器四、启动软件定时器五、软件定时器如何知道什么时候被调用总结前言除了有硬件定时器，还有软件定时器，那么这篇文章将带大家学习一下软件定时器是如何工作的，以及分析软件定时器的内部源码。一、软件定时器结构体软件定时器的本质其实也是一个结构体，在FreeRTOS中会使用一个结构体来管理软件定时器。软件定时器结构体：typedefstr
花落已飘·2023-11-27 13:07

Ingress-nginx 源码分析

对于像我这样的k8s萌新来说，ingress-nginx项目有着很重要的意义。从学习k8s的角度来讲，它功能简练，代码量相对较少，很适合我们通过它来侧面理解k8s中的一些概念。话不多说这就开始我们本次的分享。本文以nginx-0.21.0tag作为分析对象。思路首先，单就项目名称ingress-nginx可以看出是利用nginx来实现的ingresscontroller。相信nginx大家都很熟悉
saberuster·2023-11-27 13:45

Spark的部署与使用

1.1与Hadoop区别Spark与Hadoop中的MapReduce相似，都是用于进行并行计算的框架，二者根本差异是多个作业之间的数据通信问题:Spark的多个作业之间数据通信是基于内存，而Hadoop
Vic·Tory·2023-11-27 12:01

Mongodb中Aggregation特性

Mongodb本身也提供了aggregation、mapreduce特性，以支持对大数据的计算、统计、分类等需求。
shift_alt_ctrl·2023-11-27 12:45

2 MapReduce计算的流程-Hadoop

架构图1map端分块针对上传到hdfs上的文件，会针对文件进行分块（物理分块，固定大小64M，多余的则进行分，少的则不变），分块之后存储相应的datanode计算机的磁盘上面；把File划分成Block，这个是物理上真真实实的进行了划分，数据文件上传到HDFS里的时候，需要划分成一块一块，每块的大小由hadoop-default.xml里配置选项进行划分。一个大文件可以把划分后的所有块存储到同一个
汀沿河·2023-11-27 12:07

Leakcanary - hprof分析库shark 源码分析

shark是leakcanary2.0之后引入的hprof分析库，代替了haha，在leakcanary中所处的位置如下图所示，包括shark-hprof，shark-graph，shark，shark-android四个模块shark-hprof用于读取hprof文件，解析hprof，里边定义了hprof数据格式，和java的类，对象，基本数据类型一致shark-graph用于索引hprof，找
stone_cold_cool·2023-11-27 10:00

25. Spring源码篇之SpEL表达式

SpringExpressionLanguage）表达式简称SpEL表达式,该功能在Spring中实现还是比较复杂，在Spring中单独有一个模块spring-expression来实现，所以本文主要看一小部分的源码，大概知道怎么使用就行了源码分析在
shura1014·2023-11-27 10:47

spark篇（一）——Spark核心概念与操作

它的优势有三个方面：通用计算引擎能够运行MapReduce、数据挖掘、图运算、流式计算、SQL等多种框架；基于内存数据可缓存在内存中，特别适用于需要迭代多次运算的场景；与Hadoop集成能够直接读写HDFS
许志辉Albert·2023-11-27 08:53

Handler消息机制解析

本次源码基于Android12.0分析Looper源码分析作用：每个线程中只有一个Looper，Looper在创建的时候同时创建了一个MessageQueue,所以每个线程中也只有一个MessageQueue
isLJli·2023-11-27 07:53

live555 RTSP服务器与客户端通信源码分析

live555RTSP客户端服务器通信本文说明预备知识代码分析服务端主进程消息循环服务器端客户端主进程客户端题外话本文说明live555已经发展了很多年，不过最新的live555版本，笔者没有编译通过，最终选择了2019.8.28的live555代码，如果有需要的同学，可以自行去Indexof/pub/contrib/live555/(videolan.org)去下载，不过需要自己去编译，我的编译
abcd552191868·2023-11-27 06:04

Spark分布式机器学习源码分析：线性模型

Spark是一个极为优秀的大数据框架，在大数据批处理上基本无人能敌，流处理上也有一席之地，机器学习则是当前正火热AI人工智能的驱动引擎，在大数据场景下如何发挥AI技术成为优秀的大数据挖掘工程师必备技能。本文结合机器学习思想与Spark框架代码结构来实现分布式机器学习过程，希望与大家一起学习进步～本文采用的组件版本为：Ubuntu19.10、Jdk1.8.0_241、Scala2.11.12、Had
大数据之眸·2023-11-27 06:55

iOS 逆向开发18：fishhook源码分析

iOS逆向开发文章汇总源码fishhook.cstaticvoidperform_rebinding_with_section(structrebindings_entry*rebindings,section_t*section,intptr_tslide,nlist_t*symtab,char*strtab,uint32_t*indirect_symtab){//nl_symbol_ptr和l
differ_iOSER·2023-11-27 06:48

Retrofit怎么返回一个JSON字符串？

先看源码通过一系列的源码分析，最后定位到OkHttpCall中的parseResponse()方法：下面代码中的parseResponse方法是纯复制过来的，没改过，可以看出当接口返回正确的数据之后，无论如何都会调用
小林望北·2023-11-27 06:02

Golang 中 defer 机制分析

目录defer关键字defer源码分析总结了解更多1、defer关键字在Go中defer语句是一般用来做一些清理或者后置的工作。defer语句的执行顺序是LIFO规则。
DigitMagic魔数实验室·2023-11-27 06:24

linux内核源码分析之伙伴系统（一）

目录一、重要结构体二、数据结构之间的关系1、分配数量2、区域类型3，备用区域列表4、区域水位5、min_free_kbytes三、分配页面1、ac参数获取值2，快速分配3，慢速分配伙伴系统是linux内存管理的方法。两个关键特征：速度和效率。一、重要结构体页(page)一个page结构表示一个物理内存页面。区（zone）因为硬件限制，Linux内核不能把所有的物理内存页统一对待，把属性相同的物理内
为了维护世界和平_·2023-11-27 05:01

React Native 源码分析（五）—— Fabric创建View的过程

这篇文章详细分析一下，在ReactNative新架构下，Fabric是如何创建View的，从React层发送把View信息到原生端开始分析。说明一点，React层fiber的创建更新过程，不属于Fabric。其中Yoga的绘制过程不会太详细，只会给出大概流程，像布局缓存这些。文章的重点是帮你理解Fabric的整体流程。代码分析以断点截图方式体现，可以更方便查看运行的过程1、ReactNative源
薛瑄·2023-11-27 04:49

微服务生态组件之Spring Cloud LoadBalancer详解和源码分析

SpringCloudLoadBalancer概述SpringCloudLoadBalancer目前Spring官方是放在spring-cloud-commons里，SpringCloud最新版本为2021.0.2SpringCloudLoadBalancer官网文档地址CloudNativeApplicationsSpringCloud官网文档地址SpringCloud一方面NetflixRib
Firstlucky77·2023-11-27 04:30

Spark入门之五：SparkSQL的原理以及架构

1、SparkSQL的发展历程1.1HiveandSharkSparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，它是当时唯一运行在
铁猴·2023-11-27 03:03

HBase权威指南

推荐序Google公司提出的MapReduce编程框架、GFS文件系统和BigTable存储系统成为了大数据处理技术的开拓者和领导者，而源于这三项技术的ApacheHadoop等开源项目则成为了大数据处理技术的事实标准
yeedom·2023-11-27 00:52

你不知道的LinkedList(一)：基于jdk1.8的LinkdeList源码分析

[toc]在对ArrayList源码有过了解之后，现在对LinkedList源码进行相应的分析。1.结构及成员变量1.1基本结构linkedList本质是实现了一个双向链表。其类继承关系如下图：image.png可以看到LinkedList继承了AbstractSequentialList,实现了List,Deque,Cloneable,java.io.Serializable。比较特别的是实现了
冬天里的懒喵·2023-11-27 00:55

【案例讲解】LVGL 如何用LVGL画加载圈

更多源码分析请访问：LVGL源码分析大全目录1、概述2、实现效果图3、实现思路4、代码详解1、概述很多场景下，在用户操作时，需要使用一个加载圈来缓解用户焦虑问题。
Bigan(安)·2023-11-26 21:30

Android setContentView源码分析

最近在熟悉Android的源码，今天看一下Activity加载SetContentView(intresId)整个流程。1.Activity.setContentView(intlayoutResID)/***Settheactivitycontentfromalayoutresource.Theresourcewillbe*inflated,addingalltop-levelviewstoth
Leon_hy·2023-11-26 19:53

STL pair源码分析

STLpair源码分析pair是STL中提供的一个简单的struct，用来处理类型不同的一对值，是非常常用的数据结构。
异次元的归来·2023-11-26 18:04
上一页 37 38 39 40 41 42 43 44 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他