MapReduce源码分析

大数据 - Hadoop系列《四》- MapReduce（分布式计算引擎）的核心思想

上一篇：大数据-Hadoop系列《三》-MapReduce（分布式计算引擎）概述-CSDN博客目录13.1MapReduce实例进程13.2阶段组成13.4概述13.4.1Map阶段（映射）13.4.2Reduce
王哪跑nn·2024-01-31 06:02

单元测试框架JUnit 4.12源码分析

1、源码分析流程：初窥门径之JUnit源码分析中提到源码分析建议按如下步骤进行：1、了解框架架构图2、了解各个package包所包含的功能点3、选择需要关注/感兴趣/待解决问题的功能点入手4、了解数据流和控制流
TTKatrina·2024-01-31 06:42

Java集合类（二十二）JUC中的集合--ConcurrentLinkedQueue

ConcurrentLinkedQueue介绍二ConcurrentLinkedQueue原理和数据结构三ConcurrentLinkedQueue函数列表四ConcurrentLinkedQueue源码分析创建添加删除一
keep_trying_gogo·2024-01-31 06:38

源码分析:SpringBoot启动流程分析原理

我们都知道SpringBoot自问世以来，一直有一个响亮的口号"约定优于配置"，其实一种按约定编程的软件设计范式，目的在于减少软件开发人员在工作中的各种繁琐的配置，我们都知道传统的SSM框架的组合，会伴随着大量的繁琐的配置；稍有不慎，就可能各种bug，被人发现还以为我们技术很菜。而SpringBoot的出现不仅大大提高的开发人员的效率，还能避免由于"手抖"带来的配置错误。很多程序员都感慨**Spr
一年春又来·2024-01-31 05:51

JUC介绍及底层源码分析（详解）

线程基础知识复习1,线程基本概念一个线程只能属于一个进程，但一个进程可以有多个线程或者说至少有一个线程，通常也就是我们说的主线程了，资源分配给进程同一进程的所有线程共享该进程的所有资源，线程在执行过程中需要协作同步，不同进程的线程间，要利用消息通信的办法实现同步，处理机分给线程，即真正的处理及上运行的是线程，线程是指进程内的一个执行单元，也是进程内的可调度实体。2,生命周期线程调用start方法进
有心不在迟·2024-01-31 04:55

mybatis源码分析-资源加载-下篇

处理mapper节点构造函数中已经有很多很多默认类型匹配。这就是为什么在写sql的时候返回类型会自动映射到相应的java类型上面，这里已经处理好了。继续看最复杂的mapper在上面处理configuration节点的最后一句mapperElement(root.evalNode("mappers"));。这个是配置文件里面最复杂的，所以再处理上面Mybatis多写了两个类专门处理mapper数据X
cjxz·2024-01-31 04:19

MapReduce 论文阅读笔记 MapReduce 简介

论文：MapReduce:SimplifiedDataProcessingonLargeClustersJeffreyDeanandSanjayGhemawatGooglehttps://pdos.csail.mit.edu
RzBu11d023r·2024-01-31 04:34

读论文Google-MapReduce

江湖永流传：谷歌技术有“三宝”，GFS,MapReduce和大表（BigTable)!作为一名大数据兼计算机外行人，读完了Google-MapReduce这篇论文后萌生了一点小感悟（实则拙见）。
.金木研.·2024-01-31 04:03

论文阅读-MapReduce

论文名称：MapReduce:SimplifiedDataProcessingonLargeClusters翻译的效果不是很好，有空再看一遍，参照一下别人翻译的。
向来痴_·2024-01-31 04:31

Deepdive关系抽取：特征源码分析及优化加快信息提取

前言本篇不是Deepdive入门教程，而是对其一些源码细节进行了解读，换句话说要深入到内部去看看其具体是怎么做的，所以看本篇的前提是假设读者已经大概清楚了deepdive的使用流程，如果不是很熟悉，或是第一次使用建议先去看一下入门教程。本篇先是分析特征方面的源码，接着是实践部分，即使用ltp替换默认的斯坦福NLP信息抽取部分进而可优化该部分到数秒内，最后简单说一下其模型方面的问题以及其它补充其实关
weixin_42001089·2024-01-31 04:57

HBase 1.2.0源码分析：MemStoreFlusher

MemstoreFlush流程为了减少flush过程对读写的影响，HBase采用了类似于两阶段提交的方式，将整个flush过程分为三个阶段：prepare阶段：遍历当前Region中的所有Memstore，将Memstore中当前数据集kvset做一个快照snapshot，然后再新建一个新的kvset。后期的所有写入操作都会写入新的kvset中，而整个flush阶段读操作会首先分别遍历kvset和
Alex90·2024-01-31 03:35

mongodb java 注入_java-spring与mongodb的整合方式一 手动注入xml

但是其中的操作都比较直白没有经过封装而且每次使用前都要先写数据库名和Ip端口这次我们把spring和mongodb整合起来内容如下:1.创建项目和配置xml2.spring-mongodb的增删改查mapreduce1
耳鸣的大金·2024-01-31 02:32

【Java系列】ArrayList源码解析

温馨提示：本文源码分析基于JDK1.8。
Hyatt1024·2024-01-30 23:43

Nacos服务注册源码解析

目录一、Nacos服务架构二、Nacos服务注册流程图（源码级别）1.注册中心核心工作流程三、Nacos服务注册源码解析1.服务注册1.1客户端服务注册1.1.1添加依赖1.1.2源码分析1.1.2.1NacosAutoServiceRegistration1.1.2.1NacosServiceRe
Hyatt1024·2024-01-30 23:39

Spring源码深度解析：十三、JdbcTemplate 的源码分析

一、前言文章目录：Spring源码深度解析：文章目录二、JdbcTemplateJdbcTemplate是SpringTemplate设置模式中的一员。类似的还有TransactionTemplate、MongoTemplate等。通过JdbcTemplate我们可以使得Spring访问数据库的过程简单化。在JdbcTemplate中执行SQL语句的方法大致分为3类：execute：可以执行所有S
代码的知行者·2024-01-30 20:57

spring的JdbcTemplate源码分析

JdbcTemplate是spring对jdbc的封装，提供了操作数据库的模板。以前只是知道怎么用，今天有时间就去看了源码，加深自己的理解和阅读源码的能力。首先JdbcTemplate是org.springframework.jdbc.core的一个类，在spring-jdbc-4.1.3.RELEASE.jar包中。springAPI中介绍的第一句话就说**Thisisthecentralcla
yiwuxia23·2024-01-30 20:57

Spring源码分析七：JdbcTemplate连接数据库原理

文章目录（一）Spring连接数据库程序1、创建数据库表2、创建实体PO3、创建mapper映射4、创建业务接口5、创建业务接口实现类6、Spring配置文件7、测试类（二）JdbcTemplate核心原理1、update方法（执行DML语句）2、execute底层方法（底层核心，DDL）（1）获取数据库连接（2）用户查询参数设置（3）执行回调方法（4）告警处理（5）资源释放3、query方法（执
进击的猫·2024-01-30 20:56

Spring源码分析九：JdbcTemplate 的源码分析

文章目录一、前言二、JdbcTemplate二、核心方法-execute1.获取数据库连接2.应用用户设定的数据参数3.告警处理4.资源释放三、execute的回调1.Update中的回调函数2.query功能的实现四、其他一、前言本文是笔者阅读Spring源码的记录文章，由于本人技术水平有限，在文章中难免出现错误，如有发现，感谢各位指正。在阅读过程中也创建了一些衍生文章，衍生文章的意义是因为自己
猫吻鱼·2024-01-30 20:26

Spring：JDBCTemplate 的源码分析

一：JdbcTemplate的简介JdbcTemplate是SpringTemplate设置模式中的一员。类似的还有TransactionTemplate、MongoTemplate等。通过JdbcTemplate我们可以使得Spring访问数据库的过程简单化。二：执行SQL语句的方法1：在JdbcTemplate中执行SQL语句的方法大致分为3类execute：可以执行所有SQL语句，但是没有返
*共清欢*·2024-01-30 20:24

阿里云记录

目录我的阿里云控制台阿里云整体架构弹性计算服务ECSECS之初体验云数据库RDS云数据库管理初体验对象存储OSS使用云存储OSS的API上传和下载文件阿里云云盾（云安全）DDoS防护包RAM访问控制SDK开发E-MapReduce
Beth_Chan·2024-01-30 16:32

详细剖析Linux和RTOS（RT-Thread）的时钟和定时器的使用

Linux发烧友1.RTOS篇1.1RT-Thread简介1.2时钟管理1.2.1时钟节拍1.3获取系统节拍1.4定时器分类1.5定时器源码分析1.6定时器相关函数1.61动态创建一个定时器和删除定时器
魔动山霸·2024-01-30 16:45

Spark的核心RDD（Resilient Distributed Datasets弹性分布式数据集）

ResilientDistributedDatasets弹性分布式数据集）铺垫在hadoop中一个独立的计算，例如在一个迭代过程中，除可复制的文件系统（HDFS）外没有提供其他存储的概念，这就导致在网络上进行数据复制而增加了大量的消耗，而对于两个的MapReduce
fcyh·2024-01-30 15:46

数据治理实践 | 小文件治理

背景小文件是如何产生的：日常任务及动态分区插入数据（使用的Spark2MapReduce引擎），产生大量的小文件，从而导致
语兴数据·2024-01-30 15:29

ArrayList数据结构数组

以下是对ArrayList的源码分析和使用示例。基本数据结构ArrayList的内部数据结构基本上是一个数组。
辞暮尔尔-烟火年年·2024-01-30 13:05

java集合框架----Set 源码分析

Set简述Set是一个不包含重复元素的集合。它继承于Collection接口。它有以下特点：Set与List不同，JavaSet不是有序集合，它的元素没有特定的顺序Set不提供对插入元素的位置的控制Set不能通过索引访问元素，但是可以搜索列表中的元素Set允许最多仅添加一个null元素Set接口在Java8中有一个默认方法：spliteratorSet类图Set接口继承了Collection接口。
胖胖的小菜鸡·2024-01-30 11:59

Java常用集合ArrayList源码分析

ArrayList作为日常开发工作中使用的高频集合，虽然自己已经熟练使用了该集合的某些API，但总是感觉欠点火候，近期静下心来，结合各方资料，自己阅读了一遍源码，记录一下自己的想法。ArrayList源码相比于其他集合来说，比较简单，我从上往下阅读，争取一行一行解析。源码主体第一行表明：Arraylist是一个具体的实现类，实现了List,RandomAccess,Cloneable,java.i
爪哇通用技术·2024-01-30 11:21

guava中EventBus(事件总线)源码分析与使用

1.EventBus:事件发布-订阅消息总线,简化应用程序内各组件间、进行模块间通信、解耦。允许对象通过观察者模式相互通信。2.EventBus实现框架：greenrobot的EventBusguava中EventBus3.EventBus的工作模式Publisher（发布者）通过post（）方法，把Event事件发布出去，Subscriber（订阅者）在onEvent（）方法中接收事件。发布者：
mask哥·2024-01-30 11:50

「连载」边缘计算（十）01-29：边缘部分源码（源码分析篇）

（接上篇）组件中模块的共用框架和功能分析KubeEdge组件中各个功能模块之间是通过Beehive来组织和管理的。Beehive是一个基于go-channels的消息框架。但本文的重点不是Beehive，所以只会分析KubeEdge中用到的Beehive的相关功能。下面深入CloudCore、EdgeCore、edgemesh和edgesite组件，探究组件内部各功能模块的共用框架。在《深入理解边
十越科技·2024-01-30 10:58

「连载」边缘计算（九）01-26：边缘部分源码（源码分析篇）

（接上篇）Cloudcore源码入口Cloudcore源码入口为KubeEdge/cloud/CloudCore/CloudCore.go。CloudCore源码入口函数具体如下所示。funcmain(){command:=app.NewCloudCoreCommand()//此函数是对cobra调用的封装...}进入app.NewCloudCoreCommand()函数内部，也就是KubeEdg
十越科技·2024-01-30 10:57

fastjson源码分析之序列化

fastJson是很常用的序列化工具，用了这么久一直想底层看一下它的设计，探究一下它序列化和反序列化效率高的秘密。现在从最基础的用法开始，一点点揭开fastJson神秘的面纱。(版本：1.2.50)实际工程里，最常用的就是序列化和反序列化：ResultDOresultDO=newResultDO();StringjsonStr=JSON.toJSONString(resultDO);ResultD
weixin_30725467·2024-01-30 09:51

python爬虫+虚拟机centos7+pyqt5+mapreduce实现微博舆情分析系统

记录一下自己做的一个简单的微博舆情分析系统，但是mapreduce实际就是单独的一个模块，不属于系统的一个部分，还有很多的不足之处，第一次学习这方面的知识做的。后续希望进行改进。
deleteeee·2024-01-30 08:53

Hadoop3.x基础（1）

(4V)大数据应用场景Hadoop概述Hadoop是什么Hadoop发展历史（了解）Hadoop三大发行版本（了解）Hadoop优势（4高）Hadoop组成（面试重点）HDFS架构概述YARN架构概述MapReduce
魅美·2024-01-30 07:22

Hadoop-MapReduce-YarnChild启动篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在上一篇中已经将到：MRAppMaster的启动，那么运行MapTask、ReduceTask的容器（YarnChild）是怎么启动的呢？接下来我们一起来看看三、结论MRJobConfig是一个MRJob的配置，里面包含了Map、Reduce
隔着天花板看星星·2024-01-30 07:21

CH395Q之CH395Q驱动库移植与驱动库分析（二）

本节主要介绍以下内容：一、CH395Q驱动库移植二、源码分析一、CH395Q驱动库移植驱动库移植主要有两个途径，一个是南京沁恒官方网址，一个是通过正点原子官方，原子官方对沁横官方提供的驱动库进行了完善与修改
I am Supreme·2024-01-30 07:55

微服务-微服务Alibaba-Nacos 源码分析（上）

Nacos&Ribbon&Feign核心微服务架构图架构原理1、微服务系统在启动时将自己注册到服务注册中心，同时外发布Http接口供其它系统调用(一般都是基于SpringMVC)2、服务消费者基于Feign调用服务提供者对外发布的接口，先对调用的本地接口加上注解@FeignClient，Feign会针对加了该注解的接口生成动态代理，服务消费者针对Feign生成的动态代理去调用方法时，会在底层生成H
长情知热爱·2024-01-30 06:53

Pandora Bootstrap源码分析

@SpringBootApplicationpublicclassHSFProviderApplication{publicstaticvoidmain(String[]args){//启动PandoraBoot用于加载Pandora容器PandoraBootstrap.run(args);SpringApplication.run(HSFProviderApplication.class,arg
黄云斌huangyunbin·2024-01-30 05:41

hadoop必记知识点（1）

Hadoop核心组件包括HDFS（HadoopDistributedFileSystem）和MapReduce。其中，HDFS为分布式文件系统，负责数据存储；MapR
运维仙人·2024-01-30 02:40

hadoop必记知识点（3）

例如，如果我们进行一个求平均值的mapreduce任务，map任务输出的
运维仙人·2024-01-30 02:09

Ucos总结

Ucos源码分析1.Ucos源码分析------任务控制块与任务调度2.Ucos源码分析------事件控制块与事件控制3.Ucos源码分析------信号量4.Ucos源码分析------邮箱与队列5
一如既往_·2024-01-30 01:43

Ucos源码分析------内存管理

Ucos源码分析1.Ucos源码分析------任务控制块与任务调度2.Ucos源码分析------事件控制块与事件控制3.Ucos源码分析------信号量4.Ucos源码分析------邮箱与队列5
一如既往_·2024-01-30 01:13

大数据 - Hadoop系列《三》- MapReduce（分布式计算引擎）概述

上一篇文章：大数据-Hadoop系列《三》-HDFS（分布式文件系统）概述-CSDN博客目录12.1针对MapReduce的设计构思1.如何对付大数据处理场景2.构建抽象编程模型3.统一架构、隐藏底层细节
王哪跑nn·2024-01-29 23:31

Hive调优 | Hive常见数据倾斜及调优技巧

Hive在执行MapReduce任务时经常会碰到数据倾斜的问题，表现为一个或者几个reduce节点运行很慢，延长了整个任务完成的时间，这是由于某些key的条数比其他key多很多，这些Key所在的reduce
王知无·2024-01-29 21:10

全面解析基于Hadoop模型的数据分析平台框架

本文主要讲解以下两个方面：♦HadoopMapReduce与Hive技术研究♦数据分析平台框架设计与环境配置HadoopMapReduce与Hive技术研究一、Hadoop框架工作机制Hadoop框架定义
丨程序之道丨·2024-01-29 17:04

Chromium源码分析：ContentShell启动流程

http://mogoweb.net/archives/417ContentShell是基于ContentAPI的一个简单的浏览器外壳，下面我将分析chromiumforandroid中的ContentShell程序的启动流程。由于android程序的特殊性（一部分Java代码，一部分c++代码），所以看似简单的启动流程，在android版本的ContentShell却七拐八弯的，难以理清脉络。在
dzhjsofo·2024-01-29 15:28

AppTask.moveToFront()源码分析

ActivityManager.AppTask.moveToFront()执行后，导致其他AppTask退到了后台，点击返回直接回到了桌面（HomeScreen），没有回到上一个AppTask。下面分析一下源码看看为什么其他AppTask退到了后台，如何解决该问题。@SystemService(Context.ACTIVITY_SERVICE)publicclassActivityManager{
ShawnRacine·2024-01-29 12:58

【Spring】Spring&WEB整合原理及源码分析

原文：https://blog.csdn.net/reliveit/article/details/47256559
laosijikaichele·2024-01-29 12:18

STL源码分析：shared_ptr 和 weak_ptr

1.shared_ptr虽然早就对shared_ptr的原理烂熟于心，手撕也没少做过，但有时候总感觉对其还是很陌生；在看《Linux多线程服务端编程》时，作者提到一个析构动作在创建时被捕获又彻底把我搞懵了，终于下定决心要研究下GCC9.4中tr1下的源码；1.1基本架构shared_ptrsp(newTp1)，之后假设Tp和Tp1是相容的（可简单认为Tp是Tp1的基类），并且假设Tp1位于堆区；下
十一很迷茫·2024-01-29 12:01

Spark入门01

计算框架：Spark借鉴了MapReduce思想，保留了其分布式并行计算的有点并改进了其明显的缺陷，让中间数据存储在内存中提高了运行速度、并提供丰富的操作数据的API提高了开发速度
chde2Wang·2024-01-29 11:53

MR和Spark的比较

1、spark是基于内存进行数据处理的，MapReduce是基于磁盘进行数据处理的2、spark中具有DAG有向无环图，DAG有向无环图在此过程中减少了shuffle以及落地磁盘的次数3、spark是粗粒度资源申请
猿来孺词·2024-01-29 10:55

Hadoop学习之路（七） MapReduce框架Partitioner分区

在进行MapReduce计算时，有时候需要把最终输出数据分到不同的文件中，比如按照省份划分的话，需要把同一省份的数据放到一个文件中；按照性别划分的话，需要把同一性别的数据放到一个文件中。
shine_rainbow·2024-01-29 10:26
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他