MapReduce源码分析

React源码分析2-深入理解fiber

react16版本之后引入了fiber，整个架构层面的调度、协调、diff算法以及渲染等都与fiber密切相关。所以为了更好地讲解后面的内容，需要对fiber有个比较清晰的认知。本章将介绍以下内容：为什么需要fiberfiber节点结构中的属性fiber树是如何构建与更新的为什么需要fiberLinClark在ReactConf2017的演讲中，他通过漫画的形式，很好地讲述了fiber为何出现，下
goClient1992·2024-02-01 04:12

Hadoop 生产调优 (七) --------- MapReduce 与 Yarn 生产经验

目录一、MapReduce生产经验1.MapReduce跑的慢的原因2.MapReduce常用调优参数3.MapReduce数据倾斜问题二、Yarn生产经验1.常用的调优参数2.三种调度器的使用一、MapReduce
在森林中麋了鹿·2024-02-01 03:17

2024-01-31（MapReduce，YARN）

1.MapReduce---分布式计算框架MapReduce是分散--->汇总模式的分布式框架，可以供开发人员开发相关程序进行分布式数据计算MapReduce提供了2个编程接口：Map接口，Reduce
陈xr·2024-02-01 03:17

SpringBoot自动配置与源码分析

SpringBootboot是启动的意思，所以，可以说springBoot是一个启动spring项目的一个工具，这个工具简化了spring的配置。SpringBoot相较于Spring的优势1.自动配置；使用Starter组件简化依赖管理。2.内嵌的Servlet容器。3.默认采用Maven作为构建工具。在探索SpringBoot自动配置之前，先了解下什么是自动配置。自动配置所谓自动配置，可以理解
程序吟游·2024-02-01 00:34

Hive简介

Hive的优势通过java或者python直接操作MapReduce，也可以做分析，但是开发难度稍大。通过SQL做分析，相对简单易上手。
t_813·2024-01-31 22:03

OkHttp 基本使用&源码分析

本文介绍了OkHttp的基本使用以及源码分析，强烈建议配合源码进行阅读，否则会不知所云！！！
张鹿鹿·2024-01-31 22:55

黑猴子的家：MapReduce 找微信共同好友分析

1、数据https://www.jianshu.com/p/1613f171f4662、需求以上是微信的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的）求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？3、需求分析先求出A、B、C、….等是谁的好友第一次输出结果AI,K,C,B,G,F,H,O,D,BA,F,J,E,CA,E,B,H,F,G,K,DG,C,K
黑猴子的家·2024-01-31 18:37

Flink Hudi 源码之HoodieTableSink

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录源代码分支release-0.9.0Hudi源代码GitHub地址：apache/hudi:Upserts,DeletesAndIncrementalProcessingonBigData
AlienPaul·2024-01-31 15:09

Kafka源码分析（史上最全）1：源码的开发环境搭建

文章很长，建议收藏起来，慢慢读！Java高并发发烧友社群：疯狂创客圈奉上以下珍贵的学习资源：免费赠送经典图书:《Java高并发核心编程（卷1）》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图书:《Java高并发核心编程（卷2）》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图书:《NettyZookeeperRedis高并发实战》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图
40岁资深老架构师尼恩·2024-01-31 09:29

Kafka源码分析9：Controller控制器的原理（图解+秒懂+史上最全）

文章很长，建议收藏起来，慢慢读！Java高并发发烧友社群：疯狂创客圈奉上以下珍贵的学习资源：免费赠送经典图书:《Java高并发核心编程（卷1）》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图书:《Java高并发核心编程（卷2）》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图书:《NettyZookeeperRedis高并发实战》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图
40岁资深老架构师尼恩·2024-01-31 09:29

Kafka源码分析10：副本状态机ReplicaStateMachine详解 （图解+秒懂+史上最全）

文章很长，建议收藏起来，慢慢读！Java高并发发烧友社群：疯狂创客圈奉上以下珍贵的学习资源：免费赠送经典图书:《Java高并发核心编程（卷1）》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图书:《Java高并发核心编程（卷2）》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图书:《NettyZookeeperRedis高并发实战》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图
40岁资深老架构师尼恩·2024-01-31 09:59

Hadoop-MapReduce-源码跟读-MapTask阶段篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、Mapper类我们先看下我们写的map所继承的Mapper类publicclassMapper{/***传递给Mapper实现的Context*/publicabstractclassContextimplementsMapContext{}/**
隔着天花板看星星·2024-01-31 07:29

Hadoop生态系统中一些关键组件的详细解析

MapReduce:一种编程模型，用于在分布式环境中处理大量数据。工作分为两个阶段：Map（映射）和Reduce（归约）。适合于大批量数据处理任务。YARN（YetAnotherResourc
薛定谔的zhu·2024-01-31 07:27

分布式定时任务系列9：XXL-job源码分析之路由策略

任务执行引擎设计分布式定时任务系列4：任务执行引擎设计续分布式定时任务系列5：XXL-job中blockingQueue的应用分布式定时任务系列6：XXL-job触发日志过大引发的CPU告警分布式定时任务系列7：XXL-job源码分析之任务触发分布式定时任务系列
kobe_t·2024-01-31 07:51

分布式虚拟文件系统，如何实现多种存储系统的融合

随着大数据技术和人工智能技术的发展，各种框架应运而生，比如大数据领域中的MapReduce和Spark，人工智能领域中的TensorFlow和PyTorch等。
数据存储张·2024-01-31 07:20

大数据 ---分布式并行计算框架MapReduce

分布式并行计算框架MapReduce是指实现某项任务或某项工作从开始到结束的计算过程或流的结构。游戏中，目标是计算每组纸条中每个图形的总个数。一共八个步骤，每个步骤都是计算的一部分，是框架的一部分。
谪仙逍遥·2024-01-31 06:21

大数据-Spark-关于Json数据格式的数据的处理与练习

上一篇：大数据-MapReduce-关于Json数据格式的数据的处理与练习-CSDN博客16.7Json在Spark中的引用依旧利用上篇的数据去获取每部电影的平均分{"mid":1,"rate":6,"
王哪跑nn·2024-01-31 06:50

大数据----12.MapReduce计算框架

1.MapReduce基本编程模型和框架1.1MapReduce抽象模型大数据计算的核心思想是：分而治之。如下图所示。把大量的数据划分开来，分配给各个子任务来完成。再将结果合并到一起输出。
学无止境的大象·2024-01-31 06:49

Python+大数据-hadoop(四)-Hadoop MapReduce、YARN、HA

Python+大数据-hadoop(四)-HadoopMapReduce、YARN、HA今日课程学习目标理解分布式计算分而治之的思想学会提交MapReduce程序掌握MapReduce执行流程掌握YARN
呆猛的呆呆小哥·2024-01-31 06:16

大数据技术Hadoop之分布式计算框架MapReduce

1.为什么要学习MapReduce随着互联网的发展，数据量呈现爆炸式增长，如何高效地处理海量数据成为了互联网企业和科研机构面临的重要问题。
大马猴写bug·2024-01-31 06:11

Hadoop系列之-4、MapReduce分布式计算

大数据系列文章目录目录MapReduce计算模型介绍理解MapReduce思想HadoopMapReduce设计构思MapReduce编程规范及示例编写编程规范编程步骤WordCount示例编写MapReduce
技术武器库·2024-01-31 06:10

Hadoop大数据原理(3) - 分布式计算框架MapReduce

文章目录1.大数据的通用计算2MapReduce编程模型3.MapReduce计算框架3.1三类关键进程大数据应用进程JobTracker进程TaskTracker进程3.2作业启动和运行机制3.3数据合并与连接机制
小爱玄策·2024-01-31 06:09

【大数据】Hadoop_MapReduce➕实操（附详细代码）

目录前言一、概述1.MapReduce定义、优缺点2.MapReduce核心思想、进程3.MapReduce编程——WordCount二、Hadoop序列化1.序列化概述2.自定义bean对象实现序列化接口
欧叶冲冲冲·2024-01-31 06:37

大数据 - Hadoop系列《四》- MapReduce（分布式计算引擎）的核心思想

上一篇：大数据-Hadoop系列《三》-MapReduce（分布式计算引擎）概述-CSDN博客目录13.1MapReduce实例进程13.2阶段组成13.4概述13.4.1Map阶段（映射）13.4.2Reduce
王哪跑nn·2024-01-31 06:02

单元测试框架JUnit 4.12源码分析

1、源码分析流程：初窥门径之JUnit源码分析中提到源码分析建议按如下步骤进行：1、了解框架架构图2、了解各个package包所包含的功能点3、选择需要关注/感兴趣/待解决问题的功能点入手4、了解数据流和控制流
TTKatrina·2024-01-31 06:42

Java集合类（二十二）JUC中的集合--ConcurrentLinkedQueue

ConcurrentLinkedQueue介绍二ConcurrentLinkedQueue原理和数据结构三ConcurrentLinkedQueue函数列表四ConcurrentLinkedQueue源码分析创建添加删除一
keep_trying_gogo·2024-01-31 06:38

源码分析:SpringBoot启动流程分析原理

我们都知道SpringBoot自问世以来，一直有一个响亮的口号"约定优于配置"，其实一种按约定编程的软件设计范式，目的在于减少软件开发人员在工作中的各种繁琐的配置，我们都知道传统的SSM框架的组合，会伴随着大量的繁琐的配置；稍有不慎，就可能各种bug，被人发现还以为我们技术很菜。而SpringBoot的出现不仅大大提高的开发人员的效率，还能避免由于"手抖"带来的配置错误。很多程序员都感慨**Spr
一年春又来·2024-01-31 05:51

JUC介绍及底层源码分析（详解）

线程基础知识复习1,线程基本概念一个线程只能属于一个进程，但一个进程可以有多个线程或者说至少有一个线程，通常也就是我们说的主线程了，资源分配给进程同一进程的所有线程共享该进程的所有资源，线程在执行过程中需要协作同步，不同进程的线程间，要利用消息通信的办法实现同步，处理机分给线程，即真正的处理及上运行的是线程，线程是指进程内的一个执行单元，也是进程内的可调度实体。2,生命周期线程调用start方法进
有心不在迟·2024-01-31 04:55

mybatis源码分析-资源加载-下篇

处理mapper节点构造函数中已经有很多很多默认类型匹配。这就是为什么在写sql的时候返回类型会自动映射到相应的java类型上面，这里已经处理好了。继续看最复杂的mapper在上面处理configuration节点的最后一句mapperElement(root.evalNode("mappers"));。这个是配置文件里面最复杂的，所以再处理上面Mybatis多写了两个类专门处理mapper数据X
cjxz·2024-01-31 04:19

MapReduce 论文阅读笔记 MapReduce 简介

论文：MapReduce:SimplifiedDataProcessingonLargeClustersJeffreyDeanandSanjayGhemawatGooglehttps://pdos.csail.mit.edu
RzBu11d023r·2024-01-31 04:34

读论文Google-MapReduce

江湖永流传：谷歌技术有“三宝”，GFS,MapReduce和大表（BigTable)!作为一名大数据兼计算机外行人，读完了Google-MapReduce这篇论文后萌生了一点小感悟（实则拙见）。
.金木研.·2024-01-31 04:03

论文阅读-MapReduce

论文名称：MapReduce:SimplifiedDataProcessingonLargeClusters翻译的效果不是很好，有空再看一遍，参照一下别人翻译的。
向来痴_·2024-01-31 04:31

Deepdive关系抽取：特征源码分析及优化加快信息提取

前言本篇不是Deepdive入门教程，而是对其一些源码细节进行了解读，换句话说要深入到内部去看看其具体是怎么做的，所以看本篇的前提是假设读者已经大概清楚了deepdive的使用流程，如果不是很熟悉，或是第一次使用建议先去看一下入门教程。本篇先是分析特征方面的源码，接着是实践部分，即使用ltp替换默认的斯坦福NLP信息抽取部分进而可优化该部分到数秒内，最后简单说一下其模型方面的问题以及其它补充其实关
weixin_42001089·2024-01-31 04:57

HBase 1.2.0源码分析：MemStoreFlusher

MemstoreFlush流程为了减少flush过程对读写的影响，HBase采用了类似于两阶段提交的方式，将整个flush过程分为三个阶段：prepare阶段：遍历当前Region中的所有Memstore，将Memstore中当前数据集kvset做一个快照snapshot，然后再新建一个新的kvset。后期的所有写入操作都会写入新的kvset中，而整个flush阶段读操作会首先分别遍历kvset和
Alex90·2024-01-31 03:35

mongodb java 注入_java-spring与mongodb的整合方式一 手动注入xml

但是其中的操作都比较直白没有经过封装而且每次使用前都要先写数据库名和Ip端口这次我们把spring和mongodb整合起来内容如下:1.创建项目和配置xml2.spring-mongodb的增删改查mapreduce1
耳鸣的大金·2024-01-31 02:32

【Java系列】ArrayList源码解析

温馨提示：本文源码分析基于JDK1.8。
Hyatt1024·2024-01-30 23:43

Nacos服务注册源码解析

目录一、Nacos服务架构二、Nacos服务注册流程图（源码级别）1.注册中心核心工作流程三、Nacos服务注册源码解析1.服务注册1.1客户端服务注册1.1.1添加依赖1.1.2源码分析1.1.2.1NacosAutoServiceRegistration1.1.2.1NacosServiceRe
Hyatt1024·2024-01-30 23:39

Spring源码深度解析：十三、JdbcTemplate 的源码分析

一、前言文章目录：Spring源码深度解析：文章目录二、JdbcTemplateJdbcTemplate是SpringTemplate设置模式中的一员。类似的还有TransactionTemplate、MongoTemplate等。通过JdbcTemplate我们可以使得Spring访问数据库的过程简单化。在JdbcTemplate中执行SQL语句的方法大致分为3类：execute：可以执行所有S
代码的知行者·2024-01-30 20:57

spring的JdbcTemplate源码分析

JdbcTemplate是spring对jdbc的封装，提供了操作数据库的模板。以前只是知道怎么用，今天有时间就去看了源码，加深自己的理解和阅读源码的能力。首先JdbcTemplate是org.springframework.jdbc.core的一个类，在spring-jdbc-4.1.3.RELEASE.jar包中。springAPI中介绍的第一句话就说**Thisisthecentralcla
yiwuxia23·2024-01-30 20:57

Spring源码分析七：JdbcTemplate连接数据库原理

文章目录（一）Spring连接数据库程序1、创建数据库表2、创建实体PO3、创建mapper映射4、创建业务接口5、创建业务接口实现类6、Spring配置文件7、测试类（二）JdbcTemplate核心原理1、update方法（执行DML语句）2、execute底层方法（底层核心，DDL）（1）获取数据库连接（2）用户查询参数设置（3）执行回调方法（4）告警处理（5）资源释放3、query方法（执
进击的猫·2024-01-30 20:56

Spring源码分析九：JdbcTemplate 的源码分析

文章目录一、前言二、JdbcTemplate二、核心方法-execute1.获取数据库连接2.应用用户设定的数据参数3.告警处理4.资源释放三、execute的回调1.Update中的回调函数2.query功能的实现四、其他一、前言本文是笔者阅读Spring源码的记录文章，由于本人技术水平有限，在文章中难免出现错误，如有发现，感谢各位指正。在阅读过程中也创建了一些衍生文章，衍生文章的意义是因为自己
猫吻鱼·2024-01-30 20:26

Spring：JDBCTemplate 的源码分析

一：JdbcTemplate的简介JdbcTemplate是SpringTemplate设置模式中的一员。类似的还有TransactionTemplate、MongoTemplate等。通过JdbcTemplate我们可以使得Spring访问数据库的过程简单化。二：执行SQL语句的方法1：在JdbcTemplate中执行SQL语句的方法大致分为3类execute：可以执行所有SQL语句，但是没有返
*共清欢*·2024-01-30 20:24

阿里云记录

目录我的阿里云控制台阿里云整体架构弹性计算服务ECSECS之初体验云数据库RDS云数据库管理初体验对象存储OSS使用云存储OSS的API上传和下载文件阿里云云盾（云安全）DDoS防护包RAM访问控制SDK开发E-MapReduce
Beth_Chan·2024-01-30 16:32

详细剖析Linux和RTOS（RT-Thread）的时钟和定时器的使用

Linux发烧友1.RTOS篇1.1RT-Thread简介1.2时钟管理1.2.1时钟节拍1.3获取系统节拍1.4定时器分类1.5定时器源码分析1.6定时器相关函数1.61动态创建一个定时器和删除定时器
魔动山霸·2024-01-30 16:45

Spark的核心RDD（Resilient Distributed Datasets弹性分布式数据集）

ResilientDistributedDatasets弹性分布式数据集）铺垫在hadoop中一个独立的计算，例如在一个迭代过程中，除可复制的文件系统（HDFS）外没有提供其他存储的概念，这就导致在网络上进行数据复制而增加了大量的消耗，而对于两个的MapReduce
fcyh·2024-01-30 15:46

数据治理实践 | 小文件治理

背景小文件是如何产生的：日常任务及动态分区插入数据（使用的Spark2MapReduce引擎），产生大量的小文件，从而导致
语兴数据·2024-01-30 15:29

ArrayList数据结构数组

以下是对ArrayList的源码分析和使用示例。基本数据结构ArrayList的内部数据结构基本上是一个数组。
辞暮尔尔-烟火年年·2024-01-30 13:05

java集合框架----Set 源码分析

Set简述Set是一个不包含重复元素的集合。它继承于Collection接口。它有以下特点：Set与List不同，JavaSet不是有序集合，它的元素没有特定的顺序Set不提供对插入元素的位置的控制Set不能通过索引访问元素，但是可以搜索列表中的元素Set允许最多仅添加一个null元素Set接口在Java8中有一个默认方法：spliteratorSet类图Set接口继承了Collection接口。
胖胖的小菜鸡·2024-01-30 11:59

Java常用集合ArrayList源码分析

ArrayList作为日常开发工作中使用的高频集合，虽然自己已经熟练使用了该集合的某些API，但总是感觉欠点火候，近期静下心来，结合各方资料，自己阅读了一遍源码，记录一下自己的想法。ArrayList源码相比于其他集合来说，比较简单，我从上往下阅读，争取一行一行解析。源码主体第一行表明：Arraylist是一个具体的实现类，实现了List,RandomAccess,Cloneable,java.i
爪哇通用技术·2024-01-30 11:21

guava中EventBus(事件总线)源码分析与使用

1.EventBus:事件发布-订阅消息总线,简化应用程序内各组件间、进行模块间通信、解耦。允许对象通过观察者模式相互通信。2.EventBus实现框架：greenrobot的EventBusguava中EventBus3.EventBus的工作模式Publisher（发布者）通过post（）方法，把Event事件发布出去，Subscriber（订阅者）在onEvent（）方法中接收事件。发布者：
mask哥·2024-01-30 11:50
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他