MapReduce源码分析

论文阅读-MapReduce

论文名称：MapReduce:SimplifiedDataProcessingonLargeClusters翻译的效果不是很好，有空再看一遍，参照一下别人翻译的。
向来痴_·2024-01-31 04:31

Deepdive关系抽取：特征源码分析及优化加快信息提取

前言本篇不是Deepdive入门教程，而是对其一些源码细节进行了解读，换句话说要深入到内部去看看其具体是怎么做的，所以看本篇的前提是假设读者已经大概清楚了deepdive的使用流程，如果不是很熟悉，或是第一次使用建议先去看一下入门教程。本篇先是分析特征方面的源码，接着是实践部分，即使用ltp替换默认的斯坦福NLP信息抽取部分进而可优化该部分到数秒内，最后简单说一下其模型方面的问题以及其它补充其实关
weixin_42001089·2024-01-31 04:57

HBase 1.2.0源码分析：MemStoreFlusher

MemstoreFlush流程为了减少flush过程对读写的影响，HBase采用了类似于两阶段提交的方式，将整个flush过程分为三个阶段：prepare阶段：遍历当前Region中的所有Memstore，将Memstore中当前数据集kvset做一个快照snapshot，然后再新建一个新的kvset。后期的所有写入操作都会写入新的kvset中，而整个flush阶段读操作会首先分别遍历kvset和
Alex90·2024-01-31 03:35

mongodb java 注入_java-spring与mongodb的整合方式一 手动注入xml

但是其中的操作都比较直白没有经过封装而且每次使用前都要先写数据库名和Ip端口这次我们把spring和mongodb整合起来内容如下:1.创建项目和配置xml2.spring-mongodb的增删改查mapreduce1
耳鸣的大金·2024-01-31 02:32

【Java系列】ArrayList源码解析

温馨提示：本文源码分析基于JDK1.8。
Hyatt1024·2024-01-30 23:43

Nacos服务注册源码解析

目录一、Nacos服务架构二、Nacos服务注册流程图（源码级别）1.注册中心核心工作流程三、Nacos服务注册源码解析1.服务注册1.1客户端服务注册1.1.1添加依赖1.1.2源码分析1.1.2.1NacosAutoServiceRegistration1.1.2.1NacosServiceRe
Hyatt1024·2024-01-30 23:39

Spring源码深度解析：十三、JdbcTemplate 的源码分析

一、前言文章目录：Spring源码深度解析：文章目录二、JdbcTemplateJdbcTemplate是SpringTemplate设置模式中的一员。类似的还有TransactionTemplate、MongoTemplate等。通过JdbcTemplate我们可以使得Spring访问数据库的过程简单化。在JdbcTemplate中执行SQL语句的方法大致分为3类：execute：可以执行所有S
代码的知行者·2024-01-30 20:57

spring的JdbcTemplate源码分析

JdbcTemplate是spring对jdbc的封装，提供了操作数据库的模板。以前只是知道怎么用，今天有时间就去看了源码，加深自己的理解和阅读源码的能力。首先JdbcTemplate是org.springframework.jdbc.core的一个类，在spring-jdbc-4.1.3.RELEASE.jar包中。springAPI中介绍的第一句话就说**Thisisthecentralcla
yiwuxia23·2024-01-30 20:57

Spring源码分析七：JdbcTemplate连接数据库原理

文章目录（一）Spring连接数据库程序1、创建数据库表2、创建实体PO3、创建mapper映射4、创建业务接口5、创建业务接口实现类6、Spring配置文件7、测试类（二）JdbcTemplate核心原理1、update方法（执行DML语句）2、execute底层方法（底层核心，DDL）（1）获取数据库连接（2）用户查询参数设置（3）执行回调方法（4）告警处理（5）资源释放3、query方法（执
进击的猫·2024-01-30 20:56

Spring源码分析九：JdbcTemplate 的源码分析

文章目录一、前言二、JdbcTemplate二、核心方法-execute1.获取数据库连接2.应用用户设定的数据参数3.告警处理4.资源释放三、execute的回调1.Update中的回调函数2.query功能的实现四、其他一、前言本文是笔者阅读Spring源码的记录文章，由于本人技术水平有限，在文章中难免出现错误，如有发现，感谢各位指正。在阅读过程中也创建了一些衍生文章，衍生文章的意义是因为自己
猫吻鱼·2024-01-30 20:26

Spring：JDBCTemplate 的源码分析

一：JdbcTemplate的简介JdbcTemplate是SpringTemplate设置模式中的一员。类似的还有TransactionTemplate、MongoTemplate等。通过JdbcTemplate我们可以使得Spring访问数据库的过程简单化。二：执行SQL语句的方法1：在JdbcTemplate中执行SQL语句的方法大致分为3类execute：可以执行所有SQL语句，但是没有返
*共清欢*·2024-01-30 20:24

阿里云记录

目录我的阿里云控制台阿里云整体架构弹性计算服务ECSECS之初体验云数据库RDS云数据库管理初体验对象存储OSS使用云存储OSS的API上传和下载文件阿里云云盾（云安全）DDoS防护包RAM访问控制SDK开发E-MapReduce
Beth_Chan·2024-01-30 16:32

详细剖析Linux和RTOS（RT-Thread）的时钟和定时器的使用

Linux发烧友1.RTOS篇1.1RT-Thread简介1.2时钟管理1.2.1时钟节拍1.3获取系统节拍1.4定时器分类1.5定时器源码分析1.6定时器相关函数1.61动态创建一个定时器和删除定时器
魔动山霸·2024-01-30 16:45

Spark的核心RDD（Resilient Distributed Datasets弹性分布式数据集）

ResilientDistributedDatasets弹性分布式数据集）铺垫在hadoop中一个独立的计算，例如在一个迭代过程中，除可复制的文件系统（HDFS）外没有提供其他存储的概念，这就导致在网络上进行数据复制而增加了大量的消耗，而对于两个的MapReduce
fcyh·2024-01-30 15:46

数据治理实践 | 小文件治理

背景小文件是如何产生的：日常任务及动态分区插入数据（使用的Spark2MapReduce引擎），产生大量的小文件，从而导致
语兴数据·2024-01-30 15:29

ArrayList数据结构数组

以下是对ArrayList的源码分析和使用示例。基本数据结构ArrayList的内部数据结构基本上是一个数组。
辞暮尔尔-烟火年年·2024-01-30 13:05

java集合框架----Set 源码分析

Set简述Set是一个不包含重复元素的集合。它继承于Collection接口。它有以下特点：Set与List不同，JavaSet不是有序集合，它的元素没有特定的顺序Set不提供对插入元素的位置的控制Set不能通过索引访问元素，但是可以搜索列表中的元素Set允许最多仅添加一个null元素Set接口在Java8中有一个默认方法：spliteratorSet类图Set接口继承了Collection接口。
胖胖的小菜鸡·2024-01-30 11:59

Java常用集合ArrayList源码分析

ArrayList作为日常开发工作中使用的高频集合，虽然自己已经熟练使用了该集合的某些API，但总是感觉欠点火候，近期静下心来，结合各方资料，自己阅读了一遍源码，记录一下自己的想法。ArrayList源码相比于其他集合来说，比较简单，我从上往下阅读，争取一行一行解析。源码主体第一行表明：Arraylist是一个具体的实现类，实现了List,RandomAccess,Cloneable,java.i
爪哇通用技术·2024-01-30 11:21

guava中EventBus(事件总线)源码分析与使用

1.EventBus:事件发布-订阅消息总线,简化应用程序内各组件间、进行模块间通信、解耦。允许对象通过观察者模式相互通信。2.EventBus实现框架：greenrobot的EventBusguava中EventBus3.EventBus的工作模式Publisher（发布者）通过post（）方法，把Event事件发布出去，Subscriber（订阅者）在onEvent（）方法中接收事件。发布者：
mask哥·2024-01-30 11:50

「连载」边缘计算（十）01-29：边缘部分源码（源码分析篇）

（接上篇）组件中模块的共用框架和功能分析KubeEdge组件中各个功能模块之间是通过Beehive来组织和管理的。Beehive是一个基于go-channels的消息框架。但本文的重点不是Beehive，所以只会分析KubeEdge中用到的Beehive的相关功能。下面深入CloudCore、EdgeCore、edgemesh和edgesite组件，探究组件内部各功能模块的共用框架。在《深入理解边
十越科技·2024-01-30 10:58

「连载」边缘计算（九）01-26：边缘部分源码（源码分析篇）

（接上篇）Cloudcore源码入口Cloudcore源码入口为KubeEdge/cloud/CloudCore/CloudCore.go。CloudCore源码入口函数具体如下所示。funcmain(){command:=app.NewCloudCoreCommand()//此函数是对cobra调用的封装...}进入app.NewCloudCoreCommand()函数内部，也就是KubeEdg
十越科技·2024-01-30 10:57

fastjson源码分析之序列化

fastJson是很常用的序列化工具，用了这么久一直想底层看一下它的设计，探究一下它序列化和反序列化效率高的秘密。现在从最基础的用法开始，一点点揭开fastJson神秘的面纱。(版本：1.2.50)实际工程里，最常用的就是序列化和反序列化：ResultDOresultDO=newResultDO();StringjsonStr=JSON.toJSONString(resultDO);ResultD
weixin_30725467·2024-01-30 09:51

python爬虫+虚拟机centos7+pyqt5+mapreduce实现微博舆情分析系统

记录一下自己做的一个简单的微博舆情分析系统，但是mapreduce实际就是单独的一个模块，不属于系统的一个部分，还有很多的不足之处，第一次学习这方面的知识做的。后续希望进行改进。
deleteeee·2024-01-30 08:53

Hadoop3.x基础（1）

(4V)大数据应用场景Hadoop概述Hadoop是什么Hadoop发展历史（了解）Hadoop三大发行版本（了解）Hadoop优势（4高）Hadoop组成（面试重点）HDFS架构概述YARN架构概述MapReduce
魅美·2024-01-30 07:22

Hadoop-MapReduce-YarnChild启动篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在上一篇中已经将到：MRAppMaster的启动，那么运行MapTask、ReduceTask的容器（YarnChild）是怎么启动的呢？接下来我们一起来看看三、结论MRJobConfig是一个MRJob的配置，里面包含了Map、Reduce
隔着天花板看星星·2024-01-30 07:21

CH395Q之CH395Q驱动库移植与驱动库分析（二）

本节主要介绍以下内容：一、CH395Q驱动库移植二、源码分析一、CH395Q驱动库移植驱动库移植主要有两个途径，一个是南京沁恒官方网址，一个是通过正点原子官方，原子官方对沁横官方提供的驱动库进行了完善与修改
I am Supreme·2024-01-30 07:55

微服务-微服务Alibaba-Nacos 源码分析（上）

Nacos&Ribbon&Feign核心微服务架构图架构原理1、微服务系统在启动时将自己注册到服务注册中心，同时外发布Http接口供其它系统调用(一般都是基于SpringMVC)2、服务消费者基于Feign调用服务提供者对外发布的接口，先对调用的本地接口加上注解@FeignClient，Feign会针对加了该注解的接口生成动态代理，服务消费者针对Feign生成的动态代理去调用方法时，会在底层生成H
长情知热爱·2024-01-30 06:53

Pandora Bootstrap源码分析

@SpringBootApplicationpublicclassHSFProviderApplication{publicstaticvoidmain(String[]args){//启动PandoraBoot用于加载Pandora容器PandoraBootstrap.run(args);SpringApplication.run(HSFProviderApplication.class,arg
黄云斌huangyunbin·2024-01-30 05:41

hadoop必记知识点（1）

Hadoop核心组件包括HDFS（HadoopDistributedFileSystem）和MapReduce。其中，HDFS为分布式文件系统，负责数据存储；MapR
运维仙人·2024-01-30 02:40

hadoop必记知识点（3）

例如，如果我们进行一个求平均值的mapreduce任务，map任务输出的
运维仙人·2024-01-30 02:09

Ucos总结

Ucos源码分析1.Ucos源码分析------任务控制块与任务调度2.Ucos源码分析------事件控制块与事件控制3.Ucos源码分析------信号量4.Ucos源码分析------邮箱与队列5
一如既往_·2024-01-30 01:43

Ucos源码分析------内存管理

Ucos源码分析1.Ucos源码分析------任务控制块与任务调度2.Ucos源码分析------事件控制块与事件控制3.Ucos源码分析------信号量4.Ucos源码分析------邮箱与队列5
一如既往_·2024-01-30 01:13

大数据 - Hadoop系列《三》- MapReduce（分布式计算引擎）概述

上一篇文章：大数据-Hadoop系列《三》-HDFS（分布式文件系统）概述-CSDN博客目录12.1针对MapReduce的设计构思1.如何对付大数据处理场景2.构建抽象编程模型3.统一架构、隐藏底层细节
王哪跑nn·2024-01-29 23:31

Hive调优 | Hive常见数据倾斜及调优技巧

Hive在执行MapReduce任务时经常会碰到数据倾斜的问题，表现为一个或者几个reduce节点运行很慢，延长了整个任务完成的时间，这是由于某些key的条数比其他key多很多，这些Key所在的reduce
王知无·2024-01-29 21:10

全面解析基于Hadoop模型的数据分析平台框架

本文主要讲解以下两个方面：♦HadoopMapReduce与Hive技术研究♦数据分析平台框架设计与环境配置HadoopMapReduce与Hive技术研究一、Hadoop框架工作机制Hadoop框架定义
丨程序之道丨·2024-01-29 17:04

Chromium源码分析：ContentShell启动流程

http://mogoweb.net/archives/417ContentShell是基于ContentAPI的一个简单的浏览器外壳，下面我将分析chromiumforandroid中的ContentShell程序的启动流程。由于android程序的特殊性（一部分Java代码，一部分c++代码），所以看似简单的启动流程，在android版本的ContentShell却七拐八弯的，难以理清脉络。在
dzhjsofo·2024-01-29 15:28

AppTask.moveToFront()源码分析

ActivityManager.AppTask.moveToFront()执行后，导致其他AppTask退到了后台，点击返回直接回到了桌面（HomeScreen），没有回到上一个AppTask。下面分析一下源码看看为什么其他AppTask退到了后台，如何解决该问题。@SystemService(Context.ACTIVITY_SERVICE)publicclassActivityManager{
ShawnRacine·2024-01-29 12:58

【Spring】Spring&WEB整合原理及源码分析

原文：https://blog.csdn.net/reliveit/article/details/47256559
laosijikaichele·2024-01-29 12:18

STL源码分析：shared_ptr 和 weak_ptr

1.shared_ptr虽然早就对shared_ptr的原理烂熟于心，手撕也没少做过，但有时候总感觉对其还是很陌生；在看《Linux多线程服务端编程》时，作者提到一个析构动作在创建时被捕获又彻底把我搞懵了，终于下定决心要研究下GCC9.4中tr1下的源码；1.1基本架构shared_ptrsp(newTp1)，之后假设Tp和Tp1是相容的（可简单认为Tp是Tp1的基类），并且假设Tp1位于堆区；下
十一很迷茫·2024-01-29 12:01

Spark入门01

计算框架：Spark借鉴了MapReduce思想，保留了其分布式并行计算的有点并改进了其明显的缺陷，让中间数据存储在内存中提高了运行速度、并提供丰富的操作数据的API提高了开发速度
chde2Wang·2024-01-29 11:53

MR和Spark的比较

1、spark是基于内存进行数据处理的，MapReduce是基于磁盘进行数据处理的2、spark中具有DAG有向无环图，DAG有向无环图在此过程中减少了shuffle以及落地磁盘的次数3、spark是粗粒度资源申请
猿来孺词·2024-01-29 10:55

Hadoop学习之路（七） MapReduce框架Partitioner分区

在进行MapReduce计算时，有时候需要把最终输出数据分到不同的文件中，比如按照省份划分的话，需要把同一省份的数据放到一个文件中；按照性别划分的话，需要把同一性别的数据放到一个文件中。
shine_rainbow·2024-01-29 10:26

【嵌入式移植】5、U-Boot源码分析2—make nanopi_neo2_defconfig

U-Boot源码分析2—makenanopi_neo2_defconfig1概述2nanopi_neo2_defconfig3编译过程分析3.1编译目标3.2scripts_basic3.2.1prefixsrc
Keep_moving_tzw·2024-01-29 08:55

从源码分析如何优雅的使用 Kafka 生产者

从源码分析如何优雅的使用Kafka生产者前言在上文设计一个百万级的消息推送系统中提到消息流转采用的是Kafka作为中间件。其中有朋友咨询在大量消息的情况下Kakfa是如何保证消息的高效及一致性呢？
陈晓阳_矿洞程序员·2024-01-29 07:01

Hadoop, HIve, Spark关系简述

HDFS中引入了一个模块：MapReduce（基于磁盘计算）。
小白兔奶糖ovo·2024-01-29 07:22

flink源码分析 - 简单解析命令行参数

flink版本:flink-1.11.2提取主类代码位置:org.apache.flink.api.java.utils.MultipleParameterTool#fromArgs代码逻辑比较简单，此处不再赘述，在此记录方便后续使用完整代码:/**LicensedtotheApacheSoftwareFoundation(ASF)underone*ormorecontributorlicense
zxfBdd·2024-01-29 06:04

flink源码分析 - jar包中提取主类和第三方依赖

flink版本:flink-1.11.2提取主类代码位置:org.apache.flink.client.program.PackagedProgram#getEntryPointClassNameFromJar提取第三方依赖代码位置:org.apache.flink.client.program.PackagedProgram#getJobJarAndDependencies代码逻辑比较简单，此
zxfBdd·2024-01-29 06:03

Hadoop面试题及参考答案

目录1、什么是Hadoop及其组件2、Hadoop的守护进程3、Hadoop的YARN/HDFS/MapReduce分别包含哪些组件，每个组件的职能是什么？
zuolixiangfisher·2024-01-29 06:02

ArrayBlockingQueue 源码分析

ArrayBlockingQueue实际实现是一个环形数组,并且保护了线程安全,那么是如何保证线程安全的?环形数组怎么实现的?先看下里面的几个参数是干嘛的/**Thequeueditems*/数据,存数据的finalObject[]items;/**itemsindexfornexttake,poll,peekorremove*/取出的引索inttakeIndex;/**itemsindexfor
一只刘小彤！·2024-01-29 06:21

Python进阶(2) | py-sort源码浅析，TDD方式实现排序算法

Python进阶(2)|排序算法的单元测试文章目录Python进阶(2)|排序算法的单元测试1.目的2.任务来源3.py-sorting介绍4.测试代码浅析4.1bubble_sort_test.py源码分析
baiyu33·2024-01-29 05:12
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他