MapReduce源码分析

MongoDB聚合操作

常用的管道聚合阶段聚合表达式数据准备$project$match$count$groupaccumulator操作符$unwind$limit$skip$sort$lookup案例聚合操作案例1聚合操作案例2MapReduce
野心与梦·2024-02-02 08:01

「连载」边缘计算（八）01-25：边缘部分源码（源码分析篇）

搭建开发环境KubeEdge开发环境的搭建与7.1节高度相似，详情见《深入理解边缘计算：云、边、端工作原理与源码分析》。
十越科技·2024-02-02 08:18

「连载」边缘计算（十一）01-30：边缘部分源码（源码分析篇）

（接上篇）函数StartModules()定义具体如下所示。//StartModulesstartsmodulesthatareregisteredfuncStartModules(){coreContext:=context.GetContext(context.MsgCtxTypeChannel)modules:=GetModules()forname,module:=rangemodules
十越科技·2024-02-02 08:18

「连载」边缘计算（十二）01-31：边缘部分源码（源码分析篇）

组件源码分析本节将对Kubernetes的核心组件的源码进行梳理和分析。
十越科技·2024-02-02 08:18

「连载」边缘计算（十三）02-01：边缘部分源码（源码分析篇）

（接上篇）配置模块初始化配置模块初始化具体如下所示。err:=archaius.Init()...CONFIG=archaius.GetConfigFactory()（3）获取内存配置源获取内存配置源具体如下所示。ms:=memoryconfigsource.NewMemoryConfigurationSource()CONFIG.AddSource(ms)（4）获取命令行配置源获取命令行配置源具
十越科技·2024-02-02 08:46

freertos 源码分析一 list链表数据结构

链表和任务管理是freertos的核心，先分析链表源码，freertos的链表是双向环形链表，定义与数据结构在list.h中，表项的初始化，插入与删除在list.c中。数据结构一、表项数据结构structxLIST_ITEM{listFIRST_LIST_ITEM_INTEGRITY_CHECK_VALUEconfigLIST_VOLATILETickType_txItemValue;struct
yvee·2024-02-02 08:05

Hadoop3.x基础（3）- MapReduce

来源:B站尚硅谷目录MapReduce概述MapReduce定义MapReduce优缺点优点缺点MapReduce核心思想MapReduce进程常用数据序列化类型MapReduce编程规范WordCount
魅美·2024-02-02 07:45

SpringBoot统一功能处理，拦截器，统一数据格式，捕捉异常

编辑@ControllerAdvice源码分析数据结构面试:HashMap,ConcurrentHashMap,ThreadLocal要看(建议看源码)网络:
狗哥不是甜妹·2024-02-02 06:49

【分布式技术专题】Guava RateLimiter 针对于限流器的入门到实战（含源码分析介绍）

GuavaRateLimiter针对于限流器的入门到实战限流器的思路和算法漏桶算法令牌算法RateLimiter限流器RateLimiter的作用create方法acquire方法tryAcquire方法详细分析参数抛出异常参数抛出异常实践案例第1次获取10个令牌第2次获取1个令牌第3次获取10个令牌资料参考限流器的思路和算法如果让你来造一个限流器，有啥想法？漏桶算法用一个固定大小的队列。比如设置
洛神灬殇·2024-02-02 06:52

linux 内核协议栈 ip_loopback,Linux内核协议栈源码分析.pdf

Linux内核协议栈源码分析.pdfLinux2.6协议栈源代码分析基于Linux2.6.18内核源码V0.1luoyu第i页Linux2.6协议栈源代码分析目录目录ii图目录iv表目录viii前言xiii
周雨鑫·2024-02-02 03:14

大数据处理技术作业——使用HBase&MongoDB&MapReduce进行数据存储和管理

前言写这篇文章的目的，主要是为了记录一下这次作业历程，并且笔者了解到很多同志饱受作业折磨，遂简单分享一下个人完成作业的历程，以下内容仅为本人的一些乱七八糟的想法，仅作参考O(∩_∩)O作业要求1、本作业的链接【完成本次作业用到的代码文件，列出网盘链接，https://pan.baidu.com/xxx】2、数据来源及概述【1．列出数据的下载链接，或者说明数据的采集方法。2．概述数据的背景与内容。3
Daniel Muei·2024-02-02 02:31

消息中间件之RocketMQ源码分析(三)

RocketMQ中的Consumer启动流程RocketMQ客户端中有两个独立的消费者实现类分别为DefaultMQPullConsumer和DefaultMQPushConsumer，DefaultMQPullConsumerDefaultMQPullConsumer,该消费者使用时需要用户主动从Broker中Pull消息和消费消息，提交消费位点继承关系图核心属性namesrvAddr:继承自C
coffee_babe·2024-02-02 01:55

消息中间件之RocketMQ源码分析(四)

消费者的Rebalance机制客户端是通过Rebalance服务做到高可靠的。当发生Broker掉线、消费者实例掉线、Topic扩容等各种突发情况时，消费者组中的消费者实例是怎么重平衡的，以支持全部队列的正常消费的?Rebalance服务的类图RebalanceImpl的核心属性ConcurrentMapprocessQueueTable:记录MessageQueue和ProcessQueue的关
coffee_babe·2024-02-02 01:55

LidarView源码分析（十三）vtkLidarReader类

该类负责读取pcap文件，并调用vtkLidarPacketInterpreter类进行数据解析。然后将数据传入vtk的渲染管线中。可以通过各种索引获取数据：帧数，网络时间，数据时间。头文件在渲染管线中调用的函数为RequestData，获取数据的函数为GetFrame。classLVIOLIDAR_EXPORTvtkLidarReader:publicvtkPolyDataAlgorithm{p
上官天耀·2024-02-02 01:05

LidarView源码分析（十四）vtkPacketFileReader类

简介vtkPacketFileReader是对libpcap的包装（windows系统下是winpcap，linux下是libpcap）。winpcap已经停止维护。可以使用Npcap。在LidarView中仍然使用的是winpcap（http://github.com/patmarion/winpcap.git）。vtkPacketFileReader负责对pcap数据进行读取，并可以获取或者设
上官天耀·2024-02-02 01:05

LidarView源码分析（一）源码组织概览

LidarView源码组织结构Application：界面程序。内容比较简单，主要定义了界面的主框架，然后使用ParaView相关的功能进行初始化。LVCore：核心功能及插件。包含LidarView的数据源，滤波器等插件代码。整个程序是使用ParaView开发模式。显示界面只是个框架，主要功能结构是使用插件的形式实现的。源代码目录树如下：├─Application│├─Icons│├─Softw
上官天耀·2024-02-02 01:04

requestLayout()引起的问题

requestLayout()引起的问题网上有大量写的很深入的requestLayout()源码分析的文章。故这里不再写了，只做一个实际情况下遇到的问题的分析。
HWilliamgo·2024-02-01 23:55

【NIO与Netty】Netty优化与源码

文章名链接JavaNIO入门：结合尚硅谷课程文章地址Netty入门文章地址Netty进阶文章地址|粘包、半包Netty优化与源码文章地址|源码分析一、优化1.1扩展序列化算法序列化，反序列化主要用在消息正文的转换上序列化时
愿你满腹经纶·2024-02-01 22:57

图解java.util.concurrent并发包源码系列——深入理解定时任务线程池ScheduledThreadPoolExecutor

ScheduledThreadPoolExecutorScheduledThreadPoolExecutor作用与用法ScheduledThreadPoolExecutor内部执行流程DelayedWorkQueueScheduledFutureTask源码分析任务提交
黄俊懿·2024-02-01 21:55

Observable【Rx.js源码分析】

几个月前读完了Rx.js的源码（v6）版本，领悟到了Stream模式的实现原理，并将其思想广泛应用在业务代码中。这个过程让我深刻的见识到Stream模式的好处，业务逻辑由此在代码层面更加清晰。接下来的文章中我会讲述Rx.js的核心实现原理，希望大家也可以因此而获益。由于2个原因：1.源码是用ts编写，不熟悉ts的同学可能会不习惯；2.源码不好大段拎出分析。所以我会将其核心实现用js的代码精简后表述
编码的哲哲·2024-02-01 21:27

基于Java+Neo4j开发的知识图谱+全文检索的知识库管理系统（源码分析）

在数字化高度普及的时代，企事业机关单位在日常工作中会产生大量的文档，例如医院制度汇编，企业知识共享库等。针对这些文档性的东西，手工纸质化去管理是非常消耗工作量的，并且纸质化查阅难，易损耗，所以电子化管理显得尤为重要。【springboot+elasticsearch+neo4j+vue+activiti】实现数字知识库管理系统。一、项目概要1.springboot、vue前后端分离技术。2.先进的
瓯雅爱分享·2024-02-01 20:41

全志lichee的pack命令

一、脚本源码分析#!/bin/bashBR_SCRIPTS_DIR=`dirname$0`//$0就是这个文
小黄鸭-·2024-02-01 18:12

数据结构之顺序存储结构(ArrayList源码分析)

数据结构是数据在计算机内存或磁盘中的组织形式。按照逻辑结构来划分，可分为集合结构、线性结构、树形结构、图形结构；按照存储结构来划分可分为顺序存储结构和链式存储结构。以下简单介绍顺序存储结构：顺序存储结构是每个元素挨着下一个元素，存储位置连续，这种数据结构的好处就是方便获得各个元素的内存地址。在java中，使用这种数据结构的类有ArrayList，以下对ArrayList源码进行分析。打开Array
马小贱88·2024-02-01 18:40

Java基础数据结构之ArrayList源码分析

一.几个常量这是默认容量这两个是共享的空对象这是真正存储元素的地方，现在还没有分配内存二.构造方法这是一个无参构造方法，此时让存储元素的数组指向了那个默认容量数组，此时该数组是一个空数组，长度为0.这是给定初始容量的构造方法，第一个if里面，让elementdata指向了一个新数组，而没有共享那俩个空数组，但如果给定的初始容量为0，就会共享那个空数组这个构造方法的参数是一个实现了Collectio
zyh20050430·2024-02-01 18:09

XSS绕过方法总结

将预定义字符转为实体编码"标签标签标签事件触发onmouseoveronclickonfocus等XSS寻找和绕过找信息交互处；输入信息看回显和页面源码；找输入信息是否存在（判断xss是否存在）搜索框；留言板等根据源码分析
I_WORM·2024-02-01 18:51

Android-33源码分析: Handler消息机制

的声明：ActivityThread管理应用进程中主线程的执行，根据AMS调度执行广播和其他操作Handler发送消息并处理消息MessageQueue用于存放消息的消息队列Looper循环消息队列中的消息循环器Message可在整个app中传递的消息ActivityThreadpublicstaticvoidmain(String[]args){Trace.traceBegin(Trace.TR
CHNE_TAO_EMSM·2024-02-01 14:10

Android-33源码分析: ContentProvider插入查询注册流程

注意点：1：Activity中使用getContentResolver()获取ContentResolver，其实就是Context实现类ContextImpl中getContentResolver()所返回该类中的静态内不类ApplicationContentResolverApplicationContentResolver继承ContentResolver拥有它的能力2：IContentPr
CHNE_TAO_EMSM·2024-02-01 14:09

Android-33源码分析: 系统启动流程

1、按下电源键进行系统启动：触发引导芯片，加载预定义代码，启动引导程序BootLoader2、启动BootLoader引导程序：它是一个Android系统启动前运行的一个小程序，用来拉起OS并运行3、启动linux内核：设置缓存、被保护存储器、计划列表、加载驱动、完成系统设置，设置完后会找到系统文件init.rc启动init进程init_parse_config_file("/init.rc");
CHNE_TAO_EMSM·2024-02-01 14:39

[k8s源码分析][controller-manager] controller_utils分析

1.前言转载请说明原文出处,尊重他人劳动成果!源码位置:https://github.com/nicktming/kubernetes/blob/tming-v1.13/pkg/controller/controller_ref_manager.go分支:tming-v1.13(基于v1.13版本)本文将分析controller中的一些公共结构体,因为很多的controller会共用这些结构体,所
nicktming·2024-02-01 13:35

NXP S32系列MCU官方AUTOSAR OS分析（一）

我使用的单片机时S32K144，AUTOSAR的版本是4.0.32.源码分析（1）StartOSStartOS()函数是AUTOSAROS的入口，在main函数中做一些硬件和应用层的初始化，之后进入StartOS
olddddd·2024-02-01 12:43

大数据之Spark

Spark介绍什么是Spark专为大规模数据处理而设计的快速通用的计算引擎类HadoopMapReduce的通用并行计算框架拥有HadoopMapReduce所具有的优点但不同于MapReduce的是Job
进击的-小胖子·2024-02-01 12:37

spark比mapreduce快的yuanyin

spark是基于内存计算的，而mapreduce会将数据暂存在文件系统中，增加了可靠性但降低了性能DAG有向无环图，spark的有向无环图可以减少shuffle，在不需要其他节点数据的情况下(窄依赖)，
_or·2024-02-01 12:35

大数据之Spark:Spark大厂面试真题

目录1.通常来说，Spark与MapReduce相比，Spark运行效率更高。请说明效率更高来源于Spark内置的哪些机制？2.hadoop和spark使用场景？3.spark如何保证宕机迅速恢复?
浊酒南街·2024-02-01 12:35

Spark系列（十）Shuffle的技术难点问题--Spark比MapReduce快的真正原因

写在前面：我是「nicedays」，一枚喜爱做特效，听音乐，分享技术的大数据开发猿。这名字是来自worldorder乐队的一首HAVEANICEDAY。如今，走到现在很多坎坷和不顺，如今终于明白niceday是需要自己赋予的。白驹过隙，时光荏苒，珍惜当下~~写博客一方面是对自己学习的一点点总结及记录，另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对大数据与机器学习感兴趣，可以关注我的动
NICEDAYSS·2024-02-01 12:03

【论文笔记】OSDI04 MapReduce: Simplified Data Processing on Large Clusters

MapReduce是一种编程模型（类似于现在的框架），主要是将分布式算法进行了抽象，MP负责处理分布式中的容错、通信等，程序员只需要关注具体的业务实现，即Mapper和Reducer的逻辑。
qq_38420683·2024-02-01 12:03

Spark比Mapreduce快的原因

1）基于内存spark是基于内存进行数据处理的，MapReduce是基于磁盘进行数据处理的。MapReduce的设计：中间结果保存在文件中，提高了可靠性，减少了内存占用。但是牺牲了性能。
Rnan-prince·2024-02-01 12:33

【大数据开发 Spark】第一篇：Spark 简介、Spark 的核心组成（5大模块）、Spark 的主要特征（4大特征）、Spark 对比 MapReduce

文章目录1Spark简介2Spark的核心组成（5大模块）3Spark的主要特征（4大特征）4Spark对比MapReduce1Spark简介初步了解一项技术，最好的方式就是去它的官网首页，一般首页都会有十分官方且准确的介绍
超周到的程序员·2024-02-01 12:02

为什么Spark比MapReduce快

client提交一个application可能包含多个job，mr中一个mr程序就是一个job，spark中一个DAG就是一个job。程序运行方面1）多个依赖关系的mr程序中，reduce产生的结果必须落盘，spark程序在没有shuffle时，数据不用落盘。mr中间产生的文件，哪怕1K，也都要落盘。而且多个任务串联，任务与任务之间都是独立的。独立的多个任务，在调度方面也要浪费时间，必须等到这个任
认知偏差·2024-02-01 12:02

经典论文研读：《Bigtable: A Distributed Storage System for Structured Data》

一概述BigTable是以大神JeffreyDean为首的Google团队在2006年公开的分布式存储系统，是Google“三驾马车”论文中（GFS、MapReduce、BigTable）中最后公开的。
WanderingScorpion·2024-02-01 12:02

大数据之 Spark 与 Hadoop MapReduce 对比

ApacheSpark和ApacheHadoopMapReduce是两个广泛用于大数据处理的开源框架，它们在设计目标、性能表现和功能特性上有显著的不同点：执行模型：MapReduce(MR)：基于批处理模式
转身成为了码农·2024-02-01 12:30

大数据之 Spark Shuffle 和 Hadoop MapReduce Shuffle的区别

SparkShuffle和HadoopMapReduceShuffle是分布式计算框架中处理中间结果的关键阶段，它们的主要区别在于设计原理、执行效率和资源利用率：HadoopMapReduceShuffleSort-based
转身成为了码农·2024-02-01 12:30

为什么Spark比MapReduce快的原因

核心答案1、基于内存学过Spark的应该都知道，Spark是基于内存进行数据处理操作的，而MapReduce则是基于磁盘进行数据处理。
Stray_Lambs·2024-02-01 12:59

spark处理速度为什么比MapReduce快？

对比：MR(mapreduce)：Spark:可以看出MR
CoreDao·2024-02-01 12:29

大数据之 Spark 比 MapReduce 快的原因

Spark比MapReduce（MR）快的原因可以总结如下：内存计算：Spark的核心设计是基于内存的计算模型，它将中间数据尽可能保留在内存中。
转身成为了码农·2024-02-01 12:57

iOS 底层原理 文章汇总

iOS底层原理文章汇总iOS底层原理objc4源码相关iOS-底层原理01：源码探索的三种方式1、对象底层：结构体+alloc分析iOS-底层原理02：alloc&init&new源码分析iOS-底层原理
ios南方·2024-02-01 11:04

java中ArrayList和LinkedList的区别

目录1.Array2.List3.ArrayList4.使用数组长度分配空间性能对比5.LinkList6.对比7.ArrayList的源码分析7.1ArrayList的主要成员变量7.2ArrayList
Upaaui·2024-02-01 11:37

Hadoop-MapReduce-源码跟读-ReduceTask阶段篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、Reducer类我们先看下我们写的reduce所继承的Reducer类publicclassReducer{/***传递给Reducer实现的上下文*/publicabstractclassContextimplementsReduceContex
隔着天花板看星星·2024-02-01 09:54

pinctrl/gpio子系统（1）-pinctrl子系统介绍及驱动源码分析

1.简介在如今的驱动开发工作中，实际上已经很少去对着寄存器手册进行驱动开发了，一般板子拿到手，已经有原厂的驱动开发工程师，在gpio子系统、pinctrl子系统中将自家芯片的引脚适配好了。我们直接基于设备树已配置好的寄存器值，去使用子系统对应的API函数，就能快速完成驱动开发，不需要再那么关心IO寄存器的值，借助这种驱动分层的思想，快速完成驱动开发。其中配置一个GPIO最重要的几点就是配置IO的M
Embedded-Xin·2024-02-01 09:41

HBase介绍

一、HBase简介1.1、HBase是什么Google在200-2006发表了GFS、MapReduce、BigTable三篇论文，号称“三驾马车”，开启了大数据的时代。
M.Rambo·2024-02-01 06:09

Hadoop 大数据技术原理与应用

大数据技术原理与应用大数据概述定义特征大量，多样，高速，价值研究意义应用场景医疗，金融，零售Hadoop概述历史优势扩容能力强，成本低，高效率，可靠性，高容错Hadoop生态分布式存储系统（HDFS）分布式计算框架（MapReduce
kk8_·2024-02-01 04:33
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他