MapReduce源码分析

2018-06-14

Hadoop:1.官网：http://hadoop.apache.org/2.Hadoop的狭义和褒义认识：狭义：软件(HDFS、MapReduce、Yarn)褒义：以Hadoop为主的生态圈3.Hadoop
hoose·2023-12-17 09:26

【Qt信号槽源码分析】

Qt信号槽源码分析一、相关宏介绍二、示例moc文件源码解析信号发送接收过程源码解析emitsignalconnect三、关键类图：四、时间&空间问题五、总结一、相关宏介绍*要使用信号-槽功能，先决条件是继承
did_you·2023-12-17 08:44

HQL优化之数据倾斜

groupby导致倾斜前文提到过，Hive中未经优化的分组聚合，是通过一个MapReduceJob实现的。
zmx_messi·2023-12-17 08:13

HiveSql语法优化二 ：join算法

MapJoin，BucketMapJoin，SortMergeBucktMapJoin等，下面对每种join算法做简要说明：CommonJoinCommonJoin是Hive中最稳定的join算法，其通过一个MapReduceJob
zmx_messi·2023-12-17 08:43

HiveSql语法优化一 ：分组聚合优化

Hive中未经优化的分组聚合，是通过一个MapReduceJob实现的。
zmx_messi·2023-12-17 08:38

Android 7.0 Camera架构源码分析

Android7.0之前CameraService是在mediaserver进程中注册的，看下Android6.0的代码：//path:frameworks\av\media\mediaserver\main_mediaserver.cppintmain(){spproc(ProcessState::self());spsm=defaultServiceManager();ALOGI("Servi
longroey·2023-12-17 07:08

Hadoop，Hive和Spark大数据框架的联系和区别

Hadoop主要包括两个方面，分别是分布式存储框架（HDFS）和分布式计算框架（Mapreduce）。1.1HDFS分布式存储HDFS全称为hadoopdistributedfilesystem。
Weiyaner·2023-12-17 06:00

大数据生态中‘Hadoop’、‘Hive’、‘Spark’、‘Mapreduce’、‘HDFS’、‘Yarn’是什么关系

以上都是大数据相关的系统和技术，大数据又属于数据管理系统的范畴数据管理系统无非就两个问题：1.数据怎么存2.数据怎么算再进入信息爆炸时代后，数据的容量越来越大，导致一台服务器存不下，所以要用集群来存储、处理信息，但是管理一台服务器容易，怎么去统一管理集群的信息成了问题。所以用到了Hadoop生态来管理信息。Hadoop生态中HDFS：处理存储，管理信息的分布式存储、提供接口，让用户感觉集群中的信息
小书生啊·2023-12-17 06:29

Hadoop

文章目录1、Hadoop是什么2、Hadoop优势3、Hadoop组成（1）HDFS（2）YARN（3）MapReduce架构概述（4）HDFS、YARN、MapReduce三者关系（5）大数据技术生态体系
Gong_yz·2023-12-17 06:39

hive学习笔记

同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和redu
Tech_Hog·2023-12-17 05:05

Hive笔记五：入门教程

同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法
Mojoooo·2023-12-17 05:00

nginx_rtmp_module 之 ngx_rtmp_mp4_module 的mp4源码分析

一：整体代码函数预览static ngx_int_tngx_rtmp_mp4_postconfiguration(ngx_conf_t *cf){    ngx_rtmp_play_main_conf_t      *pmcf;    ngx_rtmp_play_fmt_t           **pfmt, *fmt;    pmcf = ngx_rtmp_conf_get_module_mai
liuzhezhe111·2023-12-17 05:56

Go实现MapReduce

背景当谈到处理大规模数据集时，MapReduce是一种备受欢迎的编程模型。它最初由Google开发，用于并行处理大规模数据以提取有价值的信息。
ldxxxxll·2023-12-17 05:10

ijkPlayer源码分析 PacketQueue分析

前言本文介绍PacketQueue，相对于FrameQueue来说比较简单，可以类比Android中的MessageQueue。PacketQueue总体介绍单向链表结构。first_pkt、last_pkt，是链表的起点和终点结点；recycle_pkt链表用于节点复用；是一个多线程安全队列，靠等待唤醒机制保证线程安全；当遇到flush_pkt时，serial加1自增，标志着流序列变化，区分是否
baiiu·2023-12-17 03:07

ijkplayer源码分析 FrameQueue分析

前言上一篇文章介绍了PacketQueue，本文介绍FrameQueue。FrameQueue结构体FrameQueue结构体，持有queue数组，是基于环形队列实现的；rindex、windex、size、max_size和等待唤醒机制获取读写位置，利用环形队列最大限度节约了空间；默认队列大小为16，最后由max_size=Math.min(max_size，FRAME_QUEUE_SIZE)来
baiiu·2023-12-17 03:07

ijkplayer源码分析 start流程和buffering缓冲策略

前言本系列如下：整体概述视频渲染流程音频播放流程read线程流程音频解码流程视频解码流程视频向音频同步start流程和buffering缓冲策略本文是分析ijkPlayer中的start流程和buffering机制，放在一块分析是因为两部分代码都在对播放状态进行操作，暂停或恢复播放。其中buffering机制也是ijk的核心，是卡顿和延时的核心。关键bool值ffp->render_w
baiiu·2023-12-17 03:36

ijkplayer源码分析 音频解码流程

前言本系列如下：整体概述视频渲染流程音频播放流程read线程流程音频解码流程视频解码流程视频向音频同步start流程和buffering缓冲策略本文是流程分析的第四篇，分析ijkPlayer中的音频解码流程，在audio_thread中，如下流程图中所示。
baiiu·2023-12-17 03:06

ijkplayer源码分析 视频解码流程

前言本系列如下：整体概述视频渲染流程音频播放流程read线程流程音频解码流程视频解码流程视频向音频同步start流程和buffering缓冲策略本文是流程分析的第五篇，分析ijkPlayer中的视频解码流程，在video_thread中，如下流程图中所示。
baiiu·2023-12-17 03:06

ijkplayer源码分析 视频向音频同步

前言本系列如下：整体概述视频渲染流程音频播放流程read线程流程音频解码流程视频解码流程视频向音频同步start流程和buffering缓冲策略本文是流程分析的第六篇，分析ijkPlayer中的音视频同步，在video_refresh_thread中，如下流程图中所示。
baiiu·2023-12-17 03:06

ijkplayer源码分析 视频渲染流程

前言本系列如下：整体概述视频渲染流程音频播放流程read线程流程音频解码流程视频解码流程视频向音频同步start流程和buffering缓冲策略本文是流程分析的第一篇，分析ijkPlayer中的视频渲染流程，在video_refresh_thread中，如下流程图中所示。
baiiu·2023-12-17 03:36

ijkplayer源码分析 音频播放流程

前言本系列如下：整体概述视频渲染流程音频播放流程read线程流程音频解码流程视频解码流程视频向音频同步start流程和buffering缓冲策略本文是流程分析的第二篇，分析ijkPlayer中的音频播放流程，在aout_thread中，如下流程图中所示。
baiiu·2023-12-17 03:36

ijkplayer源码分析 read_thread流程

前言本系列如下：整体概述视频渲染流程音频播放流程read线程流程音频解码流程视频解码流程视频向音频同步start流程和buffering缓冲策略前言本文是流程分析的第三篇，分析ijkPlayer中的read_thread流程，如下流程图中所示。
baiiu·2023-12-17 03:36

JNI原理 System.loadLibrary源码分析

前言本文介绍System.loadLibrary原理。Java层源码流程System#loadLibrary->Runtime#loadLibrary0–>BaseDexClassLoader#findLibrary–>DexPathList#findNativeLibrary->Runtime#nativeLoad，走向c层源码主要是从nativeLibraryPathElements中找到so
baiiu·2023-12-17 03:33

【置顶】 本博博文汇总

文章目录前言音视频ijkplayer源码分析FFmpeg、音视频协议Andriod系统音视频框架C、C++Android&Java源码分析、绘制、渲染Dalvik、Art虚拟机Java并发计算机基础操作系统计算机网络设计模式
baiiu·2023-12-17 02:59

Flink 源码之数据分区

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录前言Flink流处理作业支持并行操作。每一个并行度可以理解为一个数据管道。上游和下游的并行度也可能是不同的。
AlienPaul·2023-12-17 02:38

基于图片翘曲的后门攻击WaNet源码分析

什么是WaNet？WaNet是一种基于图片翘曲的后门攻击手段，参考文章《基于扭曲的后门攻击》下图分析了WaNet对于人眼的隐蔽性下图展现了WaNet的基本原理参考代码：github代码一、network文件1、blocks.py导入pytorch库importtorchfromtorchimportnnConv2dBlock函数用forward正向传播实现卷积、BN归一化、Relu激活函数clas
AuroraGengi·2023-12-17 02:11

7张图揭晓RocketMQ存储设计的奥妙

温馨提示：本文节选自新上市《RocketMQ技术内幕》第二版本，一个最大的改变就是在进入源码分析之前，首先通过图文的方式，提炼出RocketMQ的核心工作机制，降低源码阅读的难度，引发思考。
Java老程·2023-12-17 00:39

hadoop学习大纲

Hadoop集群环境搭建Hadoop集群环境搭建HDFS图说HDFS基本原理hadoop的shell命令操作javaapi操作HDFSHDFS之namenode管理元数据机制MapReduce初识MapReduceintelij
piziyang12138·2023-12-17 00:12

MapReduce

1.MapReduce是什么？它的优点和缺点分别是什么？MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。
编织幻境的妖·2023-12-17 00:53

浅谈MapReduce

MapReduce是一个抽象的分布式计算模型，主要对键值对进行运算处理。用户需要提供两个自定义函数：map：用于接受输入，并生成中间键值对。
garagong·2023-12-17 00:22

Flink 源码之 SQL 内置function定义方式

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录前言近期使用FlinkSQL内置函数的时候遇到了点问题，函数的返回结果和想象中的不一致。
AlienPaul·2023-12-16 23:23

使用 ThreadLocal 时一定会出现内存泄露吗？什么情况在会出现？如何防止？

文章目录内存泄露案例源码分析ThreadLocal.set方法什么情况会出现内存泄露如何防止总结为什么会写这篇文章呢？
黑夜无路人·2023-12-16 22:09

SpringBoot源码分析（三）：SpringBoot的事件分发机制

文章目录通过源码明晰的几个问题Spring中的事件Springboot是怎么做到事件监听的另外两种注册的Listener源码解析加载listenerSpringApplicationRunListenerEventPublishingRunListenerSimpleApplicationEventMulticaster判断listener是否可以接收事件Java泛型获取整体流程回顾Springb
MengFly_·2023-12-16 22:23

MapReduce

1.MapReduce是什么？请简要说明它的工作原理。MapReduce是一种编程模型，主要用于处理大规模数据集的并行运算，特别是非结构化数据。
编织幻境的妖·2023-12-16 20:21

数据仓库工具Hive

它可以将结构化的数据文件映射为一张数据库表，并提供类似SQL的查询功能，将SQL语句转换为MapReduce任务进行运行。
编织幻境的妖·2023-12-16 20:51

Spark

在核心上，Spark是基于内存计算的，这使得它比基于磁盘计算的HadoopMapReduce更快。
编织幻境的妖·2023-12-16 20:16

【linux kernel】mdev详解

文章目录一、mdev概述二、用法三、linux内核源码分析四、busybox源码分析一、mdev概述mdev是busybox提供的一个工具，在嵌入式系统中，相当于简化版的udev，作用是：在系统启动、热插拔和动态加载驱动程序时
iriczhao·2023-12-16 19:57

攻防世界web新手练习 -unseping

攻防世界web新手练习-unseping新版攻防世界的这个题目有点给力，从今天开始刷题刷题本题的知识点很多，总结出来以下几点php代码审计php反序列化命令执行的绕过方式空格绕过空环境变量绕过相关命令源码分析首先对源码进行分析
sean7777777·2023-12-16 19:26

Presto------分布式SQL查询引擎

ApacheHadoop-MapReduce优点：统一、通用、简单的编程模型，分而治之思想处理海量数据。
小希 fighting·2023-12-16 18:40

Winform高效获取控件(Control)方法 + 源码分析

背景：风好大，睡觉有点怕，起床敲代码了之前学的都是都是通过遍历控件（Controls），判断控件名是否相等来获取Control其实直接通过:Controls["控件名"]，就可以获得需要的控件为什么呢？对Controls按下F12发现，Controls是个ControlCollection类型；再对ControlCollection按下F12可以看到它的方法。这里我们需要关注这两个方法，但是又无法
造砖黑马程序员（学java，上黑马）·2023-12-16 17:58

Spring MVC源码分析

1、MVC模型1.1、Model1模型Model1模型是很早以前开发项目的一种常见模型，项目主要由JSP和Java和Bean两部分组成。在Model1模型下，整个WEB应用几乎都由JSP页面组成，JSP页面负责接收客户端请求，对请求处理后直接做出下响应。用少量的JavaBean来处理数据库连接、数据库访问等操作。优点：结构简单，开发小型项目效率高。缺点：JSP的职责兼顾展示数据和处理数据（也就是干
Alinlx·2023-12-16 16:05

《安富莱嵌入式周报》第328期：自主微型机器人，火星探测器发射前失误故障分析，微软推出12周24期免费AI课程，炫酷3D LED点阵设计，MDK5.39发布

更新一期视频教程：【实战技能】单步运行源码分析，一期视频整明白FreeRTOS内核源码框架和运行机制，RTOSTrace链表功能展示【实战技能】单步运行源码分析，一期视频整明白FreeRTOS内核源码框架和运行机制
硬汉嵌入式·2023-12-16 15:11

【实战技能】 单步运行源码分析，一期视频整明白FreeRTOS内核源码框架和运行机制，RTOS Trace链表功能展示

本期视频教程采用调试状态，逐字逐句源码分析方式，录制了一期视频教程
硬汉嵌入式·2023-12-16 15:09

vue中哪些数组的方法可以做到响应式

Vue2中为什么直接通过数组的索引修改元素是不会触发视图更新vue2为什么不直接监听数组Vue2对于数组提供了一些变异方法重写数组方法源码分析定义拦截器将拦截器挂载到数组上面收集依赖扩展：理解Vue2如何解决数组和对象的响应式问题对复杂对象的处理复杂对象中对象属性的属性的变化给数据的属性
前端布道人·2023-12-16 12:45

Mapreduce小试牛刀(1)

1.与hdfs一样，mapreduce基于hadoop框架，所以我们首先要启动hadoop服务器-----------------------------------------------------
printcsr·2023-12-16 12:51

Mapreduce小试牛刀(2)--java api

1.同hdfs的javaapi,我们首先要在IDE中建立一个maven项目pom.xml中配置如下：org.apache.hadoophadoop-mapreduce-client-common3.3.4org.apache.hadoophadoop-mapreduce-client-jobclient3.3.4org.apache.hadoophadoop-client3.3.4org.slf4
printcsr·2023-12-16 12:51

集合03 Collection (List) - Java

ListArrayListArrayList注意事项ArrayList底层操作机制-源码分析（重点）VectorVector基本介绍——Vector和ArrayList比较Vector底层结构和源码分析
aPurpleBerry·2023-12-16 11:50

SpringBoot 源码解析

前言本文只是纯源码分析文章，阅读者需要有Spring或者SpringBoot使用经验。
hao9e·2023-12-16 10:46

Mybatis源码解析7：拦截器Interceptor

Mybatis源码解析7：拦截器Interceptor1.项目结构2.源码分析2.1解析plugins标签2.2创建对象Configuration#newStatementHandler2.3注册插件InterceptorChain
hao9e·2023-12-16 10:16

Mybatis源码解析6：Mapper执行流程2-三个Handler

Mybatis源码解析6：Mapper执行流程2-三个Handler1.项目结构2.源码分析2.1StatementHandler分析BaseStatementHandler#prepare2.2ParameterHandler
hao9e·2023-12-16 10:16
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他