MapReduce源码分析第27页

Tor 1

笔者从今年3月份开始陆陆续续研究Tor系统的源码，由于源码量大，也有很多需要总结的地方，所以特地在这里开辟个Tor源码分析的系列文章，供自己总结，也供大家共同探讨。

ivana_1991·2024-01-07 17:10

Hive入门

Hive产生的原因：非Java编程者可通过sql语句对HDFS的数据做mapreduce操作。

爱过java·2024-01-07 17:04

HIve技术详解（一）

第1章Hive基本概念1.1Hive1.1.1Hive的产生背景在那一年的大数据开源社区，我们有了HDFS来存储海量数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度

molecule_jp·2024-01-07 17:34

MongoDB聚合操作

聚合操作包含三类：单一作用聚合、聚合管道、MapReduce。单一作用聚合提供了对常见聚合过程的简单访问，操作都从单个集合聚合文档。

Firechou·2024-01-07 16:35

Android 11中Activity启动过程源码分析

Android中ActivityManagerService简称AMS，主要负责Android中四大组件创建启动管理。本地环境如下：compileSdkVersion30buildToolsVersion"30.0.3"minSdkVersion21targetSdkVersion301）从调用startActivity开始startActivity(Intent(this,MainActivit

Time@traveler·2024-01-07 14:51

被标记为事务的方法互相调用的坑（上）

微服务、Spring，MyBatis，Netty源码分析的朋友可以加我的Java高

程序员日常填坑·2024-01-07 10:54

mybatis-mapper的动态代理原理

mapper的xml文件和对应的接口注意：mapper的xml文件要与接口名一样，namespace也需要设置为接口的全路径名，只有这样才能在为mapper接口做动态代理的时候找到正确的sql语句二、源码分析涉及到的模块

想到的名字都被人用了·2024-01-07 07:11

Spark五：Spark的两种核心Shuffle

Shuffle在MapReduce框架中，Shuffle阶段是链接Map和Reduce之间的桥梁，Map阶段通过Shuffle过程将数据输出到Reduce阶段中。

eight_Jessen·2024-01-07 07:38

iOS底层探索之Block(五)——Block源码分析(__block 底层都做了什么？)

回顾在上一篇博客中，通过对block追根溯源，汇编跟踪调式，源码分析，对底层结构和block的属性方法都有一定的认识，那么本篇博客将继续对block的底层进行分析。

俊而不逊·2024-01-07 07:07

个人笔记：分布式大数据技术原理（二）构建在 Hadoop 框架之上的 Hive 与 Impala

有了MapReduce，Tez和Spark之后，程序员发现，MapReduce的程序写起来真麻烦。他们希望简化这个过程。这就好比你有了汇编语言，虽然你几乎什么都能干了，但是你还是觉得繁琐。

garagong·2024-01-07 07:16

基于Hadoop的豆瓣电影数据分析

我们可以使用Python编写MapReduce程序，将数据集转换为Hadoop可处

数据科学探险导航·2024-01-07 05:07

RocketMQ源码分析----Producer队列选择与容错策略

队列选择在HA的文章里大概讲了一下Producer如何为高可用贡献出一份力量的，当时只是说了遍历列表选择队列，然后选择一个，没有深入分析，这篇文章深入分析一下其源码，首先从发送消息选择队列的代码开始：StringlastBrokerName=null==mq?null:mq.getBrokerName();MessageQueuetmpmq=this.selectOneMessageQueue(l

_六道木·2024-01-07 04:44

Spring 源码分析零：Springboot的启动流程

文章目录一、前言二、SpringApplication的初始化三、流程简介四、流程步骤详解1.获取监听器2.环境变量的构造2.1.application.yml的加载3.创建上下文4.上下文准备工作5.SpringApplication#refreshContext附录：spring.factories一、前言本文是笔者阅读Spring源码的记录文章，由于本人技术水平有限，在文章中难免出现错误，如

猫吻鱼·2024-01-07 04:14

Java HashMap 面试题（一）

面试题-HashMap的put方法的具体流程hashMap常见属性源码分析3.3面试题-说一下HashMap的实现原理？

xwhking·2024-01-07 03:11

大作业（一）

实验目的与要求：目的：采用语言的特性来解决计算机工程问题，包括结构的设计与应用、递归和迭代的设计与应用、mapreduce的设计与应用等实验。

Xindolia_Ring·2024-01-07 02:31

Hive的基本的概述即使用参考

1.Hive的概述√意义：在于大幅度降低工程师学习MapReduce的学习成本，让好用（计算速度快）的MapReduce更方便的使用（使用简单）√基本概念：Hive是基于Hadoop的一个数据仓库工具，

C8H11O2N_4cd4·2024-01-07 02:29

Android架构组件Room功能详解，已拿offer附真题解析

可能有人会觉得，我技术牛逼就行了，为啥还要提高写文档的能力，有这功夫我还不如多看看源码分析？这是一些初级或者刚入门的工程师的普遍的困惑。这

m0_56067448·2024-01-06 19:36

spring之循环依赖底层源码分析

目录前言：@Resouce/@AutoWired区别@Resouce注入过程spring循环依赖底层原理源码解析解决循环依赖问题所需要的重要关键对象循环依赖不同场景解决方式前言：今天聊一聊spring循环依赖问题，同时分析一下@Resouce/@AutoWired区别。@Resouce/@AutoWired区别@Autowired注解是Spring提供的，而@Resource注解是J2EE本身提供

山鸟与鱼！·2024-01-06 18:09

Hive 源码解析一：Driver

本文为Hive源码系列的第一节(共三节)客户端部分，本节主要内容是通过源码分析总结从bin/hive启动到SQL解析转换成MR再到提交任务打印结果的一个宏观流程；第二节则针对HSQL如何解析、转换成MR

小王是个弟弟·2024-01-06 17:25

《Hive系列》Hive详细入门教程

Hive本质将HSQL转化成MapReduce程序Hive处理的数据存储在HDFSHive分析数据底层实现的是MR执行程序运行在Yarn上1.2Hive的优缺点1.2.1

DATA数据猿·2024-01-06 17:55

YARN（一）-- 产生原因及概述

本文内容如下：介绍为什么会产生YARN（同时介绍原MapReduce框架的不足）YARN的基本原理首先说一下YARN是什么吧：ApacheHadoopYARN(YetAnotherResourceNegotiator

小北觅·2024-01-06 17:54

【Linux 内核源码分析】I2C子系统分析整体框架介绍

内核版本：v4.14构成在Linux的I2C架构如图：内核空间部分可以分为：i2c设备驱动、i2c核心以及i2c总线驱动。i2c核心：框架的实现；提供i2c总线驱动和设备驱动的注册、注销方法；i2c通信方法（algorithm）上层的，与具体适配器无关的代码以及探测设备、检测设备地址的上层代码等。这一部分的工作由内核开发者完成。i2c总线驱动：具体控制器的实现；i2c总线驱动是对i2c硬件体系结构

攻城狮百里·2024-01-06 16:26

【Linux 内核源码分析】GPIO子系统软件框架

Linux内核的GPIO子系统是用于管理和控制通用输入输出（GPIO）引脚的软件框架。它提供了一套统一的接口和机制，使开发者能够方便地对GPIO进行配置、读写和中断处理。主要组件：GPIO框架：提供了一套API和数据结构，用于在驱动程序中注册和操作GPIO引脚。这包括GPIO的请求、释放、配置以及读写等功能。GPIO控制器驱动：每个具体的硬件平台都需要编写相应的GPIO控制器驱动程序，负责与硬件进

攻城狮百里·2024-01-06 16:26

【Linux 内核源码分析】Linux内核通知链机制

Linux内核通知链（notifierchain）是一种机制，用于实现内核中的事件通知和处理。它提供了一种灵活的方式，让不同的模块可以注册自己感兴趣的事件，并在事件发生时接收到通知。通知链由一个或多个注册在其中的回调函数组成，每个回调函数都有一个优先级。当事件发生时，内核会按照优先级顺序调用相应的回调函数进行处理。在内核中，常见的使用场景包括：设备驱动程序：当设备状态改变时，通过通知链机制将相关信

攻城狮百里·2024-01-06 16:56

【Linux 内核源码分析】关于Linux内核源码目录结构

攻城狮百里·2024-01-06 16:20

高可用分布式部署Spark、完整详细部署教程

Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark

一座野山·2024-01-06 16:15

seata的部署和集成

官网地址：Seata|Seata，其中的文档、播客中提供了大量的使用说明、源码分析。

ZSYP-S·2024-01-06 15:48

Hbae批量装载(Bulk Loading)

最直接的方式即可以通过MapReduce任务，也可以通过普通客户端API。但是这都不是高效方法。

明明德撩码·2024-01-06 10:24

Spark概述

Spark概述Spark是什么ApacheSpark是一个快速的，多用途的集群计算系统，相对于HadoopMapReduce将中间结果保存在磁盘中，Spark使用了内存保存中间结果，能在数据尚未写入硬盘时在内存中进行运算

我像影子一样·2024-01-06 09:38

RocketMQ源码发送消息源码分析

前言DefaultMQProducer是默认生产者组件，是生产者客户端中，绝大部分关于生产者和broker、nameSrv进行网络通信的功能入口。其中，包含发送各种形式（同步、异步、事务、顺序）的消息，针对发送消息部分的实现，主要是封装好消息协议后，从NameSrv获取当前Topic路由信息，轮询悬着一个队列，通过RemotingClient客户端，将请求发送给messageQueue所在的bro

虚空小白·2024-01-06 08:37

Retrofit源码分析

本文概述Retrofit作为主流的网络框架，采用注解和接口的方式封装请求，使得调用过程变得优雅又简洁，优雅的背后肯定是卓越的设计，所以从源码角度分析一下Retrofit是如何做到的，整理成文。使用回顾publicinterfaceGitHubService{@GET("group/{id}/users?sort=desc")Call>groupList(@Path("id")intgroupId)

就叫汉堡吧·2024-01-06 07:32

聊一聊 C# 线程切换后上下文都去了哪里

这个问题其实比较底层，如果对操作系统没有个体系层面的理解以及做过源码分析，其实很难说明白，这篇我们就从.NET高级调试的角度试着分析一下吧。

一线码农·2024-01-06 07:53

spring-AOP注解源码分析

1.前言在刚学java的时候看到编译器里显示的黄黄的字体还不知道那是注解，注解的名称也是后面才知道的，反正感觉它的逼格很高。后面为了提高自己的代码质量，也学会了注解的编写，不过一直没有去看到底是怎么实现的，这回总算弥补上年轻时代的缺憾了。2.代理实例化的流程image.png2.1ProxyFactory代理工厂代理工厂类继承于ProxyCreatorSupport涉及的源码部分如下，很简单没什么

WANGGGGG·2024-01-06 07:15

springCloud-Eureka源码分析

Eureka架构图Eureka作为springCloud的注册中心，提供了服务注册、服务续约、服务同步等功能，本片文章结合源码来看下Eureka核心功能，原文地址imageEureka核心功能服务注册(register)：EurekaClient会通过发送REST请求的方式向EurekaServer注册自己的服务，提供自身的元数据，比如ip地址、端口、运行状况指标的url、主页地址等信息。Eure

ajajaj·2024-01-06 06:43

MR实战：网址去重

howard2005·2024-01-06 06:09

Linux内核源码分析之setup_arch (三)

1.前言在Linux内核源码分析之setup_arch(二)中介绍了当前启动阶段的内存分配函数memblock_alloc，该内存分配函数在本篇将要介绍paging_init中用于页表和内存的分配，paging_init

JiauZhang·2024-01-06 03:20

Linux内核源码分析之setup_arch (四)

机器感知一个专注于SLAM、Linux、算法等相关技术文章分享的公众号前言Linux内核源码分析之setup_arch(三)基本上把setup_arch主要的函数都分析了，由于距离上一篇时间比较久了，所以这里重新贴一下大致的流程图

JiauZhang·2024-01-06 03:20

MyBatis源码分析（二）：项目结构

目录1、前言2、代码统计3、整体架构3.1、基础支持层3.1.1、反射模块3.1.2、类型模块3.1.3、日志模块3.1.4、IO模块3.1.5、解析器模块3.1.6、数据源模块3.1.7、缓存模块3.1.8、Binding模块3.1.9、注解模块3.1.10、异常模块3.2、核心处理层3.2.1、配置解析模块3.2.2、SQL解析模块3.2.3、插件模块3.3、接口层3.3.1、session模

小徐很努力·2024-01-06 00:39

MyBatis 源码分析（四）：反射模块

前言上一篇我们了解了Mybatis解析器模块，MyBatis源码分析（三）：解析器模块本篇我们来了解反射模块。相比parsing包来说，reflection包的代码量大概是2-3倍。

小徐很努力·2024-01-06 00:39

MyBatis源码分析（三）：解析器模块

目录1、前言2、源码分析2.1、XPathParser2.1.1、属性讲解2.1.2、构造方法讲解2.2、eval方法2.2.1、eval元素2.2.2、eval节点2.3、XMLMapperEntityResolver2.4

小徐很努力·2024-01-06 00:09

MyBatis源码分析（一）：搭建调试环境

目录拉取源码安装环境调试测试1、mybatis-config.xml2、AutoConstructorMapper.xml3、AutoConstructorMapper4、CreateDB.sql5、POJO5.1AnnotatedSubject5.2、PrimitiveSubject5.3、BadSubject5.4、ExtensiveSubject6、AutoConstructorTest6.

小徐很努力·2024-01-05 23:38

大数据 MapReduce是什么？

而HadoopMapReduce的出现，使得大数据计算通用编程成为可能。我们只要遵循MapReduce编程模型编写业务处理逻辑代码，就可以运行在Hadoop分布式集群上，无需

善守的大龙猫·2024-01-05 21:47

【JUC并发编程】synchronized原理分析（中）（JVM对象头/ HotSpot源码分析/ 字节码文件分析）

目录一、JVM对象头1.KlassPointer2.实例属性3.对齐填充4.查看Java对象布局5.基本数据类型占多少字节5.论证压缩效果6.New一个对象占用多少字节二、HotSpot源码分析1.对象头详解

超级码里喵·2024-01-05 19:36

MR实战：词频统计

howard2005·2024-01-05 19:01

go-kit-consul client服务发现源码分析

背景：在我之前一篇博客文章（golang实现的商城）中曾经大言不惭地说到后续可能会考虑douyu-jupiter微服务或者dubbo-go服务，目前为止微服务版确实在做，并且server端功能已经完成，只不过是用go-kit实现。刚完成直连调用。项目架构先简单说下：项目简单分为5个模块，其中“前端”2个，后端3个。前端：bal(bisinessaccesslayer):后台管理界面httpcont

csdnfanguyinheng·2024-01-05 17:20

Pentaho Kettle 6.1连接CDH5.4.0集群

最近把之前写的HadoopMapReduce程序又总结了下，发现很多逻辑基本都是大致相同的，于是想到能不能利用ETL工具来进行配置相关逻辑来实现MapReduce代码自动生成并执行,这样可以简化现有以及之后的一部分工作

香山上的麻雀·2024-01-05 16:43

MapReduce2深入浅析

一、MapReduce2工作机制1.1、MapReduce2的架构图MapReduce2工作机制.png1.2、MapReduce2运作步骤说在前头的话，上图中有一个ResoureceManager，这是一个资源调度器

愤怒的谜团·2024-01-05 13:37

『Android Q 源码分析』-Android 10.0 WatchDog源码解析

概览（本文系统源码基于Andoroid10.0.0-r16）Watchdog的中文叫“看门狗”，最早引入Watchdog是在单片机系统中，由于单片机的工作环境容易受到外界磁场的干扰，导致程序“跑飞”，造成整个系统无法正常工作，因此，引入了一个“看门狗”，对单片机的运行状态进行实时监测，针对运行故障做一些保护处理，譬如让系统重启。这种Watchdog属于硬件层面，必须有硬件电路的支持。Linux也引

ContentPane·2024-01-05 13:44

面试题：聊聊 SpringBoot 中的 SPI 机制

文章目录简介JavaSPI实现示例说明实现类1实现类2相关测试源码分析SpringSPISpring示例定义接口相关实现相关测试类输出结果源码分析总结简介SPI(ServiceProviderInterface

xuxu1116·2024-01-05 12:20

Spark内核解析-Spark shuffle6(六)

1、SparkShuffle过程1.1MapReduce的Shuffle过程介绍Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。

有语忆语·2024-01-05 10:35

推荐频道

MapReduce源码分析