MapReduce源码分析

Flink源码分析 | 读取HBase配置

1、前言上面文章中总结了Flink获取HBase配置的逻辑和优先级，但是并没有对源码进行分析，本文主要是补充这一部分的源码分析。
董可伦·2023-12-19 08:40

Shell脚本实现MapReduce统计单词数程序

一、原理介绍概述HadoopStreaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer，例如：采用shell脚本语言中的一些命令作为mapper和reducer（cat作为mapper，wc作为reducer）$HADOOP_HOME/bin/hadoopjar$HADOOP_HOME/contrib/streaming/hadoo
鹅鹅鹅_·2023-12-19 08:32

2023年48套Java项目架构视频教程下载-高并发，微服务，分布式，需求分析，业务选型，项目部署

2023年48套Java项目架构视频教程-高并发，微服务，分布式，需求分析，业务选型，项目部署，架构设计，架构师，源码分析，设计模式，数据结构，数据库，业务选型，中间件，并发编程，需求分析，需求设计，项目部署
滴石编程·2023-12-19 07:36

【大数据面试】MapReduce常见问题与答案

目录介绍下MapReduceMapReduce优缺点MapReduce架构MapReduce工作原理MapReduce哪个阶段最费时间✅MapReduce中的Combine是干嘛的?有什么好出?
话数Science·2023-12-19 05:25

Netty 源码分析 —— NIO 基础（五）之零拷贝与其它源码解读

我准备战斗到最后，不是因为我勇敢，是我想见证一切。--双雪涛《猎人》[TOC]Thinking一个技术，为什么要用它，解决了那些问题？如果不用会怎么样，有没有其它的解决方法？对比其它的解决方案，为什么最终选择了这种，都有何利弊？你觉得项目中还有那些地方可以用到，如果用了会带来那些问题？这些问题你又如何去解决的呢？本文基于Netty4.1.45.Final-SNAPSHOT1、NIO堆外内存与零拷贝
小安的大情调·2023-12-19 04:53

String类的hashCode()方法源码分析

Object类中的hashCode()方法：同一个对象，hashCode必须相同；如果两个对象的equals相等，那么hashCode也必须要相等！hashCode()方法是native本地方法，是C++代码，hashCode的值，不一定是指向对象的内存地址，具体是什么值，底层依赖于JVM的具体实现，但是，同一个对象的hashCode()必须要唯一，所以hashCode就是唯一标识一个对象的。在每
Surpass余sheng军·2023-12-19 02:07

Java中使用getOrDefault()获取集合中指定键的值

v:defaultValue;}该方法属于map类，通过对源码分析来看，他也是根据key去过去value值，但是与map.get(key)不同的是，如果使用getOrDefault()方法的key
缓慢前行的菜鸟·2023-12-19 02:30

Dagger2源码分析

首先，还是看看简单的dagger为我们写了哪些代码，先看代码publicclassUser{@InjectpublicUser(){Log.e("User","newUser"+this);}}@ComponentpublicinterfaceAppComponent{voidinject(MainActivitymainActivity);}publicclassMainActivityexte
翻滚丷大头鱼·2023-12-19 02:26

RocketMq消息中间件

RocketMq什么是RocketMqRocketMq的架构图NameServerBrokerTopic主题手动创建分为两种创建模式集群模式broker模式参数主题名称写队列数量读队列数量权限源码分析自动创建
99Savage·2023-12-18 23:19

大数据技术11：Hadoop 原理与运行机制

一、Hadoop简介1.1、Hadoop定义Hadoop作为一个开源分布式系统基础框架，主要包含两大核心组件：HDFS分布式文件系统和MapReduce分布式并行计算框架，这两大核心组件是Hadoop进行大数据处理的基础和基石
Java架构何哥·2023-12-18 21:56

SQL注入思路基础

SQL注入一、SQL注入环境搭建二、SQL靶场实践1、源码分析2、联合查询3、数据库表3.1查询所有库名3.2查询表名3.3查询列名三、SQLMAP的使用1、安装2、执行3、查出数据库4、找出目前用户权限
君衍.⠀·2023-12-18 21:16

Redis源码分析之请求处理过程

本篇我们来看一下Redis命令的执行过程，入口是networking.c的processCommandAndResetClient方法。intprocessCommandAndResetClient(client*c){intdeadclient=0;server.current_client=c;if(processCommand(c)==C_OK){commandProcessed(c);}i
兽怪海北·2023-12-18 20:36

5.Nacos 配置中心及客户端配置更新机制源码

pom.xmlbootstrap.yml启动测试Nacos动态更新端口Nacos控制台配置代码验证Nacos动态更新配置controller接口bootstrap.ymlnacos配置Nacos配置中心源码分析
流月up·2023-12-18 20:17

airtest源码分析—air脚本的运行过程runner.py

概述本次是分析airtest的运行过程,通过分析我们将知道airtest是怎么运行.air文件脚本的入口关键代码有两个地方，一个是main文件，作为接收命令行参数，另一个是/core/cli/runner.py文件里面先来看看main.py文件defmain(argv=None):ap=get_parser()args=ap.parse_args(argv)ifargs.action=="info
cloudhuan·2023-12-18 19:44

源码分析Android View加载及绘制流程

一、View的加载流程：1、Activity调用setContentView方法，这里的getWindow是PhoneWindow，接着调用它的setContentView。publicvoidsetContentView(@LayoutResintlayoutResID){getWindow().setContentView(layoutResID);initWindowDecorActionB
舜尧·2023-12-18 18:25

Gradle 生态系统源码分析

Gradle进阶第八篇宁为玉碎，不为瓦全GradleProject下卷上一章讲到Gradle的ConfigurationContainer，ConfigurationContainer里面包含了一些系列的Configuration，而Configuration又继承了FileCollection接口。其实现类DefaultConfiguration中包括了对外发布的一个集合，以及构建依赖的一个集合
杰克熏·2023-12-18 18:43

MapReduce基础编程

文章目录第1关：合并去重第2关：整合排序第3关：信息挖掘第1关：合并去重编程要求对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件
柔雾·2023-12-18 17:58

Nginx的请求速率限制模块的两个关键参数rate和burst和相关代码语句的详细说明。

01-参考文章本文参考文章下面两篇文章写成（建议阅读前先看下下面两篇文章）：NGINX速率限制原理及源码分析Nginx限速模块初探02-参数rate和burst的详细解释rate的单位是r/s，单位直译过来是次数
昊虹AI笔记·2023-12-18 16:40

基于hadoop下的spark安装

数据存储：HDFS资源调度：Yarn数据计算：Spark或MapReduce，取
necessary653·2023-12-18 14:43

spark介绍及简单使用

起初，HadoopMapReduce是大数据处理的主流框架，但其存在一些限制，如不适合迭代算法、高延迟等。为了解决这些问题，Spark在2010年推出，提供了高效的内存计算和更灵活的数据处理方式。
necessary653·2023-12-18 13:08

从源码分析 Spring 基于注解的事务

在spring引入基于注解的事务(@Transactional)之前，我们一般都是如下这样进行拦截事务的配置：这种方式明显的缺点是，不太容易理解，并且限定了service层的方法名称的前缀，没有模板的话写起来也很难，很容易写错。因此在spring中引入了基于注解的事务配置方法之后，我们应该抛弃这种事务配置方法了。基于注解@Transactional的事务配置具有简单，灵活的优点。下面看一个例子：@
omygodvv·2023-12-18 12:16

设计模式 五种不同的单例模式 懒汉式 饿汉式 枚举单例 容器化单例(Spring单例源码分析) 线程单例

单例模式第一种饿汉式优点：执行效率高，性能高，没有任何的锁缺点：某些情况下，可能会造成内存浪费/***@authorLionLi*/publicclassHungrySingleton{privatestaticfinalHungrySingletonhungrySingleton=newHungrySingleton();privateHungrySingleton(){}publicstati
疯狂的狮子Li·2023-12-18 11:32

Java Lambda 表达式源码分析

Lambda表达式是什么？JVM内部究竟是如何实现Lambda表达式的？为什么要这样实现？基本概念Lambda表达式下面的例子中，()->System.out.println("1")就是一个Lambda表达式。Java8中每一个Lambda表达式必须有一个函数式接口与之对应。Lambda表达式就是函数式接口的一个实现。@Testpublicvoidtest0(){Runnablerunnable
Java架构大仙·2023-12-18 10:13

Android FrameWork ---- Binder驱动源码分析

对于进程间通信，Linux有很多实现的方式，像管道、信号量、共享内存、Socket等，那么为什么Android要使用Binder而不使用传统的IPC，钟爱Binder自然有其中的原因，从本节开始，分析AndroidFramework层原理Binder机制的底层原理1Binder是什么？2相对于传统IPCBinder的优势在哪？3Binder如何完成了1次拷贝？3.1内存的划分3.2虚拟内存3.3m
Awesome_lay·2023-12-18 10:57

HBase 1.2.0源码分析：Compact

Compact是指HBase表中HRegion上某个ColumnFamily下，部分或全部HFiles的合并。由于数据持续写入的过程中，MemStore达到一定阈值，被flush到磁盘上，形成许多的小文件，这些文件如果不做处理，将会严重影响HBase数据读取的效率。所以，在HBase系统内部，需要定期在满足一定条件的情况下，或者由人为手动触发，将这许多文件合并成一个大文件，称为Compact。Co
Alex90·2023-12-18 09:39

Hadoop(MapReducer)面试题

一、单选题1、Shuffle中Partitioner分区发生在哪个过程(A)A.溢写过程B.本地MergeC.reduce函数阶段D.map函数阶段2、在整个maprduce运行阶段，数据是以(A)形式存在的A.key/valueB.LongWritableC.TextD.IntWritable3、下列哪个方法提交job任务的入口方法(B)A.JoB.addCacheFile()B.JoB.wai
zyj_369·2023-12-18 09:55

MapReduce案例实操---对电话号码进行分区

通过MapReduce原理进行简单的分区。
好好踢球啦·2023-12-18 09:55

99-104-Hadoop-MapReduce-排序：

99-Hadoop-MapReduce-排序：WritableComparable排序排序是MapReduce框架中最重要的操作之一。MapTask和ReduceTask均会对数据按照key进行排序。
镇魂Boby·2023-12-18 09:24

Hadoop的mapreduce之分区Partitioner

1.本文讲讲Hadoop的mapreduce之分区Partitioner1.1默认情况下MR输出文件个数在默认情况下，不管map阶段有多少个并发执行task,到reduce阶段，所有的结果都将有一个reduce
严同学正在努力·2023-12-18 09:24

Hadoop_HDFS实践 (一)=＞(架构、Shell相关操作、API、NN/2NN工作原理、DataNode工作机制等)

目录Hadoop_HDFS、Hadoop_MapReduce、Hadoop_Yarn实践(一)一、Hadoop_HDFS1、概述、背景、优缺点1.1、概述1.2、架构1.3、优缺点1.4、块大小2、HDFS
常名先生·2023-12-18 09:23

Hadoop_Yarn实践 (三) =＞ (Yarn的基础架构、原理、容量/公平调度器、Tool接口、Yarn常用命令、核心参数)

目录Hadoop_HDFS、Hadoop_MapReduce、Hadoop_Yarn实践(三)一、Hadoop_HDFS二、Hadoop_MapReduce三、Hadoop_Yarn1、Yarn资源调度
常名先生·2023-12-18 09:23

Hadoop_MapReduce实践 (二) =＞ (核心架构、序列化、Inputformat/切片、Shuffile/分区/排序、outputformat、join、ETL、压缩)

目录Hadoop_HDFS、Hadoop_MapReduce、Hadoop_Yarn实践(二)一、Hadoop_HDFS二、Hadoop_MapReduce1、MapReduce概述1.1、MapReduce
常名先生·2023-12-18 09:52

MapReduce工作原理（重点）

阅读目录一、MapReduce完整运行流程二、MapReduce任务的Shuffle和排序过程三、内存缓冲区：MapOutputBuffer回到顶部一、MapReduce完整运行流程image解析：1在客户端启动一个作业
Yobhel·2023-12-18 07:24

【Spark面试】Spark面试题&答案

（☆☆☆☆☆）2、Spark为什么比MapReduce块？（☆☆☆☆☆）3、简单说一下hadoop和spark的shuffle相同和差异？
话数Science·2023-12-18 06:52

十七、如何将MapReduce程序提交到YARN运行

1、启动某个节点的某一个用户hadoop@node1:~$jps13025Jpshadoop@node1:~$yarn--daemonstartresourcemanagerhadoop@node1:~$jps13170ResourceManager13253Jpshadoop@node1:~$yarn--daemonstartnodemanagerhadoop@node1:~$jps13170R
弦之森·2023-12-18 04:48

LwIP源码分析(3)：内存堆和内存池代码详解

文章目录1内存堆1.1mem_init1.2mem_malloc1.3mem_free2内存池2.1memp_init2.2memp_malloc2.3memp_free3内存管理宏定义在嵌入式系统中，内存池有助于快速有效地分配内存。LwIP提供了两个灵活的方式来管理和组织内存池的大小：内存堆和内存池。当然它还支持C库中的malloc和free来申请和释放内存，但是这种分配方式可能会产生很多堆碎片
tilblackout·2023-12-18 03:29

Set接口下的实现类HashSet，和Map接口下的HashMap的相关内容

Set接口的相关细节：1.实现Set接口的类中不能添加重复的元素（会进行源码分析），且只能存在一个null值。2.添加和取出的元素顺序是不一致的即无序，且没有索引。
鼬猿·2023-12-18 02:01

分布式事务--初识Seata和TC部署

官网地址：Seata|Seata，其中的文档、播客中提供了大量的使用说明、源码分析。
勤奋的小狮子YY·2023-12-18 02:49

Hive问题

1.Hive基本概念数据仓库工具，底层存储为HDFS,类SQL的查询，转化为mapreduce。执行程序运行在Yarn上2.hive内部表和外部表的区别？
July2333·2023-12-18 02:57

Golang同步原语Mutex源码分析

在sync包下提供了最基本的同步原语，如互斥锁Mutex。除Once和WaitGroup类型外，大部分是由低级库提供的，更高级别的同步最好是通过channel通讯来实现。Mutex类型的变量默认值是未加锁状态，在第一次使用后，此值将不得复制，这点切记！！！本文基于goversion:1.16.2Mutex锁实现了Locker接口。//ALockerrepresentsanobjectthatcan
cfanbo·2023-12-18 00:34

《ThreadLocal使用与学习总结：2023-12-15》由浅入深全面解析ThreadLocal

ThreadLocal目录由浅入深全面解析ThreadLocal简介基本使用ThreadLocal与synchronized的区别ThreadLocal现在的设计（JDK1.8）ThreadLocal核心方法源码分析
码农阿豪·2023-12-18 00:32

EventBus源码分析

使用MainActiviitypublicclassMainActivityextendsAppCompatActivity{privateTextViewmTv;@OverrideprotectedvoidonCreate(BundlesavedInstanceState){super.onCreate(savedInstanceState);setContentView(R.layout.ac
Peakmain·2023-12-17 22:50

MapReduce运行模式

本地模式在本机运行MapReduce。在本机使用多线程的方式来运行多个Task。$HADOOP_HOME/etc/hadoop/mapred-site.xml文件中设置相关配置（默认就是该配置）。
皮卡丘要进化·2023-12-17 21:34

Flink Hudi 源码之COW表数据写入流程

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录数据写入流程接上一篇FlinkHudi源码之HoodieTableSink。
AlienPaul·2023-12-17 19:10

Leaflet.Graticule源码分析以及经纬度汉化展示

目录前言一、源码分析1、类图设计2、时序调用3、调用说明二、经纬度汉化1、改造前2、汉化3、改造效果总结前言在之前的博客基于Leaflet的Webgis经纬网格生成实践中，已经深入介绍了Leaflet.Graticule
夜郎king·2023-12-17 13:42

Java集合底层源码剖析-HashMap扩展

数据结构概述基本属性构造方法Entry定义put()方法get()方法TreeMap自定义排序规则的红黑树map数据结构put函数源码get获取函数源码如何保证有序性HashSetHashSet如何去重源码分析
猿与禅·2023-12-17 13:23

【Vue原理解析】之虚拟DOM

本文将深入探讨Vue.js中虚拟DOM的作用、核心源码分析。虚拟DOM的作用虚拟DOM是一个轻量级的JavaScript
俊刚、·2023-12-17 10:07

【Vue原理解析】之模版编译

本文将深入探讨Vue模版解析的作用、核心源码分析以及总结。模版解析的作用在Vue中，我们可以使用类似HTML的语法编写组件的模版代码。这些模版代码包含了数据绑定、指令、事件等功能，但浏
俊刚、·2023-12-17 10:37

【Vue原理解析】之虚拟DOM

本文将深入探讨Vue.js中虚拟DOM的作用、核心源码分析。虚拟DOM的作用虚拟DOM是一个轻量级的JavaScript
俊刚、·2023-12-17 10:37

大数据-MapReduce-关于Json数据格式的数据的处理与练习

XML16.4java中关于json中的jar包GSON：由谷歌进行开发Fastjson：由阿里进行开发16.5JsonObject讲解1.介绍2.依赖3.方法4.实例-将json数据转换成java对象16.6json在MapReduce
宜修·2023-12-17 10:32
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他