MapReduce源码分析

深入理解Dubbo-7.服务消费调用源码分析

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成2023计划中：源码溯源，一探究竟联系方式：nhs19990716，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬文章目录客户端发起调用JavassistProxyFactory
爱吃芝士的土豆倪·2023-12-16 09:33

深入理解Dubbo-6.服务消费源码分析

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成2023计划中：源码溯源，一探究竟联系方式：nhs19990716，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬文章目录客户端注册实现猜想注入方式DubboAutoConfig
爱吃芝士的土豆倪·2023-12-16 09:03

MongoDB mapReduce案例分析

文章目录第1关：mongoDB的插入和查询第2关：MongoDB的删除操作第1关：mongoDB的插入和查询编程要求根据提示，在右侧编辑器补充代码，根据提示。测试说明平台会对你编写的代码进行测试：测试输入：无输入；预期输出：输出查询匹配到的数据importpymongo#连接mongodbclient=pymongo.MongoClient(host="127.0.0.1",port=27017)
柔雾·2023-12-16 09:30

xxlJob源码分析-待完善

一、服务分为2个模块1、xxl-job-admin：调度中心，里面很多执行器2、客户端：或者说叫任务服务，也即是我们自己写的定时任务，最终就是由调度中心的执行器来触发任务。二、调度中心需要用的表1、XxlJobRegistryDao客户端信息表客户端像服务端注册后，会在服务端把客户端的信息存到这个表里面去。并且注册的是哪个执行器registryGroup这个是注册模式：是自动注册进来的还是，手动添
信仰_273993243·2023-12-16 07:54

Fragment事务管理源码分析

概述在Fragment使用中，有时候需要对Fragment进行add、remove、show、hide、replace等操作来进行Fragment的显示隐藏等管理，这些管理是通过FragmentTransaction进行事务管理的。事务管理是对于一系列操作进行管理，一个事务包含一个或多个操作命令，是逻辑管理的工作单元。一个事务开始于第一次执行操作语句，结束于Commit。通俗地将，就是把多个操作缓
陈HHH·2023-12-16 06:22

华为大数据开发者教程知识点提纲

一、线下处理1.离线处理方案数据支持：HDFS调度：YARN收入：Flume，sqoop，loader处理：Mapreduce，SparkSql，spark，hive（，Flink）2.HadoopNamenode
qq_1418269732·2023-12-16 06:08

RocketMQ的消息过滤是怎样工作的❓

在本篇博客中，我们将深入探讨RocketMQ消息过滤的实现机制，结合源码分析消息过滤的流程。1.SQL92表达式订阅RocketMQ的消息过滤机制主要基于SQL92表达式。
二狗plus·2023-12-16 05:48

【Spark精讲】Spark与MapReduce对比

目录对比总结MapReduce流程编辑MapTask流程ReduceTask流程MapReduce原理阶段划分MapshufflePartitionCollectorSortSpillMergeReduceshuffleCopyMergeSort
话数Science·2023-12-16 04:04

（SpringBoot）第十一章：SpringBoot 统一功能处理（AOP实战）

文章目录一：用户登录权限验证（1）传统用户登录验证（2）使用原生SpringAOP进行用户登录验证（3）Spring拦截器A：自定义拦截器B：拦截器实现原理①：概述②：源码分析（4）补充：统一访问前缀的添加二
快乐江湖·2023-12-16 04:35

启动YARN并运行MapReduce程序

并启动1.配置集群1.1配置yarn-env.sh文件exportJAVA_HOME=你的jkd安装路径1.2配置yarn-site.xml文件yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.hostname
Manfestain·2023-12-16 03:38

CompletableFuture原理解析

文章目录一、Callable、Future介绍1.简介2.底层原理二、FutureTask介绍1.简介2.底层原理三、CompletionService1.简介2.原理3.源码分析4.总结四、CompletableFuture1
jakiechaipush·2023-12-16 03:01

十六、YARN和MapReduce配置

配置内容：（2）部署说明（3）集群规划2、修改配置文件MapReduce（1）修改mapred-env.sh配置文件exportJAVA_HOME=/export/server/jdkexportHADOOP_JOB_HISTORYSERVER_HEAPSIZE
弦之森·2023-12-16 01:55

ambari hive on Tez引擎一直卡住

/bin/hive启动后一直卡住，无法进入命令行使用TEZ作为Hive默认执行引擎时，需要在调用HiveCLI的时候启动YARN应用，预分配资源，这需要花一些时间，而使用MapReduce作为执行引擎时是在执行语句的时候才会去启用
dogplays·2023-12-16 00:25

05 FFmpeg4.4源码分析--解码

一、解码原理视频解码实现的是将压缩域的视频数据解码为像素域的YUV数据。实现的过程，可以大致用如下图所示：从图中可以看出，大致可以分为下面三个步骤：首先要有待解码的压缩域的视频作为输入其次根据视频视频的压缩格式获得对应解码器最后通过解码器解码，输出像素域为YUV的解码后数据二、解码流程三、源码解析1、av_register_all()voidav_register_all(void);作用：该函数
Chiang木·2023-12-15 22:48

大数据学习（一）-------- HDFS

2、hadoophadoop有三个核心组件：hdfs：分布式文件系统mapreduce：分布式运算编程框架yarn：分布式资源调度平台3
大数据流动·2023-12-15 21:01

Hadoop和Spark的区别

SparkSpark模型是对Mapreduce模型的改进，可以说没有HDFS、Mapreduce就没有Spark。Spark可以使用Yarn作为他的资源管理器，并且可以处理HDFS数据。
旅僧·2023-12-15 20:12

kmeans设置中心_Spark分布式机器学习源码分析：Kmeans族聚类

Spark是一个极为优秀的大数据框架，在大数据批处理上基本无人能敌，流处理上也有一席之地，机器学习则是当前正火热AI人工智能的驱动引擎，在大数据场景下如何发挥AI技术成为优秀的大数据挖掘工程师必备技能。本文采用的组件版本为：Ubuntu19.10、Jdk1.8.0_241、Scala2.11.12、Hadoop3.2.1、Spark2.4.5，老规矩先开启一系列Hadoop、Spark服务与Spa
weixin_39699121·2023-12-15 19:27

Spark 随机森林算法原理、源码分析及案例实战

图1.Spark与其它大数据处理工具的活跃程度比较回页首环境要求操作系统：Linux，本文采用的Ubuntu10.04，大家可以根据自己的喜好使用自己擅长的Linux发行版Java与Scala版本：Scala2.10.4，Java1.7Spark集群环境（3台）：Hadoop2.4.1+Spark1.4.0，Spark集群搭建方式参见本人博客：http://blog.csdn.net/lovehu
黑谷子·2023-12-15 19:51

MapReduce模拟统计每日车流量-解决方案

MapReduce模拟统计每日车流量-解决方案1.Map阶段：将原始数据分割成若干个小块，每个小块由一个Map任务处理。Map任务将小块中的每个数据项映射成为一个键值对，其中键为时间戳，值为车流量。
小火柴012·2023-12-15 19:48

yarn历史日志_配置文件

yarn历史日志yarn配置文件yarn执行任务1.3.YARN的历史日志1.3.1.历史日志概述我们在YARN运行MapReduce的程序的时候，任务会被分发到不同的节点，在不同的Container内去执行
Guff_hys·2023-12-15 19:44

CopyOnWriterArrayList 详解

CopyOnWriterArrayList详解文章目录CopyOnWriterArrayList详解1.简介2.原理3.优点4.缺点5.源码分析5.1添加操作5.2删除操作5.3弱一致性的迭代器6.ArrayList
GeGe&YoYo·2023-12-15 18:45

Flink 源码之 Buffer Timeout优化

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录BufferTimeout概念Flink每个算子向下游发送数据需要两个条件：输出buffer空间占满buffer中数据存在时间超过buffertimeout
AlienPaul·2023-12-15 18:55

【SpringBoot系列】spring-kafka consumer源码分析

‍♂️个人主页：@香菜的个人主页，加ischongxin，备注csdn✍作者简介：csdn认证博客专家，游戏开发领域优质创作者,华为云享专家，2021年度华为云年度十佳博主希望大家多多支持，我们一起进步！如果文章对你有帮助的话，欢迎评论点赞收藏加关注+系列文章：SpringBoot学习大纲，可以留言自己想了解的技术点目录1、spring-
香菜+·2023-12-15 18:05

若依源码分析

一.登录1.1生成验证码基本思路后端生成一个表达式,7+4=?@117+4=?转成图片,传到前端进行展示将结果11存入redis前端代码实现:请求后端地址:http://localhost/dev-api/captchaImage,通过反向代理解决前后端跨域问题,将请求路径变为:http://localhost:8080/captchaImage后端代码实现:/***生成验证码*/@GetMapp
小钟不想敲代码·2023-12-15 17:26

大数据基础知识

为了一场紧急考试，没有正经系统学习过大数据知识的我开始恶补概念涉及Hadoop、Hbase、Spark、Flink、Flume、Kafka、Sqoop、HDFS、Hive、Mapreduce、Impala
偶余杭·2023-12-15 17:22

docker-compose 源码分析

最近搞devops相关的内容，将机房的机器集中起来，方便服务部署，算力集中管理等。在k8s等都基本搭建完毕之后，闲暇时间学习下docker-compose工作原理。环境准备下载compose源码，当前最新版本是1.23.0$gitclonehttps://github.com/docker/compose然后通过pycharm导入到项目架构图docker-compose架构图.jpg在docker
走在成长的道路上·2023-12-15 16:20

IOS底层(七): alloc相关: calloc源码分析

OC底层源码/原理合集建议先看下IOS底层(三):alloc相关1.初探alloc,init,new源码分析alloc初始化关键三个步骤计算内存大小instanceSize,申请内存calloc,指针关联
ShawnRufus·2023-12-15 16:28

WordCount 源码解析 Mapper，Reducer，Driver

创建包com.nefu.mapreduce.wordcount，开始编写Mapper，Reducer，Driver用户编写的程序分成三个部分：Mapper、Reducer和Driver。
星星失眠️·2023-12-15 16:30

MapReduce框架原理

image.pngInputFormat数据输入切片与MapTask并行度决定机制问题引出MapTask的并行度决定Map阶段的任务处理并发度，从而影响整个job的处理速度思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提高集群性能吗？MapTask并行任务是不是越多越好呢？哪些因素影响了MapTask的并行度？MapTask并行度
小怪兽说疼疼哒·2023-12-15 16:01

Gradle 生态系统源码分析

Gradle进阶第七篇锲而不舍，金石可镂GradleProject上卷GradleProject对应一个模块，对于一个多模块构建的项目，它会有RootProject，和所有SubProject。这些都是在setting.gradle中配置的：include':lib'include':app'rootProject.name="GradleDebug"Project的实现类是DefaultProj
杰克熏·2023-12-15 15:58

Spring Boot中JdbcTemplate多数据源配置

我是撸代码的羊驼，前阿里巴巴架构师，现某互联网公司CTO联系v：sulny_ann（17362204968），加我进群，大家一起学习，一起进步，一起对抗互联网寒冬在《SpringBoot中JdbcTemplate源码分析
撸代码的羊驼·2023-12-15 13:39

Java集合知识点整理

Map接口CollectionList重复有序1ArrayListList接口的主要实现类，底层用数组实现优点访问速度快缺点插入和删除开销大：增加和删除元素时，需要对整个数组进行遍历、定位和移动线程不安全源码分析
方人也几点·2023-12-15 12:33

JAVA集合框架详解

文章目录集合概述Collection体系集合Collection父接口Collection子接口List集合List实现类ArrayList【重点】ArrayList源码分析VectorLinkedListLinkedList
lazydog036·2023-12-15 12:32

【基础知识】Hadoop生态系统

分布式计算-Hadoop的计算框架MapReduce可以在分布式服务器上并行处理大量数据。高容错性-Hadoop可以自
偏振万花筒·2023-12-15 12:40

【基础知识】大数据概述

发展历程中国开源生态图谱2023参考内容中国开源生态图谱2023.pdf技术组件说明数据集成sqoop、dataX、flume数据存储hdfs、kafka数据处理mapreduce、hive、impala
偏振万花筒·2023-12-15 12:39

基于FFmpeg源码分析HLS拉流

本文分析ffmpeg针对hls处理的源码概述：首先通过http请求获取m3u8文件，通过解析m3u8文件获取切片最早的的ts文件获取常规的AVFormatContext信息。代码主要实现在hls.c文件.伪代码如下：可以看出针对hls的协议处理主要实现是在avformat_open_input中，具体细节接下来分析。AVFormatContext*pFormatCtx=nullptr;char*p
程序员老舅·2023-12-15 12:05

flink源码分析之功能组件(五)-高可用组件

简介本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics
中间件XL·2023-12-15 11:21

Java 并发（2）AbstractQueuedSynchronizer 源码分析之独占模式

转https://mp.weixin.qq.com/s/LgJ95VrXK8-bEi231QvPiQ在上一篇《Java并发系列（1）AbstractQueuedSynchronizer源码分析之概要分析
george_george·2023-12-15 11:17

tapable最详细源码分析及手写实现

tapable整体介绍tapable是一个类似于Node.js中的EventEmitter的库，但更专注于自定义事件的触发和处理。const{SyncHook,SyncBailHook,SyncWaterfallHook,SyncLoopHook,AsyncParallelHook,AsyncParallelBailHook,AsyncSeriesHook,AsyncSeriesBailHook,
小蛮牧码者·2023-12-15 09:35

60.Sentinel源码分析

Sentinel源码分析1.Sentinel的基本概念Sentinel实现限流、隔离、降级、熔断等功能，本质要做的就是两件事情：统计数据：统计某个资源的访问数据（QPS、RT等信息）规则判断：判断限流规则
醉梦依依惜（互粉互赞）·2023-12-15 08:19

57.Nacos源码分析1

一、下载Nacos源码并运行。1.下载Nacos源码并运行要研究Nacos源码自然不能用打包好的Nacos服务端jar包来运行，需要下载源码自己编译来运行。1.1.下载Nacos源码Nacos的GitHub地址：https://github.com/alibaba/nacos课前资料中已经提供了下载好的1.4.2版本的Nacos源码：如果需要研究其他版本的同学，也可以自行下载：大家找到其relea
醉梦依依惜（互粉互赞）·2023-12-15 08:19

58.Nacos源码分析2

三、服务心跳。3.服务心跳Nacos的实例分为临时实例和永久实例两种，可以通过在yaml文件配置：spring:application: name:order-servicecloud: nacos:  discovery:   ephemeral:false#设置实例为永久实例。true：临时;false：永久  server-addr:192.168.150.1:8845临时实例基于心跳方式做
醉梦依依惜（互粉互赞）·2023-12-15 08:19

56.微服务面试篇

二、Nacos源码分析和Sentinel源码分析。三、Nacos的服务注册表结构是怎样的？四、Nacos如何支撑数十万服务注册压力？五、Nacos如何避免并发读写冲突问题？
醉梦依依惜（互粉互赞）·2023-12-15 08:41

（Linux内核源码分析）Linux 内核无线子系统

Linux内核源码分析（内存调优/文件系统/进程管理/设备驱动/网络协议栈）1.全局概览在开始探索Linux无线具体细节之前，让我们先来把握一下Linux无线子系统整体结构。
攻城狮百里·2023-12-15 08:59

Hadoop 之 WordCount

(如果只跑MapReduce创建java工程即可，不用勾选Creatfromarchetype，如果想创建web工程或者使用骨架可以勾选)image设置GroupId和ArtifactI
printf200·2023-12-15 07:13

MapReduce\Shuffle

MapReduce\ShuffleMapReduce是一种编程模型，用于处理和生成大数据集。这个模型由两个主要步骤组成：Map步骤和Reduce步骤。
可以睡到中午吗·2023-12-15 07:56

【Hive】

Hive的核心是将HQL转换成MapReduce程序，然后将其提交到Hadoop集群执行。（用户只需要编写HQL而不需要编写MapReduce程序，减少了学习成本、开发成本。）
想当运维的程序猿·2023-12-15 07:23

Spark 单机搭建实战指南

在Hadoop的基础上，Spark优化了MapReduce计算模型，提高了数据处理速度，被广泛应用于大数据处理、机器学习、图计算等领域。本文将介绍如何在单台机器上搭建S
wcuuchina·2023-12-15 07:13

【Hadoop】

Hadoop是一个开源的分布式离线数据处理框架，底层是用Java语言编写的，包含了HDFS、MapReduce、Yarn三大部分。
想当运维的程序猿·2023-12-15 07:43

【Hadoop_06】MapReduce的概述与wc案例

1、MapReduce概述1.1MapReduce定义1.2MapReduce优点1.3MapReduce缺点1.4MapReduce核心思想1.5MapReduce进程1.6常用数据序列化类型1.7源码与
温欣2030·2023-12-15 06:43
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他