MapReduce源码分析

Android Codec2框架分析

Android-Codec2%E6%A1%86%E6%9E%B6%E5%88%86%E6%9E%90/AndroidCodec2框架分析1.概述Codec2.0在Android12需要进行对接，本文以AOSP源码分析
wing_7·2023-11-22 00:21

MyBatis 事务源码分析

先来看看在JAVA事务的相关技术，在JAVA中有两类事务，JDBC事务和JTA事务，如果是JDBC类型的事务，则是由Connection类来控制的。如果创建一个Connection对象时，没有显示调用setTransactionIsolation(intlevel)方法，则Connection使用当前数据库默认的事务隔离级别，数据库的默认事务隔离级别可以通过相应的SQL语句进行查询，例如在Mysq
omygodvv·2023-11-21 23:13

Glide源码分析

在早期的Android开发中，图片加载其实一直是个比较麻烦的问题。我们在处理图片时会遇到各种各样的问题：内存溢出、列表中图片错位等等。但到了如今，这些问题基本上是不会再遇到了。由于很多的优秀的图片加载框架帮我们处理了图片相关问题的痛点，所以现在Android中关于图片加载的部分变得非常简单。Android中最著名的图片加载框架就是Glide了，我们今天来深入研究一下Glide的源码。使用方法以Gl
小小的coder·2023-11-21 23:02

超全面试汇总——Hive 超详细!!!带答案!!!持续更新中~

Hive结构描述Hive的优势内部表、外部表、分区表、分桶表hive中排序的种类和适用场景动态分区和静态分区的区别+使用场景hive语句执行顺序Hive的几种存储方式列式存储的好处HQL转化为MapReduce
jialun0116·2023-11-21 22:27

#gStore-weekly | gAnswer源码分析：基于通用数据集的NE、RE服务开发

PART1简介目前基于知识图谱的问答模式有两种，一种是基于信息检索的方式，一种是基于语义分析的方式。前者较之于后者，没有真正关心语义，主要是ranker算法，擅于处理简单问题，后者则是从语义的角度将用户的自然语言问题转化为逻辑形式，再在KG中执行查询。gAnswer就是基于语义分析的方法，区别于传统的语义解析的方法，它是一种新颖的面向知识图谱的自然语言问答系统，以图数据驱动的视角回答RDF知识库上
PKUMOD·2023-11-21 22:48

Linux eBPF内核源码sample/bpf全网最细解析（一）

文章目录引言分析samples/bpf/sockex1_kern.c在不同section上定义相应结构/程序sockex1_kern.c源码分析samples/bpf/sockex1_user.c读取ELF
尧fighting·2023-11-21 20:33

MapReduce执行流程和Shuffle过程

HadoopMapReduce作业执行流程整个HadoopMapReduce的作业执行流程如图1所示，共分为10步。
一粒米_394c·2023-11-21 18:41

Android JetPack ViewModel源码分析

本文从本人的《一文搞懂AndroidJetPack组件原理之Lifecycle、LiveData、ViewModel与源码分析技巧》拆分而来，主要采用逐类源码分析方法探寻ViewModel的原理，原文内容更加全面
DylanXing·2023-11-21 18:34

大数据与Hadoop，Hadoop核心组件之MapReduce

大数据大数据，不仅仅具备大的特征，只有外行人才会天真的以为大数据，就是数据，量大！量大只是大数据其中的一个特征，除了这个特征之外，它还和另外三个特征合起来组成了大数据必不可少的四个特征：Volume大量的海量的数据Variety多种多样的数据的类型多种多样，比如数据来源多样，企业内部的日志，互联网和物联网等，数据的类型多样，有结构化数据，有非结构化数据，如视频，文档，音频，有的数据关联性不大，有的
Python大数据工程师·2023-11-21 18:14

flask内置session源码分析

程序启动执行开始流程，具体工作流见《Flask源码分析之上下文请求流程（请求上下文&应用上下文）》session的来源app.run()->run_simple(host,port,self
MrLe·2023-11-21 15:20

生产环境的Hadoop版本比较

Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行制作而成。称为社区版Hadoop。
三名狂客·2023-11-21 15:49

Flink 源码之 SQL TableSource 和 TableSink

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录前言FlinkSQL可以将多种数据源或数据落地端映射为table，使用起来非常方便。
AlienPaul·2023-11-21 13:01

Spark---介绍及安装

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行计算框架，Spark拥有HadoopMapReduce所具有的优点；但不同于
30岁老阿姨·2023-11-21 13:26

四个分布式计算框架MapReduce/Tez/Spark/Storm异同

MapReduceSparkStormTez四个框架的异同离线计算框架，MapReduce是一种将一个算法抽象成Map和Reduce两个阶段进行处理，非常适合数据密集型计算。
Hanson_Huang·2023-11-21 12:25

hadoop 配置历史服务器 开启历史服务器查看 hadoop (十)

hadoop22机器配置历史服务器的配置文件：文件路径：/opt/module/hadoop-3.3.4/etc/hadoop文件名称：mapred-size.xml新增历史服务器配置，并修改为自己的地址mapreduce.framework.na
不努力就种地~·2023-11-21 11:43

Java精通并发-可重入读写锁的共享锁释放源码解析

前言：在上一次Java精通并发-可重入读写锁底层源码分析及思想探究咱们对于ReadWriteLock的lock()上锁的细节从源码的角度进行了详情分析：这次则来分析释放锁的底层源码：读锁释放锁的逻辑分析
webor2006·2023-11-21 09:31

java thread源码分析_Thread源码剖析

前言昨天已经写了：如果没看的同学建议先去阅读一遍哦~在写文章之前通读了一遍《Java核心技术卷一》的并发章节和《Java并发编程实战》前面的部分，回顾了一下以前写过的笔记。从今天开始进入多线程的知识点咯~我其实也是相当于从零开始学多线程的，如果文章有错的地方还请大家多多包含，不吝在评论区下指正呢~~一、Thread线程类API声明本文使用的是JDK1.8实现多线程从本质上都是由Thread类来进行
吃瓜的小翻译·2023-11-21 09:31

J.U.C ReentrantLock可重入锁使用以及源码分析

本质:锁是用来解决线程安全问题的Java中Lock的其他实现，WiteLock写锁、ReadLock读锁，本文主要以ReentrantLock重入锁展开ReentrantLock重入锁重入锁、互斥锁，用来解决死锁问题的1.ReentrantLock的使用staticLocklock=newReentrantLock();staticintsum=0;publicstaticvoidincr(){l
有头发的程序猿!·2023-11-21 09:27

三种加锁源码分析-tryLock方法与lockInterruptibly方法

1tryLock方法tryLock方法主要可以分为四步:1、tryAcquire尝试获取锁，如果获取到返回true2、获取不到锁说明锁被占用了，订阅解锁消息通知3、收到解锁消息通知，再次尝试获取锁，如果获取不到重复步骤三，直到超过waitTime获取锁失败4、不论是否获取锁成功，取消解锁消息订阅通过源码可以看到整个方法内跟获取锁有关的地方只有tryAcquire()这个方法了publicclass
狠情·2023-11-21 09:27

CountDownLatch源码剖析

目录AQS中共享锁的实现AQS中共享锁相关的方法CountDownLatch原理浅析CountDownLatch源码剖析在并发多线程之AQS源码分析（上）和并发多线程之AQS源码分析（下）中分析了AQS
bingaPang·2023-11-21 09:25

深入理解Laravel(CVE-2021-3129)RCE漏洞(超2万字从源码分析黑客攻击流程)

背景近期查看公司项目的请求日志，发现有一段来自俄罗斯首都莫斯科（根据IP是这样，没精力溯源）的异常请求，看传参就能猜到是EXP攻击，不是瞎扫描瞎传参的那种。日志如下（已做部分修改）：[2023-11-1723:54:34]local.INFO:url:http://xxx/_ignition/execute-solutionmethod:POSTip:109.237.96.251ua:Mozill
小松聊PHP进阶·2023-11-21 09:18

Apache ShenYu源码阅读系列-基于WebSocket的数据同步

本文的主要内容是基于WebSocket的数据同步源码分析。本文基于shenyu
子夜2104·2023-11-21 09:30

千亿大数据处理能力是如何炼成的？

早在2003年，谷歌发表第一篇论文——谷歌文件系统（GFS）；第二年，谷歌再次发表一篇论文——分布式计算框架MapReduce；2006年，谷歌发表第三篇论文——NoSQL数据库系统BigTable。
@金州拉文·2023-11-21 07:48

littlevgl_7.11源码分析(2)--Apple的学习笔记

一，前言接着上一篇littlevgl_7.11源码分析(1)--Apple的学习笔记，继续看更新绘图到显示的过程吧！就把重点放在接着要执行的task任务_lv_disp_refr_task函数中。
applecai·2023-11-21 04:50

LongAdder源码分析

LongAdder源码分析LongAdder是个啥AtomicLong和LongAdder多线程环境下做累加操作性能对比LongAdder底层原理分析LongAdder源码分析LongAdder是个啥见名知义我们能知道这是个单位为
God works·2023-11-21 03:58

Android源码分析 - Service启动流程

作者：dreamgyf这次我们就来讲讲四大组件之一的Service是如何启动和绑定的流程图在查阅资料的过程中，我发现有些博主会将梳理好的流程图贴在开头，我觉得这样有助于从宏观上去理解源码的整个流程和设计理念，所以以后的文章我都会尽量将源码梳理成流程图，以便大家理解入口启动Service有两种方式，一是startService，一是bindService，它们最终的实现都在ContextImpl中C
码中之牛·2023-11-21 02:49

django及DRF流程源码分析

Django执行流程:1.nginx作为接入层,通过反向代理，监听80端口获取请求连接2.将请求交给wsgiserver3.wsgiserver调用django的wsgi.py处理请求4.WSGIHandler的__call__函数就是整个逻辑处理流程5.WSGIHandler__init__中的加载中间件，对request对象做处理6.urlpatterns匹配对应视图view处理逻辑7.中间件
cent袁·2023-11-21 02:39

开源Android容器化框架Atlas开发者指南

Android方向的大牛们都已经深入了解了插件化所带来的巨大的便利，一直也没时间去搞一套详细的记忆，在这里，仅以源码分析的形式进行插件化框架的巩固，文集中会具体分析源码，框架结构，运行原理等方面，除了加深记忆
xmvip01·2023-11-21 02:38

Java源码分析:Guava之不可变集合ImmutableMap的源码分析

原创/朱季谦一、案例场景遇到过这样的场景，在定义一个static修饰的Map时，使用了大量的put()方法赋值，就类似这样——publicstaticfinalMapdayMap=newHashMapdayMap=ImmutableMap.builder().put("Monday","今天上英语课").put("Tuesday","今天上语文课").put("Wednesday","今天上数学课
朱季谦·2023-11-21 01:34

【Android】Android Framework系列--CarUsbHandler源码分析

AndroidFramework系列–CarUsbHandler源码分析本文基于Android12源码。CarUsbHandler是AndroidCar提供的服务之一，其用车载USB连接的场景。
林多·2023-11-21 01:18

langchain源码分析-chains模块介绍【2】

原文：langchain源码分析-chains模块介绍【2】-知乎前言这是对langchain源码剖析的系列文章，也有对应的本站视频和b站视频，建议读者可以结合视频和文章一起看。
javastart·2023-11-21 00:45

MapReduce-WritableComparable排序 （From 尚硅谷）

个人学习整理，所有资料来自尚硅谷B站学习连接：添加链接描述MapReduce-WritableComparable排序1.WritableComparable排序1.1排序概述排序是MapReduce框架中最重要的操作之一
lavineeeen·2023-11-21 00:04

学习篇-Hadoop-MapReduce-流量统计

文章目录一、Hadoop-MapReduce-流量统计-需求分析二、Hadoop-MapReduce-流量统计-代码实现三、Hadoop-MapReduce-流量统计-Partitioner一、Hadoop-MapReduce
东东爱编码·2023-11-21 00:03

hadoop-MapReduce案例流量统计

MapReduce案例-流量统计需求一:统计求和统计每个手机号的上行数据包总和，下行数据包总和，上行总流量之和，下行总流量之和分析：以手机号码作为key值，上行流量，下行流量，上行总流量，下行总流量四个字段作为
Xiaoweidumpb·2023-11-21 00:02

MapReduce--Shuffle图解详解

Shuffle图解0、前言1、功能分区：`决定了Map输出的数据会被哪个Reduce进行处理`排序：`决定了Map输出的数据按照Key以什么样的方式进行排序`分组：`实现了对Key进行分组，属于同一组的Value会放入同一个迭代器中`2、过程图解准备Input：`TextInputFormatextendsFileInputFormatextendsInputFormat`Map：`自己定义Map
韩家小志·2023-11-21 00:02

MapReduce--实现手机流量分析

实现手机流量分析1、需求2、分析：逻辑：设计（1）==需求一==step1：`不论是写SQL还是写MR，一般都先把结果的格式先列出来`step2：`有没有分组或者排序：决定Map输出的Key是什么`step3：`Map输出的Value应该是什么？`step4：`验证`（2）==需求二==step1：`结果长什么样？`step2：`有没有分组或者排序？`step3：`Map输出的Value是什么？`
韩家小志·2023-11-21 00:02

MapReduce-流量统计求和-步骤分析

13631579850661372623050300-FD-07-A4-72-B8:CMCC120.196.100.82i02.c.aliimg.com游戏娱乐24272481246812001363157995052138265441015C-0E-8B-C7-F1-E0:CMCC120.197.40.4jd.com京东购物40264020013631579910761392643565620-
Leon_Jinhai_Sun·2023-11-21 00:58

MapReduce-流量统计求和-排序-Mapper和Reducer编写

定义FlowMapperpackagecn.learn.mapreduce_sort;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text
Leon_Jinhai_Sun·2023-11-21 00:58

MapReduce-流量统计求和-分区代码实现

需要自定义分区来实现，这里我们自定义来模拟分区，将以下数字开头的手机号进行分开135开头数据到一个分区文件136开头数据到一个分区文件137开头数据到一个分区文件其他分区自定义分区packagecn.learn.mapreduce_flowcount_partition
Leon_Jinhai_Sun·2023-11-21 00:58

MapReduce-流量统计求和-FlowBean和Mapper代码编写

下行总流量四个字段作为value值，然后以这个key，和value作为map阶段的输出，reduce阶段的输入Step1:自定义map的输出value对象FlowBeanpackagecn.learn.mapreduce_flowcount
Leon_Jinhai_Sun·2023-11-21 00:28

MapReduce-流量统计求和-排序-FlowBean编写

需求二:上行流量倒序排序（递减排序）分析，以需求一的输出数据作为排序的输入数据，自定义FlowBean,以FlowBean为map输出的key，以手机号作为Map输出的value，因为MapReduce
Leon_Jinhai_Sun·2023-11-21 00:28

mapreduce--流量统计

FlowBeanpackagecom.atguigu.mr.flow;importorg.apache.hadoop.io.Writable;importjava.io.DataInput;importjava.io.DataOutput;importjava.io.IOException;publicclassFlowBeanimplementsWritable{//流量privatelongu
芝士小熊饼干·2023-11-21 00:57

【Flink源码系列】Flink 源码分析之 Client 端启动流程分析

抛出问题首先来思考一个问题，我们在提交Flink任务的时候，在Flink客户端执行了下面的命令后，Flink客户端做了哪些事情？又是怎么执行我们自己写的代码？相信读完这篇文章你就能找到答案。flink run -d -m yarn-cluster \-Dyarn.application.name=FlinkStreamingNewDemoHome \-Dyarn.application.queue
JasonLee实时计算·2023-11-20 23:05

Flink源码分析（一）RPC通信和JobManager启动

写在前面1.FlinkRPC详解Flink使用Akka+Netty框架实现RPC通信，之前在spark框架源码剖析过程中已经对Akka实现RPC通信过程有所介绍，这里不做过多描述。相关概念说明如下：ActorSystem是管理Actor生命周期的组件，Actor是负责进行通信的组件。每一个Actor都有一个MailBox，别的Actor发送给它的消息都首先存储在MailBox中，通过这种方式可以实
星星点灯1996·2023-11-20 23:03

从flink-example分析flink组件(3)WordCount 流式实战及源码分析

前面介绍了批量处理的WorkCount是如何执行的这篇从WordCount的流式处理开始/***Implementsthe"WordCount"programthatcomputesasimplewordoccurrence*histogramovertextfilesinastreamingfashion.**Theinputisaplaintextfilewithlinesseparatedb
aebdm757009·2023-11-20 23:59

flink源码分析之功能组件(一)-metrics

简介本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metric
中间件XL·2023-11-20 23:25

关于TEZ引擎的部分缺陷

官网首页也介绍了Tez的2个主要设计主题是：1.通过以下方式增强最终用户的能力：富有表现力的数据流定义API灵活的输入-处理器-输出运行时模型不可知数据类型简化部署2，执行性能与MapReduce相比性能提升最佳资源管理
辅猪之王·2023-11-20 23:50

深入理解 Spring Boot 内置工具类：ReflectionUtils

2.使用ReflectionUtils2.1获取类的所有字段2.2调用方法2.3访问字段3.源码分析3.1`doWithFields`3.2`findMethod`3.3`invokeMethod`4.
IT·陈寒·2023-11-20 22:22

nodeRed-源码分析10-从node.send到‘input‘回调

1.功能概述Node-RED中消息的流转是通过连接不同的节点来完成的。当一个节点接收到消息时，它会将其处理后发送到下一个节点。下一个节点再对该消息进行处理，最终将结果传递到下一个节点，以此类推，直至消息到达最终节点完成处理。在Node-RED中，消息可由源节点（如mqttinputnode、httpinputnode）生成，也可由其他节点产生（如functionnode、templatenode等
lxmuyu·2023-11-20 22:28

死磕以太坊源码分析之Ethash共识算法

死磕以太坊源码分析之Ethash共识算法代码分支：https://github.com/ethereum/go-ethereum/tree/v1.9.9引言目前以太坊中有两个共识算法的实现：clique
mindcarver·2023-11-20 22:09
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他