MapReduce源码分析

3.0 Hadoop 概念

Hadoop主要包含HDFS和MapReduce两大组件，HDFS负责分布储存数据，MapRed
二当家的素材网·2024-02-05 06:38

CDH5.X中使用Sqoop导数据报Cannot run program “mysqldump“: error=2, No such file or director

一、背景CHD5.16环境中，使用sqoop从MySQL中进行ETL导数据到hdfs过程中，报了如下错误：20/12/2213:58:48INFOmapreduce.Job:TaskId:attempt
江畔独步·2024-02-05 01:49

HIVE

--------hive数据仓库hive底层执行引擎有MapReduceTezSpark压缩GZIPLZOSnappyBZIP2等存储TextFileSequenceFileRCFileORCParquetUDF
Yagami_·2024-02-05 00:23

【读红宝书（一）】背景知识

过去十年引起广泛关注的数据模型是MapReduce，但MapReduce不是一种具有普适性的架构。相反，MapReduce市场已经转变为HDFS市场，并且似乎准备成为关系型SQL市场。
三半俊秀·2024-02-04 23:41

JAVASE进阶：Collection高级（2）——源码剖析ArrayList、LinkedList、迭代器

‍作者简介：一位大四、研0学生，正在努力准备大四暑假的实习上期文章：JAVASE进阶：Collection高级（1）——源码分析contains方法、lambda遍历集合订阅专栏：JAVASE进阶希望文章对你们有所帮助
布布要成为最负责的男人·2024-02-04 23:04

JAVASE进阶：函数式编程——lambda表达式替代匿名内部类

源码分析——字符串拼接底层原理、StringBuilder底层原理订阅专栏：JAVASE进阶希望文章对你们有所帮助lambda表达式，高级程序员写起来真的是信手拈来，而且他们经常是把lambda放在Collection
布布要成为最负责的男人·2024-02-04 23:34

JAVASE进阶：Collection高级（1）——源码分析contains方法、lambda遍历集合

‍作者简介：一位大四、研0学生，正在努力准备大四暑假的实习上期文章：JAVASE进阶：函数式编程——lambda表达式替代匿名内部类订阅专栏：JAVASE进阶希望文章对你们有所帮助打算法竞赛的时候用的C++，为了方便敲代码基本上都不怎么用iterator来遍历集合，都是直接使用的下标。但在JAVA，下标遍历的方式不适合所有的集合，因为集合中还包含了Set，其没有索引的概念。又因为Java具有泛型编
布布要成为最负责的男人·2024-02-04 23:03

SpringBoot响应处理源码分析以及自定义MessageConverter

文章目录自定义pojo类通过@ResponseBody响应数据为json格式源码解析内容协商自定义MessageConverter自定义pojo类通过@ResponseBody响应数据为json格式源码解析1、RequestMappingHandlerAdapter.class返回值处理器执行目标方法2、ServletInvocableHandlerMethod.class确定参数，真正执行目标方
Allure丶soul·2024-02-04 22:09

Flink1.18.0集成Yarn-session模式部署

上次部署了Hadoop集群Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建这次集成下flinkYARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager
china-zhz·2024-02-04 21:34

Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建

目录一、节点部署角色目录二、下载软件三、基础设施1、安装必要插件2、设置IP及主机名3、时间同步4、jdk安装5、ssh免密登录四、Hadoop部署1、目录及环境变量准备2、安装3、修改配置文件4、分发文件5、启动hadoop集群6、集群部署验证一、节点部署角色目录节点ipNNSNNDNRMNMHSnode1192.168.88.11√√node2192.168.88.12√√√√node3192
china-zhz·2024-02-04 21:33

RocketMQ源码分析（五）消息的存储

RocketMQ存储的文件主要包括Comitlog文件、ConsumeQueue文件、IndexFile文件。CommitLog：消息存储文件，所有消息主题的消息都存储在CommitLog文件中。ConsumeQueue：消息消费队列，消息到达CommitLog文件后，将异步转发到消息消费队列，供消息消费者消费。IndexFile：消息索引文件，主要存储消息Key与Offset的对应关系。以下是核
甘_·2024-02-04 21:16

【tomcat路径匹配源码分析】搞懂tomcat中web.xml配置servlet的url-pattern为“/“和“/*“的区别

搞懂tomcat中web.xml配置servlet的url-pattern为"/"和"/*"的区别前言结论Servlet匹配规则（tomcat源码）分析举个例子路径配置为`/`导致拦截静态资源问题的解决方案总结原文地址前言我在写原生javaWEB项目时，想通过注册一个servlet实现拦截所有请求由HandOutServlet统一分发，于是我就想到把urlPatterns设置为"/"但是这个会出现
MysticalDream·2024-02-04 20:35

nginx源码分析笔记（二）：nginx整体结构、进程模型

1、nginx的整体结构master属于root用户worker进程属于nobody，权限比较低，安全性比较高。受到攻击时。2、nginx进程模型一个master多个worker进程。master是监控进程，不处理具体业务，管理worker进程。worker处理具体业务，包括连接和读写信号。3、master和worker之间采用信号或者共享内存进行通讯。看代码。4、worker进程如果死掉，mas
奥斯特洛司机·2024-02-04 19:51

docker 主进程 日志_docker exec 与容器日志

主讲人为DaoCloud核心开发团队成员Allen(孙宏亮)，他是InfoQ「Docker源码分析」专栏作者，已出版《Docker源码分析》一书。
weixin_39977488·2024-02-04 19:13

HDFS常用命令

将测试文件内容上传到文件系统上bin/hdfsdfs-putwc.input/user/anna/input查看上传的文件是否正确bin/hdfsdfs-cat/user/anna/input/wc.input运行mapreduce
须臾之北·2024-02-04 18:41

CocosCreator3.8源码分析

CocosCreator架构CocosCreator拥有两套引擎内核，C++内核和TypeScript内核。C++内核用于原生平台，TypeScript内核用于Web和小游戏平台。在引擎内核之上，是用TypeScript编写的引擎框架层，用以统一两套内核的差异，让开发更便捷。engine的图像与Android的Surface对接安卓平台下是从一个标准的activity启动，然后加载一个Native
破竹15·2024-02-04 18:41

android 源码分析(四Handler机制详解)

Handler机制详解Handler运行机制梳理我们在使用Handler的时候，往往是这样一个使用步骤：初始化一个Handler对象,重写其handleMessage方法获取一个Message对象，并相应的为其what、obj属性赋值调用Handler.sendMessage（msg）方法发送消息发送出来的消息，将在Handler的handleMessage方法中进行处理因此，我们从sendMes
小浩_w·2024-02-04 16:31

安卓源码分析-Launcher请求到根Activity启动

安卓源码分析-Launcher请求到Activity启动本文基于刘望舒大佬著作《Android进阶解密》结合最新源码整理，丰富而成。
Ricardo.Lvqf·2024-02-04 16:07

AbstractQueuedSynchronizer源码分析- 细节分析

经过了前两篇AbstractQueuedSynchronizer源码分析-ReentrantLock抢锁解锁,AbstractQueuedSynchronizer源码分析-CountDownLatch分析
Ghost俊元·2024-02-04 15:08

MapReduce执行过程

一：执行流程MapReduce存在以下4个独立的实体。
HenlyX·2024-02-04 15:12

Java是如何实现自己的SPI机制的？

注：该源码分析对应JDK版本为1.81引言这是【源码笔记】的JDK源码解读的第一篇文章，本篇我们来探究Java的SPI机制的相关源码。2什么是SPI机制那么，什么是SPI机制呢？
tyrroo·2024-02-04 14:14

android 亮屏流程分析--随记

目录一.源码分析:二.简单整理流程：三.DisplayPowerController处理四.阻塞亮屏五.从按下power键到亮屏的流程小结:六.log验证:一.源码分析:1.按键上报流程.(1).从native
huibin147852369·2024-02-04 14:08

大数据技术未来发展前景及趋势分析

Spark:Spark是一个兼容Hadoop数据源的内存数据处理平台，运行速度相比于HadoopMapReduce更快。
丨程序之道丨·2024-02-04 12:54

【高速接口-RapidIO】5、Xilinx RapidIO核例子工程源码分析

【高速接口-RapidIO】3、RapidIO串行物理层的包传输过程【高速接口-RapidIO】4、XilinxRapidIO核详解【高速接口-RapidIO】5、XilinxRapidIO核例子工程源码分析
夜幕下的灯火·2024-02-04 10:32

java web初始化实例,SpringBoot源码分析-初始化Tomcat-ServletWebServerFactory实例化

概要详细剖析ServletWebServerFactory实例化过程，整个过程使用多次后置处理对Bean实例化进行干预，完成TomcatServletWebServerFactory进行初始化ServletWebServerFactory实例化Spring容器在刷新容器的时候创建WebServer之前，先要创建ServletWebServerFactoryServletWebServerFacto
Wang Eric·2024-02-04 09:42

Flutter 129: 图解 ToggleButtons 按钮切换容器组

小菜前两天刚学习了ButtonBar按钮容器，今天顺便学习一下ToggleButtons按钮切换容器组，其切换效果可以应用在日常TabBar切换位置；ToggleButtons源码分析constToggleButtons
阿策神奇·2024-02-04 08:01

西瓜视频RenderThread引起的闪退问题攻坚历程

在历经多周的源码分析和排查后，逐步明确了问题根因并修复，最终取得了显著的
字节跳动技术团队·2024-02-04 08:16

Hadoop大数据实战系列文章之Hive

Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据可以将sql语句转换为MapReduce
测试帮日记·2024-02-04 05:45

spring cloud eureka server源码分析

源码分析@EnableEurekaServer@EnableEurekaServer是一个eurekaserver服务必须声明的注
nedjie·2024-02-04 05:12

数组和List之间的相互转换

以下是如何在数组和列表之间进行相互转换的详细方法、源码分析以及代码演示。从数组到List要将数组转换为列表，可以使用Arrays.asList(T...a)方法。它返回一个固定大小的列表。
辞暮尔尔-烟火年年·2024-02-04 04:04

大数据环境搭建(一)-Hive

1hive介绍由Facebook开源的,用于解决海量结构化日志的数据统计的项目本质上是将HQL转化为MapReduce、Tez、Spark等程序Hive表的数据是HDFS上的目录和文件Hive元数据metastore
xfchn多多学习学习·2024-02-03 20:42

Hadoop框架下MapReduce中的map个数如何控制

一个job的map阶段并行度由客户端在提交job时决定客户端对map阶段并行度的规划基本逻辑为：一、将待处理的文件进行逻辑切片（根据处理数据文件的大小，划分多个split），然后每一个split分配一个maptask并行处理实例二、具体切片规划是由FileInputFormat实现类的getSplits()方法完成切分规则如下：1.简单地按照文件的内容长度进行切片2.切片大小默认是datanode
piziyang12138·2024-02-03 20:13

Webpack源码分析

Webpack源码分析在上一篇文章已经对webpack_cli启动过程进行了大致的分析，程序到最后就是执行webpack.run方法。现在对webpack的源码进行进一步的分析。
开发小猫·2024-02-03 19:12

webpack源码分析——truncateArgs函数

一、truncateArgs函数函数功能该函数可以用于用户界面中的文本截断，确保长文本在有限的显示空间内能够适当显示，并且用户可以了解到部分文本已被省略。函数参数args：参数数组。用于输出到界面上maxLength：当前界面上可容纳最大可输出字符长度。根据当前参数对要输出的内容进行转换(具体转换如下)假设args中只有一个参数letargs=['sksddsloxcc']当0=arg[0].le
Kinghiee·2024-02-03 19:38

6-match（u32分类器fw分类器）

blog.sina.com.cn/s/blog_a481de5701015npe.htmlhttps://www.cnblogs.com/CasonChan/p/5033949.htmllinux2.6.35内核qos源码分析之
Creator_Ly·2024-02-03 18:42

Android源码分析之消息机制

说明：本文是基于Android6.0源码来分析的这片文章主要是从源码的角度来分析Android中的消息机制是如何运行的，并不会介绍如何使用Handler。Android的消息机制可以说是Android的血液，流淌在不同的app之间，催动这各种事件有序的执行。Android进程在启动的时候会调用ThreadActivity的main方法,从main方法中我们可以看出，Android的app进程启动以
AN_9c94·2024-02-03 17:58

Spring Security OAuth2 源码分析（二） TokenGranter

1概述tokenEndPoint获取令牌过程中,有个这样的步骤:OAuth2AccessTokentoken=getTokenGranter().grant(tokenRequest.getGrantType(),tokenRequest);TokenGranter,字面上的理解:令牌授予者。以下是各授权模式对应的TokenGranter:AbstractTokenGranter源码////Sou
浅川好孩子·2024-02-03 17:49

Hadoop MapReduce 各阶段理解

Hadoop的MapReduce是一个很经典的分布式并行计算框架，一直对各个阶段的具体含义有些模糊。花时间看了下stackoverflow上的理解，记录一下。
phusFuNs·2024-02-03 16:10

volatile源码解析【解决可见性（依据happened-befor）有序性（依据内存屏障）】

volatile源码解析解决内存可见性问题volatile实现原理-源码分析转自极客时间解决内存可见性问题volatile实现原理-源码分析
_蓝天IT_·2024-02-03 16:43

Dubbo的集群容错策略剖析

2Dubbo的集群容错策略源码分析2.1失败重试-FailoverCluster（1）概述要点：当服务消费方调用服
Ability Liao·2024-02-03 16:11

SurfaceTexture源码分析

概述SurfaceTexture，是Android3.0以后引入的，它对图像流的处理并不直接显示，而是转换为GL外部纹理，因此可用于图像流数据的二次处理，比如Camera滤镜、特效等。分析源码SurfaceTexturejava.lang.Object↳android.graphics.SurfaceTexturepublicclassSurfaceTexture{}API注释Capturesfr
Sunshiny_Lyq·2024-02-03 11:31

安卓SurfaceTexture中updateTexImage使用及源码分析

文章目录引言updateTexImage简单使用SurfaceTexture初始化相关源码分析Surface绘制流程源码分析createBufferQueue源码分析SurfaceTexture之updateTexImage
清霜辰·2024-02-03 11:30

Android进阶 --- ActivityManagerService模块分析

本博文是由android8.1.0源码分析后的结果AMS模块重点结构
帅气好男人_Jack·2024-02-03 10:01

freertos 源码分析二 list链表源码

list.c一、链表初始化voidvListInitialise(List_t*constpxList){pxList->pxIndex=(ListItem_t*)&(pxList->xListEnd);listSET_FIRST_LIST_ITEM_INTEGRITY_CHECK_VALUE(&(pxList->xListEnd));pxList->xListEnd.xItemValue=por
yvee·2024-02-03 09:27

JobScheduler源码分析

下面来分析一下JobSchedulerService的源码，看一下我们在自定义的JobService中的那些回调方法是怎么被调用的。该文章参考了袁辉辉达摩院的文章JobSchedulerService是在SystemServer启动的时候被启动的SystemServer.javaprivatevoidstartOtherServices(){mSystemServiceManager.startS
董成鹏·2024-02-03 09:22

【数据开发】pyspark入门与RDD编程

spark与pyspark的关系spark是一种计算引擎，类似于hadoop架构下mapreduce，与mapr
小哈里·2024-02-03 08:58

2024-02-01(Hive)

1.我们通过忘Hive中执行SQL语句，Hive会帮我们将SQL语句翻译成MapReduce在底层去做分布式的计算。2.Hive看似处理的是mysql的表，但实际上处理的是HDFS中的文本文件。
陈xr·2024-02-03 08:53

RT-Thread线程间同步(信号量, 互斥量, 事件集)--01API函数使用

系统间同步RTThread提供的方式有信号量,互斥量以及事件集源码分析看下一篇源码分析信号量每个信号量对象都有一个信号量值和一个线程等待队列，信号量的值对应了信号量对象的实例数目、资源数目，假如信号量值为
唐·柯里昂798·2024-02-03 08:05

深入FreeRTOS内存管理：揭秘高效内存分配的秘密(源码分析)

layout:posttitle:“内存管理”date:2023-11-2215:39:08+0800tags:FreeRTOS内存管理这一部分的使用以及各个文件的不同可以参考我的这一篇文章的有关内存的部分,本篇的主要是实际的实现的分析heap_1staticsize_txNextFreeByte=(size_t)0;staticuint8_t*pucAlignedHeap=NULL;xNextF
唐·柯里昂798·2024-02-03 07:35

RT-Thread线程管理(使用篇)

layout:posttitle:“RT-Thread线程管理”date:2024-1-2615:39:08+0800tags:RT-Thread线程管理(使用篇)之后会做源码分析线程是任务的载体，是RTT
唐·柯里昂798·2024-02-03 07:34
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他