HDFS源码解析第15页

Hadoop基础知识

狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架

坐在风口上de猪·2024-01-20 10:10

android系统tts TextToSpeech源码原理解析及定制tts引擎

Zephyr Cai·2024-01-20 09:40

令牌桶算法与Guava的实现RateLimiter源码分析

令牌桶算法与Guava的实现RateLimiter源码分析令牌桶RateLimiter简介RateLimiter使用示例导入maven依赖编写测试代码RateLimiter的实现源码解析SmoothRateLimiterSmoothBursty

迷思特王·2024-01-20 09:39

Golang 之 WaitGroup 源码解析

前言如果我们有一个大的任务要做，我们会尝试将这个任务分解，分解完成之后并发交由goroutine去做，并且我需要当全部的任务完成之后再进行下面的步骤，在sync包下，就有这样一个东西适合上述情况，WaitGroup，今天我们来看看具体它是怎么实现的。PS：在下面我统一用wg来简称WaitGroup使用它的使用非常简单，如下:funcmain(){wg:=sync.WaitGroup{}fori:=

LinkinStar·2024-01-20 07:00

hdfs命令参考1-判断文件存在后删除

#cleanoutputPathhdfsdfs-test-e$outputPathif[$?

liuzx32·2024-01-20 05:24

RocketMQ源码解析之消息发送（二）

目录1：写在前面2：RocketMQ消息数据结构3：生产者启动流程3.1：DefaultMQProducer3.2：启动生产者具体的实现类DefaultMQProducerImpl3.3：同步消息发送基本流程4：总结目录1：写在前面RockerMQ发送一般的消息（还有一种是事务消息，后续的博客会展开）有三种实现方式：可靠的同步传输，可靠的异步传输，单向传输，这些传输方式的前提都是基于消息体（消息数

奔跑的小猪zc·2024-01-20 05:31

Kylin基础教程（一）

一、Kylin介绍1.1现状Hadoop于2006年初步实现，改变了企业级的大数据存储（基于HDFS）和批处理（主要基于MR）问题，10几年过去了，数据量随着互联网的发展井喷式增长，如何高速、低延迟的分析数据成为后续面临的挑战

GOD_WAR·2024-01-20 03:43

Mybatis源码解析：kafka消费者消费不到消息

Kafka源码篇——Kafka快速入门1.1Kafka简介1.2以Kafka为中心的解决方案1.3Kafka核心概念1.4搭建Kafka源码环境Kafka源码篇——生产者2.1KafkaProducer使用示例2.2KafkaProducer分析2.3RecordAccumulator分析2.4Sender分析Kafka源码篇——消费者3.1KafkaConsumer使用示例3.2传递保证语义（D

前端陈萨龙·2024-01-19 23:32

JVM实战（18）——模拟Full GC

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介上一章，我们已经进行了一次对象晋升的模拟，本章我们将继续结合代码

smart哥·2024-01-19 22:03

JVM实战（16）——模拟Young GC

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介本章，我们将通过示例代码演示YoungGC是如何发生的。同时，我

smart哥·2024-01-19 22:32

源码解析：最新阿里Java面试题目

一.什么是架构和架构本质在软件行业，对于什么是架构，都有很多的争论，每个人都有自己的理解。此君说的架构和彼君理解的架构未必是一回事。因此我们在讨论架构之前，我们先讨论架构的概念定义，概念是人认识这个世界的基础，并用来沟通的手段，如果对架构概念理解不一样，那沟通起来自然不顺畅。Linux有架构，MySQL有架构，JVM也有架构，使用Java开发、MySQL存储、跑在Linux上的业务系统也有架构，应

JAVA语言面试题·2024-01-19 21:05

spring-integration-redis中的分布式锁基本使用和源码解析

spring-integration-redis中的分布式锁源码解析使用依赖代码示例源码解析获取锁加锁和锁互斥机制释放锁和锁可重入机制总结watchdog机制缺失加锁的性能太低使用依赖spring-integration-redis

咦940·2024-01-19 17:26

基于 SpringBoot 实现多租户架构：支持应用多租户部署和管理

每天10:33更新文章，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ

公众号-芋道源码·2024-01-19 16:09

大数据学长面试之OPPO面试题

1）技术部分（1）SparkStreaming消费方式及区别，Spark读取HDFS的数据流程（2）Kafka高性能（3）Hive调优，数据倾斜（4）Zookeeper怎么避免脑裂，什么是脑裂。

大数据小理·2024-01-19 16:01

JVM实战（20）——jstat实战（1）

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介本章和下一章，我们将通过之前讲过的两个案例，看看如何在生产环境下

smart哥·2024-01-19 13:43

Nacos2.0.3源码解析（四）一致性协议-Distro协议实现原理

目录1、distro协议简介2、设计思想3、DistroProtocol类介绍3.1、DistroComponentHolder3.2、DistroTaskEngineHolder3.3、distro协议启动4、ClientManager5、distro验证任务详解5.1、getVerifyData方法解析5.1.1、DistroDataStorageImpl——v1版本5.1.2、DistroC

爱吃丸子的哈哈蒋·2024-01-19 13:35

大数据开发之Hadoop（优化&新特征）

第1章：HDFS-故障排除注意：采用三台服务器即可，恢复到Yarn开始的服务器快照。

Key-Key·2024-01-19 10:50

element-ui 打包流程源码解析（下）

目录目录结构和使用1，npm安装1.1，完整引入1.2，按需引入2，CDN3，国际化接上文：element-ui打包流程源码解析（上）文章中提到的【上文】都指它↑目录结构和使用我们从使用方式来分析，为什么要打包成上面的目录结构

下雪天的夏风·2024-01-19 09:07

element-ui 打包流程源码解析（上）

目录1，源码整体结构1.1，build目录1.2，examples目录1.3，packages目录1.4，src目录2，打包整体流程2.1，npmrunbuild:file2.1.1，build/bin/iconInit.js2.1.2，build/bin/build-entry.js2.1.3，build/bin/i18n.js2.1.4，build/bin/version.js2.2，buil

下雪天的夏风·2024-01-19 09:32

centos中安装nfs实现服务器文件共享

如果一个服务使用集群方式部署，在文件读写时就需要考虑多个服务之间文件共享的问题，在共享文件时可以考虑部署一个单独的文件服务器，比如hdfs、minio、fastdfs等，也可以使用简单的文件目录共享方式实现

腊笔不小新xingo·2024-01-19 09:18

任务15：使用Hive进行全国气象数据分析

进行数据分析重点：掌握Hive基本语句熟练使用Hive对天气数据进行分析内容：使用Hive创建外部表使用Hive对数据进行统计分析任务指导1.使用Hive创建基础表将China_stn_city.csv文件上传到HDFS

Dija-bl·2024-01-19 08:44

JVM实战（28）——模拟Metaspace内存溢出

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介本章，我们将通过示例代码演示Metaspace区域是如何发生内存

smart哥·2024-01-19 08:22

JVM实战（19）——JVM调优工具概述

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介前面章节，我们已经介绍了如何通过GC日志去分析系统的运行情况。本

smart哥·2024-01-19 08:51

JVM实战（25）——元数据区优化

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、案例背景本章介绍的案例比较特殊，是由于人为设置JVM参数错误，而导致

smart哥·2024-01-19 08:51

JVM实战（27）——内存溢出概述

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介从本章开始，我们将介绍JVM中的内存溢出异常——OutofMem

smart哥·2024-01-19 08:21

JVM实战（26）——SystemGC

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、案例背景本章将介绍一个因为程序员同学不懂JVM的GC机制而导致的系统

smart哥·2024-01-19 08:44

Jackson标签的高阶使用样例--多继承/子类、对象id、JsonIdentityInfo、JsonTypeInfo、JsonSubTypes

我们支持的资产类型不仅有关系数据库表，也支持Kafka主题，hdfs上的文件等。

OkGogooXSailboat·2024-01-19 06:19

Spark基础学习--基础介绍

首先我们回顾一下MapReduce的架构：MR基于HDFS实现大数据存储，基于Yarn做资源调度，且MR是基于进程处理数据的总结一下MR的缺点：1.MR是基于进程进行数据处理，进程相对

Yan_bigdata·2024-01-19 06:37

Hotspot源码解析-第二十章-字典表创建和基础类预加载（四）

20.5字典表创建和基础类预加载20.5.1systemDictionary.cpp/hpp20.5.1.1SystemDictionary::initializevoidSystemDictionary::initialize(TRAPS){//Allocatearraysassert(dictionary()==NULL,"SystemDictionaryshouldonlybeinitial

多栖码农·2024-01-19 03:52

Hotspot源码解析-第二十章-系统类及其方法以符号形式存储在符号表（三）

20.4系统类及其方法以符号形式存储在符号表20.4.1vmSymbolls.cpp/hpp20.4.1.1vmSymbols::initialize这块实现中用到了很多宏定义，所以在讲解时，需要先宏展开，下面根据用到的顺序介绍各个宏定义及其宏展开结果#defineVM_SYMBOL_BODY(name,string)string"\0"staticconstchar*vm_symbol_bodi

多栖码农·2024-01-19 02:48

FineBI实战项目一（25）：实战项目一总结

没有集群，hdfs、hive、spark、kafka、flink等等都没有2解决方案mysql数据同步尽量和业务系统保持一致，以便后期出现问题排查。mysql同步到数仓，数仓

不死鸟.亚历山大.狼崽子·2024-01-19 02:39

HashMap源码解析看多了面试还是不会说？看这篇文章就够了

本来今天想要重新整理一些hashMap的源码阅读解析文章的相关内容的，后面发现网上关于HashMap的源码解析已经有很多专业的分析了，在看了一遍源码之后，我就直接整理一下HashMap相关的一些热门面试题的答案吧

先生zeng·2024-01-19 02:31

SAP UI5 初学者教程之七 - JSON 模型初探试读版

Jerry从2014年加入SAP成都研究院CRMFiori开发团队之后开始接触SAPUI5，曾经在SAP社区和“汪子熙”微信公众号上发表过多篇关于SAPUI5工作原理和源码解析的文章。

JerryWang_汪子熙·2024-01-19 01:33

workflow源码解析：GoTask

关于gotask提供了另一种更简单的使用计算任务的方法，模仿go语言实现的gotask。使用gotask来实计算任务无需定义输入与输出，所有数据通过函数参数传递。与ThreadTask区别ThreadTask是有模板，IN和OUT，ThreadTask依赖输入输出。而GoTask不依赖，而是直接将函数打包成go这个callback，等待线程池消费。1.示例程序我们想异步的运行一个加法函数：void

敬先生·2024-01-19 00:34

HBase第一章：集群搭建

ApacheHBase™是以hdfs为数据存储的，一种分布式、可扩展的NoSQL数据库。一、环境准备再开始之前，我们要先安装

超哥--·2024-01-19 00:57

hbase学习笔记-hbase集群安装部署

tar-zxvfhbase-2.0.0-bin.tar.gz-C/opt/bigdata5、重命名解压目录mvhbase-2.0.0hbase6、修改配置文件1、需要把hadoop中的配置core-site.xml、hdfs

陈同学：·2024-01-19 00:22

HBase学习三：集群部署

>启动HBase—>关闭HBase—>关闭Hadoop1环境准备1.0环境前期准备参考基础环境配置1.1机器准备hostnameipvm1ip1vm2ip2vm3ip31.2机器分配hdfs

Studying！！！·2024-01-19 00:50

HDFS使用QJM(Quorum Journal Manager)实现的高可用性以及备份机制

目录前言1.NameNode的启动和对edits和QJM相关配置文件的解析2.使用FSImage和FSEditLog类对image和editlog文件进行读写和管理3.EditsDoubleBuffer双缓存，让flush和write同时进行，互不干扰4.AsyncLoggerSetl类代理对QJM集群的读写6.QuorumCall封装了对基于paxos算法的QJM集群的异步操作7.StandBy

麦兜和小可的舅舅·2024-01-18 22:56

Hadoop的心脏：中央异步调度器AsyncDispatcher代码和设计解析

以Yarn、HDFS和MapReduce为主要组成的Hadoop，涉及到大量复杂的、交互的事件处理、状态转换，同时，这些事件调度和状态转换又对实时性和效率提出了极高的要求。

麦兜和小可的舅舅·2024-01-18 22:56

Hadoop RPC Server基于Reactor模式和Java NIO 的架构和原理

尤其是作为Master/Slave结构的Hadoop设计，比如HDFSNameNode或者YarnResourceMan

麦兜和小可的舅舅·2024-01-18 22:26

YARN ApplicationMaster与ResourceManager之间基于applicationmaster_protocol.proto协议的allocate()接口源码解析

在YarnApplication运行期间，ApplicationMaster相当于这个Application的监护人和管理者，负责监控、管理这个Application的所有Attempt在cluster中各个节点上的具体运行，同时负责向YarnResourceManager申请资源、返还资源等。可以说，ApplicationMaster与ResourceManager之间的通信是整个Yarn应用从

麦兜和小可的舅舅·2024-01-18 22:26

HDFS WebHDFS 读写文件分析及HTTP Chunk Transfer Encoding相关问题探究

文章目录前言需要回答的首要问题DataNode端基于Netty的WebHDFSService的实现基于重定向的文件写入流程写入一个大文件时WebHDFS和HadoopNative的块分布差异基于重定向的数据读取流程尝试读取一个小文件尝试读取一个大文件读写过程中的

麦兜和小可的舅舅·2024-01-18 22:52

【PostgreSQL内核学习（二十四） —— （ALTER MATERIALIZED VIEW）】

ALTERMATERIALIZEDVIEW概述源码解析修改物化视图的属性和行为AlterTableStmt结构体AlterTableMoveAllStmt结构体重命名RenameStmt结构体设置对象依赖于扩展

J.Kuchiki·2024-01-18 22:07

【数据采集与预处理】数据传输工具Sqoop

Sqoop原理三、Sqoop安装配置（一）下载Sqoop安装包并解压（二）修改配置文件（三）拷贝JDBC驱动（四）验证Sqoop（五）测试Sqoop是否能够成功连接数据库四、导入数据（一）RDBMS到HDFS

Francek Chen·2024-01-18 22:19

【JUC】ReentrantReadWriteLock源码解析

文章目录ReentrantReadWriteLock读写锁缓存更新策略实现原理成员属性加锁原理写锁原理读锁原理解锁原理StampedLockReentrantReadWriteLock读写锁独占锁：指该锁一次只能被一个线程所持有，对ReentrantLock和Synchronized而言都是独占锁共享锁：指该锁可以被多个线程锁持有ReentrantReadWriteLock其读锁是共享锁，写锁是独

小小Yi学编程·2024-01-18 18:33

ThreadLocal源码解析

文章目录set()get()remove()一段代码，我们来挨着分析分析publicstaticvoidmain(String[]args)throwsInterruptedException{ThreadLocalthreadLocal=newThreadLocal>{//实际想要存储的值Objectvalue;//构造方法Entry(ThreadLocalk,Objectv){//继承了Wea