HDFS源码解析第20页

Java8 异步非阻塞做法：CompletableFuture 两万字详解！

每天14:00更新文章，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ

Java基基·2024-01-21 09:32

redisson-spring-boot-starter 自动化配置源码解析

版本redisson-spring-boot-starter:3.25.2此starter会自动注册RedissonClientBean并可通过注册RedissonAutoConfigurationCustomizerBean实现配置自定义@BeanRedissonAutoConfigurationCustomizerjdkCodecCustomizer(){returnconfiguration

路过君_P·2024-01-21 08:02

HDFS节点故障的容错方案

HDFS节点故障的容错方案1.NN高可用1.1选主逻辑1.2HA切换1.3注意点1.3.1fencing的处理1.3.2健康状态的定义1.3.3确保zk中的父节点存在1.3.4确保NN的ID与IP保持一致

李姓门徒·2024-01-21 07:06

大数据技术汇总

HadoopHadoop入门概述Hadoop运行模式介绍HadoopHDFS的运行流程HadoopMapReduce的运行流程Hadoopyarn的运行流程Hadoop内HDFS、MapReduce和YARN

转身成为了码农·2024-01-21 07:41

夜天之书 #93 Apache OpenDAL 毕业随感

你可以把它当作是一个更好的S3SDK实现，也可以通过统一的OpenDALAPI来简化配置访问不同的数据存储服务的工作（例如S3/HDFS/GCS/AliyunOSS等）。

_tison·2024-01-21 07:33

Dubbo源码解析第一期：如何使用Netty4构建RPC

一、背景早期学习和使用Dubbo的时候（那时候Dubbo还没成为Apache顶级项目），写过一些源码解读，但随着Dubbo发生了翻天覆地的变化，那些文章早已过时，所以现在计划针对最新的ApacheDubbo源码来进行“阅读理解”，希望和大家一起再探Dubbo的实现。由于能力有限，如果文章有错误的地方，欢迎大家留言指正。本期的主题是Dubbo如何使用Netty4构建RPC来通讯。二、Server端视

飞向札幌的班机·2024-01-21 06:20

Spark：SparkSQL与Hive on Spark（Shark）的比较

Spark特点Spark可以部署在YARN上Spark原生支持对HDFS文件系统的访问使用Scal

花和尚也有春天·2024-01-21 06:17

sparkSQL sparkSQL整合hive（spark on hive）

sparkSQL整合hivesparkSQL整合hivesparkSQL整合hive步骤示例数据库保存在本地和数据库保存在HDFS应用场景sparkSQL整合hivesparkSQL整合hive，即sparkonhive

爱吃甜食_·2024-01-21 06:39

Linux修改hadoop配置文件及启动hadoop集群详细步骤

Hadoop安装成功了二、修改配置文件1.检查三台虚拟机：2.切换到配置文件目录3.修改hadoop-env.sh文件4.修改core-site.xml文件5.修改mapred-site.xml文件6.修改hdfs-site.xml

CatalinaCatherine·2024-01-21 05:45

Linux-Hadoop集群配置

文章目录一、配置Hadoop集群1、在master虚拟机上配置hadoop（1）编辑Hadoop环境配置文件-hadoop-env.sh（2）编辑Hadoop核心配置文件-core-site.xml（3）编辑HDFS

人生苦短@我用python·2024-01-21 05:44

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-

Unabletoloadnative-hadooplibraryforyourplatform…usingbuiltin-javaclasseswhereapplicableStartingnamenodeson[localhost]ERROR:Attemptingtooperateonhdfsname

寂夜了无痕·2024-01-21 04:57

HDFS中的Erasure Coding纠删码是个什么样的存在？

一、什么是纠错码提起纠错码就有必要提起HDFS中多副本策略。在多副本策略下，HDFS中储存文件，要存储三份相同文件，如果当前文件出现丢失，可以通过其他副本进行复制，恢复回来。

小KKKKKKKK·2024-01-21 03:29

大数据技术原理及应用课实验2 ：熟悉常用的HDFS操作

实验2熟悉常用的HDFS操作目录实验2熟悉常用的HDFS操作一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任务：（

Blossom i·2024-01-21 02:21

IPerf——网络测试工具介绍与源码解析（2）

对于IPerf源码解析，我是基于2.0.5版本在Windows下执行的情况进行分析的，提倡开始先通过对源码的简单修改使其能够在本地编译器运行起来，这样可以打印输出一些中间信息，对于理解源码的逻辑，程序实现的过程能够起到事半功倍的效果

weixin_33963594·2024-01-21 02:40

k8s client-go源码解析之informer三

Informer（三）注意：本文内容为学习笔记，内容为个人见解，不保证准确性，但欢迎大家讨论何指教。觉得文章不错请关注跟博客及githubinformer使用可以参考我的这个项目:hingehinge项目,用于展示如何简单使用informer以及自定义indexer。这个项目支持你用类似于orm的方式在集群中查找资源，这依赖于informer的indexer机制。本篇介绍DeltaFIFO及ind

随风奔跑尿飞扬·2024-01-21 00:53

k8s client-go源码解析之informer 二

Informer（二）注意：本文内容为学习笔记，内容为个人见解，不保证准确性，但欢迎大家讨论何指教。informer使用可以参考我的这个项目:hingehinge项目,用于展示如何简单使用informer以及自定义indexer。这个项目支持你用类似于orm的方式在集群中查找资源，这依赖于informer的indexer机制。本篇介绍cache.SharedIndexInforme中Control

随风奔跑尿飞扬·2024-01-21 00:53

k8s源码阅读：Informer源码解析

写在之前Kubernetes的Informer机制是一种用于监控资源对象变化的机制。它提供了一种简化开发者编写控制器的方式，允许控制器能够及时感知并响应Kubernetes集群中资源对象的变化。Informer通过与KubernetesAPI服务器进行交互，通过监听API服务器上资源对象的修改事件来实现实时的资源对象状态更新。当一个资源对象被创建、更新或删除时，Informer会收到相应的通知，并

bug_createman·2024-01-21 00:21

大数据导论（3）---大数据技术

文章目录1.大数据技术概述2.数据采集与预处理2.1数据采集2.2预处理3.数据存储和管理3.1分布式基础架构Hadoop3.2分布式文件系统HDFS3.3分布式数据库HBase3.4非关系型数据库NoSQL4

冒冒菜菜·2024-01-20 21:28

HDFS的EditLog和FsImage作用详细解析，超详细！（含部分非原创图片，大部分原创总结）

Editslog：保存了以HDFS最新版本的FsImage为起点起对hdfs中文件的操作信息FsImage：某一时刻内存元数据在本地磁盘的映射，用于维护管理文件系统树，即元数据。

科班你宇哥·2024-01-20 21:08

使用Sqoop从Oracle数据库导入数据

Sqoop是一个用于在Hadoop生态系统（如HDFS和Hive）与关系型数据库之间传输数据的工具。它使数据工程师

晓之以理的喵~~·2024-01-20 19:27

大数据Hadoop入门——HDFS分布式文件系统基础

HDFS总结在现代的企业环境中，海量数据超过单台物理计算机的存储能力，分布式文件系统应运而生，对数据分区存储于若干物理主机，管理网络中跨多台计算机存储的文件系统。

nucty·2024-01-20 16:00

大数据技术之Hadoop伪分布式安装步骤及结果（Ubuntu）

环境、配置PATH环境变量；3、下载Hadoop并解压；4、修改配置文件；5、名称节点格式化；6、启动Hadoop，JPS查看是否启动成功；7、运行测试例子；8、在安装好的Hadoop伪分布式环境中操作HDFS

小嘤嘤怪学·2024-01-20 16:52

hdfs元数据为什么分fsimage和edits，合并操作怎么进行的

在NameNode中，命名空间（namespace，指文件系统中的目录树、文件元数据等信息）是被全部缓存在内存中的，一旦NameNode重启或者宕机，内存中的所有数据将全部丢失，所以必须要有一种机制能够将整个命名空间持久化保存，并且能在NameNode重启时重建命名空间。这里就是通过fsimage（FSImage类）和edits（FSEditLog类）共同实现的。fsimage：命名空间镜像，存储

sf_www·2024-01-20 11:53

Quorum Journal实现HDFS HA配置dfs.ha.fencing.methods

1.为什么使用QuorumJournal方式实现hdfsha配置dfs.ha.fencing.methods只需要写shell(true)？

sf_www·2024-01-20 11:22

Hadoop配置文件加载

hadoop使用org.apache.hadoop.conf.Configuration类来加载配置文件2.一般我们在写客户端程序等需要连接hadoop集群时，需要自己准备好core-site.xml和hdfs-site.xml

sf_www·2024-01-20 11:52

HDFS垃圾回收源码解析

1.TrashPolicy类：所有的垃圾回收策略都需要实现该类，hdfs默认的实现方式是：TrashPolicyDefault，可通过fs.trash.classname来配置。

sf_www·2024-01-20 11:52

Hadoop基础知识

狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架

坐在风口上de猪·2024-01-20 10:10

android系统tts TextToSpeech源码原理解析及定制tts引擎

TextToSpeech源码解析如何查看系统源码，请查看我

Zephyr Cai·2024-01-20 09:40

令牌桶算法与Guava的实现RateLimiter源码分析

令牌桶算法与Guava的实现RateLimiter源码分析令牌桶RateLimiter简介RateLimiter使用示例导入maven依赖编写测试代码RateLimiter的实现源码解析SmoothRateLimiterSmoothBursty

迷思特王·2024-01-20 09:39

Golang 之 WaitGroup 源码解析

前言如果我们有一个大的任务要做，我们会尝试将这个任务分解，分解完成之后并发交由goroutine去做，并且我需要当全部的任务完成之后再进行下面的步骤，在sync包下，就有这样一个东西适合上述情况，WaitGroup，今天我们来看看具体它是怎么实现的。PS：在下面我统一用wg来简称WaitGroup使用它的使用非常简单，如下:funcmain(){wg:=sync.WaitGroup{}fori:=

LinkinStar·2024-01-20 07:00

hdfs命令参考1-判断文件存在后删除

#cleanoutputPathhdfsdfs-test-e$outputPathif[$?

liuzx32·2024-01-20 05:24

RocketMQ源码解析之消息发送（二）

目录1：写在前面2：RocketMQ消息数据结构3：生产者启动流程3.1：DefaultMQProducer3.2：启动生产者具体的实现类DefaultMQProducerImpl3.3：同步消息发送基本流程4：总结目录1：写在前面RockerMQ发送一般的消息（还有一种是事务消息，后续的博客会展开）有三种实现方式：可靠的同步传输，可靠的异步传输，单向传输，这些传输方式的前提都是基于消息体（消息数

奔跑的小猪zc·2024-01-20 05:31

Kylin基础教程（一）

一、Kylin介绍1.1现状Hadoop于2006年初步实现，改变了企业级的大数据存储（基于HDFS）和批处理（主要基于MR）问题，10几年过去了，数据量随着互联网的发展井喷式增长，如何高速、低延迟的分析数据成为后续面临的挑战

GOD_WAR·2024-01-20 03:43

Mybatis源码解析：kafka消费者消费不到消息

Kafka源码篇——Kafka快速入门1.1Kafka简介1.2以Kafka为中心的解决方案1.3Kafka核心概念1.4搭建Kafka源码环境Kafka源码篇——生产者2.1KafkaProducer使用示例2.2KafkaProducer分析2.3RecordAccumulator分析2.4Sender分析Kafka源码篇——消费者3.1KafkaConsumer使用示例3.2传递保证语义（D

前端陈萨龙·2024-01-19 23:32

JVM实战（18）——模拟Full GC

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介上一章，我们已经进行了一次对象晋升的模拟，本章我们将继续结合代码

smart哥·2024-01-19 22:03

JVM实战（16）——模拟Young GC

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介本章，我们将通过示例代码演示YoungGC是如何发生的。同时，我

smart哥·2024-01-19 22:32

源码解析：最新阿里Java面试题目

一.什么是架构和架构本质在软件行业，对于什么是架构，都有很多的争论，每个人都有自己的理解。此君说的架构和彼君理解的架构未必是一回事。因此我们在讨论架构之前，我们先讨论架构的概念定义，概念是人认识这个世界的基础，并用来沟通的手段，如果对架构概念理解不一样，那沟通起来自然不顺畅。Linux有架构，MySQL有架构，JVM也有架构，使用Java开发、MySQL存储、跑在Linux上的业务系统也有架构，应

JAVA语言面试题·2024-01-19 21:05

spring-integration-redis中的分布式锁基本使用和源码解析

spring-integration-redis中的分布式锁源码解析使用依赖代码示例源码解析获取锁加锁和锁互斥机制释放锁和锁可重入机制总结watchdog机制缺失加锁的性能太低使用依赖spring-integration-redis

咦940·2024-01-19 17:26

基于 SpringBoot 实现多租户架构：支持应用多租户部署和管理

每天10:33更新文章，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ

公众号-芋道源码·2024-01-19 16:09

大数据学长面试之OPPO面试题

1）技术部分（1）SparkStreaming消费方式及区别，Spark读取HDFS的数据流程（2）Kafka高性能（3）Hive调优，数据倾斜（4）Zookeeper怎么避免脑裂，什么是脑裂。

大数据小理·2024-01-19 16:01

JVM实战（20）——jstat实战（1）

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介本章和下一章，我们将通过之前讲过的两个案例，看看如何在生产环境下

smart哥·2024-01-19 13:43

Nacos2.0.3源码解析（四）一致性协议-Distro协议实现原理

目录1、distro协议简介2、设计思想3、DistroProtocol类介绍3.1、DistroComponentHolder3.2、DistroTaskEngineHolder3.3、distro协议启动4、ClientManager5、distro验证任务详解5.1、getVerifyData方法解析5.1.1、DistroDataStorageImpl——v1版本5.1.2、DistroC

爱吃丸子的哈哈蒋·2024-01-19 13:35

大数据开发之Hadoop（优化&新特征）

第1章：HDFS-故障排除注意：采用三台服务器即可，恢复到Yarn开始的服务器快照。

Key-Key·2024-01-19 10:50

element-ui 打包流程源码解析（下）

目录目录结构和使用1，npm安装1.1，完整引入1.2，按需引入2，CDN3，国际化接上文：element-ui打包流程源码解析（上）文章中提到的【上文】都指它↑目录结构和使用我们从使用方式来分析，为什么要打包成上面的目录结构

下雪天的夏风·2024-01-19 09:07

element-ui 打包流程源码解析（上）

目录1，源码整体结构1.1，build目录1.2，examples目录1.3，packages目录1.4，src目录2，打包整体流程2.1，npmrunbuild:file2.1.1，build/bin/iconInit.js2.1.2，build/bin/build-entry.js2.1.3，build/bin/i18n.js2.1.4，build/bin/version.js2.2，buil

下雪天的夏风·2024-01-19 09:32

centos中安装nfs实现服务器文件共享

如果一个服务使用集群方式部署，在文件读写时就需要考虑多个服务之间文件共享的问题，在共享文件时可以考虑部署一个单独的文件服务器，比如hdfs、minio、fastdfs等，也可以使用简单的文件目录共享方式实现

腊笔不小新xingo·2024-01-19 09:18

任务15：使用Hive进行全国气象数据分析

进行数据分析重点：掌握Hive基本语句熟练使用Hive对天气数据进行分析内容：使用Hive创建外部表使用Hive对数据进行统计分析任务指导1.使用Hive创建基础表将China_stn_city.csv文件上传到HDFS

Dija-bl·2024-01-19 08:44

JVM实战（28）——模拟Metaspace内存溢出

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介本章，我们将通过示例代码演示Metaspace区域是如何发生内存

smart哥·2024-01-19 08:22

JVM实战（19）——JVM调优工具概述

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介前面章节，我们已经介绍了如何通过GC日志去分析系统的运行情况。本

smart哥·2024-01-19 08:51

JVM实战（25）——元数据区优化

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、案例背景本章介绍的案例比较特殊，是由于人为设置JVM参数错误，而导致