HDFS源码解析第4页

Slf4j 源码解析二-添加 slf4j-simple 日志实现框架

主题本篇是Slf4j源码解析的第二篇，上篇介绍了无日志实现框架的执行流程本篇解析添加slf4j-simple日志实现框架的脉络已经知道：org/sfl4j/impl/StaticLoggerBinder.class

当当一丢丢·2024-02-19 15:30

【2019-04-28】Hadoop分布式文件系统

Hadoop自带HDFS(hadoopdistributefilesystem)。HDFS默认数据块128M。

BigBigFlower·2024-02-19 11:56

Hadoop搭建之 start-yarn.sh 报错

在搭建伪分布式的Hadoop集群环境时，在配置基础环境了并成功开启了HDFS组件后，jps查看已运行的名称节点和数据节点进程，[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode

万里长江雪·2024-02-19 11:58

Java集合篇之深入解析LinkedList

源码解析看过build哥文章的同学应该都知道，俺喜欢通过源码去学习和

液态不合群·2024-02-19 10:54

配置hive on spark

配置hiveonspark1、上传Spark纯净版jar包到HDFS：hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改

空白格2519·2024-02-15 10:51

hive on spark配置经验

常规配置配置完，开启hadoop，开启spark（如果在hdfs上上传了纯净版的spark则不需要开启），开启hive注：当前节点一定要是namenode的active节点，因为hadoop长时间不用namenode

小五冲冲冲·2024-02-15 10:21

Glide 源码解析之关键类简介

Glide关键类介绍Glide单例，负责全局配置/***Asingletontopresentasimplestaticinterfaceforbuildingrequestswith*{@linkRequestBuilder}andmaintainingan{@linkEngine},{@linkBitmapPool},*{@linkcom.bumptech.glide.load.engine.

詹徐照·2024-02-15 09:29

大数据集群环境启动总结

hadoop启动与停止单个节点逐一启动在主节点上使用以下命令启动HDFSNameNode：hadoop-daemon.shstartnamenode在每个从节点上使用以下命令启动HDFSDataNode

我还不够强·2024-02-14 23:04

类加载机制（2）类加载器源码解析

目录一、类加载器1、BootstrapClassLoader启动类加载器2、ExtensionClassLoader扩展类加载器3、ApplicationClassLoader应用类加载器4、CustomClassLoader自定义类加载器5、线程上下文类加载器二、java虚拟机入口应用：sun.misc.Launcher1、sun.misc.Launcher主入口2、内部类ExtClassLoa

飞奔的口罩·2024-02-14 22:22

HDFS用户及权限配置

HDFS用户及权限配置使用linux用户bruce，格式化hadoop的namenode，那么bruce成为hdfs的超级用户在bruce用户下运行命令：#创建/user/hadoop目录hadoopfs-mkdir-p

wpheternal·2024-02-14 21:42

Hadoop(HDFS)的超级用户

Hadoop(HDFS)的超级用户超级用户超级用户即运行namenode进程的用户。宽泛的讲，如果你启动了namenode，你就是超级用户。超级用户干任何事情，因为超级用户能够通过所有的权限检查。

zinger.wang·2024-02-14 21:12

0564-6.1.0-HDFS超级用户(Superuser)和HDFS管理员(Administrator)的区别

1文档编写目的在前面的文章《0550-6.1-如何将普通用户增加到HDFS的超级用户组supergroup》中Fayson介绍过如何将普通用户设置为HDFS的超级用户，从而可以让普通用户也可以执行如dfsadmin

Hadoop_SC·2024-02-14 21:41

HDFS的超级用户

一.解释原因HDFS(HadoopDistributedFileSystem)和linux文件系统管理一样，也是存在权限控制的。

重剑DS·2024-02-14 21:41

hive中的Load data 和 insert的区别

OVERWRITE]INTOTABLEtablename[PARTITION(partcol1=val1,partcol2=val2...)]local关键字：有，表示从本地文件系统中导入没有，表示从HDFS

日写BUG八百行·2024-02-14 19:10

小游戏和GUI编程(7) | SimpleNN 界面源码解析

小游戏和GUI编程(7)|SimpleNN界面源码解析0.简介SimpleNN是AdamYuan在高中一年级时用1天时间写出来的简易CNN,使用SFML做UI,用于交互式输入手写数字，这个数字被训练好的

baiyu33·2024-02-14 15:48

Spring AOP源码解析(二)

前言上一篇中我们扒拉了一下spring-aop的底裤，详细解读了spring-aop中的各种抽象概念，本篇开始我们一起研究研究spring-aop的织入过程（基于5.2.6.RELEASE）。建议各位同学本地打开一份源码对照食用，效果更佳。前方高能！！！本篇重度依赖于上一篇解读的抽象概念，不熟悉的同学请速速撤离，以免误伤。正式开始之前，各位同学还请思考一下，在拥有了关于AOP的全局视角

anyoptional·2024-02-14 07:24

学习总结 - swift适配器为 Hadoop 的存储层增加对 OpenStack Swift 的支持

虽然文档内所涉及的版本有点旧，但内容很精彩，值得推荐背景在Hadoop中有一个抽象文件系统的概念，它有多个不同的子类实现，由DistributedFileSystem类代表的HDFS便是其中之一。

天地不仁以万物为刍狗·2024-02-14 07:37

hadoop HDFS的API封装

FSDataInputStream和FSDataOutputStream：这两个类是HDFS中的输入输出流。

Cynicism_Kevin·2024-02-14 07:37

Netty Review - ServerBootstrap源码解析

文章目录概述源码分析小结概述ServerBootstrapbootstrap=newServerBootstrap();bootstrap.group(bossGroup,workerGroup).channel(NioServerSocketChannel.class).option(ChannelOption.SO_BACKLOG,1024).childHandler(newChannelIn

小小工匠·2024-02-14 04:39

我给 Netty 提交了一个 bug

本系列Netty源码解析文章基于4.1.56.Final版本写在前面.....本文是笔者肉眼盯Bug系列的第三弹，前两弹分别是:抓到Netty一个Bug，顺带来透彻地聊一下Netty是如何高效接收网络连接的

公众号：码海·2024-02-14 02:41

11.我为 Netty 贡献源码 | 且看 Netty 如何应对 TCP 连接的正常关闭，异常关闭，半关闭场景

我为Netty贡献源码|且看Netty如何应对TCP连接的正常关闭，异常关闭，半关闭场景本系列Netty源码解析文章基于4.1.56.Final版本写在前面.....本文是笔者肉眼盯Bug系列的第三弹，

磊哥低调·2024-02-14 02:40

JDK源码阅读 0826 - 抽象集合

我们经常在代码中使用到List、Set、Map,也粗略看过一些实现类的源码解析。现在去看下抽象类集合中的方法与具体实现类有哪些不同。

学习吧朱小宁·2024-02-14 01:28

linux中du的常见用法和查看文件大小并排序

du-s应用在想知道目录具体有多大的时候du-h这样方便看，常常du-s查询的时候也可以加上-h但是有一种情况例外，就是如下这种查看文件大小并排序前两天我想看下有个目录下（HDFS的和linux的用法一样

早点起床晒太阳·2024-02-13 23:18

利用 Docker 安装 Hadoop 集群并通过 Java API 访问 HDFS

前言最近刚好在学习Hadoop，在安装过程中遇到了一些小麻烦，正好将此次过程记录并分享出来，希望能对准备学习本块内容的读者们有所帮助。本次操作在Ubuntu中完成，如何安装Ubuntu本文不再赘述。本文所涉及到的代码及配置文件可在微信公众号「01二进制」后台回复「hadoop」获取。在Ubuntu中安装配置Docker使用官方安装脚本自动安装安装命令如下：curl-fsSLhttps://get.

qq_33419925·2024-02-13 21:38

spring源码解析流程，一步一步在源码加注释带你了解bean的加载过程

spring前述：spring源码环境搭建以及源码下载在文章后方有链接，可自行参考搭建，这里只是对加载过程做一个解析，spring全家桶远不止这些东东，感兴趣的小伙伴可以去官网看一下，本文将以源码加注释的方式进行过程解析，带你了解spring中bean到底是如何一步步加载完成了解重点：bean的生命周期、加载过程最终目的：学习spring源码短期内不对对你的技术有太大提升，可能只是了解到漂亮的代码

笨蛋CXJ·2024-02-13 20:46

京东平台研发：领域驱动设计（DDD）实践总结

每天8:55更新文章，每天掉亿点点头发...源码精品专栏原创|Java2020超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件

公众号-芋道源码·2024-02-13 18:26

ReentrantLock源码解析1-公平锁和非公平锁

1简言ReentrantLock：重入锁，是指一个线程获取锁之后再尝试获取锁时会自动获取锁。ReentrantLock实现了Lock接口，Lock接口定义的方法：//获取锁voidlock();//获取锁(可中断)voidlockInterruptibly()throwsInterruptedException;//尝试获取锁,如果没获取到锁,就返回falsebooleantryLock();//

LZhan·2024-02-13 18:32

LayoutInflater源码解析及常见相关报错分析

在日常Android开发中，最经常使用的RecyclerView控件是大家都绕不开的，而编写其Adapter时更离不开LayoutInflater的调用。当然，如果你做这一行有些时日了，相信你对其使用一定是炉火纯青了。即使如此，我觉得LayoutInflater仍旧有值得分析的地方，相信你看完之后有更多的认识。Android系统中有许多包括ActivityManagerService在内的系统级服

左大星·2024-02-13 13:48

hadoop 分布式集群安装与原理

我们分享一套能让您轻松完成集群搭建的方法，包括Hadoop的源码编译、企业级环境安装与配置和常用大数据组件的基本原理，请点击下面连接按笔记顺序进行学习服务器基础环境批量操作多台服务器zookeeper编译hadoop源码高可用（HA）HDFS

海牛大数据_青牛老师·2024-02-13 12:44

Contractfuzzer 复现（2）

本文实现Contractfuzzer源码解析，在本地复现运行Contractfuzzer一、前期准备下载Contractfuzzer的源代码二、代码修改和部署Contractfuzzer的源代码分为三个部分

区区小块·2024-02-13 11:45

Netty Review - NioEventLoopGroup源码解析

文章目录概述类继承关系源码分析小结概述EventLoopGroupbossGroup=newNioEventLoopGroup(1);EventLoopGroupworkerGroup=newNioEventLoopGroup();这段代码是在使用Netty框架时常见的用法，用于创建两个不同的EventLoopGroup实例，一个用于处理连接请求（通常称为bossGroup），另一个用于处理连接后

小小工匠·2024-02-13 07:03

雁阵惊寒_zhn·2024-02-12 23:15

babe从入门到精通

前言前面我们写了几篇很长的文章去介绍babel源码、preset-env、runtime，babel源码解析一babel源码解析之（@babel/preset-env）babel源码解析之（@babel

vv_小虫虫·2024-02-12 23:26

分区表

分区表：分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。

incover·2024-02-12 22:34

retrofit源码解析

一、简介retrofit是square开发的一个网络加载库，主要用于Android和Java。Retrofit对OKHttp进行了封装，加入了各种设计模式，注解，反射，使用起来更加方便。二、使用方法retrofit的使用大致分为三个部分：定义网络接口、创建retrofit对象、创建网络接口的动态代理、调用网络接口2.1定义网络接口publicinterfaceGitHubService{@GET(

小怪兽大作战·2024-02-12 15:10

浅谈Java集合丨底层源码解析

在Java中，我们经常会使用到一些处理缓存数据的集合类，这些集合类都有自己的特点，今天主要分享下Java集合中几种经常用的Map、List、Set。1、Map一、背景二、Map家族三、HashMap、Hashtable等四、HashMap底层数据结构2、List一、List包括的子类二、ArrayList三、ArrayList源码分析四、LinkedList五、LinkedList源码分析3、Se

Java__JJ·2024-02-12 10:08

Java1.8-LinkedList源码解析

概述 LinkedList底层采用的是双向链表结构，有一个头节点first，一个尾节点last，双向链表意味着我们可以从头开始正向遍历，或者是从尾开始逆向遍历，并且可以针对头部和尾部进行相应的操作。双向链表结构.png继承关系publicclassLinkedListextendsAbstractSequentialListimplementsList,Deque,Cloneable,java.

骑着乌龟去看海·2024-02-12 10:44

Hadoop-MapReduce-Yarn集群搭建

搭建的部署节点图如下：hdfs和yarn是两个不同概念，两者搭建不会冲突。注意一点是DataNode和NodeManager必须要部署在同一台机器，它们的比例是1比1关系的。

qq_2368521029·2024-02-12 07:44

搭建 Hadoop-3.1.3 HA 集群

本文目录1.集群部署分布规划2.Zookeepr集群安装3.HDFS-HAⅠ.配置core-site.xmlⅡ.配置hdfs-site.xmlⅢ.配置分发4.YARN-HAⅠ.配置yarn-site.xmlⅡ

扛麻袋的少年·2024-02-12 07:43

Hadoop-HA高可用集群部署

HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。

魔笛Love·2024-02-12 07:13

org.apache.hadoop.fs.ChecksumException: Checksum error: file:/root/test.txt at 0

上传文件到集群遇到以下异常：org.apache.hadoop.fs.ChecksumException:Checksumerror:file:/root/test.txtat0[root@master~]#hdfsdfs-puttest.txt

橙汁啤酒厂·2024-02-12 05:24

Spring是怎样处理循环依赖的？

前置说明源码解析addSingletonFactorygetSingletongetEarlyBeanReference总结环境SpringFrameworkVersion：5.3.

后端开发萌新·2024-02-12 04:39

SpringBean生命周期之初始化篇

文章目录注意事项环境源码解析AbstractAutowireCapableBeanFactoryinitializeBeaninvokeAwareMethodsinvokeInitMethodsinvokeCustomInitMethodapplyBeanPostProcessorsAfterInitialization

后端开发萌新·2024-02-12 04:09

SpringBean生命周期之实例化篇

文章目录注意事项环境源码解析AbstractAutowireCapableBeanFactorycreateBeanInstance假如我们使用的是构造器注入AbstractBeanFactorydetermineConstructorsFromBeanPostProcessorsAutowiredAnnotationBeanPostProcessordetermineCandidateConst

后端开发萌新·2024-02-12 04:08

SpringBean生命周期之属性注入篇

文章目录注意事项环境前言源码解析AbstractAutowireCapableBeanFactorypopulateBean@Resource注入CommonAnnotationBeanPostProcessorpostProcessPropertiesfindResourceMetadatabuildResourceMetadatainjectinject