HDFS源码解析

HDFS的优缺点、写流架构、访问方式、可靠性策略新特性

HDFS优点高容错性数据自动保存多个副本副本丢失后，自动恢复适合批处理移动计算而非数据数据位置暴露给计算框架适合大数据处理GB、TB、甚至PB级数据百万规模以上的文件数量10K+节点规模流式文件访问一次性写入
木迪_2a4e·2024-01-26 00:49

常见算法思想：贪心法

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析贪心算法的思想即对于目标T，对于达成它的每一局部都选择最优选项，直到满足
smart哥·2024-01-26 00:51

常见算法思想：动态规划法

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析动态规划问题的分类求最大最小值从左上角走到右下角路径的最大数字和最长上升
smart哥·2024-01-26 00:51

常见算法思想：回溯法

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析回溯法回溯法也叫试探法，试探的处事方式比较委婉，它先暂时放弃关于问题规模
smart哥·2024-01-26 00:20

常见算法思想：递归法

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析递归法在计算机编程应用中，我们常常遇到代码的递归调用，事实上，递归是一种
smart哥·2024-01-26 00:45

CDH浏览器安装流程

选择所有得主机列出所有得主机3然后根据自己安装得版本来进行选择选择对应版本4然后等待安装等待配置5出现问题根据提示进行操作进行相关设置（安装得时候，一般做了配置）6然后下一步，然后选择自定义安装，先安装最基本得几个组件：HDFSHbaseZooKeePerYARN7
PunkP·2024-01-25 23:41

unity urp内置lit材质源码解析（上）

之前我发布过一篇对urp的内置shaderlit的结构解析，发现自己说的也不完善，这次直接对源码进行一个解析，并提升一下自己的记忆。如果你找不到这个shader，那么就有可能你不是urp渲染管线。自己搜索。在前向渲染pass里面，我们可以看到，urp里面已经不再使用cg语言，而是改用了HLSL渲染语言，其实没大差别，只是里面的一些函数，和一些实现方法出现了变动。#pragmaexclude_ren
暮志未晚season·2024-01-25 23:41

【unity基础】关于学习通用渲染管线(UniversalRenderPipeline)入门级的分享笔记

UniversalRPAsset和UniversalRPDataI.Rendering项II.Quality项III.Shadows项IV.Post-processing项三、URP的运行逻辑，原理和源码解析记录
多年了酷拉皮卡依旧还在船上·2024-01-25 23:41

大数据开发之Spark（spark streaming）

sparkstreaming支持的数据源很多，例如：kafka、flume、hdfs等。数据输入后可以用spark的高度抽象原语如：map、reduce、join、window等进行计算。
Key-Key·2024-01-25 21:07

sqoop之hive数据仓库和oracle数据库数据转换

，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS
Summer_1981·2024-01-25 20:37

java打jar包添加第三方依赖

    org.apache.maven.pluginsmaven-shade-plugin2.4.3packageshadeaddMain-Classtomanifestfilecom.shine.HdfsAPImergeMETA-INF
久生情123·2024-01-25 18:25

HDFS高可用架构涉及常用功能整理

HDFS高可用架构涉及常用功能整理1.hdfs的高可用系统架构和相关组件2.hdfs的核心参数2.1常规配置2.2特殊优化配置2.1.1NN优化2.1.2DN优化3.hdfs常用命令3.1常用基础命令3.2
李姓门徒·2024-01-25 16:31

XSSFWorkbook源码解析-全网最全

定义：电子表格ML工作簿的高级表示形式。这是大多数用户在阅读或编写工作簿时构建的第一个对象。它也是用于创建新图纸等的顶级对象使用：可以对这个类构造得到一个实例化对象，通过对象可以读写excel，也可以创建sheet，还可以创建其他源码左下方是它的”结构“，相当于文章目录，会解释这里都有哪些方法操作：进入源码文件后，找结构这个点击后出，mac也可以快捷键command+7内容：构造方法+普通方法解释
璇嘟嘟·2024-01-25 16:39

SpringBoot-SpringBoot自动配置底层源码解析

@EnableAutoConfiguration源码解析2.SpringBoot常用条件注解源码解析3.SpringBoot之Mybatis自动配置源码解析4.SpringBoot之AOP自动配置源码解析
长情知热爱·2024-01-25 12:27

hadoop集群部署

Hadoop的框架最核心的设计就是：HDFS和Ma
Cat God 007·2024-01-25 12:45

hadoop集群规划部署

hadoop102hadoop103hadoop104HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManagerResourceManagerNodeManagerNodeM
Snower_2022·2024-01-25 12:43

上万字详解Spark Core（建议收藏）

虽然MapReduce提供了对数据访问和计算的抽象，但是对于数据的复用就是简单的将中间数据写到一个稳定的文件系统中(例如HDFS)，
废柴程序员·2024-01-25 09:06

Hadoop-HDFS写流程（从命令行到完成）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、源码分析源码中写的肯定是最真实的，下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4
隔着天花板看星星·2024-01-25 09:23

Hadoop-HDFS高可用

一、说明在我的博客中已经包含了HDFS高可用的搭建，这里描述下它的原理。
隔着天花板看星星·2024-01-25 09:52

Hadoop-HDFS读流程（从输入命令到回显）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、静静的思考一会儿爱因斯坦说过：想象力比知识更重要。想象力推动世界，是知识进化的源泉。
隔着天花板看星星·2024-01-25 09:52

HBase学习五：运维排障之备份与恢复

HBase的所有文件都存储在HDFS上，因此只要使用Hadoop提供的文件复制工具distcp将HBASE目录复制到同一HDFS或者其他HDFS的另一个目录中，就可以完成对源HBase集群的备份工作copyTable
Studying！！！·2024-01-25 09:49

大数据平台组件日常运维操作说明（Hadoop/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat）

Hadoop日常运维操作说明hdfs生产环境hadoop为30台服务器组成的集群，统一安装配置，版本号为2.7.7部署路径：/opt/hadoop启动用户：hadoop配置文件：/opt/hadoop/
love6a6·2024-01-25 07:12

Hadoop HDFS 实现原理图文详解

一、HDFS体系结构1.1HDFS简介Hadoop分布式文件系统(HDFS)是运行在通用硬件(commodityhardware)上的分布式文件系统（DistributedFileSystem）。
禅与计算机程序设计艺术·2024-01-25 07:49

Hotspot源码解析-第23章--Java Class的初始化

这一章的内容主要是对初始后的JavaClass的需要使用（主要体现在反射）的字段计算偏移（偏移是指相对于类本身的存储位置的起始位置）函数调用链：init.cpp->init_globalsjavaClasses.cpp->javaClasses_init()voidjavaClasses_init(){//计算偏移JavaClasses::compute_offsets();//计算完后，要验证偏
多栖码农·2024-01-25 07:01

pyspark udf

目录简单的注册UDF自己定义函数UDFpysparkudf源码解析复杂数据类型：ArrayType、MapType、StructTypeArrayTypeMapTypeStructType简单的注册UDF
小赵要加油·2024-01-25 05:33

element-ui 打包流程源码解析——babel 相关

目录1，babel-cli2，babel-core3，.babelrc3.1，presets3.2，plugins其他相关该文章是为了更好的理解：element-ui打包流程源码解析（上）第2.5节npmrunbuild
下雪天的夏风·2024-01-25 04:16

JVM实战（29）——模拟栈内存溢出

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介本章，我们将通过示例代码演示Java虚拟机栈区域是如何发生内存溢
smart哥·2024-01-25 03:03

JVM实战（30）——模拟堆内存溢出

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介本章，我们将通过示例代码演示Java堆内存区域是如何发生内存溢出
smart哥·2024-01-25 03:31

Vue 插槽 (Slots) 源码解析与用法

聚沙成塔·每天进步一点点本文内容⭐专栏简介1.默认插槽的实现原理用法示例：2.具名插槽的实现原理用法示例：3.作用域插槽的实现原理用法示例：⭐写在最后⭐专栏简介Vue学习之旅的奇妙世界欢迎大家来到Vue技能树参考资料专栏！创建这个专栏的初衷是为了帮助大家更好地应对Vue.js技能树的学习。每篇文章都致力于提供清晰、深入的参考资料，让你能够更轻松、更自信地理解和掌握Vue.js的核心概念和技术。订阅
几何心凉·2024-01-24 23:41

大数据小白初探HDFS架构原理：带你揭秘背后的真相（一）

目录1.前言2.HDFS架构2.1架构定义2.2揭秘架构2.3HDFS核心结构3.HDFS的优缺点3.1HDFS的优点3.2HDFS的缺点4.HDFS的应用场景5.总结1.前言前面的文章写了一篇，大数据方面的基础知识
程序员阿奇·2024-01-24 19:38

小白初探架构模式—常用的设计模式

2.4主从架构的示例3.主从架构设计的延伸3.1主备模式3.2主从复制3.3集群分片3.4异地多活4.总结1.前言作为一个架构设计小白，我们通常用了很多种工具，比如Mysql、Redis、Kafka、Hdfs
程序员阿奇·2024-01-24 19:03

Java集合---LinkedList源码解析

原文地址为：Java集合---LinkedList源码解析一、1、类定义2、LinkedList数据结构原理3、私有属性4、构造方法5、元素添加add()及原理6、删除数据remove()7、数据获取get
wcqlwyt·2024-01-24 18:08

浅谈高性能数据库集群 —— 分库分表

源码精品专栏精尽Dubbo原理与源码69篇精尽Netty原理与源码61篇中文详细注释的开源项目Java并发源码合集RocketMQ源码合集Sharding-JDBC源码解析合集SpringMVC和Security
芋道源码·2024-01-24 18:35

PageHelper分页插件最新源码解读及使用

分页插件最新源码解读及使用相信有很多同学在开发过程中都使用过PageHelper，这是一款强大的分页插件，今天的文章会从以下几个角度来介绍PageHelper，分别为PageHelper的简单介绍使用场景、如何集成到mybatis中以及PageHelper源码解析
最后一支迷迭香·2024-01-24 16:19

部署Hadoop集群

在node1节点执行，以root身份1：在VMware虚拟机集群上部署HDFS集群1）准备好hadoop安装包；目前最新3.3.4；了解：2）上传解压hadoop①：上传hadoop到node1节点；②
%HelloWorld%·2024-01-24 13:27

Hotspot源码解析-第22章-vtable和itable的重新初始化

第22章-vtable和itable的重新初始化这个函数的调用流程是init.cpp->init_globals()universe.cpp->universe_post_init()booluniverse_post_init(){//防止二次初始化assert(!is_init_completed(),"Error:initializationnotyetcompleted!");Univer
多栖码农·2024-01-24 12:33

Hotspot源码解析-第21章-引用处理器和JNI句柄初始化

第21章-引用处理器和JNI句柄初始化21.1引用处理器初始化这一节主要是对软引用处理器使用前的各重要属性初始化，为GC时对引用处理前的使用做准备，使用细节会在GC专题中讲。函数的调用入口在init.cpp->referenceProcessor_init()21.1.1referenceProcessor.cpp/hpp21.1.1.1referenceProcessor_initvoidref
多栖码农·2024-01-24 12:30

Spark源码之CacheManager

CacheManager需要通过BlockManager来操作数据；3.当Task运行的时候会调用RDD的comput方法进行计算，而compute方法会调用iterator方法；CacheManager源码解析既然要说
小狼星I·2024-01-24 12:38

Hive 优化总结

Hive优化本质：HDFS+MapReduce问题原因：倾斜：分区：有的分区没有数据，有的分区数据堆积。(若按天分区，每一天数据差别大就叫倾斜。)
Byyyi耀·2024-01-24 10:25

IDEA报错：No hostname could be resolved for the IP address 127.0.0.1, using IP address as host name.

NohostnamecouldberesolvedfortheIPaddress127.0.0.1,usingIPaddressashostname.Localinputsplitassignment(suchasforHDFSfiles
唯一2333·2024-01-24 09:09

hbase 总结

HBase什么是HBasehbase是一个基于java、开源、NoSql、非关系型、面向列的、构建与hadoop分布式文件系统（HDFS）上的、仿照谷歌的BigTable的论文开发的分布式数据库。
l靠近一点点l·2024-01-24 08:24

Hbase原理、基本概念、基本架构

概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于GoogleBigTable模型开发的，典型的key/value系统；HBase是ApacheHadoop生态系统中的重要一员，主要用于海量结构化数据存储
wyl9527·2024-01-24 08:24

Hadoop集群（第12期)_HBase简介及安装

可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据
weixin_30451709·2024-01-24 08:23

HBase学习

可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据
mm_bit·2024-01-24 08:20

HBase简易安装和简介

可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据
滑过的板砖·2024-01-24 08:49

HBase学习五：运维排障之宕机恢复

RegionServer主要负责用户的读写服务，进程中包含很多缓存组件以及与HDFS交互的组件，实际生产线上往往会有非常大的压力，进而造成的软件层面故障会比较多。
Studying！！！·2024-01-24 07:27

记一次Flink通过Kafka写入MySQL的过程

->sink,即从source获取相应的数据来源，然后进行数据转换，将数据从比较乱的格式，转换成我们需要的格式，转换处理后，然后进行sink功能，也就是将数据写入的相应的数据库DB中或者写入Hive的HDFS
梦痕长情·2024-01-24 07:17

Hadoop中HBase命令行操作

采用的底层存储为HDFS。使用Hbase客户端操作，执行查看Hbase版本、状态、查看帮助命令。创建表、修改表、插入数据、删除数据、查询数据，清空表、退出Hbase命令行、停止HDFS服务。
m0_69595107·2024-01-24 06:05

spring事务源码解析-后篇@Transaction

上一遍中我们讲是spring中编程式事务的源码，现在我们一起探讨注解方法的事务源码@Transaction事务的用法1、在需要让spring管理事务的方法上添加@Transaction注解2、在spring配置类上添加@EnableTransactionManagement注解，这步特别重要，别给忘了，有了这个注解之后，@Trasaction标注的方法才会生效。@Transaction事务原理原理
石小白aqa·2024-01-24 05:33

Storm和hadoop对比及storm组件

stormhadoop实时流处理批处理无状态有状态使用zk协同的主从架构无主从zk架构每秒处理数万消息HDFS，MR数分钟，数小时不会主动停止终于完成的时候storm优点：跨语言，可伸缩，低延迟，秒级容错核心概念
smartjiang·2024-01-24 02:01
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他