HDFS源码解析第17页

DataX&数据同步（全量）

1.DataX简介1.1DataX概述 DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP

韩顺平的小迷弟·2024-01-16 11:29

Flume用法总结

天选之子123·2024-01-16 10:53

HIVE总结

HIVE总结一、创建数据库CREATEDATABASEIFNOTEXISTSTEST;数据库在HDFS的默认位置为：/user/hive/warehouse/test.dbCREATEDATABASEIFNOTEXISTSTESTLOCATION

天选之子123·2024-01-16 10:52

JVM实战（17）——模拟对象晋升

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介上一章，我们已经进行了一次YoungGC日志的分析，本章我们继续

smart哥·2024-01-16 08:07

【HDFS】HDFS-16348：将慢节点标记为badnode进而从pipeline中踢除并进行pipeline恢复

本文的主要内容是介绍这个PR（PullRequest）：HDFS-16348.Markslownodeasbadnodetorecoverpipeline(#3704)通过本文可以获得如下知识：datanode

小北觅·2024-01-16 07:09

Hive 数据迁移

/hadoopdistcphdfs://${NameNode_IP}:${NameNode_RPC_IP}/${源文件}hdfs://${NameNode_I

bigdata-余建新·2024-01-16 07:14

Hive知识点

基本概念：由Facebook开源，构建在Hadoop之上的数据仓库，数据计算是mapreduce，数据存储是HDFS目的是构建面向分析的集成的数据环境，为企业提供决策支持（面向分析的存储系统）主要特征：

꧁༺朝花夕逝༻꧂·2024-01-16 07:25

HDFS HA 集群搭建 - 基于Quorum Journal Manager（hadoop2.7.1）

0、前置概念0.1checkpoint检查点在Hadoop分布式文件系统（HDFS）中，检查点（Checkpointing）是一个关键的过程，它涉及到将文件系统的命名空间状态持久化到磁盘。

Studying！！！·2024-01-16 06:36

mac上搭建 hadoop 伪集群

它主要由以下几个部分组成：HDFS(HadoopDistributedFileSystem)：HDFS是Hadoop的分布式文件系统，具有较高的读写速度，很好的容错性和可伸缩性，为海量的数据提供了分布式存储

寂夜了无痕·2024-01-16 06:30

HDFS和MapReduce综合实训

文章目录第1关：WordCount词频统计第2关：HDFS文件读写第3关：倒排索引第4关：网页排序——PageRank算法第1关：WordCount词频统计测试说明以下是测试样例：测试输入样例数据集：文本文档

柔雾·2024-01-16 06:24

Hive基础知识（十六）：Hive-SQL分区表使用与优化

1.分区表分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。

依晴无旧·2024-01-16 05:11

Clickhouse集成离线hive、实时kafka数据实操

Clickhouse集成hive一、官网介绍：1、clickhouse集成hive、kafka官网介绍：2、clickhouse支持的数据类型：二、创建对应hive的clickhouse表1、利用clickhouse的HDFSEngine

静听枫语·2024-01-16 05:11

Hadoop 3.2.4 集群搭建详细图文教程

一、集群简介Hadoop集群包括两个集群：HDFS集群、YARN集群。两个集群逻辑上分离、通常物理上在一起；两个集群都是标准的主从架构集群。

༺࿈誓言࿈༻·2024-01-16 05:10

MapReduce总结

执行分布式计算和任务处理split读取数据，一个map任务处理一个分片，通常一个分片对应一个HDFS文件Block。

w未然·2024-01-16 05:51

大数据技术原理与应用第三版林子雨期末复习（二） Hadoop HDFS HBase

大数据技术原理与应用第三版林子雨期末复习（二）HadoopHDFSHBaseHadoop生态系统HDFSHDFS结构块NameNode与SecondNameNode与DataNode数据冗余存储HDFS

头发多多，肆意生长·2024-01-16 05:21

ClickHouse - 01

1、ClickHouse与其特性在大数据处理场景中，流处理和批处理使用到的技术大致如下：大数据处理场景流程.png批处理会将源业务系统中的数据通过数据抽取工具（例如Sqoop）将数据抽取到HDFS中，这个过程可以使用

ArthurHC·2024-01-16 02:17

任务12：使用Hadoop Streaming解压NCDC天气原始数据

任务描述知识点：NCDC原始的气象数据上传到HDFSMapReduce程序处理NCDC原始数据重点：熟练使用HDFS基础命令查看HDFS文件块的分布情况掌握Linux系统Shell脚本的编写熟练使用MapReduce

Dija-bl·2024-01-15 22:21

ConcurrentHashMap源码解析

源码解析讲的非常清楚，推荐观看！

11来了·2024-01-15 15:56

Hive导入数据的五种方法

在Hive中建表成功之后，就会在HDFS上创建一个与之对应的文件夹，且文件夹名字就是表名；文件夹父路径是由参数hive.metastore.warehouse.dir控制，默认值是/user/hive/

冬瓜的编程笔记·2024-01-15 12:04

大数据开发之Hive(基本概念、安装、数据类型、DDL数据定义、DML数据操作)

第1章：Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。

Key-Key·2024-01-15 12:04

大数据开发之HA

HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启。

Key-Key·2024-01-15 12:03

大数据开发之Hive（详细版，最后有实战训练）

第1章：Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。

Key-Key·2024-01-15 12:29

【霹雳吧啦】手把手带你入门语义分割の番外12：U2-Net 源码讲解（PyTorch）—— 网络的搭建

ConvBNReLU类（2）DownConvBNReLU类（3）UpConvBNReLU类（4）RSU类&RSU4F类（5）U2Net类（6）model.py源代码前言文章性质：学习笔记视频教程：U2-Net源码解析

作者正在煮茶·2024-01-15 12:45

Datax同步（高可用HDFS版本）

这是一个mysql同步到hive的json脚本，hive的底层使用的是HDFS存储，同步到hive，只能用hdfswritermysql->hive{"job":{"setting":{"speed":

暴走的贼宇·2024-01-15 12:59

YOLOv8原理与源码解析

课程链接：https://edu.csdn.net/course/detail/39251【为什么要学习这门课】Linux创始人LinusTorvalds有一句名言：Talkischeap.Showmethecode.冗谈不够，放码过来！代码阅读是从基础到提高的必由之路。YOLOv8基于先前YOLO版本的成功，引入了新功能和改进，进一步提升性能和灵活性。YOLOv8使用PyTorch开发，设计了更

bai666ai·2024-01-15 12:53

JVM实战（13）——JVM优化概述

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介本章，我们先来对系统运行过程中可能会遇到的各种JVM性能问题作个

smart哥·2024-01-15 11:08

JVM实战（14）——Young GC调优

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介本章，我们还是以案例驱动的方式讲解YoungGC调优，之前在基础

smart哥·2024-01-15 11:08

openGauss源码解析

安全认证1、背景：opengauss作为安全数据库，可能面临隐私泄露、信息篡改、数据丢失等风险。为了防止恶意攻击者访问、窃取、篡改和破坏数据库中的数据，阻止未经授权用户通过一些系统的漏洞进行仿冒、提权等路径恶意使用数据库，opengauss提供了一些列安全措施。这一小节主要对认证机制进行详细的分析。2、认证机制的主要功能：（1）身份认证定义：定义了数据库系统的访问规则主要解决问题：以何种方法访问、

Lady·fish·2024-01-15 09:06

OpenGauss数据库中事务管理源码解析

一、事务事务的定义事务是数据库操作的执行单位，需要满足最基本的ACID（原子性、一致性、隔离性、持久性）属性。（1）原子性：一个事务提交之后要么全部执行，要么全部不执行。（2）一致性：事务的执行不能破坏数据库的完整性和一致性。（3）隔离性：事务的隔离性是指在并发中，一个事务的执行不能被其他事务干扰。（4）持久性：一旦事务完成提交，那么它对数据库的状态变更就会永久保存在数据库中。本章主要介绍open

dainpu·2024-01-15 09:31

JDK1.8异常处理——Throwable源码解析

目录异常的生命周期异常分类Throwable的成员变量detailMessagestackTracesuppressedExceptionscause异常打印序列化/反序列化应用使用try-with-resource自动关闭资源在一个异常中保留另一个异常发生异常进行重试使用Throwable捕获异常异常的生命周期Throwable.java抽象了所有的异常，从异常的生命周期来看，可以分成：抛出一个

phantomsee·2024-01-15 09:26

分布式计算平台 Hadoop 简介

其主要采用MapReduce分布式计算框架，包括根据GFS原理开发的分布式文件系统HDFS、根据BigTable原理开发的数据存储系统HBase以及资源管理系统YARN。

rookiexiong·2024-01-15 08:19

java大数据hadoop2.92 Java连接操作

hadoop文件系统，需要给文件系统权限（1）需要在/usr/local/hadoop/etc/hadoop/core-site.xmlcore-site.xml文件配置具体ipfs.defaultFShdfs

crud-boy·2024-01-15 06:29

java大数据hadoop2.9.2 Java编写Hadoop分析平均成绩

org.apache.hadoophadoop-common2.9.2org.apache.hadoophadoop-client${hadoop.version}org.apache.hadoophadoop-hdfs

crud-boy·2024-01-15 06:23

Netty如何高效接收网络数据？一文聊透ByteBuffer动态扩缩容机制

本系列Netty源码解析文章基于4.1.56.Final版本本文概览.png前文回顾在前边的系列文章中，我们从内核如何收发网络数据开始以一个C10K的问题作为主线详细从内核角度阐述了网络IO模型的演变，

bin的技术小屋·2024-01-15 05:42

.‘: No such file or directory:hdfs://bdp/user/root‘ Linux上传本地文件到HDFS中时，出现“No such file or dir“

2.如果没有目标文档就在网页进行创建3.创建完毕后在Linux命令行中查看在hdfs中是否有目标目录hadoopfs-ls/bdp4.有目标目录后就可以上传资料和文件到hadoop上hadoopfs-putfile

YoYoYoWhatIsUp·2024-01-15 05:28

idea的big data tool 连接不上HDFS所有问题汇总：

1.OnWindowsyoushouldhaveHADOOP_HOMEenvironmentvariabledefinedorJavapropertyhadoop.home.dir.Please,refertoHadoopWikiformoredetails解决方案:2.UnabletofindnativedriversinHADOOP_HOME.Please,refertoHadoopWikif

YoYoYoWhatIsUp·2024-01-15 05:28

优先级队列(PriorityQueue)源码解析

什么是堆Java中的PriorityQueue采用的是堆这种数据结构来实现的,而存储堆采用的则是数组。二叉树当中，叶子节点全部在最底层，除了叶子节点外,每个节点都有左右两个子节点，这种二叉树就叫作满二叉树。如果叶子节点都在最底下两层，最后一层的叶子节点都靠左排列，并且除了最后一层，其他层的节点个数都要达到最大，这种二叉树就叫作完全二叉树。堆是一个完全二叉树,堆中每一个节点的值都必须大于等于(或小于

zy_think123·2024-01-15 02:58

Spring Cloud OAuth 微服务内部Token传递的源码实现解析

背景分析1.客户端携带认证中心发放的token,请求资源服务器A（SpringSecurityOAuth发放Token源码解析）2.客户端携带令牌直接访问资源服务器，资源服务器通过对token的校验（SpringCloudOAuth2

Java高级架构师之路·2024-01-15 01:20

HADOOP大数据之HDFS管理与运维

一、HDFS数据迁移解决方案HDFS分布式拷贝工具DistCp数据迁移使用场景：冷热集群数据同步、分类存储集群数据整体搬迁数据的准实时同步数据迁移要素考量带宽性能是否支持增量同步4、数据迁移的同步性image.pngDistCp

奋斗的韭菜汪·2024-01-15 01:33

【大数据进阶第三阶段之Hue学习笔记】Hue简介和架构介绍

通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据、运行MapReduceJob、执行Hive的SQL语句

Allen_lixl·2024-01-15 00:56

centos spark单机版伪分布式模式

1.2Spark部署依赖SparkStandalone的运行依赖于JDK、Scala，本来是不依赖于Hadoop的，但Spark自带的许多演示程序都依赖于HadoopHDFS，因此我们也部署了伪分布式的

piziyang12138·2024-01-15 00:05

Shiro框架：Shiro内置过滤器源码解析

目录1.常见项目中过滤器配置2.Url访问控制配置解析为内置过滤器2.1DefaultFilterChainManager构造并注册内置过滤器2.2构造过滤器链3.Shiro内置过滤器解析3.1内置过滤器概览3.2公共继承类解析3.2.1顶层Filter接口3.2.2AbstractFilter3.2.3NameableFilter3.2.4OncePerRequestFilter3.2.5Adv

mumubili·2024-01-14 21:52

Shiro框架：Shiro登录认证流程源码解析

目录1.用户登录认证流程1.1生成认证Token1.2用户登录认证1.2.1SecurityManagerlogin流程解析1.2.1.1authenticate方法进行登录认证1.2.1.1.1单Realm认证1.2.1.2认证通过后创建登录用户对象1.2.1.2.1复制SubjectContext1.2.1.2.2对subjectContext设置securityManager1.2.1.2.

mumubili·2024-01-14 20:16

Hotspot源码解析-第十七章-虚拟机万物创建（一）

第十七章-虚拟机万物创建17.1硬编码偏移计算主要是对预加载的系统类的一些static字段的偏移进行计算，因为在C/C++中，对象分配后是一串连续的内存空间，各字段内容无法像java那样直接属性名获取，只能通过内存偏移位置来获取，所以这里要计算偏移位置17.1.1javaClasses.cpp17.1.1.1JavaClasses::compute_hard_coded_offsetsvoidJa

多栖码农·2024-01-14 20:17

Hotspot源码解析-第十七章-虚拟机万物创建（二）

17.2GC策略初始化这一步主要就是确定分代（新生代和老年代）信息、即将分配的Java堆内存的大小，以及针对这些信息的校验17.2.1collectorPolicy.cpp&ollectorPolicy.hpp17.2.1.1initialize_allvirtualvoidinitialize_all(){//针对内存分配的大小值做设置和校验CollectorPolicy::initialize