HDFS源码解析

数据结构+算法（第03篇）：KO！大O——时间复杂度

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-02 07:04

黑猴子的家：API 操作 HDFS 文件夹删除

1、Code->GitHubhttps://github.com/liufengji/hadoop_hdfs.git2、Code@TestpublicvoiddeleteAtHDFS()throwsException
黑猴子的家·2024-02-02 00:29

QEMU源码全解析 —— 内存虚拟化（1）

接前一篇文章：本文内容参考：《趣谈Linux操作系统》——刘超，极客时间《QEMU/KVM》源码解析与应用——李强，机械工业出版社内存虚拟化硬件基础——EPT特此致谢！
蓝天居士·2024-02-01 23:10

从源码解析Flutter的动画业务逻辑

概述Flutter提供了丰富的动画形式，其中Curve负责动画切换路径，Tween用于构造动画的插值方式，AnimationController控制组件动画。AnimationController接收一个TickerProvider（抽象类）的对象，控制其动画。普通的Widget并不是TickerProvider的实现实例，因此需要通过mixin的方式，如下所示：classFontAnimatio
岛上码农·2024-02-01 16:59

大数据开发流程图

它可以将一个关系数据库中数据导入Hadoop的HDFS中，也可以将HDFS中的数据导入关系型数据库中。Flume：实时数据采集的一个开源框架，它是Cloudera提供的一个高可用
xyzkenan·2024-02-01 14:30

线程池中线程抛了异常如何处理？

在了解这个问题之前，可以先看一下线程池的源码解析，从链接中我们知道了线程池的提交方式：submit和execute的区别，接下来分别使用他们执行带有异常的任务！看结果是怎么样的！
lgq2016·2024-02-01 12:07

大数据之Spark

专为大规模数据处理而设计的快速通用的计算引擎类HadoopMapReduce的通用并行计算框架拥有HadoopMapReduce所具有的优点但不同于MapReduce的是Job中间输出结果可以缓存在内存中，从而不再需要读写HDFS
进击的-小胖子·2024-02-01 12:37

confluent入库hive安全认证问题

测试环境中已经实现,但生产环境中由于平台开启了Kerberos安全认证服务,所以一直报认证失败的日志.5caab36655bd3confluent:confluent将数据导入hive库:先将数据导入到hdfs
建康_木子·2024-02-01 10:08

Hadoop3.x基础（2）- HDFS

来源：B站尚硅谷目录HDFS概述HDFS产出背景及定义HDFS优缺点HDFS组成架构HDFS文件块大小（面试重点）HDFS的Shell操作（开发重点）基本语法命令大全常用命令实操准备工作上传下载HDFS
魅美·2024-02-01 09:22

报错：ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing解决方案

hbase4.关闭hbase输入stop-hbase.sh如果未能退出，就使用kill-9进程号强制删除5.重新启动start-hbase.sh此时已经可以正常运行6.如果以上操作还是不成功删除hbase在hdfs
:）คิดถึง·2024-02-01 09:35

关于Hadoop进行namenode格式化时ERROR conf.Configuration: error parsing conf xxx.xml错误的问题

namenode格式化时ERRORconf.Configuration:errorparsingconfxxx.xml错误的问题在配置完core-default.xml,mapred-site.xml,hdfs-default
平江路的鱼·2024-02-01 09:34

HBase介绍

GFS是GoogleFileSystem，开源实现是HDFS（HadoopFileSystem）。MapReduce计算框架的开源实现是HadoopMapReduce。
M.Rambo·2024-02-01 06:09

一文看懂SpringBoot启动流程！

每天10:33更新文章，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ
公众号-芋道源码·2024-02-01 06:49

芋道 Spring Boot MyBatis 入门

源码精品专栏原创|Java2019超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC
公众号-芋道源码·2024-02-01 06:19

芋道 Spring Boot 消除冗余代码 Lombok 入门

源码精品专栏原创|Java2020超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC
公众号-芋道源码·2024-02-01 06:19

芋道 Spring Boot 数据库版本管理入门

源码精品专栏原创|Java2020超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC
公众号-芋道源码·2024-02-01 06:19

2019/2/20Hbase单节点安装

解压过程即为安装过程解压=》为了让hbase的存放路径指定ns这个组名（防止出先不认识“ns”的错误）[root@zhiyou01~]#cp/usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
阳光正好微风不燥_c509·2024-02-01 05:39

Hadoop 大数据技术原理与应用

Hadoop大数据技术原理与应用大数据概述定义特征大量，多样，高速，价值研究意义应用场景医疗，金融，零售Hadoop概述历史优势扩容能力强，成本低，高效率，可靠性，高容错Hadoop生态分布式存储系统（HDFS
kk8_·2024-02-01 04:33

大数据高频面试题一：hive和Oracle的区别

Hive和Oracle数据库最大的区别在于存储和计算方面：Hive存储在hdfs上（Hadoop分布式文件系统容错性高），Oracle将数保存在本地文件系统中。
半亩书田·2024-02-01 02:47

Go-ethereum 源码解析之 go-ethereum/consensus/errors.go

Go-ethereum源码解析之go-ethereum/consensus/errors.goSourcecode//Copyright2017Thego-ethereumAuthors//Thisfileispartofthego-ethereumlibrary
furnace·2024-02-01 00:59

docker源码解析（一）dockerd服务的启动

docker源码解析（一）部分参数默认值main函数入口newDaemonCommand()函数runDaemon()函数Windows平台linux平台daemonCli.start()函数newDaemon
ImSEten·2024-01-31 22:15

【JVM源码解析】模板解释器解释执行Java字节码指令（下）

本文由HeapDump性能社区首席讲师鸠摩（马智）授权整理发布第22篇-虚拟机字节码之运算指令虚拟机规范中与运算相关的字节码指令如下表所示。0x60iadd将栈顶两int型数值相加并将结果压入栈顶0x61ladd将栈顶两long型数值相加并将结果压入栈顶0x62fadd将栈顶两float型数值相加并将结果压入栈顶0x63dadd将栈顶两double型数值相加并将结果压入栈顶0x64isub将栈顶两
HeapDump性能社区·2024-01-31 22:29

Qt元对象系统源码解析

一、Qt元对象系统简介1、元对象系统简介Qt的信号槽和属性系统基于在运行时进行内省的能力，所谓内省是指面向对象语言的一种在运行期间查询对象信息的能力，比如如果语言具有运行期间检查对象型别的能力，那么是型别内省（typeintropection）的，型别内省可以用来实施多态。'C++'的内省比较有限，仅支持型别内省，'C++'的型别内省是通过运行时类型识别（RTTI）(Run-TimeTypeInf
程序员老舅·2024-01-31 20:33

Sqoop数据的导入导出

数据导入1、导入数据库表数据到hdfsmysql创建表，插入数据，为了使用方便复制了如下mysql>usetestReadingtableinformationforcompletionoftableandcolumnnamesYoucanturnoffthisfeaturetogetaquickerstartupwith-ADatabasechangedmysql
小猪Harry·2024-01-31 18:21

HDFS HA 之 HA 原理

1ZKFC解析HA(HighAvailability)是HDFS支持的一个重要特性，可以有效解决ActiveNamenode遇到故障时，将可用的Standby节点变成新的Active状态的问题，使集群能够正常工作
Studying！！！·2024-01-31 18:54

HDFS HA 之 Quorum Journal Manager

1、HA的发展历程1.1Secondarynamenode通过Secondarynamenode作为备节点，然后冷备namenode数据，为Namenode分担部分压力，主要执行Checkpoint工作。在这种架构体系下，Namenode以单点的形式运行，一旦系统集群出现故障，可用性是致命的，目前基本不使用了。1.2QJM在HAUsingQJM方案中，涉及的核心部分包括：ActiveNamenod
Studying！！！·2024-01-31 18:24

数据湖技术Iceberg0.12预研文档

Iceberg0.12预研本次预研场景主要为kafka=>flinksql=>iceberg=>hive=>hdfs=>trino(presto)本次预研使用组件如下：名称版本描述flink1.12.1
我去探险了·2024-01-31 15:36

Java抽取Hive、HDFS元数据信息

maven工程并配置pom.xml文件2.2编写配置文件application.yml2.3编写配置文件application.propertites2.4开发主启动类2.5开发配置类三、测试抽取Hive、HDFS
m0_46218511·2024-01-31 14:06

Unity UGUI源码解析(一) EventSystem

一.引言当我们在Unity中创建一个Canvas时,编辑器会默认给我们创建一个EventSystem,其上有两个组件EventSystem和StandaloneInputModule如下图那EventSystem到底是用来干什么的呢？我们找到UGUI底层的源码来一探究竟！UGUI源码二.EventSystem作用EventSystem在UGUI源码中属于事件逻辑处理模块。所有UI事件都是通过Eve
IMBA鑫鑫·2024-01-31 11:14

Java 集合框架_HashMap源码解析

今天终于分析HashMap的源码，其实它的主要算法在我的Java集合框架_HashMapJDK1.8新算法这篇文章中详细说明了。HashMap集合是通过哈希表储存数据的，关于哈希表，请阅读这篇文章数据结构_哈希表(Java)。一.主要成员属性//默认初始容量16，必须是2的幂数。即只能是16，32，64等等staticfinalintDEFAULT_INITIAL_CAPACITY=1[]tabl
wo883721·2024-01-31 11:13

【Spark系列6】如何做SQL查询优化和执行计划分析

一、查询优化示例1：过滤提前未优化的查询valsalesData=spark.read.parquet("hdfs://sales_data.parquet")valresult=salesData.groupBy
周润发的弟弟·2024-01-31 08:01

uniapp实现app检查更新与升级-uni-upgrade-center详解

的几个疑问什么是升级中心uni-upgrade-centeruniapp官方开发的App版本更新的插件，基于unicloud的后端服务因为是开源的，通过修改源码可以实现请求java等其他后端服务，后续的源码解析
永远不会太晚·2024-01-31 08:24

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP

Hadoop启动时报错WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER
W_yhhh·2024-01-31 08:44

hadoop-hdfs-site.xml配置文件详解

hadoop:hdfs-site.xml配置文件详解hdfs-site.xml配置文件j介绍hadoop-hdfs相关的配置信息hdfs-site.xml配置文件namevaluedescriptionhadoop.hdfs.configuration.version1versionofthisconfigurationfiledfs.namenode.logging.levelinfoThelo
许喜朝·2024-01-31 08:13

关于Hadoop全分布构建no HDFS_NAMENODE_USER 错误解决

常常会出现以下错误[root@Hadoopc1hadoop]#start-all.shStartingnamenodeson[192.168.13.245]ERROR:AttemptingtooperateonhdfsnamenodeasrootERROR
(((φ(◎ロ◎;)φ)))云凡·2024-01-31 08:43

Hive基于MR/Tez/本地模式的对比

Hive本地模式在不同语句下的执行效率对比实验结论省去看实验过程的麻烦本地模式肉眼可见，效果极佳，但是对硬件和内存有一定要求，无法处理大数据量Tez优势是将具有依赖的多个作业转换成一个作业，从而减少与HDFS
九筒-·2024-01-31 08:42

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER.

hadoop启动时WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER
北朽暖栀24·2024-01-31 08:41

Hadoop_HDFS_hdfs 文件系统操作指令

hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/FileSystemShell.html下载文档时,当前最新版本3.0.0beta这里介绍下常用的hdfs
高达一号·2024-01-31 08:11

启动集群时遇到WARNING: HADOOP_SECURE_DN_USER做替换

启动集群时遇到WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER
Dirth.·2024-01-31 08:40

Hadoop搭建集群中输入hdfs namenode -format格式化节点时，提示：hdfs command not found 解决办法

分析原因：hadoop的安装路径没有加入到当前路径中解决办法：方法1：进入hadoop的安装目录，在执行hadoop命令时在前面加上：./bin./sbin方法2:进入/etc/profile文件中添加hadoop的安装路径sudovim/etc/profile添加：exportHADOOP_HOME=本机的hadoop安装路径exportPATH=$HADOOP_HOME/bin:$HADOOP
drhrht·2024-01-31 08:05

Hadoop中hdfs-default.xml的位置

在hadoop安装包中hadoop-2.7.2\share\hadoop\hdfs\hadoop-hdfs-2.7.jar里面
BugEveryday·2024-01-31 08:31

Hadoop 3.x hdfs-site.xml HDFS最小化配置参数

dfs.namenode.http-addressc101:9870dfs.namenode.secondary.http-addressc102:9868########################################################配置文件修改后，启动./start-dfs.sh的时候会提示找不到JAVA_HOME的报错，虽然配置了jdk的环境。还需要配置had
ChengRuoFei·2024-01-31 08:31

2024-01-30（Hadoop_HDFS）

1.什么是大数据狭义（技术思维）：使用分布式技术完成海量数据的处理，得到数据背后蕴含的价值。广义：大数据是数字化时代，信息化时代的基础（技术）支撑，以数据为生活赋能。大数据的核心工作：从海量的高增长、多类别、低信息密度的数据中挖掘出高质量的结果。（海量数据存储、海量数据传输、海量数据计算）2.大数据的核心工作存储：妥善保存海量待处理数据计算：完成海量数据的价值挖掘传输：协助各个环节的数据传输3.大
陈xr·2024-01-31 08:30

Hadoop生态系统中一些关键组件的详细解析

1.Hadoop核心组件HDFS（HadoopDistributedFileSystem）:分布式文件存储系统。提供高吞吐量的数据访问，非常适合用于大规模数据集。
薛定谔的zhu·2024-01-31 07:27

Springboot快速教程---Docker搭建与整合Hbase

Hbase简介HBase是Hadoop的生态系统，是建立在Hadoop文件系统（HDFS）之上的分布式、面向列的数据库，通过利用Hadoop的文件系统提供容错能力。
爆米花机枪手·2024-01-31 07:53

k8s的operator基石：controller-runtime源码解析

写在之前今天开始开更controller-runtime的源码阅读，笔者建议大家在阅读前了解以下知识，可能会帮助大家更好的理解源码逻辑。1.client-go的基础使用2.使用kubebuilder搭建一个简单的controller-runtime环境3.informer的基本思想1.源码环境搭建参考链接：https://book.kubebuilder.io/cronjob-tutorial/c
bug_createman·2024-01-31 07:52

大数据存储与管理

大数据存储与管理本节主要讲述大数据存储与管理技术的概念和原理，包括Hadoop分布式文件系统(HDFS)和分布式数据库（Hbase）;体系结构：一、分布式文件系统HDFS1.HDFS体系结构2.HDFS
Kris林·2024-01-31 07:25

Hadoop系列之-4、MapReduce分布式计算

HadoopMapReduce设计构思MapReduce编程规范及示例编写编程规范编程步骤WordCount示例编写MapReduce程序运行模式本地运行模式集群运行模式结束之前详细讲解了，Zookeeper和HDFS
技术武器库·2024-01-31 06:10

Nacos源码解析：Nacos配置管理-客户端篇

本文源码来源于Nacos2.1.0版本https://github.com/alibaba/nacos/releases/tag/2.1.0一、一个例子Nacos获取配置以及监听配置变更的基本使用方式如下：publicclassNacosConfigExample{publicstaticvoidmain(String[]args)throwsNacosException,InterruptedE
huangyk206·2024-01-31 06:30

cesium源码解析篇:GeoJsonDataSource(Polygon)

本篇主要内容为介绍使用GeoJsonDataSource加载GeoJSON数据之后的代码调用和业务逻辑从中提炼对polygon进行解析和创建entity的函数以供参考读取GeoJSON获取feature判断是PolygonorMultiPolygon带hole创建entity对象代码调用栈Cesium.GeoJsonDataSource.load(data,options)newGeoJsonDa
游无穷·2024-01-31 05:44
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他