HDFS源码解析

修改hdfs路径权限

三、解决shell执行以下命令，${hdfs_path}替换成目标表的文件路径/usr/local/service/hadoop/bin/hdfsdfs-chmod
chimchim66·2025-01-27 11:52

HDFS升级和回退

概述作为一个大型的分布式系统，Hadoop内部实现了一套升级机制，当在一个集群上升级Hadoop时，像其他的软件升级一样，可能会有新的bug或一些会影响现有应用的非兼容性变更出现；在任何有实际意义的HDFS
小森饭·2025-01-27 08:05

doris：ORC

支持的导入方式以下导入方式支持ORC格式的数据导入：StreamLoadBrokerLoadINSERTINTOFROMS3TVFINSERTINTOFROMHDFSTVF使用示例本节展示了不同导入方式下的
向阳1218·2025-01-26 19:30

HBase伪分布式安装配置流程

1.准备工作确保已经安装并配置好了Hadoop（伪分布式），因为HBase依赖HDFS。Hadoop已经配置并能够正常运行。Java已经安装并配置好了环境变量。
TheMountainGhost·2025-01-26 19:27

解决Python中libhdfs.so的共享库找不到的问题

解决Python中libhdfs.so的共享库找不到的问题在Python开发过程中，有时会遇到导入共享库时出现"ImportError:Cannotfindthesharedlibrary:libhdfs.so
code_welike·2025-01-26 16:34

mysql的单表数据导入到hive数据库中

1、将mysql的数据导出借助dbeaver工具，将单表数据table1格式导出为csv文件2、将csv的后缀名手动改为txt后缀，为了让每行的的字段是以，分隔3、将得到的txt文件上传到hdfs文件系统中
熏陶·2025-01-26 05:43

Sqoop数据导出 第3关：Hive数据导出至MySQL中

Hive数据导入MySQL中MySQL建表因为之前已经创建过数据库了，我们直接使用之前的数据库hdfsdb，在数据库中建表project，表结构如下：名类状态pro_noint主键，序号pro_namevarchar
是草莓熊吖·2025-01-26 05:09

用 Docker 搭建 Spark 集群

熟悉Hadoop的同学也不必担心，Spark很多设计理念和用法都跟Hadoop保持一致和相似，并且在使用上完全兼容HDFS。但是Spark的安装并不容易，依赖包括Java、Scala、HDFS等。
yeasy·2025-01-26 00:22

C# Json字符串生成工具的实现与应用

课程将涵盖数据类型、库的使用、源码解析、工具定制、效率提升、扩展性以及如何将工具集成到项目中，从而加深对JSON生成原理的理
徐子贡·2025-01-25 21:01

嵌入式轻量级uIP协议栈源码解析与应用

本文还有配套的精品资源，点击获取简介：uIP（microIP）是一个为资源受限的嵌入式设备设计的轻量级TCP/IP协议栈。本文深入解析了uIP协议栈的设计理念、架构、源码结构以及其在物联网和工业控制等领域的应用。uIP源码具有模块化设计、小型化内存管理、事件驱动等特点，为开发者提供了一个理解TCP/IP协议工作原理和实现资源受限网络通信的实践平台。1.uIP协议栈概述uIP，即微型IP协议栈，是一
福建低调·2025-01-25 19:19

【微服务33】分布式事务Seata源码解析一：在IDEA中启动Seata Server

文章目录一、前言二、IDEA中运行SeataServer1、把源码从Github中荡下来坑：一定要从mavenmodules中移除序列化的包SeataServer使用到的DB2、调整seata-server的配置seata-server3、运行seata-server三、总结和后续一、前言至此，博主介绍了一些Seata环境搭建的常见坑、Seata的两种案例（SpringCloud集成Seata、S
秃秃爱健身·2025-01-25 11:21

Hadoop、Hive、Hbase集群间的数据迁移

文件（重要，包括各个数据节点）两个集群版本不相同hadoopdistcphftp://192.168.57.73:50070/hive3/20171008/hive3/如果两个集群的版本相同，则可以使用hdfs
这个操蛋的人生！！！·2025-01-25 07:18

hive数据操作，导入导出

数据导入导出将数据文件导入hive的表方式1：导入数据的一种方式：手动用hdfs命令，将文件放入表目录；方式2：在hive的交互式shell中用hive命令来导入本地数据到表目录hive>loaddatalocalinpath
qzWsong·2025-01-24 14:10

【大数据入门核心技术-Hive】（十六）hive表加载csv格式数据或者json格式数据

Hive3.1.2高可用集群搭建二、hive加载Json格式数据1、数据准备vistu.json[{"id":111,"name":"name111"},{"id":222,"name":"name22"}]上传到hdfshadoopfs-putstu.j
forest_long·2025-01-24 12:27

Vue3 源码解析（六）：响应式原理与 reactive

今天这篇文章是笔者会带着大家一起深入剖析Vue3的响应式原理实现，以及在响应式基础API中的reactive是如何实现的。对于Vue框架来说，其非侵入的响应式系统是最独特的特性之一了，所以不论任何一个版本的Vue，在熟悉其基础用法后，响应式原理都是笔者最想优先了解的部分，也是阅读源码时必细细研究的部分。毕竟知己知彼百战不殆，当你使用Vue时，掌握了响应式原理一定会让你的coding过程更加游刃有余
·2025-01-24 07:14

Hadoop 与 Spark：大数据处理的比较

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-23 16:50

Hive（11）：Transactional Tables事务表

且映射的数据通常存储于HDFS上，而HDFS是不支持随机修改文件数据的。
不死鸟.亚历山大.狼崽子·2025-01-23 15:48

Hadoop分布式文件系统-HDFS架构

一、HDFS的简介HDFS全称HadoopDistributedFileSystem，是分布式文件管理系统。
Fancs2024·2025-01-23 09:37

基于MRS-Hudi构建数据湖的典型应用场景介绍

一、传统数据湖存在的问题与挑战传统数据湖解决方案中，常用Hive来构建T+1级别的数据仓库，通过HDFS存储实现海量数据的存储与水平扩容，通过Hive实现元数据的管理以及数据操作的SQL化。
华为云技术精粹·2025-01-23 04:50

深入MapReduce——引入

引入前面我们已经深入了HDFS的设计与实现，对于分布式系统也有了不错的理解。但HDFS仅仅解决了海量数据存储和读写的问题。
黄雪超·2025-01-22 23:41

HUDI-0.11.0 BUCKET index on Flink 特性试用

当前环境：Flink1.13.2+Hudi0.11.0（master2022.04.11）+COW+HDFS。关键配置项：index.type=BUCKEThoodie.buc
_Magic·2025-01-22 23:06

spring boot源码解析之SpringApplication启动流程

1.启动入口我们一般的启动SpringBoot应用方式为：@SpringBootApplicationpublicclassMyApplication{publicstaticvoidmain(String[]args){SpringApplication.run(MyApplication.class,args);}}这里使用静态方法启动，传入参数为启动类、命令行参数实际此处使用的是以下方法：p
crayon-shin-chan·2025-01-22 22:28

c#视觉应用开发中如何在C#中进行图像颜色空间转换？

microPythonPython最小内核源码解析NI-motion运动控制c语言示例代码解析python编程示例系列python编程示例系列二python的Web神器Streamlit如何应聘高薪职位在
openwin_top·2025-01-22 21:21

Hadoop是什么，怎么部署安装？

它包括两个核心组件：Hadoop分布式文件系统（HDFS）和HadoopYARN（YetAnotherResourceNegotiator）。
狮歌~资深攻城狮·2025-01-22 15:01

分布式存储的技术选型之HDFS、Ceph、MinIO对比

分布式存储的技术选型比：HDFS、Ceph、MinIO对比一文读懂分布式存储在当今数字化时代，数据呈爆炸式增长，分布式存储技术应运而生，成为大数据存储与管理的得力助手。
Linux运维老纪·2025-01-22 00:40

HDFS Disk Balancer 介绍&使用

一、介绍一句话介绍：用于HDFSDataNode单节点内多个数据盘数据均衡。
_Magic·2025-01-21 20:00

3.解析logback.xml配置文件入口

文章目录一、前言二、源码解析LogbackServiceProviderDefaultJoranConfiguratorJoranConfigurator三、总结一、前言前面介绍了slf4j相关的知识点
uncleqiao·2025-01-21 06:58

hadoop常用命令

mapreduce）看正在运行的yarn任务yarnapplication-list杀死对应的yarn任务yarnapplication-kill{application_Id}（id可以通过-list看到）hdfs
我要用代码向我喜欢的女孩表白·2025-01-21 05:54

flume系列之：flume落cos

一、参考文章二、安装cosjar包三、添加hadoop-cos的相关配置四、flume环境添加hadoop类路径五、使用cos路径六、启动/重启flume一、参考文章Kafka数据通过Flume存储到HDFS
快乐骑行^_^·2025-01-20 13:42

Hadoop 和 Spark 的内存管理机制分析

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-20 03:27

Java 中可作为 GC Roots 的对象有哪几种？

作者简介：大家好，我是码炫码哥，前中兴通讯、美团架构师，现任某互联网公司CTO，兼职码炫课堂主讲源码系列专题代表作：《jdk源码&多线程&高并发》，《深入tomcat源码解析》，《深入netty源码解析
码炫课堂-码哥·2025-01-20 02:52

大数据学习（五）：如何使用 Livy提交spark批量任务--转载

/bin/livy-server这里假设spark使用yarn模式，所以所有文件路径都默认位于HDFS中。
zuoseve01·2025-01-19 22:15

hive小文件合并机制_hive小文件的问题弊端以及合并

小文件的弊端1、HDFS中每个文件的元数据信息，包括位置大小分块信息等，都保存在NN内存中，在小文件数较多的情况下，会造成占用大量内存空间，导致NN性能下降；2、在读取小文件多的目录时，MR会产生更多map
做生活的创作者·2025-01-19 08:49

Java 大视界 -- 解锁 Java 与 Hadoop HDFS 交互的高效编程之道（二）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:19

mybatis源码解析-sql执行流程

1执行器的创建1.SimpleExecutor描述：最基本的执行器，每次查询都会创建新的语句对象，并且不会缓存任何结果。特点：每次查询都会创建新的PreparedStatement对象。不支持一级缓存。适用于简单的查询操作，不需要缓存的情况。2.ReuseExecutor描述：复用型执行器，会复用PreparedStatements。特点：通过缓存PreparedStatement对象来提高性能。
吴冰_hogan·2025-01-19 01:36

使用 Hadoop 实现大数据的高效存储与查询

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 23:24

Golang面试题四（并发编程）

RWMutex(读写互斥锁)3.Atomic3.1.使用场景3.2.整型操作3.3.指针操作3.4.使用示例4.Channel使用场景使用示例5.sync.WaitGroup使用场景使用示例内部结构关键方法源码解析内部实现细节
os-lee·2025-01-18 23:47

hdfs和hive对于小文件的处理方案

一、hdfs如何处理小文件小文件问题的危害小文件问题对HDFS的性能和稳定性产生显著影响，主要包括：占用过多的存储空间：每个小文件都会占用一个独立的Block，导致存储资源的浪费。
二进制_博客·2025-01-18 19:35

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis
武子康·2025-01-18 10:29

Rabbitmq源码分析，重复消费问题的redis或数据库代码实现

目录底层源码解析自定义唯一id算法MessageProperties类的相关实现自定义消息ID生成器配置和使用Rabbitmq是怎么判断是不是重复消息的呢？
xweiran·2025-01-18 10:26

pyspark 中删除hdfs的文件夹

搜索了下资料，发现pyspark并没有提供直接管理hdfs文件系统的功能。寻找到一个删除的方法，是通过调用shell命令hadoopfs-rm-f来删除，这个方法感觉不怎么好，所以继续找。
TDengine （老段）·2025-01-18 09:21

Golang笔记——切片与数组

文章目录数组与切片的异同相同之处区别切片（Slice）源码解析Go源码中`len()`和`cap()`定义长度与容量示例`append()`函数Go切片扩容机制基本原理扩容策略（依据Go版本）扩容源码解析常见误区建议切片作为函
Good Note·2025-01-18 08:14

Python 爬虫：获取网页数据的 5 种方法

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 07:35

采用海豚调度器+Doris开发数仓保姆级教程（满满是踩坑干货细节，持续更新）

目录一、采用海豚调度器+Doris开发平替CDHHdfs+Yarn+Hive+Oozie的理由。
大模型大数据攻城狮·2025-01-17 19:56

【深度强化学习】DQN：深度Q网络算法——从理论讲解到源码解析

【深度强化学习】DQN：深度Q网络算法——从理论讲解到源码解析介绍常用技巧算法步骤DQN源码实现网络结构训练策略DQN算法进阶双深度Q网络（DoubleDQN）竞争深度Q网络（DuelingDQN）优先级经验回放
视觉萌新、·2025-01-17 15:17

深入HDFS——DataNode启动源码

首先，自然还是从元数据管理篇提到的DataNode类（org.apache.hadoop.hdfs.server.datanode.DataNode）开始。
黄雪超·2025-01-17 12:26

深入HDFS——NameNode启动源码

引入前面我们已经对HDFS有了很多了解，但是光说不练假把式，今天开启深入源码的纯享模式，先来看看NameNode启动流程，在代码层面，到底是如何实现的。
黄雪超·2025-01-17 12:25

Spring Boot 和微服务：快速入门指南

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-17 09:56

HDFS 在上传文件的时候，如果其中一个 DataNode 突然挂掉了怎么办？ 思维导图 代码示例（java 架构)

当在HDFS中上传文件时，如果其中一个DataNode突然挂掉，HDFS有内置的机制来确保数据的完整性和可靠性。以下是详细的处理流程、Java架构代码示例以及创建思维导图的建议。
用心去追梦·2025-01-17 03:37

mindspeed-llm源码解析（一）preprocess_data

mindspeed-llm是昇腾模型套件代码仓，原来叫"modelLink"。这篇文章带大家阅读一下数据处理脚本preprocess_data.py（基于1.0.0分支），数据处理是模型训练的第一步，经常会用到。文章中贴的源码加了相关注释，同学们可以把源码和注释结合起来看。首先来看一下main函数defmain():#获取入参，通过后面的代码可以知道有哪些关键参数args=get_args()#参
·2025-01-17 01:48
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他