HDFS

Flume启动报错，guava.java包冲突

Flume启动时报错如下：(SinkRunner-PollingRunner-DefaultSinkProcessor)[ERROR-org.apache.flume.sink.hdfs.HDFSEventSink.process
Lion-ha·2025-05-01 23:10

Apache Sqoop数据采集问题

主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS
Aimyon_36·2025-04-30 02:11

在 idea上用编写spark程序链接hive

在idea上用编写spark程序链接hive在idea上编写spark程序，pom文件上要包含hive依赖,网上大把，链接hive其实可以不用将hdfs,core等文件加入程序，直接在代码中声明metastore
小刘秃头日常·2025-04-29 23:21

配置Spark历史服务器，轻松查看任务记录

一、准备工作在开始配置之前，需要确保HDFS服务处于开启状态，因为我们会把历史任务的记录保存在HDFS集群文件中。二、具体配置
谁偷了我的炒空心菜·2025-04-29 23:17

【课程笔记】华为 HCIA-Big Data 大数据 总结

目录HDFS分布式文件系统ZooKeeper分布式应用程序协调服务HBase非关系型分布式数据库Hive分布式数据仓库ClickHouse列式数据库管理系统MapReduce分布式计算框架Yarn资源管理调度器
淵_ken·2025-04-29 22:12

Spark On Yarn集群模式搭建

另一种资源协调者(ONYARN)是基于HDFS这个Hadoop
南l鹿·2025-04-29 13:30

大数据核心面试题（Hadoop，Spark，YARN）

2.解释HDFS的架构及其工作原理。3.HDFS如何保证数据的高可用性和容错性？4.什么是NameNode和DataNode？它们的区别是什么？5.解释MapReduce编程模型及其主要组成部分。
闲人编程·2025-04-29 12:53

如何搭建spark yarn 模式的集群集群

-部署Hadoop集群，并确认HDFS和YARN正常工作。####2.下载与解压Spark下载适合版本的Spark压缩包，并将其解压缩至指定路径。例如：```b
yyywoaini～·2025-04-29 11:50

如何搭建spark yarn模式的集合集群

Hadoop集群：已经搭建并运行的Hadoop集群，包括HDFS和YARN。二、安装Spark下载Spark从ApacheSpark官方网站下载适合您Hadoop版本的Spark安装包。
刘翔在线犯法·2025-04-29 11:19

spark和Hadoop之间的对比和联系

Spark和Hadoop的对比1.架构层面Hadoop：HDFS（分布式文件系统）：Hadoop的核心组件之一，用于存储大规模数据。
夏天吃哈密瓜·2025-04-29 02:44

spark和Hadoop之间的对比和联系

以下是它们的对比和联系：1.核心组件对比特性HadoopSpark诞生时间2006年（Apache）2014年（Apache）核心组件HDFS（存储）+MapReduce（计算）SparkCore（内存计算
财神爷的心尖宠55·2025-04-28 12:50

【Hbase】(三) HBase批量导入数据(bulkload)

文章目录BulkLoad将大规模数据导入HBase一、数据准备二、上传到HDFS上三、通过MR生成Hfile文件四、加载到HBase中五、查看数据HBase中数据BulkLoad将大规模数据导入HBase
cbigchaos·2025-04-28 07:17

hadoop初学:MapReduce项目实践

二、Hadoop核心组件Hadoop分布式文件系统（HDFS）：HDFS是Hadoop的核心组件之一，用于存储大规模数据集。它将数据分布式存储在集群的多个节点上，并提供了高容错性。Ha
hlxhcl·2025-04-28 07:13

hive关键字在mysql_Hive基础sql语法(DDL)

首先了解下Hive的数据存储结构，抽象图如下：Hive存储.png1.Database:Hive中包含了多个数据库，默认的数据库为default，对应于HDFS目录是/user/hadoop/hive/
凯二七·2025-04-27 15:04

Hadoop 基本操作命令全解析：掌控数据海洋的「舵手指南」

而Hadoop命令就是操控这艘巨轮的「方向盘」——HDFS命令让你在分布式文件系统中自由穿梭，像管理本地文件一样操作集群数据；YARN命令帮你调度资源，让计算任务高效运行；MapReduce命令则是触发数据处理
我不是秋秋·2025-04-27 09:26

Hadoop进阶之路

目录一、Hadoop基础概念二、Hadoop运行模式三、HDFS3.1HDFS架构与组件3.2HDFS读写流程3.3HDFS容错机制四、MapReduce4.1MapReduce原理与架构4.2MapReduce
£菜鸟也有梦·2025-04-27 02:07

Hbase集群管理与实践

10GbpsRegionServer16核64GB12×4TBHDD（JBOD）25GbpsZooKeeper4核8GBSSD500GB10Gbps1.2关键配置项示例（hbase-site.xml）hbase.rootdirhdfs
Debug_TheWorld·2025-04-27 01:35

Flume Source原理与代码实例讲解

Flume应运而生,它可以从不同的数据源采集数据,经过聚合后再将数据传输到下一个节点,最终存储到HDFS、HBase或S
AI天才研究院·2025-04-26 19:56

/sbin/start-dfs.sh

/sbin/start-dfs.shStartingnamenodeson[hadoop01]ERROR:AttemptingtooperateonhdfsnamenodeasrootERROR:butthereisnoHDFS_NAMENODE_USERdefined.Abortingoperation.StartingdatanodesERROR
i757_w·2025-04-26 11:01

HDFS Shell命令基础入门实战

HDFS基础知识1.HDFS是做什么的HDFS（HadoopDistributedFileSystem）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的
一个爱好编程的业余人士·2025-04-26 00:46

hadoop与spark的区别和联系

区别：架构Hadoop：采用主从式架构，主要由HDFS（分布式文件系统）和MapReduce（计算框架）以及YARN（资源管理系统）构成。
紫韫·2025-04-25 21:55

spark和Hadoop的区别和联系

它主要包括HDFS（HadoopDistributedFileSystem）和MapReduce编程模型。
满分对我强制爱·2025-04-25 21:55

HDFS 的硬链接 详解

本文将以清晰、详细的方式，从底层原理到实现机制，逐步解释HDFS（HadoopDistributedFileSystem）的硬链接机制。
goTsHgo·2025-04-25 17:30

SparkStreaming概述

SparkStreaming支持多种数据输入源（如Kafka、Flume、Twitter、TCP套接字等）和数据输出位置（如HDFS、数据库等）。
淋一遍下雨天·2025-04-25 02:45

spark和Hadoop之间的对比和联系

例如，Hadoop的HDFS（HadoopDistributedFileSystem）可以作为Spark的数据存储层。Spark可以从HDFS读取数据进行处理，处理后的结果也可以存储回HDFS。
痕517·2025-04-24 22:13

Spark与Hadoop之间的联系与区别

联系生态系统互补：Hadoop是一个分布式存储和计算平台，主要包括HDFS（分布式文件系统）和MapReduce（分布式计算框架）。Hadoop提供了可靠的数据存储和分布式计算的基础。
直裾·2025-04-24 09:48

Kafka生产者API

从把hdfs文件读取数据objectTest04KafkaProducer{defmain(args:Array
隔壁老登·2025-04-24 08:17

【HDFS入门】Hadoop 2.0+ HDFS核心架构深度解析：高可用设计揭秘

目录1HDFS核心架构概述2高可用设计背景3HDFS核心组件3.1Active与StandbyNameNode3.2JournalNode3.3ZKFailoverController（ZKFC）3.4DataNode4
IT成长日记·2025-04-23 20:57

spark与hadoop版本依赖

Spark与Hadoop的版本兼容性Spark依赖于Hadoop的一些组件，比如HDFS（Hadoop分布式文件系统）和YARN（Ye
SynTempestissimo·2025-04-23 06:24

hadoop和spark的区别和联系

Hadoop实现了一个分布式文件系统HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。
光尘92·2025-04-23 06:22

HDFS 纠删码 EC

目的HDFS集群中经常配置的3个副本是很占用空间的-HDFS中的默认3x复制方案在存储空间和其他资源(例如，网络带宽)上有200%的开销。
fzip·2025-04-23 06:51

【HDFS】verifyEC命令校验EC数据正确性

verifyEC命令是HDFS里用于验证EC文件正确性的一个工具。
大数据技术部落·2025-04-23 06:50

HDFS EC在滴滴的实践

桔妹导读：HDFS中默认的3副本方案在存储空间和其他资源（例如网络带宽）上有200％的开销。对于冷数据，使用纠删码（ErasureCoding，EC）存储代替副本存储是一种非常不错的替代方案。
滴滴技术·2025-04-23 05:18

【HDFS】EC重构过程中的校验功能：DecodingValidator

一、动机DecodingValidator是在HDFS-15759中引入的一个用于校验EC数据重构正确性的组件。
大数据技术部落·2025-04-23 05:17

生产环境大数据平台权限管理

一、权限管理核心挑战解析1.1大数据环境特性带来的管理难题组件异构性：Hadoop生态（HDFS/Hive/H
Debug_TheWorld·2025-04-23 03:34

Spark和hadoop的区别与联系

2.Hadoop为Spark提供基础支持存储层：Spark可直接读取Hadoop的分布式文件系统（HDFS）中的数据，利用HDFS的高容错性和扩展性实现数据存储。
今天我又学废了·2025-04-23 01:26

Spark，HDFS客户端操作 2

一）创建文件夹这一小结，我们来通过hadoop的相关api，实现通过代码的方式去创建文件夹。我们的目标是：在根目录下去创建一个名为maven的文件夹。要用到的api是fs.mkdirs。核心代码如下：publicvoidtestMkdirs()throwsIOException,URISyntaxException,InterruptedException{//1获取文件系统Configurati
小冻梨！！！·2025-04-22 21:30

Spark(20)spark和Hadoop的区别

以下是它们的主要区别：###**1.架构设计**-**Hadoop**：-**HDFS（HadoopDistributedFileSystem）**：Hadoop的核心是HDFS，它是一个分布式文件系统
北随琛烬入·2025-04-22 21:00

Flink SQL SavePoint最佳实践

高效管理作业状态：一、Savepoint的配置与触发1.基础配置存储路径：在flink-conf.yaml中全局设置Savepoint存储目录，避免每次手动指定路径：state.savepoints.dir:hdfs
fzip·2025-04-20 13:54

Android学习总结之算法篇七（图和矩阵）

*;publicclassGraphDFS{privatefinalintV;//顶点数量privatefinalLinkedList[]adj;//邻接表//构造函数GraphDFS(intv){V=
每次的天空·2025-04-20 01:27

最新分布式存储Ceph(一)_ceph 元数据

非分布式nfs网络文件系统--称之为nas存储（网络附加存储）分布式hdfs分布式网络文件系统glusterfs分布式网络文件系统，不需要管理服务器ceph分布式网络文件系统，块存储，对象存储#分布式文件系统特点
2401_84300128·2025-04-19 22:44

Hadoop项目结构及其主要作用

组件功能HDFS分布式文件系统MapReduce分布式并行编程模型YARN资源管理和调度器Tez运行在YARN之上的下一代Hadoop查询处理框架HiveHadoop上的数据仓库HBaseHadoop上的非关系型的分布式数据库
张半仙掐指一算yyds·2025-04-19 17:08

Hadoop的三大结构及其作用？

Hadoop是一个分布式存储和计算框架，其三大核心组件是HDFS（HadoopDistributedFileSystem）、YARN（YetAnotherResourceNegotiator）和MapReduce
End928·2025-04-19 17:35

Hadoop集群常用命令

**启动/停止集群**```bash#启动HDFSstart-dfs.sh#停止HDFSstop-dfs.sh#启动YARNstart-yarn.sh#停止YARNstop-yarn.sh#启动所有Hadoop
夏天吃哈密瓜·2025-04-19 17:05

hadoop的三大结构及其各自的作用

它的三大核心组件是HDFS（HadoopDistributedFileSystem）、MapReduce和YARN（YetAnotherResourceNegotiator）。
田园百合·2025-04-19 17:05

第4章 分布式数据库HBase（又是一篇呕心力作，一文详讲HBase）

利用HadoopHDFS(HadoopDistributedFileSystem)作为其文件存储系统，提供实时读写的分布式数据库系统。利用ZooKeeper作
wyz191·2025-04-18 17:30

大数据面试问答-HBase/ClickHouse

1.HBase1.1概念HBase是构建在HadoopHDFS之上的分布式NoSQL数据库，采用列式存储模型，支持海量数据的实时读写和随机访问。适用于高吞吐、低延迟的场景，如实时日志处理、在线交易等。
孟意昶·2025-04-18 03:00

探索 Hadoop：构建大数据处理的基石

从其核心概念与架构剖析入手，详细阐述了HDFS、MapReduce和YARN的工作机制与协同关系。
大数据 王秀权·2025-04-16 08:44

资产管理存储技术栈的二十年演进：从大数据存储到AI驱动的智能管理

本文将详细分析资管存储技术栈从以HDFS为代表的大数据存储，发展到S3全闪存，再到适应AI应用的三个阶段，探讨各阶段的特性、优势与面临的挑战。
上海川源信息科技·2025-04-16 06:08

大数据学习笔记（三）：HDFS分布式文件系统架构原理详解

HDFS分布式文件系统解决问题：海量数据的存储——>分布式结构设计分布式的特点：集群，有多台机器共同协作完成存储主从架构设计HDFS设计思想1.namenode-主节点-领导主要存储文件的属性信息，即文件的元数据
weixin_34303897·2025-04-16 00:52
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他