分布式文件系统HDFS

HBase入门：运行机制

服务器工作原理用户读写数据的过程缓存的刷新StoreFile合并Store的工作原理HLog的工作原理HBase系统架构HBase的系统架构包括客户端、ZooKeeper服务器、Master主服务器、Region服务器HBase一般采用HDFS
缘友一世·2024-01-28 09:07

mac上搭建hbase伪集群

https://blog.csdn.net/a15835774652/article/details/135569456)但是为了模拟一把集群环境我们还是尝试搭建一个伪集群版2.环境准备jdk环境1.8+hdfs
寂夜了无痕·2024-01-28 08:15

Hive面试题

1）数据存储位置Hive存储在HDFS。数据库将数据保存在块设备或者本地文件系统中。2）数据更新Hive中不建议对数据的改写。
肿么肥四啊哈·2024-01-28 07:34

hive面试题

本质上是将SQL转换为MapReduce或者spark来进行计算，数据是存储在hdfs上，简单理解来说hive就是MapReduce的一个客户端工具。补充1：你可以说一下HQL转换为MR的任务流程吗？
韩顺平的小迷弟·2024-01-28 07:29

【HDFS】一天一个RPC系列--updateBlockForPipeline

本文目标是：弄清updateBlockForPipeline这个RPC的作用。弄清updateBlockForPipelineRPC的使用场景，代码里的调用点。一、updateBlockForPipeline的作用其定义在ClientProtocol接口里，是Client与NameNode之间的接口。看其代码注释描述：为一个underconstruction状态下的block获取一个新的GS与ac
叹了口丶气·2024-01-28 06:03

【BugFix】java.lang.NoSuchMethodError: java.nio.ByteBuffer.position(I)Ljava/nio/ByteBuffer；

2022-10-2010:43:59,633ERRORorg.apache.hadoop.hdfs.server.namenode.FSEditLog:Error:startinglogsegment946759failedfor
叹了口丶气·2024-01-28 06:02

【HDFS】EC写数据时checkStreamerFailures逻辑

本文试图弄清楚以下问题：checkStreamerFailures方法主要目的是做什么的？checkStreamerFailures方法的调用点（调用时机、条件）？checkStreamerFailures及其周边函数的逻辑。RQ1：checkStreamerFailures方法主要目的是做什么的？此方法的目的是在close流或者每次写完一整个stripe时，对streamer做健康判断。因为ce
叹了口丶气·2024-01-28 06:02

【HDFS】一天一个RPC系列--updatePipeline

建议先阅读【HDFS】一天一个RPC系列–updateBlockForPipeline本文目标是弄清楚以下问题：弄清updatePipeline这个RPC的作用。
叹了口丶气·2024-01-28 06:27

Ubuntu22.04三台虚拟机Hadoop集群安装和搭建（全面详细的过程）

Ubuntu22.04Hadoop集群安装和搭建（全面详细的过程）环境配置安装安装JDK安装Hadoop三台虚拟机设置克隆三台虚拟机设置静态IP修改虚拟机hostssh免密登录关闭防火墙Hadoop配置core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlworkers
WuRobb·2024-01-28 06:41

分布式数据实现跨设备数据同步的N个秘密 | 分布式数据管理解析（二）

这都得益于分布式数据管理平台抽象出的三大关键技术——分布式数据库，分布式文件系统和融合搜索。那么这三大技术究竟如何具体实现全场景多设备上的数据保存，数据同步，数据访问，让我们一一来详细解读。
码中之牛·2024-01-28 03:10

ClickHouse(22)ClickHouse集成HDFS表引擎详细解析

文章目录HDFS用法实施细节配置可选配置选项及其默认值的列表libhdfs3支持的ClickHouse额外的配置限制Kerberos支持虚拟列资料分享系列文章clickhouse系列文章知乎系列文章HDFS
张飞的猪大数据·2024-01-27 17:35

GBase 8a 数据迁移工具2---数据加载 “SQL 接口 LOAD DATA INFILE”

支持如下功能：支持本地文件加载支持从通用数据服务器拉取数据加载；支持FTP/HTTP/HDFS/SFTP等多种协议；支持多加载机对单表的并行加载，最大化加载性能；支持普通文本、gzip压缩、snappy
Linux有意思吗·2024-01-27 14:03

搭建大数据平台常用的端口号

50070：HDFSwebUI的端口号8485:journalnode默认的端口号9000：非高可用访问数rpc端口8020：高可用访问数据rpc8088：yarn的webUI的端口号8080：master
修勾勾L·2024-01-27 13:51

YARN 工作原理

1、Hadoop2新增了YARN，YARN的引入主要有两个方面的变更：其一、HDFS的NameNode可以以集群的方式部署，增强了NameNode的水平扩展能力和高可靠性，水平扩展能力对应HDFSFederation
无羡爱诗诗·2024-01-27 13:43

深入浅出hdfs源码

1、hadoop基本介绍2、周边生态图3、hdfs读源码解析4、hdfs写源码解析5、hdfs副本机制解读6、hdfs常见管理源码解析7、hdfs高可用源码解析-ha8、hdfs监控源码解析-dnmetrics-nnmetrics
大数据之家·2024-01-27 10:39

2021-03-07

HDFS=====>解决存储问题·MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·Hive
残月冷无声·2024-01-27 10:39

深入浅出hdfs-hadoop基本介绍

一、Hadoop基本介绍hadoop最开始是起源于ApacheNutch项目，这个是由DougCutting开发的开源网络搜索引擎，这个项目刚开始的目标是为了更好的做搜索引擎，后来Google发表了三篇未来持续影响大数据领域的三架马车论文：GoogleFileSystem、BigTable、Mapreduce开始掀起来了大数据的浪潮，paper原文可以参考我的这篇文章CSDN。这三篇论文介绍了如何
大数据之家·2024-01-27 10:03

Hadoop三大核心组件，hadoop原理

Hadoop的三大核心组件分别是：HDFS（HadoopDistributeFileSystem）：hadoop的数据存储工具。
你敢和我比剑吗·2024-01-27 09:03

Hadoop2.0架构及其运行机制，HA原理

文章目录一、Hadoop2.0架构1.架构图2.HA1)NameNode主备切换2)watcher监听3)脑裂问题3.组件1.HDFS2.MapReduce3.Yarn1.组件2.调度流程一、Hadoop2.0
Toner_唐纳·2024-01-27 09:30

Hadoop 原理及架构详解

视频网址：01-课程内容大纲与学习目标_哔哩哔哩_bilibili一、基础概念1、版本架构变迁2、集群简介主要包括两个集群：HDFS、YARN（MapReduce是计算框架，是代码层面的）这两个集群逻辑上分离
Should·L·2024-01-27 09:25

Hive实战 —— 电商数据分析(全流程详解 真实数据)

目录前言需求概述数据清洗数据分析一、前期准备二、项目1.数据准备和了解2.确定数据粒度和有效列3.HDFS创建用于上传数据的目录4.建库数仓分层5.建表5.1近源层建表5.2.明细层建表为什么要构建时间维度表
Byyyi耀·2024-01-27 08:25

1分钟了解基于Hadoop的数据仓库工具Hive(附超实用示例)

Hive功能Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL
yuyuyuyo·2024-01-27 05:53

[AIGC 大数据基础] 浅谈hdfs

HDFS介绍什么是HDFS？HDFS（HadoopDistributedFileSystem）是ApacheHadoop生态系统的一部分，是一个分布式文件系统。
程序员三木·2024-01-27 01:00

大数据开发必备工具——Hadoop及整体架构介绍

它由几个关键的组件组成，其中最核心的是Hadoop分布式文件系统（HDFS）和MapReduce计算模型。
love6a6·2024-01-26 21:03

HBase 2.3.2 集群部署

HBase2.3.2集群部署依赖服务系统优化查看ZooKeeper集群状态查看HDFS集群状态创建路径配置/etc/profile配置$HBASE_HOME/conf/hbase-env.sh配置$HBASE_HOME
JP.Hu·2024-01-26 19:07

Hadoop 3.1.1 HDFS 集群部署

Hadoop3.1.1HDFS集群部署依赖服务系统优化查看ZooKeeper集群状态创建路径配置/etc/profile配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh配置
JP.Hu·2024-01-26 19:37

hadoop安装遇到的一些障碍

start-dfs.sh（开启不成功）原因：1.dadoop文件所属者与执行时登陆者不一致（权限不足）报错：WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER.Startingnamenodeson
GetIdea·2024-01-26 18:30

搭建Hive3.x并整合MySQL8.x存储元数据

另外一点就是HDFS上
端碗吹水·2024-01-26 16:06

C语句的作用和分类，赋值表达式和赋值语句、空语句等

它们分别是：if()...else...for()...循环语句while()...do...while()continuebreakswitchreturngoto2、函数调用语句比如printf（“dhdfsal
qq_263_tohua·2024-01-26 16:04

135.如何进行离线计算-1

应用场景用户流失预警系统基于用户购买的挽回系统用户特征和规则提取系统数据分析系统用户画像系统流程数据采集数据预处理数据建模ETL数据导出工作流调度135.1数据采集Flume收集服务器日志到hdfstype
大勇任卷舒·2024-01-26 15:03

用户画像项目背景

1,用户画像项目介绍大数据平台简介数据仓库+用户画像+推荐系统（1）数据仓库：加快数据的分析和查询数据仓库分层：ODS层(映射HDFS的数据)—DW(数据仓库层)–APP(层)—BI(层)DW:DWD明细数据层
祈愿lucky·2024-01-26 13:20

一文了解Ceph原理以及常见ceph指令

涉及初衷是成为一个可避免单点故障的分布式文件系统，提供较好的性能、可靠性和可扩展性。通过网络将数据分散存储在多台独
听说唐僧不吃肉·2024-01-26 13:08

Flink1.13集成Hadoop3.x以上版本

org.apache.flink.core.fs.UnsupportedFileSystemSchemeException:Couldnotfindafilesystemimplementationforscheme'hdfs
未来影子·2024-01-26 04:22

HDFS操作

文章目录主要内容1.编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：一.shell命令行实现1.向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件
K要努力·2024-01-26 02:43

Pyspark 读 DataFrame 的使用与基本操作

一、安装基于mac操作系统安装jdkjdk下载地址安装pysparkpipinstallpyspark二、读取HDFS文件读json注意，如果是多行的json，需要用“multiLine”模式，否则会报错
苏学算法·2024-01-26 02:10

pyspark学习-RDD转换和动作

RDDsc.parallelize(param:list)#demosc.parallelize(['tom','jack','black'])#2.textFile方法：读取文件,创建RDD,参数为hdfs
heiqizero·2024-01-26 02:39

使用CDH的api接口对cdh服务进行滚动重启

写了个py脚本实现此功能importtimeimportrequestsimportjsonimportsys#可操作的服务列表server_list=['hdfs','yarn','zookeeper
Mumunu-·2024-01-26 01:32

HDFS的优缺点、写流架构、访问方式、可靠性策略新特性

HDFS优点高容错性数据自动保存多个副本副本丢失后，自动恢复适合批处理移动计算而非数据数据位置暴露给计算框架适合大数据处理GB、TB、甚至PB级数据百万规模以上的文件数量10K+节点规模流式文件访问一次性写入
木迪_2a4e·2024-01-26 00:49

CDH浏览器安装流程

选择所有得主机列出所有得主机3然后根据自己安装得版本来进行选择选择对应版本4然后等待安装等待配置5出现问题根据提示进行操作进行相关设置（安装得时候，一般做了配置）6然后下一步，然后选择自定义安装，先安装最基本得几个组件：HDFSHbaseZooKeePerYARN7
PunkP·2024-01-25 23:41

大数据开发之Spark（spark streaming）

sparkstreaming支持的数据源很多，例如：kafka、flume、hdfs等。数据输入后可以用spark的高度抽象原语如：map、reduce、join、window等进行计算。
Key-Key·2024-01-25 21:07

sqoop之hive数据仓库和oracle数据库数据转换

，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS
Summer_1981·2024-01-25 20:37

java打jar包添加第三方依赖

    org.apache.maven.pluginsmaven-shade-plugin2.4.3packageshadeaddMain-Classtomanifestfilecom.shine.HdfsAPImergeMETA-INF
久生情123·2024-01-25 18:25

HDFS高可用架构涉及常用功能整理

HDFS高可用架构涉及常用功能整理1.hdfs的高可用系统架构和相关组件2.hdfs的核心参数2.1常规配置2.2特殊优化配置2.1.1NN优化2.1.2DN优化3.hdfs常用命令3.1常用基础命令3.2
李姓门徒·2024-01-25 16:31

CalvinFS: Consistent WAN Replication and Scalable Metadata Management for Distributed File...——论文泛读

尽管已经开发了许多分布式文件系统以扩展到数千台计算机的集群，但由于在地理距离上提供期望的文件系统语义和工具（如线性化操作、分层访问控制、标准命令行工具等）的困难，这些
妙BOOK言·2024-01-25 14:02

hadoop集群部署

Hadoop的框架最核心的设计就是：HDFS和Ma
Cat God 007·2024-01-25 12:45

hadoop集群规划部署

hadoop102hadoop103hadoop104HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManagerResourceManagerNodeManagerNodeM
Snower_2022·2024-01-25 12:43

如何使用静态化freemarker和分布式文件系统minIO去存储静态文件 增强访问效率

有的时候把网页文章根据id查询出来可能更快一些但是如果作为静态化处理的话效率可能更好一点目录一、freemarker1.freemarker介绍2、环境搭建&&快速入门2.1pom文件2.2配置文件2.3创建模型类2.4创建模板2.5创建controller2.6测试3.freemarker基础3.1)基础语法种类3.2)集合指令（List和Map）3.3)if指令3.4)运算符3.5)空值处理3
学习中的程序媛~·2024-01-25 10:31

Hudi学习笔记(一)

大数据发展背景Hudi用于管理分布式文件系统上大型分析数据集存储，支持Spark和Flink整合。它能够是DFS数据集在分钟级时延内支持变更，也支持下游系统对这个数据集的增量处理。
一一|一一一亅·2024-01-25 09:37

上万字详解Spark Core（建议收藏）

虽然MapReduce提供了对数据访问和计算的抽象，但是对于数据的复用就是简单的将中间数据写到一个稳定的文件系统中(例如HDFS)，
废柴程序员·2024-01-25 09:06

Hadoop-HDFS写流程（从命令行到完成）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、源码分析源码中写的肯定是最真实的，下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4
隔着天花板看星星·2024-01-25 09:23
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他