********HDFS

在shell中判断hdfs文件是否存在

fi但是我们想判断hdfs上某个文件是否存在咋办呢？Hadoop内置提供了判断某个文件是否存在的命令：[[email protected]~]$hadoopfs-help......
尤小闹·2023-10-16 16:13

java spark 消费kafka_spark streaming消费kafka数据写入hdfs避免文件覆盖方案(java版)

1.写在前面在sparkstreaming+kafka对流式数据处理过程中，往往是sparkstreaming消费kafka的数据写入hdfs中，再进行hive映射形成数仓，当然也可以利用sparkSQL
吴羽舒·2023-10-16 11:40

hive动态分区shell_大数据学习之hive shell笔记总结

2、启动：需要先启动hdfs,如果有需要用到mr的查询时，必须启动yarn3、DDL数据定义语言，主要是用于创建、删除、修改等数据库级别、表级别、索引等等4、创建数据
weixin_39623355·2023-10-16 06:00

大数据学习笔记，学习清单

大数据目前技术组件有很多，比如有hdfs,hive,spark,flink,kafka,clickhouse,cdh,nifi,streamset等等技术，主流的开发语言有Java，Scala，Python
平凡天下·2023-10-16 06:59

大数据--hive学习笔记

特性使用HDFS作为数据存储通过MapReduce完成数据运算提供类似SQL的语言（HQL）HQL灵活的可扩展性（UDF、UDAF、UDTF）适合进行离线
TaroLee·2023-10-16 06:29

大数据HiveSQL学习笔记二

学习笔记二一、数据库操作1、创建数据库CREATE(DATABASE/SCHEMA)[IFNOTEXISTS]database_name[COMMENTdatabase_comment][LOCATIONhdfs_path
lucky_myj·2023-10-16 06:58

【大数据】Hive SQL语言（学习笔记）

一、DDL数据定义语言1、建库1）数据库结构默认的数据库叫做default，存储于HDFS的：/user/hive/warehouse用户自己创建的数据库存储位置：/user/hive/warehouse
rexhao_wmh·2023-10-16 06:57

使用Python创建faker实例生成csv大数据测试文件并导入Hive数仓

文章目录一、Python生成数据1.1代码说明1.2代码参考二、数据迁移2.1从本机上传至服务器2.2检查源数据格式2.3检查大小并上传至HDFS三、beeline建表3.1创建测试表并导入测试数据3.2
程序终结者·2023-10-16 06:56

Hadoop未来展望

本文分为技术篇、产业篇、应用篇、展望篇四部分技术篇2006年项目成立的一开始，“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。
贾诩是也·2023-10-16 06:19

HDFS上传、下载流程

HDFS上传上传过程参考此图在这里插入图片描述  首先，有一个200M文件要上传，那么Client首先要读取这个文件，DistributedFileSystem就是整个集群的抽象封装。
Emeraki·2023-10-16 02:25

一种不同网络环境下HBase数据备份及恢复方法

目录0.引言1.备份方法2数据恢复方法2.1将将备份文件添加到hdfs中2.2导入数据到HBase集群3相关参考代码4.小结0.引言HBase在大数据处理中地位至关重要，有的公司会将HBase作为原始数据接入层
莫叫石榴姐·2023-10-15 20:06

Apache doris Datax DorisWriter扩展使用方法

DataX实现了包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres
张家锋·2023-10-15 14:25

Hadoop基础学习---6、MapReduce框架原理

2、MapTask并行度决定机制数据块：Block是HDFS物理上吧数据分成一块一块。数据块是HDFS储存数据单位。数据切片：数据切片只是在逻辑上对输出进行分片，并不会在磁盘上将其切分成片进行
星光下的赶路人star·2023-10-15 13:23

Hadoop：MapReduce概述、WordCount

MapReduce概述MapReduce是Hadoop的两大核心技术之一，HDFS解决了大数据存取问题，而MapReduce是对大数据的高效并行编程模型。
瞧德·2023-10-15 13:23

大数据技术Hive详解

说明：Hive处理的数据存储在HDFS；Hive分析数据底层的实现是MapReduce；执行程序运行在Yarn上；1.分布式文件系统HDFS存储架构与
wespten·2023-10-15 12:04

大数据flink篇之三-flink运行环境安装后续一yarn-session安装

前提：Hadoop必須保证在2.2以上，且必須裝有hdfs服务。Hadoop安装后续会有相关说明。具体的，在生产环境中，flink一般会交由yarn、k8s等资源管理平台来处理。
风之清扬·2023-10-15 12:36

走进Hive

什么是HiveHadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，构建在分布式HDFS系统运行的数据库应用场景大数据集的批处理作用，做离线的数据分析日志分析多维度数据分析海量结构化数据离线分析统计网站一个时间段内的
、小H·2023-10-15 09:15

走进HBase

什么是Hbase建立在Hadoop之上HDFS分布式文件系统，面向列的存储系统列式数据库是针对行数据库而言的，行式数据库是以一行数据作为一个存储单元，而列式数据库是以一列数据为一个存储单元，针对HBase
、小H·2023-10-15 09:41

大数据框架之Hadoop：HDFS（五）NameNode和SecondaryNameNode（面试开发重点）

5.1NN和2NN工作机制5.1.1思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更
yiluohan0307·2023-10-15 08:25

Hadoop3教程（四）：HDFS的读写流程及节点距离计算

文章目录（55）HDFS写数据流程（56）节点距离计算（57）机架感知（副本存储节点选择）（58）HDFS读数据流程参考文献（55）HDFS写数据流程数据文件ss.avi是如何从客户端写到HDFS的？
经年藏殊·2023-10-15 08:55

Hadoop3教程（六）：HDFS中的DataNode

文章目录（63）DataNode工作机制（64）数据完整性（65）掉线时限参数设置参考文献（63）DataNode工作机制DataNode内部存储了一个又一个Block，每个block由数据和数据元数据组成。数据元数据包括数据长度、校验和、时间戳等。在物理的目录里，每个block的数据和数据源数据是分两个文件保存的。DataNode的工作机制如图：DataNode启动后，会向NameNode注册，
经年藏殊·2023-10-15 08:55

Hadoop 之 HDFS (NameNode 和 SecondaryNameNode)

文章目录五、NameNode和SecondaryNameNode（重点）5.1NN和2NN工作机制5.2Fsimage和Edits解析5.2.1oiv查看Fsimage文件5.2.2oev查看Edits文件5.3CheckPoint时间设置5.4NameNode故障处理（扩展）5.5集群安全模式5.6NameNode多目录配置五、NameNode和SecondaryNameNode（重点）5.1N
TANCHISE·2023-10-15 08:25

carbondata优化小姐

一，carbondata高效原因carbondata文件是hdfs的列式存储格式查询速度是sparkSQL的10倍，通过多种索引技术和多次pushdown优化，对TB级别数据快速响应高效的压缩，使用轻量级和和重量级压缩组合的方式
不吃饭的猪·2023-10-15 08:54

Hadoop3.x 之 HDFS NameNode 和 SecondaryNameNode (月薪过万 第七章)

NameNode和SecondaryNameNode机制一、NN和2NN工作机制1、思考2、NameNode工作机制3、分析4、SecondaryNameNode工作二、Fsimage和Edits解析1、Fsimage和Edits概念2、oiv查看Fsimage文件1、查看oiv和oev命令2、基本语法3、案例实操3、oev查看Edits文件1、基本语法2、案例实操三、CheckPoint时间设置
小坏讲微服务·2023-10-15 08:51

HDFS学习三：NameNode和SecondaryNameNode工作机制

一、NameNode和SecondaryNameNode1.1NN与2NN的工作机制内存中存储元数据，可靠性怎么保证？为防止元数据丢失，会将元数据备份一份：磁盘中的备份元数据存储在FsImage。若是更新内存元数据同时更新Fsimage的话，效率太低，不更新的话，数据一致性怎么保证？内存中元数据更新机制：引入了Edit文件（只进行追加操作，效率很高）。每当元数据有更新或添加元数据时，修改内存中的元
阿星_Alex·2023-10-15 08:20

Hadoop三大组件NameNode、DataNode、SecondaryNamenode的介绍

先上关系图，说白了它们之间其实就是“一主多重”的关系：1、NameNode介绍NameNode：NameNode是HDFS的核心。NameNode也称为Master。
奇迹虎虎·2023-10-15 08:20

Hadoop-HDFS的NameNode和SecondaryNameNode介绍及原理

NameNode和SecondaryNameNodeNN和2NN的工作机制NameNode中的元数据是存储：首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题,当在内存中的
魔笛Love·2023-10-15 07:47

HDFS EC 对 distcp 的影响

distcp在拷贝一个文件结束后，会对比源文件和目标文件的校验值，判断两者是否一致。其中文件的校验值通过FileSystem.getFileChecksum(Path)API获取，该API本质上是一个针对DataNode的RPC调用，需要DataNode高度配合才能完成。Hadoop3.x引入EC后，由于EC文件和副本文件的布局（layout）不同，所以，即使是同一个文件，在分别使用副本模式和EC
xudong1991·2023-10-15 07:36

Kafka消费者使用案例

Kafka之所以要引入消费者群组这个概念是因为Kafka消费者经常会做一些高延迟的操作，比如把数据写到数据库或HDFS，或者进行耗时的计算，在这些情况下，单
shangjg3·2023-10-15 02:49

HDFS高扩展机制

硬件故障、软件故障、人为操作不当、机房断电、机房空调停机、机房网络拥塞可用性：99.9%，全年8.76小时不可用；99.99%，全年52.6分钟不可用；99.999%，全年5.26分钟不可用（难度高）HDFS
Popcorn丶30·2023-10-14 23:36

关于Hadoop的杂乱无章（续更）

NameNode：表示主节点DataNode：表示数据节点SecondaryNameNode：表示次要名称节点--节点表示：一台机器进程是运行在机器上的，一个软件可以有多个进程（分布式软件：Hadoop）HDFS
脸ル粉嘟嘟·2023-10-14 23:28

由sqoop导入失败发现的hive的空值问题

先说基础知识hive中空值分两种（1）NULLhive中null实际在HDFS中默认存储为'\N'，通过查询显示的是'NULL'。
亨利三十六·2023-10-14 22:05

hadoop 2.5 hdfs namenode –format 出错Usage: java NameNode [-backup] |

hadoop2.5hdfsnamenode–format出错Usage:javaNameNode[-backup]|在cd/home/hadoop/hadoop-2.5.2/bin下执行的.
wzg19690226wzg·2023-10-14 18:36

hdfs java 找不到文件_解决hadoop namenode -format / hdfs namenode -format 找不到java的文件目录...

报错信息如下：/opt/hadoop-2.8.1/bin/hdfs:line305:/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.141-3.b16.el6_9.i386/
weixin_39837105·2023-10-14 18:33

hadoop 2.5.2执行bin/hdfs namenode -format报错

按照hadoop2.5.2文档学习，在执行命令bin/hdfsnamenode-format时，老是报错：java.lang.NoClassDefFoundError:namecode到网上搜了很多解决方法
^-无涯-^·2023-10-14 18:01

Hadoop格式化时报错：-bash: hdfs: command not found

-bash:hdfs:commandnotfound问题解决方案问题搭建Hadoop环境各种配置顺顺利利，等到我想要进行hdfsnamenode-format格式化时电脑报错：-bash:hdfs:commandnotfound
坐着吃灬炸鸡·2023-10-14 18:31

hadoop namenode -format初始化时报错

报错如下/home/hadoop/app/hadoop-2.4.1/bin/hdfs:/home/hadoop/app/jdk1.7.0_65/bin/java:/lib/ld-linux.so.2:badELFinterpreter
荆皎·2023-10-14 18:31

Hadoop--万恶NameNode各种起不来！！！

每次用到Hadoop集群时NameNode总有各种各样奇奇怪怪的问题启动不了或者hdfs用9870端口访问不了！！！
樱桃气质丸·2023-10-14 18:30

学习hadoop遇到的问题（hadoop namenode -format 格式化失败及解决方案）

/hadoopnamenode-formatDEPRECATED:Useofthisscripttoexecutehdfscommandisdeprecated.Insteadusethehdfscommandforit
小马的学习笔记·2023-10-14 18:24

Hadoop搭建集群中输入hdfs namenode -format格式化节点时，提示：hdfs command not found 解决办法

分析原因：hadoop的安装路径没有加入到当前路径中解决办法：方法1：进入hadoop的安装目录，在执行hadoop命令时在前面加上：./bin./sbin方法2:进入/etc/profile文件中添加hadoop的安装路径sudovim/etc/profile添加：exportHADOOP_HOME=本机的hadoop安装路径exportPATH=$HADOOP_HOME/bin:$HADOOP
每日一小知识·2023-10-14 18:22

不新鲜的集群重新格式化namenode，用hdfs namenode -format报错

hdfsnamenode-format对于一个新鲜的集群，使用hdfsnamenode-format是必须要做的事情，这一步叫格式化namenode，format英文本身的意思就是格式化格式化namenode
崔凯洋·2023-10-14 18:46

基于 Gradle 远程连接Hadoop HDFS编程

基于Gradle远程连接HadoopHDFS编程在一个现代化的时候，界面不好看的Eclipse和操作易用性相比而言更高的IntelliJIdea。
ysmintor·2023-10-14 17:39

hdfs笔记

1.HDFSshell1.0查看帮助hadoopfs-help1.1上传hadoopfs-put1.2查看文件内容hadoopfs-cat1.3查看文件列表hadoopfs-ls/1.4下载文件hadoopfs-get2
小小哭包·2023-10-14 16:32

大数据基本组件（Hadoop、HDFS、MapRed、YARN）入门命令

HDFS、MapRed、YARN是Hadoop大数据的基础组件，安装好Hadoop之后，这些组件自然包含在里面。
手撕机·2023-10-14 16:21

Yarn基础入门

文章目录一、Yarn资源调度器1、架构2、Yarn工作机制3、HDFS、YARN、MR关系4、作业提交之HDFS&MapReduce二、Yarn调度器和调度算法1、先进先出调度器（FIFO）2、容量调度器
ha_lydms·2023-10-14 15:49

hive on spark僵死问题分析

背景：最近大数据平台为租户经分系统提供运算及存储能力，经分的资源需求如下Memory:6TCPU:1600c存储：600T文件系统：HDFS运算组件:hiveonspark权限管理：sentry问题描述
baker_dai·2023-10-14 14:59

hadoop初体验Linux指令学习

知识点一Hadoop简介知识点二Hadoop简介2知识点三HDFS和MapReduce简介知识点四Linux命令回顾查看网卡信息ifconfig查看文件(不包括隐藏)ls查看文件(包括隐藏)ls-a查看文件长格式
kuikui1452·2023-10-14 14:11

hadoop文件存储位置_hadoop文件存储目录

执行shbin/stop-all.sh1、查看指定目录下内容hadoopdfs–ls[文件目录]eg:hadoopdfs–ls/...文章hohooo2016-10-25590浏览量Hadoop框架：HDFS
weixin_39624774·2023-10-14 13:35

HDFS 配置本地客户端

之前，一直通过Linux命令操作HDFS。接下来，在本地配置HDFS客户端，通过编写代码操作HDFS。
Manfestain·2023-10-14 13:21

Spark入门

目录Spark入门:概述+历史+概述SparkCore：RDDSparkSQL:SparkStreamingSpark内核调优Spark概述回顾：Hadoop=HDFS存储+MR分析计算+YARN调度Hadoop
十七✧ᐦ̤·2023-10-14 12:21
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他