********HDFS

HDFS-实验指导书 -更新

Hadoop02核心介绍1.HDFSHDFS（HadoopDistributedFileSystem）是一个ApacheSoftwareFoundation项目,是ApacheHadoop项目的一个子项目
撒娇的猫·2023-11-28 16:42

HDFS与Hive实战 + 滴滴出行数据分析

HDFS与Hive实战+滴滴出行数据分析1.HDFS1.1分布式文件系统1.2HDFS的Shell命令行1.3启动Hadoop集群1.4大数据环境清单2.数据仓库2.1数据仓库与数据库区别3.Hive3.1
jialun0116·2023-11-28 16:41

hadoop的HDFS的shell命令大全（一篇文章就够了）

文章目录HDFS的shell命令1、安全模式1.查看安全模式状态2.手工开启安全模式状态3.手工关闭安全模式状态2、文件操作指令1.查看文件目录2.查看文件夹情况3.文件操作4.上传文件5、获取文件6.
绝域时空·2023-11-28 16:39

大数据平台/大数据技术与原理-实验报告--实战HDFS

实验名称实战HDFS实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.10.23-2023.10.27实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5
jakeonil·2023-11-28 16:25

java使用idea操作HDFS

本文参照这位博主的文章https://blog.csdn.net/weixin_45754552/article/details/121019053，并亲自实操做的笔记。一、前言关于在IDEA中使用JavaAPI对Hadoop进行操作。Hadoop中关于文件操作类基本上全部是在“org.apache.hadoop.fs”包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。1、文件在
梦痕长情·2023-11-28 14:14

第4.4章：StarRocks备份还原--Backup&Restore

Backup操作也需要Broker组件，通过Broker将数据备份到远端存储系统中，例如HDFS、OSS、COS或S3等。
流木d·2023-11-28 11:35

Hive基本操作

目录一、Hive创建数据库与数据表1.1.数据库相关操作1.1.1.创建数据库1.1.2.创建数据库并指定HDFS存储路径1.1.3.修改数据库1.1.4.查看数据库详情信息1.1.5.删除数据库1.2
进阶的橙汁糖·2023-11-28 10:10

Apach Ozone部署

我自己对hadoop这套体系不是很熟悉，所以过程磕磕碰碰，好不容易勉强搭起来，所以记录一下部署方式准备三台主机，主机均已安装jdk、hdfs，相关的安装配置就不另外写了，网上很多教程。
sadoshi·2023-11-27 23:02

flink on yarn集群环境(生产环境使用)

因此Flink也支持在Yarn上面运行；flinkonyarn的前提是：****hadoop、hdfs、yarn****均启动配置要求jdk1.8及以上【配置JAVA_HOME环境变量】ssh免密码登录
huahailing1024·2023-11-27 20:30

Apache Iceberg核心原理分析文件存储及数据写入流程

第一部分：Iceberg文件存储格式ApacheIceberg作为一款新兴的数据湖解决方案在实现上高度抽象，在存储上能够对接当前主流的HDFS，S3文件系统并且支持多种文件存储格式，例如Parquet、
王知无(import_bigdata)·2023-11-27 19:25

2 MapReduce计算的流程-Hadoop

架构图1map端分块针对上传到hdfs上的文件，会针对文件进行分块（物理分块，固定大小64M，多余的则进行分，少的则不变），分块之后存储相应的datanode计算机的磁盘上面；把File划分成Block
汀沿河·2023-11-27 12:07

spark篇（一）——Spark核心概念与操作

它的优势有三个方面：通用计算引擎能够运行MapReduce、数据挖掘、图运算、流式计算、SQL等多种框架；基于内存数据可缓存在内存中，特别适用于需要迭代多次运算的场景；与Hadoop集成能够直接读写HDFS
许志辉Albert·2023-11-27 08:53

Hbase基本原理

1.hbase采用列式存储，即每一列的数据存储到一起，不同的列基于hdfs存储在不同的机器上，这样做的好处是，查询一条数据，每个机器的I/O同时工作，只查询自己拥有的列数据，更加高效，另外，列单独存储，
请叫我李半仙·2023-11-27 07:12

大数据处理框架Spark：核心原理

RDD可以从HadoopHDFS、HBase等数据源创建，也可以通过转换操作和持久化操作进行处理和存储。下面是一
雨中徜徉的思绪漫溢·2023-11-27 04:17

ClickHouse基础知识及与MySQL性能对比

MergeTree系列表引擎CollapsingMergeTreeVersionedCollapsingMergeTreeSummingMergeTreeAggregatingMergeTree外部存储引擎HDFS
JK凯爷·2023-11-26 19:17

HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置

集群搭建5、验证HBase、ZooKeeper、Hadoop等集群运行情况参考：Hadoop2.4的ResourceManagerHA高可用配置hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFSHA
jerry_jiang2017·2023-11-26 19:42

传统数仓和clickhouse对比

不过也包括Kylin等，而clickhouse是实时OLAP的代表，我们简单看下他们的对比传统数仓和clickhouse对比Hive+SparkSQL的传统数仓：1.数据更新速度慢，由于传统数仓一般都是基于HDFS
lixia0417mul2·2023-11-26 19:06

大数据基础 HDFS客户端操作

一、Maven概述Maven是一个专门用于管理和构建Java项目的工具。我们之所以要使用Maven，是因为Maven可以为我们提供一套标准化的项目结构、一套标准化的构建流程和一套方便的依赖管理机制，这些功能可以使得我们的项目结构更加清晰，导入jar包的方式更加方便和标准，进而使得我们的开发更加的便捷高效。maven是Apache的顶级项目，解释为“专家，内行”，它是一个项目管理的工具，maven自
星星失眠️·2023-11-26 19:05

hadoop(10)--MR运行模式以及Yarn的调度流程

首先开门见山，说明一下MR的l两种种运行模式1，在本地运行模式①在windows中，intellijidea或者eclipse中直接运行，文件存储可以是本地也可以是HDFS②在linux中，运行eclipse
ROCK_杰哥·2023-11-26 13:14

Datax安装部署及读取MYSQL写入HDFS

一.DataX简介1.DataX概述DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
Appreciate(欣赏)·2023-11-26 09:25

简析Hadoop的三种运行模式

不需要与其他节点交互，不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的
我要下东西噢·2023-11-26 08:13

HADOOP大数据之HDFS数据安全与隐私保护

HDFSTrash垃圾桶功能概述HDFSTrash机制，叫做回收站或者垃圾桶。Trash就像Windows操作系统中的回收站一样。它的目的是防止你无意中删除某些东西。默认情况下是不开启的。
奋斗的韭菜汪·2023-11-26 08:24

Hadoop+Hive+Spark+Hbase开发环境练习

1.练习一1.数据准备在hdfs上创建文件夹，上传csv文件[root@kb129~]#hdfsdfs-mkdir-p/app/data/exam查看csv文件行数[root@kb129~]#hdfsdfs-cat
不吃香菜lw·2023-11-26 07:48

HBase入门篇

HBase是ApacheHadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据存储文件夹的结构,还可以通过Map
youzhouliu·2023-11-26 06:51

一篇文章入门Hbase

文件系统之上的分布式面向列的数据库，为横向发展类型数据库，提供快速随机访问海量结构化数据，它是Hadoop生态系统，提供对数据的随机实时读/写访问，是Hadoop文件系统的一部分，利用了Hadoop的文件系统(HDFS
王知无(import_bigdata)·2023-11-26 06:15

HBase入门篇4–存储

前几篇文章讲述了HBase的安装、Hbase命令和API的使用、HBase简单的优化技巧，《HBase入门篇4》这篇文章是讲述把HBase的数据放在HDFS上的点滴过程。
寂寞烟·2023-11-26 06:43

Hadoop

Hadoop中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架(MapReduce)；第三：资源调度框架(YARN)。
烈火138·2023-11-26 05:34

HBase环境部署

1、单机模式：只在一台计算机运行，这种模式下，HBase所有进程包括Maste、HRegionServer、和Zookeeper都在同一个JVM中运行，存储机制采用本地文件系统，没有采用分布式文件系统HDFS
文森的小披风·2023-11-26 04:48

java hdfs kerberos 认证超时 Receive timed out

背景cdh6集群为阿里服务器，三台机器搭建而成，并且开启了kerberos，现在想尝试一下用javaapi读取hdfs数据。
KK架构·2023-11-26 00:53

Apache BookKeeper 简介

Research）开发，旨在实现Hadoop分布式文件系统（HDFS）NameNode的高可用，在此之前，NameNode不具备高可用特性，存在单点故障的问题。
StreamNative·2023-11-25 20:11

hive 数据导入和导出

hive命令数据导入与导出数据导入●本地文件导入●HDFS文件导入●表数据导入●创建表的时候导入--本地文件导入(local)LOADDATAlocalINPATH'/home/hadoop/sourceA.txt'INTOTABLEtestAPARTITION
heheha_zj·2023-11-25 18:48

DataX将HDFS数据迁移到Mysql中NULL值的处理

"，Mysql的null值就是null，所以再进行数据迁移的时候需要考虑该问题方法一：方法一采用修改源码：具体实现代码块：//it'sallokifnullFormatisnull//解决datax抽hdfs
heheha_zj·2023-11-25 18:47

分布式计算 第五章 大数据多机计算：Hadoop

5.2.2HDFS：分布式文件系统5.2.3YARN：调度器5.2.4MapReduc
一只大小菜·2023-11-25 14:42

【Apache Doris】一键实现万表MySQL整库同步 | 快速体验

软件信息二、流程介绍三、前提概要3.1安装部署3.2JAR包准备3.2.1数据源3.2.2目标源3.3脚本模版四、快速体验五、常见问题5.1Mysql通信异常5.2MySQL无Key同步异常5.3CKPONHDFS
乙真仙人·2023-11-25 13:26

关于UnsupportedOperationException: Constructor threw an exception for org.apache.hadoop.hbase.ipc的问题

今天在搭建hbase的环境的时候正常配置了hbase-env.sh,hbase-site.xml文件后，先启动HDFS环境和Zookeeper环境之后，启动hbase，启动之后发现我们的进程HRegionServer
holywangle·2023-11-25 11:36

完全分布式安装Hadoop,Hive,Hbase,Hwi,Zookeeper

完全分布式安装Hadoop,Hive,Hbase,Hwi,Zookeeper其他部分见：HDFSYARNzookeeperHBASEHIVEHIVEhwi的启动HDFS和HBASE动态增加和减少节点一.
ljtyxl·2023-11-25 09:45

玩转人工智能（11）使用Pyspark上手机器学习

文件系统HDFSHadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。
Moscar_M·2023-11-25 07:10

大数据组件图谱

大数据组件图谱文件系统数据存储内存技术数据搜集消息系统数据处理查询引擎分析和报告工具调度与管理服务机器学习开发平台文件系统HDFSHadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统
饮水思源09·2023-11-25 07:40

18-Sqoop、DataX和Azkaban的介绍

Sqoop10.4Sqoop的简介10.4.1Sqoop产生背景对于工作中经常遇到的问题的提出如何将关系型数据库中某张表的数据抽取到Hadoop（HDFS/Hive/HBase）上；如何将Hadoop上的数据导出到关系型数据库中对于问题的传统的解决通常情况下是通过开发
大数据下的画像人·2023-11-25 07:07

（二）大数据---Hadoop组件介绍，区别

文章目录文件系统数据存储内存技术数据搜集消息系统数据处理查询引擎分析和报告工具调度与管理服务机器学习开发平台Hive,Impala,pig区别HDFS:分布式文件系统YARN:分布式资源管理MapReduce
（─__─）·2023-11-25 07:37

常用的HDFS操作

常用的HDFS操作利用Hadoop提供的shell命令完成任务(1)向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有文件(2)从HDFS中下载指定文件
TheHuan_9·2023-11-25 05:55

HDFS客户端上传下载文件流程

HDFS客户端上次文件流程1客户端与nameNode通讯1.1客户端像nameNode发送上传文件请求。1.2nameNode返回响应，允许客户端上传文件。
_Kafka_·2023-11-25 05:51

HDFS文件上传和下载流程

1、HDFS上传文件客户端请求上传文件：客户端（通常是Hadoop集群中的一个节点）发出上传文件的请求，改请求包括文件的本地路径、文件名以及在HDFS中的目标路径NameNode验证请求：客户端请求首先到达集群中的
鲸落万物·2023-11-25 05:49

hdfs上传/下载文件过程详解

https://www.cnblogs.com/kyle-blog/p/14213575.htmlhttps://my.oschina.net/u/2969788/blog/4289020hdfs上传文件过程详解
吃鱼的羊·2023-11-25 05:47

3.hadoop系列之HDFS架构及文件上传下载

本文我们学习Hadoop中HDFS架构、优缺点、文件块大小、通过shell命令文件上传下载1.HDFS使用场景适合一次写入，多次读取。
沈健_算法小生·2023-11-25 05:43

hbase读取hdfs文件到hbase表中

准备数据:上传到hdfs编写mapper：编写reducer:编写driver：打包运行主类：yarnjarhbase-1.0-SNAPSHOT.jarorg.filemr.FileDriver最后运行结果
嗨_人心深似海·2023-11-25 04:37

如何解除hadoop安全模式问题

安全模式导致的结果就是无法上传数据到hdfs以及删除hdfs的数据，简单来说，数据都变为了只读模式，只能看，不能操作，挺麻烦的一件事情。
青枫浦上看桃花·2023-11-25 03:16

Hive 字符串中分号的处理

在使用函数处理字符串时，如果字符串中有分号，则会遇到问题，因为分号是SQL的默认结束符，在HDFS中识别不了，需要使用\073来表示，示例如下：selectstr_to_map('16:1;21:1;6
风筝flying·2023-11-25 03:08

Spark是什么？以及它有哪些应用场景呢？

的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS
陈影鸿在进步·2023-11-25 01:07

HDFS命令行操作熟练

前置命令hadoopfshdfsdfs实际命令hadoopfs-helprm帮助hadoopfs-ls显示目录信息，递归-lsrhadoopfs-mkdir/user/tguigu在hdfs上创建目录hadoopfs-moveFromlocaltest.txt
秋风暮霞挽红曲_5f60·2023-11-24 22:20
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他