********HDFS

大数据之HBase

HBase介绍Apache的三篇论文，GFS谷歌文件系统->HDFS；MR->MR;BigTable->HBase;HBase是hadoop数据库，一种分布式、可扩展的大数据NoSQL数据库之一。
十七✧ᐦ̤·2023-11-29 20:55

如何能打进去idea引入外部jar包

org.apache.maven.pluginsmaven-war-plugin3.2.3${project.basedir}/libWEB-INF/lib/**/*.jar然后导入依赖即可comhadoop-hdfs-client2.7
一个正在努力的小白码农·2023-11-29 19:57

HBase初识之学生心得总结

c、HBase：理解为Hadoopbase--3.大数据框架：a、数据的存储：hdfs/hive/hbaseb、数据的传输：flume/sqoopc、数据的计算
程序员驴子酱·2023-11-29 15:33

HCIA-Big Data华为认证大数据工程师 习题册 含答案

查看课堂笔记（含习题册）目录1.大数据发展趋势与鲲鹏大数据2.HDFS分布式文件管理系统和ZooKeeper3.Hive分布式数据仓库4.HBase技术原理5.MapReduce和Yarn技术原理6.Spark
k Chivalrous man·2023-11-29 08:16

SparkStreaming基本数据源

SparkStreaming基本数据源案例1.文件流案例SparkStreaming支持各种文件系统中的文件流，如：HDFS、本地文件系统创建文件流的方式：读取HDFS上面的文件：streamingConte
简丶致·2023-11-29 07:06

Spark Streaming提取数据

它支持的流资包括HDFS、Kafka、Flume以及自定义流等。SparkStreaming操作可以从故障中自动恢复，这对于在线数据处理十分重要。
简单不过l·2023-11-29 07:29

Spark Streaming的基本数据流

在大数据环境中，尤其是使用Hadoop分布式文件系统（HDFS）时，数据通常被认为是静态的，这是因为HDFS被设计成适合一次写入和多次读取的场景
俺会hello我的·2023-11-29 07:55

MapReduce计算任务的步骤

MapReduce计算任务的步骤第1步：InputFormatInputFormat到hdfs上读取数据将数据传给Split第2步：Split//设置读取数据的路径TextInputFormat.addInputPath
未烬丶·2023-11-29 06:47

阿里云服务器搭建Hadoop报错“Incompatible clusterIDs”“Excluding datanode”“Cannot assign requested address”

hadoophome下logs文件夹的内容，看具体报错原因1.IncompatibleclusterIDs大致意思是说namenode和datanode的clusterIDs不一致，出现这个的原因应该是多次的hdfsnamenode-format
暮月七·2023-11-29 06:40

hadoop启动datanode报错：Incompatible clusterIDs in

例如我datanode数据目录为/home/hadoop/hdfs/data/，将这/home/hadoop/hdfs/data里面的文件都删掉即可。
兔帮大人·2023-11-29 06:09

修炼k8s+flink+hdfs+dlink（七：flinkcdc）

一：flinkcdc官网链接。https://ververica.github.io/flink-cdc-connectors/release-2.1/content/about.html二：在flink中添加jar包。在flinklib目录下增加你所需要的包。https://kdocs.cn/join/gv467qi?f=101邀请你加入共享群「工作使用重要工具」一起进行文档协作三：申请资源。c
宇智波云·2023-11-29 05:34

面试篇spark（spark core，spark sql，spark 优化）

spark执行框架示意图spark的执行中间结果是存储在内存当中的，而hdfs的执行中间结果是存储在hdfs中的。所以在运算的时候，spark的执行效率是reduce的3-5倍。二：spark是什么？
宇智波云·2023-11-29 05:21

hadoop集群环境搭建和常用命令

或者echo$JAVA_HOME3.解压安装包tar-zxvf4.修改配置文件cd$HADOOP_HOME/etc/hadoop/下面是需要修改的配置文件hadoop-env.shyarn-env.shhdfs-site.xmlcore-site.xmlmapred-site.xmlyarn-site.xm
Logan_addoil·2023-11-29 05:04

Hive数据库与表操作

一）Hive数据存储（二）创建数据库（三）查看数据库（四）修改数据库信息一、准备工作二、Hive数据库操作（一）Hive数据存储（二）创建数据库（三）查看数据库注意，我们创建的hive数据库，对应的是HDFS
howard2005·2023-11-29 05:59

KerberOS Hadoop 认证安装配置

server端4.配置krb5.conf文件5.配置kdc.conf6.配置kadm5.acl文件7.初始化kerberos库8.Kerberos客户端9.hadoopkerberos认证配置1)配置HDFS1
夜古诚·2023-11-28 23:54

解决Spark SQL读数据库时不支持某些数据类型的问题

在大数据平台中，经常需要做数据的ETL，从传统关系型数据库RDBMS中抽取数据到HDFS中。
alexlee666·2023-11-28 20:49

hive总结

Hive是基于Hadoop的数据仓库工具，提供了类似SQL的查询功能，可查询存储在HDFS中的数据。Hive的架构和组件包括用户接口、驱动、元数据存储和存储处理层。Hive将HQL转
墨苏玩电脑·2023-11-28 18:26

和gpt聊天，学一手hdfs

目录文章目录目录@[toc]计划学习**主题**:1.1HDFS概述**问题**:他和mysql有什么区别**主题**:1.1HDFS概述HDFS的设计和工作原理选择最佳的DataNode策略配置项**
墨苏玩电脑·2023-11-28 18:52

Doris-Broker Load（二十四）

适用场景源数据在Broker可以访问的存储系统中，如HDFS。数据量在几十到百GB级别。
玖玖1704·2023-11-28 16:18

大数据实训05--网站离线日志分析实战

要分析的KPI：浏览量PV、注册用户数、IP数、跳出用户数、访问页面详细统计运行流程数据源----数据采集（存到HDFS）-----数据
faaarii·2023-11-28 16:45

大数据技术基础实验四：HDFS实验——读写HDFS文件

大数据技术基础实验四：HDFS实验——读写HDFS文件文章目录大数据技术基础实验四：HDFS实验——读写HDFS文件一、前言二、实验目的三、实验原理1、JavaClasspath2、EclipseHadoop
-北天-·2023-11-28 16:13

大数据编程技术基础实验八：Flume实验——文件数据Flume至HDFS

大数据编程技术基础实验八：Flume实验——文件数据Flume至HDFS文章目录大数据编程技术基础实验八：Flume实验——文件数据Flume至HDFS一、前言二、实验目的三、实验要求四、实验原理1、flume
-北天-·2023-11-28 16:13

大数据处理实验（三）HDFS基本操作实验

HDFS基本操作实验1、Hadoop配置环境变量2、列出当前目录下的文件3、级联创建一个文件夹，类似这样一个目录：/mybook/input4、上传文件至HDFS5、从HDFS上下载文件6、查看HDFS
吱唔朱_·2023-11-28 16:43

大数据从入门到实战 - 第2章 分布式文件系统HDFS

大数据从入门到实战-第2章分布式文件系统HDFS一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：HDFS的基本操作2、第2关：HDFS-JAVA接口之读取文件3、实验三HDFS-JAVA
发芽ing的小啊呜·2023-11-28 16:42

HDFS-实验指导书 -更新

Hadoop02核心介绍1.HDFSHDFS（HadoopDistributedFileSystem）是一个ApacheSoftwareFoundation项目,是ApacheHadoop项目的一个子项目
撒娇的猫·2023-11-28 16:42

HDFS与Hive实战 + 滴滴出行数据分析

HDFS与Hive实战+滴滴出行数据分析1.HDFS1.1分布式文件系统1.2HDFS的Shell命令行1.3启动Hadoop集群1.4大数据环境清单2.数据仓库2.1数据仓库与数据库区别3.Hive3.1
jialun0116·2023-11-28 16:41

hadoop的HDFS的shell命令大全（一篇文章就够了）

文章目录HDFS的shell命令1、安全模式1.查看安全模式状态2.手工开启安全模式状态3.手工关闭安全模式状态2、文件操作指令1.查看文件目录2.查看文件夹情况3.文件操作4.上传文件5、获取文件6.
绝域时空·2023-11-28 16:39

大数据平台/大数据技术与原理-实验报告--实战HDFS

实验名称实战HDFS实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.10.23-2023.10.27实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5
jakeonil·2023-11-28 16:25

java使用idea操作HDFS

本文参照这位博主的文章https://blog.csdn.net/weixin_45754552/article/details/121019053，并亲自实操做的笔记。一、前言关于在IDEA中使用JavaAPI对Hadoop进行操作。Hadoop中关于文件操作类基本上全部是在“org.apache.hadoop.fs”包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。1、文件在
梦痕长情·2023-11-28 14:14

第4.4章：StarRocks备份还原--Backup&Restore

Backup操作也需要Broker组件，通过Broker将数据备份到远端存储系统中，例如HDFS、OSS、COS或S3等。
流木d·2023-11-28 11:35

Hive基本操作

目录一、Hive创建数据库与数据表1.1.数据库相关操作1.1.1.创建数据库1.1.2.创建数据库并指定HDFS存储路径1.1.3.修改数据库1.1.4.查看数据库详情信息1.1.5.删除数据库1.2
进阶的橙汁糖·2023-11-28 10:10

Apach Ozone部署

我自己对hadoop这套体系不是很熟悉，所以过程磕磕碰碰，好不容易勉强搭起来，所以记录一下部署方式准备三台主机，主机均已安装jdk、hdfs，相关的安装配置就不另外写了，网上很多教程。
sadoshi·2023-11-27 23:02

flink on yarn集群环境(生产环境使用)

因此Flink也支持在Yarn上面运行；flinkonyarn的前提是：****hadoop、hdfs、yarn****均启动配置要求jdk1.8及以上【配置JAVA_HOME环境变量】ssh免密码登录
huahailing1024·2023-11-27 20:30

Apache Iceberg核心原理分析文件存储及数据写入流程

第一部分：Iceberg文件存储格式ApacheIceberg作为一款新兴的数据湖解决方案在实现上高度抽象，在存储上能够对接当前主流的HDFS，S3文件系统并且支持多种文件存储格式，例如Parquet、
王知无(import_bigdata)·2023-11-27 19:25

2 MapReduce计算的流程-Hadoop

架构图1map端分块针对上传到hdfs上的文件，会针对文件进行分块（物理分块，固定大小64M，多余的则进行分，少的则不变），分块之后存储相应的datanode计算机的磁盘上面；把File划分成Block
汀沿河·2023-11-27 12:07

spark篇（一）——Spark核心概念与操作

它的优势有三个方面：通用计算引擎能够运行MapReduce、数据挖掘、图运算、流式计算、SQL等多种框架；基于内存数据可缓存在内存中，特别适用于需要迭代多次运算的场景；与Hadoop集成能够直接读写HDFS
许志辉Albert·2023-11-27 08:53

Hbase基本原理

1.hbase采用列式存储，即每一列的数据存储到一起，不同的列基于hdfs存储在不同的机器上，这样做的好处是，查询一条数据，每个机器的I/O同时工作，只查询自己拥有的列数据，更加高效，另外，列单独存储，
请叫我李半仙·2023-11-27 07:12

大数据处理框架Spark：核心原理

RDD可以从HadoopHDFS、HBase等数据源创建，也可以通过转换操作和持久化操作进行处理和存储。下面是一
雨中徜徉的思绪漫溢·2023-11-27 04:17

ClickHouse基础知识及与MySQL性能对比

MergeTree系列表引擎CollapsingMergeTreeVersionedCollapsingMergeTreeSummingMergeTreeAggregatingMergeTree外部存储引擎HDFS
JK凯爷·2023-11-26 19:17

HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置

集群搭建5、验证HBase、ZooKeeper、Hadoop等集群运行情况参考：Hadoop2.4的ResourceManagerHA高可用配置hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFSHA
jerry_jiang2017·2023-11-26 19:42

传统数仓和clickhouse对比

不过也包括Kylin等，而clickhouse是实时OLAP的代表，我们简单看下他们的对比传统数仓和clickhouse对比Hive+SparkSQL的传统数仓：1.数据更新速度慢，由于传统数仓一般都是基于HDFS
lixia0417mul2·2023-11-26 19:06

大数据基础 HDFS客户端操作

一、Maven概述Maven是一个专门用于管理和构建Java项目的工具。我们之所以要使用Maven，是因为Maven可以为我们提供一套标准化的项目结构、一套标准化的构建流程和一套方便的依赖管理机制，这些功能可以使得我们的项目结构更加清晰，导入jar包的方式更加方便和标准，进而使得我们的开发更加的便捷高效。maven是Apache的顶级项目，解释为“专家，内行”，它是一个项目管理的工具，maven自
星星失眠️·2023-11-26 19:05

hadoop(10)--MR运行模式以及Yarn的调度流程

首先开门见山，说明一下MR的l两种种运行模式1，在本地运行模式①在windows中，intellijidea或者eclipse中直接运行，文件存储可以是本地也可以是HDFS②在linux中，运行eclipse
ROCK_杰哥·2023-11-26 13:14

Datax安装部署及读取MYSQL写入HDFS

一.DataX简介1.DataX概述DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
Appreciate(欣赏)·2023-11-26 09:25

简析Hadoop的三种运行模式

不需要与其他节点交互，不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的
我要下东西噢·2023-11-26 08:13

HADOOP大数据之HDFS数据安全与隐私保护

HDFSTrash垃圾桶功能概述HDFSTrash机制，叫做回收站或者垃圾桶。Trash就像Windows操作系统中的回收站一样。它的目的是防止你无意中删除某些东西。默认情况下是不开启的。
奋斗的韭菜汪·2023-11-26 08:24

Hadoop+Hive+Spark+Hbase开发环境练习

1.练习一1.数据准备在hdfs上创建文件夹，上传csv文件[root@kb129~]#hdfsdfs-mkdir-p/app/data/exam查看csv文件行数[root@kb129~]#hdfsdfs-cat
不吃香菜lw·2023-11-26 07:48

HBase入门篇

HBase是ApacheHadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据存储文件夹的结构,还可以通过Map
youzhouliu·2023-11-26 06:51

一篇文章入门Hbase

文件系统之上的分布式面向列的数据库，为横向发展类型数据库，提供快速随机访问海量结构化数据，它是Hadoop生态系统，提供对数据的随机实时读/写访问，是Hadoop文件系统的一部分，利用了Hadoop的文件系统(HDFS
王知无(import_bigdata)·2023-11-26 06:15

HBase入门篇4–存储

前几篇文章讲述了HBase的安装、Hbase命令和API的使用、HBase简单的优化技巧，《HBase入门篇4》这篇文章是讲述把HBase的数据放在HDFS上的点滴过程。
寂寞烟·2023-11-26 06:43
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他