hadoopHDFS

hbase介绍

hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用
CrazyL-·2024-09-15 13:06

HBase介绍

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
mingyu1016·2024-09-14 21:47

Hadoop HDFS中的NameNode、SecondaryNameNode和DataNode

HadoopHDFS中的NameNode、SecondaryNameNode和DataNode目录1.定义2.主要作用3.官方链接1.定义在HadoopHDFS（Hadoop分布式文件系统）中，有三个关键的组件
BigDataMLApplication·2024-09-10 00:38

Hbase的简单使用示例

HBase是基于HadoopHDFS构建的分布式、列式存储的NoSQL数据库，适用于存储和检索超大规模的非结构化数据。它支持随机读写，并且能够处理PB级数据。
傲雪凌霜，松柏长青·2024-09-09 11:40

从零到一建设数据中台 - 关键技术汇总

一、数据中台关键技术汇总语言框架：Java、Maven、SpringBoot数据分布式采集：Flume、Sqoop、kettle数据分布式存储：HadoopHDFS离线批处理计算：MapReduce、Spark
我码玄黄·2024-08-24 12:09

Springboot快速教程---Docker搭建与整合Hbase

HBase作为GoogleBigtable的开源实现，GoogleBigtable利用GFS作为其文件存储系统类似，则HBase利用HadoopHDFS作为其
爆米花机枪手·2024-01-31 07:53

大数据技术汇总

HadoopHadoop入门概述Hadoop运行模式介绍HadoopHDFS的运行流程HadoopMapReduce的运行流程Hadoopyarn的运行流程Hadoop内HDFS、MapReduce和YARN
转身成为了码农·2024-01-21 07:41

centos spark单机版伪分布式模式

1.2Spark部署依赖SparkStandalone的运行依赖于JDK、Scala，本来是不依赖于Hadoop的，但Spark自带的许多演示程序都依赖于HadoopHDFS，因此我们也部署了伪分布式的
piziyang12138·2024-01-15 00:05

解锁大数据世界的钥匙——Hadoop HDFS安装与使用指南

目录1、前言2、HadoopHDFS简介3、HadoopHDFS安装与配置4、HadoopHDFS使用5、结语1、前言大数据存储与处理是当今数据科学领域中最重要的任务之一。
凛鼕将至·2023-12-31 07:25

分布式系统面试连环炮

他们有共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统hadoophdfs、分布式计算系统hadoopmapreduce/
Java机械师·2023-12-26 23:13

MINIO在java中的使用

对象存储可以充当主存储层，以处理Spark、Presto、TensorFlow、H2O.ai等各种复杂工作负载以及成为HadoopHDFS的替代品--------引自官网的话。
IT小学僧·2023-12-23 14:48

centos spark单机版伪分布式模式

1.2Spark部署依赖SparkStandalone的运行依赖于JDK、Scala，本来是不依赖于Hadoop的，但Spark自带的许多演示程序都依赖于HadoopHDFS，因此我们也部署了伪分布式的
数据萌新·2023-12-22 07:17

【Hadoop】

组件配置文件启动进程备注HadoopHDFS需修改需启动NameNode(NN)作为主节点DataNode(DN)作为从节点SecondaryNameNode(SNN)主节点辅助分布式文件系统HadoopYARN
想当运维的程序猿·2023-12-15 07:43

HDFS运维问题

最后根据这些问题处理经验，汇总了hadoophdfs集群需要关注的告警指标。一、定期block全盘扫描，引起dn心
专职掏大粪·2023-12-04 23:50

HDFS概述

什么是HDFS2.HDFS基本架构3.搭建[HDFS]4.安装hadoop5.hadoop配置文件的配置etc/hadoop6.namenode的格式化7.启动hadoop守护进程8.测试验证安装成果9.HadoopHDFS
~chun·2023-11-30 20:11

Spark on YARN的部署

SparkonYARN的原理就是依靠yarn来调度Spark，比默认的Spark运行模式性能要好的多，前提是首先部署好hadoopHDFS并且运行在yarn上，然后就可以开始部署sparkonyarn了
GoodInSun·2023-11-30 03:23

大数据处理框架Spark：核心原理

RDD可以从HadoopHDFS、HBase等数据源创建，也可以通过转换操作和持久化操作进行处理和存储。下面是一
雨中徜徉的思绪漫溢·2023-11-27 04:17

hadoop HDFS常用文件操作命令

文章目录hadoopHDFS常用文件操作命令显示目录下文件ls查看文件内容cat建目录mkdir拉hdfs上的文件到本地get合并文件到本地getmerge上传本地文件到hdfsput查文件数量count
pingzishinee·2023-11-23 13:11

使用Docker部署HBase并使用Java-API连接

HBase利用HadoopHDFS作为其文件
当一艘船沉入海底8·2023-11-22 04:56

让你彻底学会HBase

利用HadoopHDFS作为其文件存储系统，利用ZooKeeper作为其分布式协同服务。主要用来存储非结构化和半结构化的松散数据（列式存储NoSQL数据库）。
地球魔·2023-11-20 12:11

4hadoopHDFS集群搭建-伪分布式模式

hadoop旧版网址：http://hadoop.apache.org/old/2.6.5版本ssh协议在免密登陆其他机器的时候，不会加载其他机器的环境变量。就是不会加载/etc/profile文件在免密登陆别的机器时，如果需要环境变量可以先加载环境变量，然后在执行命令。例如：[email protected]’source/etc/profile;echo$PATH’即可伪分布式模式：单
没有女朋友的程序员·2023-11-17 03:28

SpringBoot整合 MinIO 分布式对象存储

对象存储可以充当主存储层，以处理Spark、Presto、TensorFlow、H2O.ai等各种复杂工作负载以及成为HadoopHDFS的替代品。可扩展性：
码小呆~·2023-11-09 09:36

大数据入门：Hadoop HDFS存储原理

今天的大数据入门分享，我们就来讲讲HadoopHDFS存储原理。1、什么是HDFS？
成都加米谷大数据·2023-11-05 16:35

【Hadoop】一、Apache Hadoop、 HDFS

用java语言实现，开源允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理Hadoop核心组件HadoopHDFS（分布式文件存储系统）：解决海量数据存储HadoopYARN（集群资源管理和任务调度框架
陌上人如玉এ·2023-11-04 11:55

hadoop进程启停管理(看这一篇就足够了！)

一、一键启停脚本HadoopHDFS组件内置了HDFS集群的一键启停脚本$HADOP_HOME/sbin/start-all.sh,一键启动HDFS集群执行原理：在执行此脚本的机器上，启动SecondaryNameNode
syst1m'·2023-11-04 11:54

Hadoop HDFS(分布式文件系统)

一、HadoopHDFS(分布式文件系统)为什么要分布式存储数据假设一个文件有100tb，我们就把文件划分为多个部分，放入到多个服务器靠数量取胜，多台服务器组合，才能Hold住数据量太大，单机存储能力有上限
syst1m'·2023-11-02 10:06

Flume 快速入门【概述、安装、拦截器】

它的主要目的是帮助用户将大规模数据从各种数据源（如日志文件、网络数据源、消息队列等）采集、传输和加载到数据存储系统（如HadoopHDFS、ApacheH
月亮给我抄代码·2023-10-30 19:55

大数据笔记-关于Cassandra的删除问题

Cassandra是Facebook开源的一个NoSQL数据库，它除了具备一般的NoSQL分布式数据库特点以外，最大的一个特点是去中心化架构设计，这和HadoopHDFS/HBase等不一样，比如HDFS
鬓戈·2023-10-30 06:48

大数据测试v 1.0

v1.0-序：本次测试从6-12到7-12号整整历时1个月，除去休息，真正大约20个工作日，在这20个工作日里面，中途周末加过几次班，满打满算应该20多天，接触并经历了大数据功能测试、一体机性能测试、大数据HadoopHDFS
武晓兵·2023-10-26 06:17

<官网学大数据>Hive

Hive简介Hive是简历在HadoopHDFS上的数据仓库基础架构Hive可以用来进行数据提取转化加载(ETL),通过sqoop加载数据Hive定义了简单的sql查询语言HqlHive是SQL解析引擎
kangapp·2023-10-24 16:48

hadoop HDFS的文件夹创建、文件上传、文件下载、文件夹删除，文件更名、文件详细信息、文件类型判断（文件夹或者文件）

摘要：本篇文章主要介绍的是hadoophdfs的基础api的使用。包括Windows端依赖配置，Maven依赖配置。
小雏菊的成长·2023-10-24 01:35

基于 Gradle 远程连接Hadoop HDFS编程

基于Gradle远程连接HadoopHDFS编程在一个现代化的时候，界面不好看的Eclipse和操作易用性相比而言更高的IntelliJIdea。
ysmintor·2023-10-14 17:39

HBase NoSQL数据库详解

HBase作为GoogleBigtable的开源实现，GoogleBigtable利用GFS作为其文件存储系统类似，则HBase利用HadoopHDFS作
wespten·2023-10-13 23:51

Hbase集群部署

HBASE介绍–HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库–利用HadoopHDFS作为其文件存储系统,利用HadoopMapReduce来处理
Best_Liu~·2023-10-13 23:49

centos spark单机版伪分布式模式

1.2Spark部署依赖SparkStandalone的运行依赖于JDK、Scala，本来是不依赖于Hadoop的，但Spark自带的许多演示程序都依赖于HadoopHDFS，因此我们也部署了伪分布式的
printf200·2023-10-13 03:32

《黑马程序员》大数据集群（Hadoop生态）安装部署——图文讲解

HadoopHDFS提供分布式海量数据存储能力HadoopYARN提供分布式集群资源管理能力HadoopMapReduce提供分布式海量数据计算能力前置要求请确保完成了集群化环境前置准备章节的内容即：JDK
懒羊羊夸夸~·2023-10-10 02:41

Hadoop之hdfs简介

HadoopHDFS:一个高可靠、高吞吐量的分布式文件存储系统HadoopMapReduce:一个分布式的离线并行计算框架HadoopYARN:一个新的MapReduce框架，任务调度与资源管理框架HadoopDistrib
墙角的枫叶·2023-10-08 07:53

大数据学习，涉及哪些技术？

分布式存储系统：如HadoopHDFS、AmazonS3、GoogleCloudStorage等。数据仓库：如AmazonRedshift
金木讲编程·2023-10-07 08:14

hadoop 小文件处理方案

hadoophdfs被设计用作海量数据存储，适合存储大文件，文件在hdfs中是以block的形式存储的，在hadoop1.x中，hdfsblock的默认大小为64m，而在hadoop2.x中，block
Ivan_030c·2023-10-03 23:49

java大数据之hive

(1)建立在HadoopHDFS上的数据仓库基础架构(2)可以用来进行ETL(3)定义了类似于SQL,成为HQL(4)允许MapReduce自定义1.2Hive官网http://hive.apache.org
这一刻_776b·2023-10-01 18:12

「大数据-2.1」HDFS集群启停命令

集群一键启停脚本1.HDFS集群的一键启动脚本2.HDFS集群的一键关闭脚本二、单进程启停1.hadoop-daemon.sh脚本2.hdfs脚本三、总结1.一键启停脚本2.独立进程启停一、HDFS集群一键启停脚本HadoopHDFS
烛火萤辉·2023-09-28 02:19

大数据存储与处理

以下是关于大数据存储与处理的一些关键概念和技术：1.数据存储：大数据通常需要高效的存储解决方案，包括分布式文件系统（如HadoopHDFS）和分布式数据库系统（如ApacheCassandra、HBase
猫一样的女子245·2023-09-21 19:39

MapReduce & YARN 的部署

1、部署说明HadoopHDFS分布式文件系统，我们会启动：NameNode进程作为管理节点DataNode进程作为工作节点SecondaryNamenode作为辅助同理，HadoopYARN分布式资源调度
新征程，再出发·2023-09-18 03:30

HDFS的Shell操作

1、进程启停管理1.1、一键启停脚本HadoopHDFS组件内置了HDFS集群的一键启停脚本。
新征程，再出发·2023-09-17 09:23

Hadoop概述

用java语言实现开源软件框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理Hadoop核心组件HadoopHDFS(分布式文件存储管理系统)：解决海量数据存储HadoopYARN(集群资源管理和任务调度框架
藤藤菜丶·2023-09-09 05:15

大数据技术之Hadoop：Yarn集群部署（七）

目录一、部署说明二、集群规划三、开始配置3.1MapReduce配置文件3.2YARN配置文件3.3分发配置文件四、集群启停4.1命令介绍4.2演示4.3查看YARN的WEBUI页面一、部署说明HadoopHDFS
何苏三月·2023-09-09 04:19

Hadoop:Call From wish/192.168.11.1 to wish:9000 failed on connection exception:java.net.ConnectExcep

问题：今天用eclipse连接hadoophdfs时，配置Map/Reduce(V2)master,DFSmaster时出现以下报错信息：解决办法：1、打开Eclipse，依次点击“Window”→“Preferences
躺平的赶海人·2023-09-06 15:58

HDFS文件的读写流程

HadoopHDFS的读写文件流程HDFS写文件流程客户端通过DistributedFileSystem模块向NameNode请求上传文件（hadoopfs-put文件名文件路径）判断该客户端是否有写入权限
aiYouWei啊·2023-09-03 12:00

【hadoop】windows上hadoop环境的搭建步骤

文章目录前言基础环境下载hadoop安装包下载hadoop在windows中的依赖配置环境变量Hadoophdfs搭建创建hadfs数据目录修改JAVA依赖修改配置文件初始化hdfsnamenode启动
小沈同学呀·2023-08-17 03:01

`hadoop fs -mkdir ` 创建的目录位置

test3ll/mkdir相对路径#相对路径都是相对当前工作路径，当前目录下`ll`查看一下也能很清晰看到mkdir-ptest4/test5llhadoop创建文件夹命令hadoopfs-mkdir绝对路径#hadoophdfs
·2023-08-16 13:28
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他