E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
ftp+分布式文件系统
Hadoop
Hadoop的基本架构包括以下几个核心组件:HDFS(HadoopDistributedFileSystem):它是一个高度容错性的
分布式文件系统
,能提供高吞吐量的数据访问,非常适合大规模数据集
编织幻境的妖
·
2023-12-05 06:31
hadoop
大数据
分布式
Hadoop的介绍与安装
HDFS是一个
分布式文件系统
:引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode,对数据进行分布式储存和读取。MapReduce是一个分布式
憨憨小白
·
2023-12-05 06:30
hadoop
大数据
分布式
IPFS将颠覆HTTP在互联网的霸主地位?
IPFS是一个点对点的
分布式文件系统
(比特币是一种点对点的电子现金系统),作为文件系统嘛,当然可以用来存储文件,这个文件包括文本、图片、视频等等。
仁正
·
2023-12-05 02:55
大数据的技术栈-逐步完善
目录1.hadoopa.HDFS
分布式文件系统
b.Yarn集群资源管理器c.MapReducesql引擎d.Impalasql引擎e.工具概观2.数据仓库知识a.Hive数据库1)HiveSql2)数据库结构
刘文钊1
·
2023-12-04 20:12
大数据
大数据生态圈及
分布式文件系统
HDFS实践-part1
Hadoop入门第一章大数据概述1.1大数据概念“人类正在从IT时代走向DT时代”。大数据(BigData):指的是传统数据处理应用软件不足以处理(存储和计算)它们的大而复杂的数据集。主要解决,海量数据的存储和海量数据的运算问题。1.2大数据特征容量大,种类多,速度快,价值高1、容量(Volume):数据的大小决定所考虑的数据的价值和潜在的信息微博,5亿用户,每天上亿条微博朋友圈,10亿用户,每天
落叶飘雪2014
·
2023-12-04 15:40
Hadoop
大数据
Hadoop
HDFS
Java操作Hdfs(
分布式文件系统
)完成文件上传、下载和删除
Java操作Hdfs(
分布式文件系统
)文件上传实现创建Maven项目,项目命名Hadoop_hdfs导入pom.xml依赖4.0.0hadoophadoop0.0.1-SNAPSHOThadoop_learnorg.apache.hadoophadoop-client3.2.0
菜鸟小党
·
2023-12-04 15:39
hadoop
hdfs
java
hadoop
HDFS和MapReduce综合实训:构建大数据处理应用
摘要:本文将介绍如何使用Hadoop
分布式文件系统
(HDFS)和MapReduce框架来构建大数据处理应用。
IbtnLisp
·
2023-12-04 15:09
hdfs
mapreduce
hadoop
【头歌实训】
分布式文件系统
HDFS
文章目录第1关:HDFS的基本操作任务描述相关知识HDFS的设计
分布式文件系统
NameNode与DataNodeHDFS的常用命令编程要求测试说明答案代码第2关:HDFS-JAVA接口之读取文件任务描述相关知识
撕得失败的标签
·
2023-12-04 15:08
【头歌实训】
hdfs
npm
hadoop
分布式
大数据
大数据技术合集(持续更新)
0.大数据技术演变史(来自通信院)1.起源:Google的三驾马车1.1GFS1.2BigTable1.3MapReduce2.开源大数据文件、对象、块存储2.1
分布式文件系统
:HDFS、Ceph、GlusterFS
amuseme_lu
·
2023-12-04 05:39
BigData
大数据
大数据开发:HDFS Erasure Coding机制
Hadoop的
分布式文件系统
HDFS,其冗余备份机制,确保了数据存储的容错,但是同时也增加了冗余存储成本。今天的大数据开发分享,我们就来讲讲HDFSErasureCoding机制。
成都加米谷大数据
·
2023-12-03 14:29
【开源存储】glusterfs
分布式文件系统
部署实践
文章目录一、前言1、介绍说明2、术语说明3、冗余模式3.1、复制卷(Replication)3.2、纠删卷(ErasureCode)二、部署说明1、软件安装2、集群部署2.1、前置准备2.2、部署过程a、添加节点b、配置存储c、创建glusterfs卷d、客户端挂载3、常用操作3.1、扩展卷(add-brick)3.2、收缩卷(remove-brick)三、Q&A1、volumecreate:re
Luxf0
·
2023-12-03 05:25
#
开源存储
开源
主要
分布式文件系统
架构对比分析:GFS vs. Tectonic vs. JuiceFS
为了满足不断增长的存储需求,
分布式文件系统
作为动态且可扩展的解决方案应运而生。
沃趣数据库管理平台
·
2023-12-02 00:34
技术专栏
架构
分布式
云原生
数据库
IPFS:下一代
分布式文件系统
(filenet)
一概述星际文件系统是一种点对点的
分布式文件系统
,旨在连接所有有相同的文件系统的计算机设备。
壹五叁说IPFS
·
2023-12-01 19:24
Hadoop运行模式及目录结构
文章目录Hadoop运行模式本地模式伪分布式模式完全分布式模式Hadoop目录结构配置文件说明默认配置文件:自定义配置文件:Hadoop运行模式本地模式这种模式在一台单机上运行,没有
分布式文件系统
,而是直接读写本地操作系统的文件系统
撕得失败的标签
·
2023-12-01 12:23
Hadoop
hadoop
大数据
分布式
分布式文件系统
FastDFS
FastDFS是什么FastDFS是一款开源的轻量级
分布式文件系统
:纯C实现,支持Linux、FreeBSD等UNIX系统类googleFS,不是通用的文件系统,只能通过专有API访问,目前提供了C、Java
会踢球的程序源
·
2023-12-01 12:00
java
学习
[Ubuntu 18.04] RK3399搭建NFS服务实现共享目录
NFS(NetworkFileSystem)是一种
分布式文件系统
协议,允许远程计算机通过网络访问存储在另一台计算机上的文件。
嵌入式逍遥
·
2023-12-01 07:15
嵌入式Linux调试
ubuntu
linux
运维
nfs
rk3399
2019-02-01
大数据技术的产生以及发展谷歌的三篇论文
分布式文件系统
GFS大数据分布式计算框架mapreduceNoSQL数据库系统BigTable大数据计算离线计算——批处理计算(MapReduce、Spark)实时计算
奔跑的风2019
·
2023-12-01 04:34
FastDFS实现本地文件服务器
FastDFS是一个开源的轻量级
分布式文件系统
,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。
user__kk
·
2023-12-01 03:02
技术
java
微服务
nginx
服务器
运维
一篇文章,掌握所有开源数据库的现状
本次分享聚焦于数据库既结构化数据存储OLTP及NoSQL领域,不会涉及OLAP、对象存储、
分布式文件系统
。1开源RDBMS与互联网的崛起很长时间以来,关系型数据库一直是大公司的专利,市场被
M偶遇在沙漠
·
2023-12-01 01:00
java后端
mysql
Java
数据库
mysql
mariadb
HDFS简介
统一管理分布在集群上的文件系统称为
分布式文件系统
。而一旦在系统中,引入网络,就不可避免地引入了所有网络编程的复杂性,例如挑战之一是如果保证在节点不可用的时候数据不丢失。
武汉小旭旭
·
2023-11-30 20:40
Hadoop
hdfs
hadoop
大数据
HDFS详解
HDFS架构剖析HDFS,HadoopDistributeFileSystem(Hadoop
分布式文件系统
)的简称,它是Hadoop核心组件之一,是大数据生态圈最底层的分布式存储服务。
liuhanyuu
·
2023-11-30 20:09
hdfs
hadoop
大数据
【Hadoop】
分布式文件系统
HDFS
读过程3.HDFS故障类型和其检测方法故障类型和其检测方法读写故障的处理DataNode故障处理副本布局策略一、介绍HDFS(HadoopDistributedFileSystem)是Hadoop下的
分布式文件系统
和瑚
·
2023-11-30 20:06
#
Hadoop
hadoop
hdfs
大数据
Hyper-v虚拟机Hadoop集群搭建
Hadoop实现了一个
分布式文件系统
(HadoopDistributedFileSystem),简称HDFS。
真.电脑人
·
2023-11-30 16:16
hadoop
大数据
分布式
01数仓平台 Hadoop介绍与安装
HDFS架构概述HadoopDistributedFileSystem,简称HDFS,是一个
分布式文件系统
。包含
kk_io
·
2023-11-30 13:38
数据仓库
hadoop
大数据
分布式
Hadoop-HDFS角色工作机制
一、角色职责介绍 HadoopDistributedFileSystem(HDFS,
分布式文件系统
):HDFS是Hadoop应用程序使用分布式存储,HDFS集群主要由管理文件系统元数据的NameNode
H.S.T不想卷
·
2023-11-30 10:33
大数据
hadoop
hdfs
大数据
大数据-hadoop-hdfs
Hadoop
分布式文件系统
(HDFS)是指被设计成适合运行在通用硬件(commodityhardware)上的
分布式文件系统
(DistributedFileSystem)。
像影子追着光梦游_
·
2023-11-30 09:48
大数据
hadoop
hdfs
【物联网与大数据应用】Hadoop数据处理
Hadoop利用分而治之的思想为大数据提供了一整套解决方案,如
分布式文件系统
HDFS、分布式计算框架MapReduce、NoSQL数据库HBase、数据仓库工具Hive等。
Bosenya12
·
2023-11-30 09:06
大数据
hadoop
分布式
Docker 安装 FastDFS
简述FastDFS是一个开源的轻量级
分布式文件系统
,它的主要功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。
虹猫日志
·
2023-11-29 23:50
大数据之HBase教程
Hadoop使用
分布式文件系统
,用于存储大数据,并使用MapReduce来处理。Hadoop擅长于存储各种格式的庞大的数据,任意的格式甚至非结构化的处理。
@轻流
·
2023-11-29 20:00
Hbase
大数据
fastdfs部署详解
创建存储文件目录拷贝配置文件修改配置文件启动检验上传三、添加nginx显示配置fastdfs-nginx-module安装nginx修改nginx配置文件启动nginx网页检验官方github支持官方解释:FastDFS是一个开源的高性能
分布式文件系统
(~ ̄▽ ̄)~凤凰涅槃
·
2023-11-29 14:31
linux
网络
FastDFS 部署
二、FastDFS官方介绍FastDFS是一款类GoogleFS的开源
分布式文件系统
,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问,不
点滴Java
·
2023-11-29 14:59
JAVA
FastDFS部署
简介FastDFS是一个开源的轻量级
分布式文件系统
,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。
一码归一码@
·
2023-11-29 14:54
分布式理论&中间件搭建
服务器
java
Spark Streaming的基本数据流
在大数据环境中,尤其是使用Hadoop
分布式文件系统
(HDFS)时,数据通常被认为是静态的,这是因为HDFS被设计成适合一次写入和多次读取的场景
俺会hello我的
·
2023-11-29 07:55
spark
大数据
数据仓库
大数据从入门到实战 - 第2章
分布式文件系统
HDFS
大数据从入门到实战-第2章
分布式文件系统
HDFS一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关:HDFS的基本操作2、第2关:HDFS-JAVA接口之读取文件3、实验三HDFS-JAVA
发芽ing的小啊呜
·
2023-11-28 16:42
#
大数据&云计算基础
大数据
hadoop
hdfs
HDFS-实验指导书 -更新
ApacheHadoop项目的一个子项目.Hadoop非常适于存储大型数据(比如TB和PB),其就是使用HDFS作为存储系统.HDFS使用多台计算机存储文件,并且提供统一的访问接口,像是访问一个普通文件系统一样使用
分布式文件系统
撒娇的猫
·
2023-11-28 16:42
hdfs
hadoop
big
data
HDFS与Hive实战 + 滴滴出行数据分析
HDFS与Hive实战+滴滴出行数据分析1.HDFS1.1
分布式文件系统
1.2HDFS的Shell命令行1.3启动Hadoop集群1.4大数据环境清单2.数据仓库2.1数据仓库与数据库区别3.Hive3.1
jialun0116
·
2023-11-28 16:41
大数据
Hive
数据仓库
数据库
数据仓库
数据挖掘
hadoop
大数据
利用kibana 快照备份es数据库
ambari-hadoop1192.168.10.101ambari-hadoop2192.168.10.102kibanaambari-hadoop3192.168.10.103es这里我们利用共享文件系统,存储快照,所以需要利用到nfs(NFS(NetworkFileSystem)是一种
分布式文件系统
协议
dogplays
·
2023-11-28 14:33
kibana
Elasticsearch
elasticsearch
大数据
搜索引擎
阿里云OSS服务
1.1、图片上传1.1.1、图片存储解决方案实现图片上传服务,需要有存储的支持,那么我们的解决方案将以下几种:直接将图片保存到服务的硬盘优点:开发便捷,成本低缺点:扩容困难使用
分布式文件系统
进行存储优点
方生方死
·
2023-11-28 07:28
阿里云
阿里云
云计算
kubernetes
第02章 CentOS7.x 搭建 Nginx+Keepalived+FastDFS
分布式文件系统
高可用负载均衡集群
搭建Nginx+Keepalived+FastDFS
分布式文件系统
高可用负载均衡集群文章目录1FastDFS概述1.1FastDFS介绍1.2FastDFS上传文件交互过程1.3FastDFS下载文件交互过程
KonyLi
·
2023-11-28 05:23
技术架构笔记
高可用技术架构
基于CentOS7.x技术实践
分布式
java
负载均衡
经验分享
nginx
(单机)FastDFS + Nginx 安装部署流程
FastDFS简介FastDFS是一个开源的轻量级
分布式文件系统
,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。
IT界的一颗新星
·
2023-11-28 05:53
Linux
linux
centos
python开发之FastDFS分布式存储系统整合Nginx部署重写Django项目文件传输行为
FastDFS业务场景概述部署FastDFS整合FastDFS和NginxFastDFS与Python交互重写Django项目文件传输行为FastDFS业务场景概述基于C语言开发的FastDFS是一项开源轻量级
分布式文件系统
Pythonicc
·
2023-11-28 05:52
unix运维
WEB后端开发
分布式
nginx
linux
centos
python
分布式存储ceph---ceph概念及原理(1)
一、Ceph简介:Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、
分布式文件系统
。ceph的统一体现在可以提供文件系统、块存储和对象存储,分布式体现在可以动态扩展。
om林mo
·
2023-11-27 10:14
ceph
ceph
fastdfs+nginx搭建
分布式文件系统
-2
环境准备:1,nginx-1.13.7.tar.gz2,openssl-1.1.0g.tar.gz3,pcre-8.41.tar.gz4,zlib-1.2.11.tar.gz5,fastdfs-nginx-module-1.20.tar.gz搭建过程:安装包2,3,4简单点可直接用yum安装,安装过程此处不再赘述。解压安装包1,5。如下修改解压后文件夹fastdfs-nginx-module-1.
HandsomeDad
·
2023-11-26 20:29
HBase环境部署
有三种运行模式:1、单机模式:只在一台计算机运行,这种模式下,HBase所有进程包括Maste、HRegionServer、和Zookeeper都在同一个JVM中运行,存储机制采用本地文件系统,没有采用
分布式文件系统
文森的小披风
·
2023-11-26 04:48
数据库
hadoop
hdfs
zookeeper
hbase
Apache BookKeeper 简介
Research)开发,旨在实现Hadoop
分布式文件系统
(HDFS)NameNode的高可用,在此之前,NameNode不具备高可用特性,存在单点故障的问题。
StreamNative
·
2023-11-25 20:11
分布式计算 第五章 大数据多机计算:Hadoop
5.2.2HDFS:
分布式文件系统
5.2.3YARN:调度器5.2.4MapReduc
一只大小菜
·
2023-11-25 14:42
大数据
hadoop
分布式
dfs文件服务器迁移,Microsoft Windows:迁移到 DFS
MicrosoftWindows:迁移到DFS08/17/2016本文内容如果您仍在使用多年以前的文件和文件夹复制解决方案,现在该试试
分布式文件系统
了。
鹏翼Link
·
2023-11-25 11:01
dfs文件服务器迁移
dfs根目录_
分布式文件系统
DFS详细解读
使用
分布式文件系统
DFS可以轻松定位和管理网络中的共享资源、使用统一的命名路径完成对所需资源院的访问、提供可靠的负载平衡、与FRS(文件复制服务)联合在多台服务器之间提供冗余、与windows权限集成以保证安全
nasalover
·
2023-11-25 11:01
dfs根目录
玩转人工智能(11)使用Pyspark上手机器学习
文件系统HDFSHadoopDistributedFileSystem,简称HDFS,是一个
分布式文件系统
。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。
Moscar_M
·
2023-11-25 07:10
大数据组件图谱
大数据组件图谱文件系统数据存储内存技术数据搜集消息系统数据处理查询引擎分析和报告工具调度与管理服务机器学习开发平台文件系统HDFSHadoopDistributedFileSystem,简称HDFS,是一个
分布式文件系统
饮水思源09
·
2023-11-25 07:40
Hadoop
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他