E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式文件
MongoDB数据库安装(Win)
MongoDB简介MongoDB是一个基于
分布式文件
存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。它的特点:高性能、易部署、易使用,存储数据非常方便。
不喜欢换昵称
·
2023-09-10 16:28
【山河送书第九期】:揭秘
分布式文件
系统大规模元数据管理机制——以Alluxio文件系统为例
揭秘
分布式文件
系统大规模元数据管理机制——以Alluxio文件系统为例01
分布式文件
系统元数据的常见类型文件(inode)元数据数据块(block)元数据MountTableWorker元数据02
分布式文件
系统元数据的存储模式
以山河作礼。
·
2023-09-10 02:13
活动文章
python
分布式
大数据处理架构Hadoop生态系统,在各个模块的作用是什么?
之前一直以为大数据的东西就是来取代传统的Web应用的,其实并不是这样;即使是大数据的架构,应用层依然会是传统的web应用,但是会根据数据特点对数据存储(结构化数据依然会保存在传统的关系型数据库——如MySql,日志等非结构数据会保存在
分布式文件
系统
qunqun8889
·
2023-09-09 21:46
大数据
大数据
大数据开发
大数据分析
大数据入门
Hadoop
大数据入门之基础知识
之前一直以为大数据的东西就是来取代传统的Web应用的,其实并不是这样;即使是大数据的架构,应用层依然会是传统的web应用,但是会根据数据特点对数据存储(结构化数据依然会保存在传统的关系型数据库——如MySql,日志等非结构数据会保存在
分布式文件
系统
qq_44682761
·
2023-09-09 21:15
大数据学习
大数据开发
大数据
大数据入门
大数据工程师
大数据学习
大数据开发
大数据入门
大数据工程师
大数据学习 第一篇--基础知识入门篇
之前一直以为大数据的东西就是来取代传统的Web应用的,其实并不是这样;即使是大数据的架构,应用层依然会是传统的web应用,但是会根据数据特点对数据存储(结构化数据依然会保存在传统的关系型数据库--如MySql,日志等非结构数据会保存在
分布式文件
系统
juan777
·
2023-09-09 21:14
大数据开发
Hadoop
编程语言
大数据开发
大数据分析
编程语言
大数据
Hadoop
HDFS:Hadoop文件系统(HDFS)
Hadoop文件系统(HDFS)是一个
分布式文件
系统,主要用于存储和处理大规模的数据集。HDFS是ApacheHadoop的核心组件之一,能够支持上千个节点的集群,并能够处理PB级别的数据。
Solitary_孤影照惊鸿
·
2023-09-09 06:39
Apache
Spark
计算机
/
人工智能
hadoop
hdfs
大数据
Hadoop概述
用java语言实现开源软件框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理Hadoop核心组件HadoopHDFS(
分布式文件
存储管理系统):解决海量数据存储HadoopYARN(集群资源管理和任务调度框架
藤藤菜丶
·
2023-09-09 05:15
总结分享学习
Hadoop
hadoop
大数据
分布式
大数据技术之Hadoop:Yarn集群部署(七)
部署说明二、集群规划三、开始配置3.1MapReduce配置文件3.2YARN配置文件3.3分发配置文件四、集群启停4.1命令介绍4.2演示4.3查看YARN的WEBUI页面一、部署说明HadoopHDFS
分布式文件
系统
何苏三月
·
2023-09-09 04:19
大数据技术
大数据
hadoop
分布式
java
揭秘
分布式文件
系统大规模元数据管理机制——以Alluxio文件系统为例
目录一、前言二、什么是
分布式文件
系统三、
分布式文件
系统元数据的常见类型3.1文件(inode)元数据3.2数据块(block)元数据3.3MountTable3.4Worker元数据四、
分布式文件
系统元数据的存储模式
Designer 小郑
·
2023-09-08 21:56
Flag
&
经验分享
分布式
云原生
元数据
大数据
文件系统
数据管理
Hadoop:HDFS--
分布式文件
存储系统
目录HDFS的基础架构VMware虚拟机部署HDFS集群HDFS集群启停命令HDFSShell操作hadoop命令体系:创建文件夹-mkdir查看目录内容-ls上传文件到hdfs-put查看HDFS文件内容-cat下载HDFS文件-get复制HDFS文件-cp追加数据到HDFS文件中-appendToFileHDFS文件移动-mv删除HDFS文件-rmHDFS存储原理存储原理修改副本数量fsck检
独憩
·
2023-09-08 06:40
Hadoop
linux
服务器
hadoop
分布式
浅谈数据仓库工具——Hive
前言Hadoop
分布式文件
系统(HDFS)因其高容错性、高吞吐量的特点,且适合部署在廉价的机器上,使其非常适合大批量数据的存储,但是如何快速地对HDFS上的文件进行统计分析操作呢?
数新网络
·
2023-09-08 04:04
hive
数据仓库
hadoop
MongoDB
title:MongoDBdate:2019-07-1610:05:02tags:[数据库,Node.js]categories:Web前端一、起步MongoDB是一个基于
分布式文件
存储的数据库。
怪兽难吃素
·
2023-09-08 04:36
Linux文件系统管理基础
reiserfs,jfs,swapswap:交换分区'光盘:isoWindows:fat32,ntfsUnix:FFS,UFS,JFS2网络文件系统:NFS,CIFS集群文件系统:GFS2,OCFS2
分布式文件
系统
极地冰凌_25bf
·
2023-09-07 17:12
Ceph:一个 Linux PB 级
分布式文件
系统
Ceph最初是一项关于存储系统的PhD研究项目,由SageWeil在UniversityofCalifornia,SantaCruz(UCSC)实施。但是到了2010年3月底,您可以在主线Linux内核(从2.6.34版开始)中找到Ceph的身影。虽然Ceph可能还不适用于生产环境,但它对测试目的还是非常有用的。本文探讨了Ceph文件系统及其独有的功能,这些功能让它成为可扩展分布式存储的最有吸引力
天狐云通讯八度
·
2023-09-07 08:50
Hadoop的
分布式文件
存储系统HDFS组件的使用
Hadoop的第一个核心组件:HDFS(
分布式文件
存储系统)一、HDFS的组成1、NameNode2、DataNode3、SecondaryNameNode4、客户端:命令行/JavaAPI二、HDFS
Augenstern K
·
2023-09-07 06:56
Hadoop
hadoop
分布式
hdfs
大数据组件系列-Hadoop每日小问
HDFS即HadoopDistributedFileSystem,Hadoop
分布式文件
系统。
躺平的赶海人
·
2023-09-06 15:55
hadoop
hadoop
zookeeper
Chubby就是一个
分布式文件
系统,可解决分布式系统中的数据不一致问题。特性:1、最终一致性:为客户端展示统一视图,即所有客户端看到的数据都一致;2
Rcfee
·
2023-09-06 12:19
中间件
zookeeper
事务的优化
例子:举例:假设我们有一个文件上传的uploadFile方法,在这个方法中我们会先执行上传一个文件到
分布式文件
系统中的方法addMediaFilesToMinIO(),上传成功后执行文件资源数据入库的addMediaFilesToDb
那山川
·
2023-09-06 04:25
spring
数据库
解读MapReduce程序实例
MapReduce采用“分而治之”策略,一个存储在
分布式文件
系统中的大规模数据集,会被切分成许多独立的分片(split),这些分片可以被多个Map任务并行处理。
大禹编程扛把子
·
2023-09-05 14:03
关于hiveonSpark的错误问题
spark-env.sh.template/opt/module/spark/conf/spark-env.sh添加内容//有了SPARK_DIST_CLASSPATH配置信息以后,//Spark就可以把数据存储到Hadoop
分布式文件
系统
叫我莫言鸭
·
2023-09-05 14:49
采集项目学习
Spark
hive
hive
spark
20180521早课记录14-Hadoop
分别做什么HDFS:
分布式文件
管理系统存储MapReduce:执行引擎计算Yarn:资源(memorycpu)和作业调度平台资源3.hdfs在部署时,要配置信任关系,请问root和hadoop用户部署时
K_un
·
2023-09-05 12:27
Hadoop的概述与安装
Hadoop的概述与安装一、Hadoop内部的三个核心组件1、HDFS:
分布式文件
存储系统2、YARN:分布式资源调度系统3、MapReduce:分布式离线计算框架4、HadoopCommon(了解即可
Augenstern K
·
2023-09-05 06:49
Hadoop
hadoop
大数据
分布式
FastDFS
分布式文件
系统_Linux
文章目录一、
分布式文件
系统概述1.单机时代2.独立文件服务器3.
分布式文件
系统4.FastDFS5.FastDFS核心概念6.上传机制7.下载机制二、
分布式文件
系统实践1.环境搭建2.FastDFS指令操作总结
帅得真的是无敌了
·
2023-09-05 05:31
分布式
Linux部署安装
linux
服务器
运维
Java开发环境系列:FastDFS
分布式文件
系统搭建(linux)
libfastcommon3、下载安装FastDFS4、配置FastDFS跟踪器(Tracker)5、配置FastDFS存储(Storage)6、文件上传测试7、安装NGINXFastDFS是一个开源的高性能
分布式文件
系统
codernavcom
·
2023-09-05 05:29
分布式文件
服务器安装步骤,架构之路搭建FastDFS
分布式文件
系统
原标题:架构之路搭建FastDFS
分布式文件
系统概述
分布式文件
系统:Distributedfilesystem,DFS,又叫做网络文件系统:NetworkFileSystem。
詹于
·
2023-09-05 05:29
分布式文件服务器安装步骤
FastDFS
分布式文件
系统(单机版)
2.FastDFS介绍FastDFSFastDFS是用c语言编写的一款开源的
分布式文件
系统。
Strugglezs
·
2023-09-05 05:29
java
Linux
fastdfs
基于Ubuntu搭建FastDFS
分布式文件
系统
基于Ubuntu搭建FastDFS
分布式文件
系统)一、FastDFS简介二、FastDFS上传流程三、FastDFS下载流程四、FastDFS的单节点安装前准备五、开始安装1、环境搭建及核心包安装2、配置
ReoShine
·
2023-09-05 04:59
fastdfs
Java
分布式文件系统
linux
centos7 搭建 FastDFS
分布式文件
系统
FastDFS
分布式文件
系统简介:FastDFS是一个开源的轻量级
分布式文件
系统,由跟踪服务器(trackerserver)、存储服务器(storageserver)和客户端(client)三个部分组成
♪生活有点甜
·
2023-09-05 04:58
linux
fastdfs
FastDFS
分布式文件
系统介绍及单机版安装
一、
分布式文件
系统
分布式文件
系统(DistributedFileSystem)是一个软件/软件服务器,这个软件可以用来管理文件,但这个软件所管理的文件通常不是在一个服务器节点上,而是在多个服务器节点上,
生出来,我养!
·
2023-09-05 04:27
FastDFS
Spring Boot手把手教学(22): 如何从零搭建一个FastDFS
分布式文件
系统
这个章节我们介绍如何搭建一个FastDFS
分布式文件
系统。FastDFS是一个开源的高性能
分布式文件
系统(DFS)。它的主要功能包括:文件存储,文件同步和文件访问,以及高容量和负载平衡。
解忧杂货铺Q
·
2023-09-05 04:55
大后端
大运维
spring
boot
fastdfs
java
分布式
nginx
FastDFS
分布式文件
存储服务器和Nginx
什么是FastDFSFastDFS是用C语言编写的一款开源的
分布式文件
系统。
strive_one
·
2023-09-05 04:53
fastdfs
【go-fastdfs】go-fastdfs
分布式文件
系统搭建
文章目录【go-fastdfs】go-fastdfs
分布式文件
系统搭建〇、缘起一、从头开始:FastDFS简介二、主角出场:go-fastdfs(go语言版本的FastDFS)1.介绍2.安装3.配置4
Richardlygo
·
2023-09-05 04:53
linux
golang
hadoop
大数据
FastDFS
分布式文件
系统简介及单机版安装步骤详解
FastDFS是一个开源的轻量级
分布式文件
系统,它对文件进行管理,功能包括:文件存储,文件同步,文件访问(文件上传,文件下载)等,解决了大容量存储和负载均衡的问题。
RobertoHuang
·
2023-09-05 04:53
FastDFS学习笔记
分布式文件系统
FastDFS
高性能
搭建单机版FastDFS
分布式文件
存储系统
一、准备工作1、下载FastDFS安装包和依赖包https://codeload.github.com/happyfish100/libfastcommon/tar.gz/V1.0.43https://codeload.github.com/happyfish100/fastdfs/tar.gz/V6.06https://codeload.github.com/happyfish100/fastd
知识是要分享的
·
2023-09-05 04:21
分布式
linux
运维
【ceph】分布式存储一些知识点梳理
相关岗位分布式存储方向的岗位涵盖甚广,一般可以按照方向分为:
分布式文件
存储对象存储分布式KVor缓存分布式数据库(newsql)表格存储块存储其定位方向也
bandaoyu
·
2023-09-05 00:19
存储
ceph
分布式
腾讯云
大数据-玩转数据-Hadoop+Storm与Spark架构方案比较
大数据-玩转数据-Hadoop+Storm与Spark架构方案比较Hadoop+Storm方案结构图Spark方案结构图Hadoop的数据处理工作在硬盘层面,借助HDFS(
分布式文件
系统),可以将架构下每一台电脑中的硬盘资源聚集起来
web17886480312
·
2023-09-04 22:46
java
hadoop
大数据
spark
分布式
mybatis
nodejs+express+mongodb边走边学边记录
MongoDBMongoDB是开源,高性能的NoSQL数据库;支持索引、集群、复制和故障转移、各种语言的驱动程序丰富;高伸缩性;MongoDB是一个基于
分布式文件
存储的数据库。由C++语言编写。
喜大普奔⁶⁶⁶
·
2023-09-04 11:52
nodejs
nodejs
hadoop核心架构
通过对Hadoop分布式计算平台最核心的
分布式文件
系统HDFS、MapReduce处理过程,以及数据仓库工具Hive和分布式数据库Hbase的介绍,基本涵盖了Hadoop分布式平台的所有技术核心。
凉意先生
·
2023-09-04 06:38
分布式计算在云计算中的作用
本文主要从云计算分布式架构、
分布式文件
系统、分布式表格系统和分布式计算系统来讲述实现云计算特点的分布式计算。关键词:云计算,分布式计算,
EmmauelZ
·
2023-09-03 22:54
分布式
hadoop
MongoDB的介绍以及使用
简介:(1)MongoDB是由C++语言编写的,是一个基于
分布式文件
存储的开源数据库系统。在高负载的情况下,添加更多的节点,可以保证服务器性能。
HZGTK
·
2023-09-03 11:09
租房网站实战
User表=User结构体Orm:数据库中的每一个表都会和代码中的Orm插件对应Fastdfs:
分布式文件
系统,在这里用于储存大文件,配合Nginx实现下载文件,进行
RickJay
·
2023-09-03 01:31
了解Apache跟Apache Hadoop和Apache Spark的原理,应用;
HDFSHadoop实现了一个
分布式文件
系统(HadoopDistributedFileSystem),简称HDFS。HDFS有高容错性的特点,并且设
lwh_python
·
2023-09-02 08:38
python
大数据
Apache
Hadoop
Apache
Spark
520页(17万字)集团大数据平台整体解决方案word
请勿商用,如有侵权请联系删除,更多浏览公众号:智慧方案文库1.1.1系统总体逻辑结构4-14系统总体逻辑结构图参见上图,基于Hadoop构建的企业级数据仓库,包含:分布式列式存储数据库Hyperbase和
分布式文件
系统
2023小目标
·
2023-09-02 01:40
数据库
大数据
FastDFS分布式存储服务器安装
分布式图片服务器FastDFS1.什么是FastDFSFastDFS是用c语言编写的一款开源的
分布式文件
系统。
敲代码的令狐葱
·
2023-09-01 13:26
大数据平台的SQL查询引擎有哪些?
前言大数据平台中Hadoop的
分布式文件
系统(HDFS)之上形成了一种极具特色的技术群体,那就是SQL查询引擎。
守护石技术研究
·
2023-09-01 13:19
从零开始的Hadoop学习(五)| HDFS概述、shell操作、API操作
1.1HDFS产出背景及定义1)HDFS产生背景随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是
分布式文件
管理系统
庭前云落
·
2023-09-01 06:20
Hadoop
hadoop
2021-01-11
IPFS(又名星际文件系统),是一种点到点的
分布式文件
。可以让我们的互联网速度更快,更加安全,并且更加开放。
39979bb1b3cc
·
2023-08-31 17:25
Hive-安装与配置(1)
持续更新中,感谢各位前辈朋友们支持学习~文章目录1.Hive环境介绍2.搭建环境准备3.建立Hive元数据库4.安装配置Hive1.Hive环境介绍Hive在Hadoop生态系统中运行,依赖Hadoop
分布式文件
系统
beixi@
·
2023-08-31 09:01
大数据技术学习
运维
hadoop
分布式
大数据
hive
国际版阿里云/腾讯云:什么是文件存储NAS
文件存储NAS提供规范的文件拜访协议,您无需对现有应用做任何修改,即可运用可共享拜访、弹性扩展、高牢靠以及高性能的
分布式文件
体系。
TG_laoying06
·
2023-08-31 07:19
网络
数据库
腾讯云
云计算
服务器
Minio-异常
java.lang.IllegalArgumentException:sourcetestbucket/chunk/0:size1048576mustbegreaterthan5242880解疑:Minio
分布式文件
系统的默认分块文件为
超超~~
·
2023-08-31 05:31
java
上一页
12
13
14
15
16
17
18
19
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他