E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式文件存储系统
综合架构-nfs备份服务(网络文件系统)
NFS系统和Windows网络共享、网络驱动器类似,只不过windows用于局域网,NFS用于企业集群架构中,如果是大型网站,会用到更复杂的
分布式文件
系统FastDFS,glusterfs,HDFS1.1
A宽宽
·
2023-11-20 20:13
分布式架构关键技术
分布式架构关键技术主要有
分布式文件
系统、分布式存储和分布式数据库。分
talentluke
·
2023-11-20 20:53
架构设计
数据库
运维
java
Hadoop --
分布式文件
系统
1、
分布式文件
系统的思想:文件切分的思想(分而治之)当文件存储在磁盘中,不仅效率比较低,并且文件的大小可能会超出单机的存储的范围。
新手小农
·
2023-11-20 19:57
Hadoop
3.1.1
hadoop
大数据
分布式
分布式
存储系统
Minio
多主机、多硬盘模式(分布式)适合存储大容量非结构化的数据该模式是Minio服务最常用的架构,通过共享一个accesskey和secretkey,在多台(2-32)服务器上搭建服务,且数据分散在多块(大于4块,无上限)磁盘上,提供了较为强大的数据冗余机制(Reed-Solomon纠删码)。
zty_1995
·
2023-11-20 18:54
GFS
分布式文件
系统
(一)GFS(glusterFS)1、GFS:开源的分布式的文件系统2、GFS:存储服务器、客户端以及网络(NFS/samba)网关3、传统老式的分布式系统元服务器,元服务器保存存储节点的目录树信息,一旦元服务器故障,所有的存储节点全部失效4、GFS的工作方式(1)当前GFS取消了元服务器机制,数据横向扩展能力更强,可靠性更强,存储效率更高5、GFS的特点(1)扩展性更强,高性能(2)高可用(备份
海德Hyde
·
2023-11-20 17:49
mysql
数据库
Hive基础
可以理解为:数据仓库是面向分析的
存储系统
主要特征:是面向主题的、集成的、非易失的和时变的数据集合,用于支持管理决策。
升级打怪的辉哥
·
2023-11-20 16:07
hive
数据仓库
hadoop
GFS
分布式文件
系统
GFS
分布式文件
系统(glusterFS)是一个开源的分布式的文件系统组成架构:存储服务器、客户端以及网络(NFS/samba)网关传统式的分布式系统:元服务器。
91888888
·
2023-11-20 15:51
数据库
让你彻底学会HBase
利用HadoopHDFS作为其文件
存储系统
,利用ZooKeeper作为其分布式协同服务。主要用来存储非结构化和半结构化的松散数据(列式存储NoSQL数据库)。
地球魔
·
2023-11-20 12:11
hbase
数据库
大数据
dfs hdfs 修改文件名称_第五讲:hadoop的分布式存储HDFS常见操作
HDFS是一个
分布式文件
系统,像任何其它文件系统,允许用户使用shell命令操作文件系统。
西岸先生
·
2023-11-20 12:31
dfs
hdfs
修改文件名称
impala入门
换句话说,Impala是性能最高的SQL引擎(提供类似RDBMS的体验),它提供了访问存储在Hadoop
分布式文件
系统中的数据的最快方法impala与hive的关系impala
YuPangZa
·
2023-11-20 12:25
大数据
使用flink api把数据写到StarRocks
存储系统
使用Flink的JDBC连接器将数据写入StarRocks
存储系统
中。
wuchongyong
·
2023-11-20 11:43
flink
java
大数据
MongoDB随记
MongoDB1、简单介绍2、基本术语3、shard分片概述背景架构路由功能chunk(数据分片)shardkey(分片键值)4、常用命令1、简单介绍MongoDB是一个
分布式文件
存储的数据库,介于关系数据库和非关系数据库之间
minh_coo
·
2023-11-20 07:38
mongodb
数据库
Redis 构建缓存服务器
一、Redis简介Redis(RemoteDictionaryServer)是一个开源的内存数据结构
存储系统
,也被称为数据结构服务器。
Yebati
·
2023-11-20 06:07
redis
数据库
缓存
HDFS、MapReduce原理--学习笔记
(2)狭义解释从狭义上来说,Hadoop是指Hadoop这个开源框架,它的核心组件有:a)HDFS(
分布式文件
系统):解决海量数据存储;b)MapReduce(分布式计算):解决海
祈愿lucky
·
2023-11-20 06:33
大数据
hdfs
mapreduce
学习
javaapi 访问 hbase
Hbase介绍HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式
存储系统
,利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。
数据萌新
·
2023-11-20 05:35
c/c++使用redis库
REmoteDIctionaryServer(Redis)是一个由SalvatoreSanfilippo写的key-value
存储系统
。
coding-demo
·
2023-11-20 04:32
linux学习
redis
数据库
database
云存储及其
分布式文件
系统
面对当前PB级的海量数据存储需求,传统的
存储系统
在容量和性能的扩展上存在瓶颈。云存储以其扩展性强、性价比高、容错性好等优势得到了业界的广泛认同。
hemeinvyiqiluoben
·
2023-11-20 03:12
云存储系统
汇集天下武学——Python面试宝典
流量+python爬虫工程师一、FastDFS的工作原理和配置1.什么是FastDFSFastDFS是用c语言编写的一款开源的
分布式文件
系统。
小陈工
·
2023-11-20 02:31
大数据基础——HDFS(
分布式文件
系统)
分布式文件
系统——HDFS文章目录
分布式文件
系统——HDFSHDFS概述HDFS发展历史HDFS的设计目标HDSF应用场景适合的应用场景不适合的应用场景HDFS架构HDFS的基本原理NameNode概念
我菜的要死
·
2023-11-20 02:49
大数据
hdfs
big
data
hadoop
使用Lychee搭建个人图片
存储系统
并进行远程访问设置实现公网访问本地私人图床
文章目录1.前言2.Lychee网站搭建2.1.Lychee下载和安装2.2Lychee网页测试2.3cpolar的安装和注册3.本地网页发布3.1Cpolar云端设置3.2Cpolar本地设置4.公网访问测试5.结语1.前言图床作为图片集中存放的服务网站,可以看做是云存储的一部分,既可以作为我们存放照片的存储空间,也可以建立外链成为网站或者文章的图片来源。但随着大厂运营的云存储日薄西山,各个图床
kaixin_啊啊
·
2023-11-20 01:36
cpolar
私人图床
cpolar
远程访问
Lychee
大数据开发面试(一)
Flume:定位数据传输,主要用于将数据从源头传输到目标
存储系统
。适用于需要将大量数据发送到HDFS、HBase等
存储系统
的场景。具有较强的可靠性、可扩
ChlinRei
·
2023-11-20 01:41
面试
大数据
面试
etl工程师
Etcd 入门简介
1.1特性Go语言实现的高可靠KV
存储系统
支持HTTP协议的PUT/GET/DELETE操作支持服务注册与发现,WATCH接口(通过HTTPLongPolling实现)支持KEY持有TTL属性CAS(CompareandSwap
elihe2011
·
2023-11-20 01:38
Etcd
etcd
分布式
big
data
什么是缓存穿透?缓存雪崩?缓存击穿?以及它们各自的解决方案
是将空对象也缓存起来,并给它设置一个很短的过期时间,最长不超过5分钟②采用布隆过滤器,将所有可能存在的数据哈希到一个足够大的bitmap中,一个一定不存在的数据会被这个bitmap拦截掉,从而避免了对底层
存储系统
的查询压力
mischen520
·
2023-11-20 01:33
redis
JAVA高级架构师面试
Redis原理和入门
http://redis.cn/官网1关于Redis1.1概念Redis是一个开源(BSD许可)的,内存中的数据结构
存储系统
,它可以用作数据库(非关系型数据库,K-V结构)、缓存(最主要的功能,用来存储常用不长变化的数据
Ring·1270
·
2023-11-19 23:42
redis
CnosDB有主复制演进历程
分布式
存储系统
的复杂性涉及数据容灾备份、一致性、高并发请求和大容量存储等问题。本文结合CnosDB在分布式环境下的演化历程,分享如何将分布式理论应用于实际生产,以及不同实现方式的优缺点和应用场景。
CnosDB
·
2023-11-19 22:12
时序数据库
数据库
cnosdb
Python大数据之linux学习总结——day11_ZooKeeper
本质上是一个分布式的小文件
存储系统
ZooKeeper作用:主要用来解决分布式集群中应用系统的一致性问题。ZooKeeper结构:采用树形层次结构,ZooKeeper树中的每个节点被称为—Znode。
笨小孩124
·
2023-11-19 20:50
ZooKeeper
学习总结
python
大数据
linux
GFS
分布式文件
系统
GlusterFS简介GlusterFS是一个开源的
分布式文件
系统。
2301_79410672
·
2023-11-19 17:57
GFS分布式存储
开源项目
/zheng基于Spring+SpringMVC+Mybatis分布式敏捷开发系统架构,提供整套公共微服务服务模块:集中权限管理(单点登录)、内容管理、支付中心、用户管理(支持第三方登录)、微信平台、
存储系统
无知小虾
·
2023-11-19 14:21
大数据之hadoop-hdfs知识通俗详解
目录疑问存储模型(重要)架构设计角色功能NameNodeDataNode元数据持久化安全模式HDFS中的SNNSecondaryNameNode(SNN)Block的副本放置策略HDFS写流程HDFS读流程总结疑问
分布式文件
系统那么多
shw12357
·
2023-11-19 10:27
hadoop
2023.11.18 - hadoop之zookeeper分布式协调服务
本质上是一个分布式的小文件
存储系统
ZooKeeper作用:主要用来解决分布式集群中应用系统的一致性问题。
白白的wj
·
2023-11-19 08:41
hadoop
zookeeper
大数据
分布式
sql
数据仓库
hive
为什么选择B+树作为数据库索引结构?
所以,现在的
存储系统
,都是分级组织的。最常用的数据尽可能放在更高层、更小的存储器中,只有在当前层找不到,才向更低层、更大的存储器中寻找。这也就解释
小小码农>>>>
·
2023-11-19 07:11
Java面试题
b树
数据库
数据结构
Go实战--golang中使用MongoDB mgo
简介MongoDB是由C++语言编写的,是一个基于
分布式文件
存储的开源数据库系统。在高负载的情况下,添加更多的节点,可以保证服务器性能。
奶茶表受死吧
·
2023-11-19 06:37
使用Docker安装MongoDB
一、什么是MongoDB概念:MongoDB是一个基于
分布式文件
存储的数据库。是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。
AAIT11
·
2023-11-19 04:40
MongoDB
mongodb
数据库
nosql
大数据之数据迁移sqoop的安装
Sqoop具有命令行界面,可用于从关系型数据库中导入数据到Hadoop
分布式文件
系统(HDFS)中,或从HDFS导出数据到关系型数据库中。
bigdata从入门到放弃
·
2023-11-19 03:09
数据仓库
sqoop
hadoop
大数据
sqoop
hadoop
hive
数据库
数据仓库
数据分析
linux中hadoop伪分布搭建
主要有以下三个组件:Hadoop
分布式文件
系统(HDFS):这是一种可扩展的、容错的文件系统,专门设计用于在大规模集群中存储和访问数据。
bigdata从入门到放弃
·
2023-11-19 03:38
hadoop
linux
hadoop
运维
大数据
big
data
GFS
分布式文件
系统
GFS
分布式文件
系统:gfdglusterFS开源的分布式的文件系统存储服务器客户端以及网络(NFS/samba)网关传统的老的分布式系统源服务器,原服务器保存了存储节点的目录树信息,一旦源服务器故障,
wutong0708
·
2023-11-19 02:30
mysql
GFS
分布式文件
系统
1.GFS
分布式文件
系统gfdglusterFS开源的分布式的文件系统存储服务器客户端以及网络(NFS/samba)网关传统式老的分布式元服务器,元服务器保存存储节点的目录树信息。
小郭902
·
2023-11-19 01:53
服务器
数据库
大数据
GFS
分布式文件
系统
前言文件系统:用于存储和管理文件的相关系统。分布式存储优点:增加存储容量加快读写效率保证文件高可用GFS介绍GFS:glusterFS开源的分布式的文件系统存储服务器,客户端,网络(用NFS/samba组成网关)传统式老的分布式系统元服务器,元服务器保存存储节点的目录树信息。一旦元服务器故障,所有的存储节点全部失效GFS自身的机制根据定制策略,把数据存储进去。现在GFS取消了元服务器机制,数据横向
aaa.com
·
2023-11-19 01:19
服务器
数据库
运维
Spark学习——1.代表性大数据技术
HDFS
分布式文件
管理系统Hive数据仓库数据仓库,借助底层HDFS和HBase完成存
楓尘林间
·
2023-11-18 23:37
Spark
Spark
大数据学习
Flink--状态后端
看一下官网怎么说状态后端:状态都需要存储到状态后端(StateBackend),然后在checkpoint触发时,将状态持久化到外部
存储系统
。
Shall潇
·
2023-11-18 19:26
flink
flink
statebackend
Spring Boot3.0(十一):Spring Boot 中 MongoDB 的使用
基于
分布式文件
存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个高性能,开源,无模
java毕业设计程序
·
2023-11-18 17:19
spring
boot
mongodb
后端
Spring Boot中使用MongoDB数据库
MongoDB简介MongoDB是一个基于
分布式文件
存储的数据库,它是一个介于关系数据库和非关系数据库之间的产品,其主要目标是在
liuhuiteng
·
2023-11-18 17:15
Spring-Boot
Spring-Boot
Spring Boot:MongoDB的使用
基于
分布式文件
存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个高性能,开源,无模式的文档型数据库,是当前NoSql数据库中比较热门的一种。
安安静静敲代码的Chris
·
2023-11-18 17:13
springboot
mongodb
mongodb
spring
boot
数据库
(珍藏版)Redis经典面试题30道,惊呆面试官!
Redis(RemoteDictionaryServer)是一个开源的内存数据
存储系统
,它可以用作数据库、缓存和消息中间件。
普修罗双战士
·
2023-11-17 18:48
Redis专栏
面试
redis
缓存
数据库
职场和发展
学习
【无标题】
GFS
分布式文件
系gfdglusterFS开源的分布式的文件系统存储服务器客户端以及网络(NFS/samba)网关传统式老的分布式系统元服务器,元服务器保存存储节点的目录数信息。
m0_52416577
·
2023-11-17 18:33
linux
SpringBoot整合redis缓存
一、redis概述,什么是redis1.Redis是一个开源的内存数据
存储系统
、也是c语言编写的非关系型数据库,以键值对的形式储存数据,可以用作数据库、缓存、消息中间件等,具有高性能、可扩展性和灵活性等特点
最爱小熊
·
2023-11-17 18:20
redis
缓存
spring
boot
java
数据库
GFS
分布式文件
系统
GFS
分布式文件
系统gfdglusterFS:开源的分布式的文件系统gfdglusterFS组件架构:存储服务器、客户端、以及网络(既可以使用NFS共享模式/samba)网关。
俊俏美男子章鱼哥
·
2023-11-17 16:30
linux
GFS
分布式文件
系统
GFS
分布式文件
系统:gfdglusterFS开源的分布式的文件系统。存储服务器,客户端以及网络(NFS/samba)网关。传统式老的分布式系统元服务器,元服务器保存存储节点的目录树信息。
相遇蟹堡王,尽享蟹黄堡
·
2023-11-17 12:14
wpf
如何选择阿里云服务器?阿里云服务器配置选择流程攻略
阿里云ECS云服务器需要选择付费模式、地域及可用区、ECS实例规格、镜像操作系统、
存储系统
盘、公网带宽等配置,阿小云来详细说下阿里云服务器选配流程及选择攻略:目录一:付费模式选择二:地域和可用区三:ECS
运维FUN
·
2023-11-17 12:48
ECS云服务器
阿里云服务器
阿里云服务器选择
15个nosql数据库
1、MongoDB介绍MongoDB是一个基于
分布式文件
存储的数据库。由C++语言编写。主要解决的是海量数据的访问效率问题,为WEB应用提供可扩展的高性能数据存储解决方案。
weixin_34292959
·
2023-11-17 11:10
数据库
memcached
嵌入式
上一页
18
19
20
21
22
23
24
25
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他