分布式存储

大数据领域如何理解 Merge、Combine和Aggregate

在大数据领域，这通常涉及到将不同来源或分布式存储的数据整合在一起。例如，Spark和Hadoop中的Join操作就是一种典型的合并操作。Merge操作有多种类型，例如I
_lizhiqiang·2023-08-27 08:07

腾讯云-对象存储服务（COS）的使用总结

简介对象存储（CloudObjectStorage，COS）是腾讯云提供的一种存储海量文件的分布式存储服务，具有高扩展性、低成本、可靠安全等优点。
流子·2023-08-26 17:35

浅析 GlusterFS 与 JuiceFS 的架构异同

作为一款开源的软件定义分布式存储解决方案，GlusterFS能够在单个集群中支持高达PiB级别的数据存储。自从首次发布以来，已经有超过十年的发展历程。
Juicedata·2023-08-26 15:14

Hbase文档--架构体系

架构体系关键组件介绍：HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。
一单成·2023-08-26 07:49

浅析 GlusterFS 与 JuiceFS 的架构异同

作为一款开源的软件定义分布式存储解决方案，GlusterFS能够在单个集群中支持高达PiB级别的数据存储。自从首次发布以来，已经有超过十年的发展历程。
·2023-08-25 11:03

软考高级系统架构设计师系列论文九十：论分布式数据库的设计与实现

软考高级系统架构设计师系列论文九十：论分布式数据库的设计与实现一、分布式数据库相关知识点二、摘要三、正文四、总结一、分布式数据库相关知识点软考高级系统架构设计师系列之：分布式存储技术
最笨的羊羊·2023-08-25 09:56

区块链的分布式账本

分布式账本定义工作原理定义整个区块链网络运行的核心信息流特征；分布式存储在几乎所有区块链节点上所存储的信息完全一致，区块链上的每个节点与本地账本数据库连接后，可以获得区块链中所有信息工作原理区块链账本+
Amerixm·2023-08-25 01:46

Xilinx FPGA RAM存储资源verilog可综合描述方法

对于XilinxFPGA器件，片内存储资源分为块存储BlockRAM和分布式存储DistributedRAM。BlockRAM为硬核，不会占用触发器FF和查找表LUT这类逻辑资源。
MmikerR·2023-08-24 19:27

Prometheus 笔记

不依赖分布式存储；单个服务节点具有自治能力。时间序列数据是服务端通过HTTP协议主动拉取获得的，也可以通过中间网关来推送时间序列数据。可以通过静态配置文件或服务发现来获取监控目标。
木子小三金·2023-08-24 13:09

Docker 安装 Redis集群

1.面试题1.11~2亿条数据需要缓存，请问如何设计这个存储案例单机单台不可能实现，肯定是用分布式存储，用redis如何落地？
qq_43085588·2023-08-23 14:39

存储大师班 | 浅谈 RDMA 与无损网络

魏国武QingStor资深研发工程师近10年企业级软件开发经验，专注于大规模分布式存储研发，擅长集群性能调优、高可用研究及容灾。
QingStor分布式存储·2023-08-23 11:35

阿里巴巴大规模应用Flink的踩坑经验：如何大幅降低 HDFS 压力？

作者：邱从贤（山智）众所周知Flink是当前广泛使用的计算引擎，Flink使用checkpoint机制进行容错处理[1]，Flink的checkpoint会将状态快照备份到分布式存储系统，供后续恢复使用
Apache Flink·2023-08-23 07:02

区块链分布式存储数据十大趋势

今年，全球区块链似乎进入一个白热化的发展阶段，各国持续不断出台或更新相关监管政策。此次，信通院发布的2018年全球区块链的十大发展趋势又有哪些内容？趋势一：区块链技术不断迭代更新，正向大融合方向发展。解析：存储方面，由单一键值数据库向融合IPFS、关系型数据库、分布式数据库等方向发展。也就是由单一的共识机制向多种共识混合机制发展。其他方面，区块链正在与云计算结合，公有链和联盟链优势有可能互补，进一
yu4hao4·2023-08-23 05:32

大数据学习的必备五大核心技术

基础技术包括数据采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等技术类别和不同的技术层次。
AydanLinux·2023-08-23 03:57

rocketMQ知识点

架构和特点如下1.架构：RocketMQ采用了分布式、分布式存储和分布式订阅的架构，其中消息生产者将消息发送到Broker，Broker将消息存储在Topic中，消息消费者从Topic中订阅消息并消费。
super苏然·2023-08-21 06:23

cassandra

.查询数据9.更新10.java客户端10.1datastax的java-driver11.springdatacassandra12.集群搭建13.数据存储格式14.重要知识点1.介绍列存储数据库:分布式存储的海量数据
highly2009·2023-08-21 04:24

【IPFS】数据存储的演变历程，最终将会走向分布式存储？

存储可以被理解为一种记忆力，一种对可检索数据的记忆力。具体来说，就是存储文件，也就是存储不可解释的数据块。一个最简单的例子是客户端把数据存储在本地文件系统中，这种方案具有一些风险：本地文件系统成为单点故障；当其他客户端请求数据时，本地文件系统成为瓶颈；客户端本身要负责数据的安全。由于本地存储的局限，中心化存储的方案被提出，这种方案可以是远程，也可以是本地。一个单一存储提供方通过API封装存储细节，
02b12ee6cafc·2023-08-21 02:57

没用过 HBASE 数据库？看完你就是老手了

一、Hbase简介1、什么是HbaseHbase是一个高可靠性（存储在hdfs上，有副本机制），高性能，面向列，非关系型的数据库（类似redis），可伸缩的分布式存储系统（因为是存储在hdfs上），hbase
___n·2023-08-20 12:11

扫盲：Hadoop分布式文件系统（HDFS）基础概念讲解！

HDFS是ApacheHadoop框架的底层文件系统，是一个分布式存储框架，跨越数千种商用
金乐笑·2023-08-20 02:09

大数据课程复习

信息科技为大数据时代提供技术支持存储设备容量不断增加CPU处理能力大幅度提升网络带宽不断增加大数据4V特征数据量大数据类型繁多处理速度快价值密度底大数据对思维方式的影响全样而非抽样效率而非精确相关而非因果云计算关键技术虚拟化分布式存储分布式计算多租户大数据与云计算
腹黑客·2023-08-19 23:46

分布式搜索引擎——elasticsearch（三）

目录1、数据聚合1、Bucket聚合2、Metric聚合3、RestClient操作2、自动补全completionsuggester查询3、数据同步4、es集群ES集群的脑裂ES集群的分布式存储ES集群的故障转移
但盼风雨来 能留你在此·2023-08-19 20:15

【分布式存储】数据存储和检索～B+树

为什么数据存储结构重要在存储系统中，其实不管数据是什么样的，归根结底其实都还是取决于数据的底层存储结构，而主要常见的就是数据库索引结构，B+树、Redis中跳表、以及LSM、搜索引擎中的倒排索引。本质都是如何利用不用的数据结构，在性能和存储空间之间权衡。数据写的速度和读取数据。MySQL中索引如何用B+树实现的常用数据结构分析哈希表：哈希表以O（1）的查询效率著名，但是其本身是用空间换时间。并且不
qxlxi·2023-08-19 19:47

学一点Ceph知识：初识Ceph

Ceph是一个开源的分布式存储系统，可大规模扩展、高性能、无单点故障，在普通的服务器上可以支持到PB级容量，商用机器上支持的容量可以达到EB级别。
清茶豆奶·2023-08-19 15:59

Zookeeper单机集群部署

目录一、伪集群搭建1、搭建准备2、开始搭建3、集群启动二、Zookeeper分布式存储1、Zookeeper存储模型2、zkCli客户端指令清单3、zk客户端1.zk官方java客户端api2.第三方的
天蝎座小小熊·2023-08-19 13:15

hadoop2的集群数据将副本存储在hadoop3

在Hadoop集群中，HDFS副本是分布式存储的，会存储在不同的节点上。
荣晓·2023-08-19 10:48

看一眼常见数据处理的产品

HadoopvsSparkHadoop是一个分布式存储和计算框架，而Spark是一个基于内存的分布式计算框架。Hadoop在存储大数据方面表现出色，而Spark在计算和处理大数据方面表现更快。
Walter Sun·2023-08-19 09:47

分布式存储Ceph技术

分布式存储ceph技术目录分布式存储ceph技术分布式存储什么是分布式存储分布式存储的特性存储的分类（不完善）cephceph简介ceph的优势ceph架构ceph的基本组件ceph结构ceph存储种类和应用场景块存储文件存储对象存储
Mr_Wzzzz·2023-08-19 06:05

【FastDFS】小伙伴们说在CentOS 8服务器上搭建FastDFS环境总报错？

写在前面在【冰河技术】微信公众号的【分布式存储】专题中，我们分别搭建了单节点FastDFS环境和高可用FastDFS集群环境。但是，之前的环境都是基于CentOS6.8服务器进行搭建的。
冰河团队·2023-08-18 21:25

一文解析SSD和Lightning SN 关系

LightningSN即闪电储存网络,是以固态硬盘区块链网络为分布式存储空间，以5G技术为网络带宽技术的区块链存储网络。
gaoguyu8504·2023-08-18 13:30

给 ES 插上向量检索的翅膀 | DataFunSummit 2023 峰会演讲内容速达

近日，由DataFun主办的DataFunSummit2023数据基础架构峰会圆满落下帷幕，本次峰会邀请了腾讯、百度、字节、极限科技、Zilliz等众多企业技术专家为大家带来分布式存储以及向量数据库的架构原理
·2023-08-18 09:04

2019-11-29

c.可拓展支持一主多从且扩容简易开源软件d.在一个集群的多个节点中进行分布式存储，索引支持shards和复制，即使部分节点down掉了，也能自动进行数据恢复和主从切换。e.采用RestfulAP
9333d8baadce·2023-08-18 06:38

非常详细的 Ceph 介绍、原理、架构

1.Ceph架构简介及使用场景介绍1.1Ceph简介Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
大隐隐于野·2023-08-18 06:18

8月12日上课内容 综合配置详解 四层+七层代理

*分布式存储:ELK日志分析。kafka消息队列监控zabbixdocker:容器化部罢服务微服务。
m0_70766460·2023-08-17 22:42

IPSE星际搜索引擎

的搜索引擎https://ipse.io已关注IPSE黄皮书：下一代价值互联网的流量入口载入中15分钟作者：Silver，区块链开发工程师，Spark架构师，IPSE首席架构师背景时间到了2019年，分布式存储逐渐进入了落地阶段
慎独戒欺·2023-08-17 20:39

10 | 发号器：如何保证分库分表后ID的全局唯一性？

在前面两节课程中，我带你了解了分布式存储两个核心问题：数据冗余和数据分片，以及在传统关系型数据库中是如何解决的。
逗逼程序员·2023-08-17 10:44

apache doris和StarRocks的区别

StarRocks是一个分布式存储系统，它建立在ApacheHadoop之上，旨在为大型超级计算机提供结构化数据存储解决方案。StarRocks采用了列式存
6个日的梦想·2023-08-16 23:01

滴滴Ceph分布式存储系统优化之锁优化

摘自：https://mp.weixin.qq.com/s/oWujGOLLGItu1Bv5AuO0-A2020-09-0221:450.引言Ceph是国际知名的开源分布式存储系统，在工业界和学术界都有着重要的影响
YoungerChina·2023-08-16 22:09

算法与数据结构-哈希算法

文章目录什么是哈希算法哈希算法的应用安全加密唯一标识数据校验散列函数负载均衡数据分片分布式存储一致性哈希算法什么是哈希算法哈希算法的定义和原理非常简单，基本上一句话就可以概括了。
码农界的菜鸟·2023-08-16 19:05

九州云入选2022金融云TOP30

作为国内最早一批推动OpenStack在金融云架构上创新的企业，九州云先后助力搭建国内第一个基于OpenStack和分布式存储Ceph技术的金融大数据服务平台、针对互联网金融（IOF）行业的可信金融私有云
OpenInfra·2023-08-16 17:29

存储圈秘史，细说“配额管理”的那些事儿

江湖乱战分布式存储圈管理者“配额管理”出手划天下各方数据混战之际管理员划分空间应接不暇不可避免的产生资源划分不合理等问题各路“配额管理”豪杰陆续上线，力求结束纷争一统江湖职场人所熟知的办公软件“共享盘”
大道云行TaoCloud·2023-08-16 10:58

API 设计的基本原则

1、分层：高层API要为业务服务，贴近服务：业务可以是一个真实的业务系统，也可是一个分布式存储系统总之。
旺财旺财·2023-08-16 00:40

大数据面试题：说下Spark中的Transform和Action，为什么Spark要把操作分为Transform和Action？

输入：在Spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallel
蓦然_·2023-08-15 01:37

Ceph分布式存储系统

Ceph是一个开源的分布式存储系统，旨在提供高性能、高可靠性和可扩展性的存储解决方案。
summer_west_fish·2023-08-14 11:18

Ceph入门到精通-分布式存储产品的测试实践

分布式存储产品的测试实践在分布式存储产品的测试过程中，测试到底做了些什么事情呢？一：测试工作内容需求，设计评审测试需要参与到每一个过程中在设计评审的时候就需要知道验收的标准，这是最重要的开始。
瓦哥架构实战·2023-08-14 11:17

2019-12-11

主要包括：基于多感知器和智能终端的健康医疗数据采集，基于云平台的分布式存储与并行计算、动态大数据的实时处理及非结构化数据处理，多元异构数据的
开心果川·2023-08-14 08:27

Ceph分布式存储系统优化分析

Ceph支持多种存储访问接口，现有的多种性能测试工具都可用于Ceph的性能测试，如测试块接口性能的fio，iometer等；测试CephFS接口的filebench，fio等;测试对象接口的cosbench等。Ceph有专用的基准测试集CBT，其包含radosbench，librbdfio，kvmrbdfio和rbdfio。radosbench基准测试使用cephcommon软件包附带的rados
YoungerChina·2023-08-14 07:57

滴滴李航：分布式存储 Ceph 介绍及原理架构分享

导读：本文主要从架构简介使用场景，以及内部IO流程、心跳机制、通信框架、CRUSH算法、QOS等多个方面逐渐介绍分布式存储系统Ceph的特性。希望对你有所帮助。
架构文摘·2023-08-13 21:39

分布式数据库设计

分库设计过程中常面临的问题：分布式存储后如何保证访问效率，举例：当要查询一个key的数据时，快速定位在哪个库，如何快速地查询出来。方案一般有下面两种方式：1.1专门开放一个库来
dongdong咚咚咚·2023-08-13 06:45

iSCSI的基本架构及操作简介

关于两者的区别，可以参考本号之前的文章（分布式存储与传统SAN、NAS相比，有什么优势与劣势？），本位不再赘述。本文今天主要介绍一下iSCSI的整体架构，以及在Linux平台上启动器端（可
SunnyZhang的IT世界·2023-08-13 04:16

Redis简述｜以及它能用于做什么？

Redis支持多种数据类型，包括字符串、哈希、列表、集合和有序集合，并且支持分布式存储和操作。Redis的特点包括快速、高可用和易扩展等，适用于各种应用场景。
猿某人、·2023-08-13 02:33
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他