分布式存储

【说透区块链系列】web3.0时代存储解决方案-ipfs

概念背景IPFS又称星际文件系统，web3.0底层存储重构解决方案组成之一，通过结合类似FileCoin区块链奖励的方式激励每个用户的计算机参与到分布式存储网络中，最终构建成世界上最
挖你家服务器电缆·2022-10-12 20:06

大数据面试题总结

大数据为什么这么快1、扩展性传统的是纵向扩展（服务器数量不变，每个的配置越来越高）大数据是横向扩展（每个的配置不变，但服务器数量越来越多）2、分布式传统的是集中式存储，集中式计算大数据是分布式存储，分布式计算
ischangle·2022-10-12 10:04

【活动报名】共建云原生开源生态 PolarDB × Curve 线下 Meetup 来袭！(杭州站)

那么当云原生数据库PolarDB遇上云原生分布式存储Curve，会迸发出怎样的火花呢？
·2022-10-09 12:39

centos7上单机安装fastdfs6.0.9

1、背景最近由于某些原因接触到了分布式存储，而像阿里云的OSS等都是需要付费的，那么有没有免费的呢？fastdfs就是一个免费的，此处记录一下如何搭建一个单机版的fastdfs环境。
·2022-10-08 08:43

面试官让我讲讲分布式系统容错架构，结果。。。

到底啥是分布式存储？啥又是分布式存储系统？某台机器宕机了咋办？Master节点如何感知到数据副本消失？如何复制副本保持足够副本数量？删除多余副本又该怎么做呢？
石杉的架构笔记·2022-10-08 07:46

分布式存储系统之Ceph集群存储池、PG 与 CRUSH

优质资源分享学习路线指引（点击解锁）知识定位人群定位Python实战微信订餐小程序进阶级本课程是pythonflask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统前文我们了解了ceph集群状态获取常用命令以及通过cephdaemon、cephtell动态配置ceph组件、ceph.c
u012804784·2022-10-06 07:25

Redis应用1---Spring Session + Redis 实现Session的分布式存储

SpringSession+Redis实现Session的分布式存储本章所述内容详情参考大神Blog:http://blog.csdn.net/xiao__gui/article/details/52706243
是Guava不是瓜娃·2022-10-05 21:55

和数软件“区块链结合新能源”离实体经济又迈进一步

在此背景下，具有去中心化、分布式存储、信息高度透明、数据不可篡改等天然优势的区块链技术，逐步成为能源行业改革的全新方向。
华南首席酱油官·2022-09-30 12:57

学一点Ceph知识：初识Ceph

Ceph是一个开源的分布式存储系统，可大规模扩展、高性能、无单点故障，在普通的服务器上可以支持到PB级容量，商用机器上支持的容量可以达到EB级别。
·2022-09-30 11:32

腾讯云——轻量数据库服务

日志即数据库：智能计算存储，由分布式存储系统自动管理数据的多
华宇云计算·2022-09-29 07:46

Minio分布式存储入门（使用新版本）

一、分布式文件系统应用场景互联网海量非结构化数据的存储需求·电商网站:海量商品图片视频网站:海量视频文件网盘:海量文件社交网站:海量图片二、minio的基础概念2.1基础感念Object存储到minio的基本对象，如文件、字节流、anythingBucket用来存储Object的逻辑空间，每个Bucket的数据是独立的。相当于客户端的顶层文件夹。Drive即存储数据的磁盘，在MinlO启动时，以参
letg·2022-09-28 21:05

区块链学习（1）

DHT全称叫分布式哈希表(DistributedHashTable)，是一种分布式存储方法。
醉半生123·2022-09-28 00:33

MinIO 的分布式部署

本文将对MinIO的分布式部署进行描述，主要分以下几个方面：分布式存储的可靠性M
masonlee32·2022-09-26 13:59

扎根开源：DatenLord正式成为CNCF云原生计算基金会银级会员

DatenLord达坦科技打造的高性能分布式存储产品DatenLord，通过优化IO全路径各个环节，实现最大化降低由Linux操作系统内核带来的本
·2022-09-23 23:47

分布式系统面试连环炮

他们有共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统HadoopHDFS、分布式计算系统HadoopMapReduce/
@司马懿·2022-09-22 19:12

Hbase介绍

Hbase介绍什么是HbaseHbase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价的PCServer上搭建大规模结构化存储集群。
sanhongbo·2022-09-19 11:35

【招人啦】达坦科技寻优秀实习生/23届校招生/社招大佬

一、在招岗位1、Rust分布式存储开发【岗位职责】参与高性能分布式存储系统研发，涉及的开发内容包括但不限于：分布式系统开发；分布式数据一致性协议；分布式缓存、数据管理服务。
·2022-09-17 12:23

SpringBoot使用redis解决分页查询大量数据慢的情况

缓存的实现分布式缓存Redis（分布式缓存）memcached（分布式）Etcd（云原生架构的一个分布式存储，存储配置，扩容能力）java的进程缓存ehcache（单机）本地缓存（Java内存Map）Caffeine
等待救赎的波·2022-09-17 08:29

ELK日志分析系统

●Elasticsearch:是基于工ucene(一个全文检索引擎的架构)开发的分布式存储检索引擎，用来存储各类日志。●Elasticsearch是用Java开发的，可通过RESTfulWeb接
世上无难事754·2022-09-17 07:21

直播预告 | 在 CurveBS 上部署跨机 PolarDB for PostgreSQL 集群

Curve是网易开源的高性能、高可用、高可靠分布式存储系统，具备良好的扩展性，可应用于主流的云原生基础设施平台。
·2022-09-15 18:44

分布式文件系统HDFS架构解析

在“分布式系列之分开源分布式存储技术分析”中提到HDFS是以中间控制节点为代表的分布式存储架构，一部分节点NameNode是存放管理数据，另一部分节点DataNode存放业务数据。
solihawk·2022-09-14 12:33

游戏服务器架构的历史、现在以及未来(云游戏)

2.逻辑进程的拆分3.消息队列1.全局服务管理器(Master)2.分布式消息队列4.服务发现5.负载均衡1.登录服务器的负载均衡1.分区分服2.大服务器架构2.网关服务器的负载均衡6.战斗服务器四、分布式存储五
森明帮大于黑虎帮·2022-09-13 18:10

第三章 大数据之Hadoop搭建

这是大数据测试系列第三章，可参考大数据测试系列文章环境服务器信息，是腾讯云服务器，2核cpu，4GB内存，80GB云硬盘，系统为centos7.6_x64介绍Hadoop是用来处理大数据集合的分布式存储计算基础架构
测试小书童·2022-09-09 07:37

全能成熟稳定开源分布式存储Ceph破冰之旅-上

Ceph实现了分布式统一的存储，既支持对象存储、块设备存储还支持文件系统，不失为目前最成熟稳定的存储解决方案，本篇先了解传统存储问题和Ceph的优势，介绍总体架构和组成部分，说明官网文档部署和部署版本建议，了解几种部署方式，最后通过Cephadm快速部署一个简单暂无存储节点的集群，后续可以在此基础上进行高可用节点的和存储节点的扩缩容
itxiaoshen·2022-09-07 22:00

一文看懂分布式存储架构

目录一、集中存储结构二、分布式存储1、分布式存储的兴起2、分布式存储的重要性3、分布式存储的种类和比较三、分布式理论浅析1、一致性和可用性2、数据分布3、复制4、分布式协议5、跨机房部署四、分布式文件系统
Java烟雨·2022-09-07 21:14

分布式存储解决方案

常用分布式存储解决方案哈希取余分区一致性hash算法分区它是什么？能干嘛？构建三大步骤算法构建一致性hash环服务器节点IP映射key落到服务器的落健规则优点缺点总结哈希槽分区为什么会出现？能干什么？
增肥10斤再改名·2022-09-07 21:42

分布式存储---哈希槽的概念

1哈希槽是什么1.1为什么出现？由于一致性哈希算法的数据倾斜问题，Redis集群并没有使用一致性hash而是引入了哈希槽的概念。哈希槽实质就是一个数组空间，数组[0,2^14-1]形成hashsolt空间。2.2能干什么？解决均匀分配问题，在数据和节点之间又加入了一层，把这层称为哈希槽（slot），用于管理数据和节点之间的关系，现在就相当于节点上放的是槽，槽里放的是数据。槽解决的是粒度问题，相当于
paper@planes·2022-09-07 21:41

分布式存储的算法案列面试题

面试：1~2亿条数据需要缓存，请问如何设计这个存储案例单机单台100%不可能，肯定是分布式存储，用redis如何落地？
是小晴晴呀·2022-09-07 20:55

【Redis学习笔记 7】三种分布式存储方案

目录一、问题1~2亿条数据需要缓存，请问如何设计这个存储案例？二、哈希取余分区1.是什么2.优点3.缺点三、一致性哈希算法分区1.三大步骤1.1算法构建一致性哈希环1.2节点映射1.3key落到服务器的落键规则2.优点容错性扩展性3.缺点数据倾斜四、哈希槽分区1.为什么出现2.是什么3.多少个hash槽4.哈希槽计算一、问题1~2亿条数据需要缓存，请问如何设计这个存储案例？单机单台100%不可能，
小鲁蛋儿·2022-09-07 20:24

分布式存储之redis集群

1.哈希取余算法分区：根据哈希值取余redis个数优点：负载均衡缺点：宕机后或者扩容计算公式需要改变2.一致性哈希算法分区:能解决宕机和扩容产生的问题，但是容易发生数据倾斜，所以在很多个redis的情况下才采用一致性哈希环一致性哈希算法必然有个hash函数并按照算法产生hash值，这个算法的所有可能哈希值会构成一个全量集，这个集合可以成为一个hash空间[0.2’32-1]，这个是一个线性空间，但
letg·2022-09-07 20:54

微服务架构 | 分布式存储 -算法

INDEX§1场景§2hash取余算法§3一致性hash算法§3hash槽算法§1场景问：海量数据（亿即）作为缓存如何实现(其他持久化组件也适用)答：肯定是多个缓存实例问：海量数据是如何存在于多个缓存实例的答：使数据尽量均匀的落入多个缓存实例中，同时考虑缓存实例数量变更的场景问：如何具体实现答：顺次参考下面三个算法§2hash取余算法通过公式hash%N计算数据落点，N是缓存集群节点数量优缺点优点
问仙长何方蓬莱·2022-09-07 20:36

分布式存储之hash取余算法

分布式存储之hash取余算法文章目录分布式存储之hash取余算法1.hash取余分区2.一致性hash算法分区步骤：3.哈希槽分区算法**缓存的keyhash结果是和slot绑定的，而不是和服务器节点绑定
小夕Coding·2022-09-07 20:56

大数据开发必须掌握的五大核心技术

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。
xyzkenan·2022-09-07 10:39

接近3w详解Docker搭建Redis集群（主从容错、主从扩容、主从缩容）

单机单台100%不可能，肯定是分布式存储，用redis如何落地？
·2022-09-04 22:28

OceanBase 4.0：当我们谈单机分布式一体化架构时，我们在说什么？

同时，他也主导了两次OceanBaseTPC-C测试并打破世界纪录，著有《大规模分布式存储系统：原理与实践》。
OceanBase数据库官方博客·2022-08-30 16:47

Prometheus教程

Prometheus介绍主要特征使用时间序列数据（tsdb）的多维度数据模型灵活的查询语言（PromQL）不依赖分布式存储，单个节点是自主的通过http请求拉取（pull）时间序列数据（tsdb）通过网关推送
wuenwuen·2022-08-30 00:00

神经网络特征分类标准,有哪些典型的神经网络

然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经
技术的呼唤·2022-08-29 07:24

【官方教程】Web3时代的分布式存储——IPFS技术指引（教程）

当你想开发一个去中心化应用的时候，可能会想到像以太坊这样的区块链。区块链在管理状态、实现智能合约自动流程和交换经济价值等方面是非常有用的。你可以根据这篇教程(https://www.freecodecamp.org/news/build-a-blockchain-in-golang-from-scratch/)搭建一个区块链从而了解有关区块链的更多知识。不过，你的应用的数据存储在哪里？这些数据包括
NFT践行者·2022-08-27 11:14

【Web3 系列开发教程——创建你的第一个 NFT（3）】开始创建 NFT

星际文件系统IPFS是一个旨在实现文件的分布式存储、共享和持久化的网络传输协议。它是一种内容可寻址的对等超媒体分发协议。在IPFS网络中的节点构成一个分布式文件系统。
前端修罗场·2022-08-27 11:07

分布式存储系统——《MySQL海量数据存储与优化》

文章目录前言介绍必备基础主要内容MySQL起源和分支MySQL应用架构演变MySQL架构原理MySQL架构体系MySQL运行机制MySQL存储引擎InnoDB和MyISAM对比InnoDB存储结构InnoDB线程模型InnoDB数据文件日志文件UndologRedologBinlogMySQL索引原理索引类型索引原理二分法查找Hash结构B+Tree结构聚簇索引和辅助索引索引分析与优化EXPLAI
liuwangleoooO·2022-08-26 12:49

一个数据库存储架构的独白

本文由云+社区发表本文作者：许中清，腾讯云自研数据库CynosDB的分布式存储CynosStore负责人。从事数据库内核开发、数据库产品架构和规划。
腾讯云开发者·2022-08-26 09:11

SpringCloud微服务实战——搭建企业级开发框架（三十六）：使用Spring Cloud Stream实现可灵活配置消息中间件的功能

在进行框架设计的时候，我们考虑是否能够和之前实现的短信发送、分布式存储等功能一样，抽象统一消息接口，屏蔽底层实现，在用到消息队列时，使用统一的接口代码，然后在根据自
卡卡的Java架构笔记·2022-08-25 14:48

【03】HDFS

39_尚硅谷_Hadoop_HDFS_课程介绍40_尚硅谷_Hadoop_HDFS_产生背景和定义HDFS就是为了解决海量数据的存储问题分布式存储：就是利用多台服务器来解决同一件事，每个服务器用来存储一部分数据
饮马翰海·2022-08-24 18:09

01_大数据导论与Linux基础

贯穿分布式存储技术（HadoopHDFS）分布式计算技术（HadoopMapReduce）、分布式资源调度技术（HadoopYARN）以及数据仓库技术（Hive）。
饮马翰海·2022-08-24 18:36

OceanBase 4.0：当我们谈单机分布式一体化架构时，我们在说什么？

同时，他也主导了两次OceanBaseTPC-C测试并打破世界纪录，著有《大规模分布式存储系统：原理与实践》。
·2022-08-24 17:28

从三个案例看数字化转型需求下存储架构的选择和应用

本文结合制造业企业具体应用场景案例，分享数字化转型背景下集中式存储与分布式存储架构的选择和应用。
米朵儿技术屋·2022-08-23 07:26

HDFS的灵魂33问

1HDFS是什么HDFS是HadoopDistributeFileSystem的简称Hadoop分布式文件系统，是Hadoop核心组件之一，作为最底层的分布式存储服务而存在。
九味桔梗花·2022-08-22 23:20

医学图像分类 神经网络,神经网络和图神经网络

输出层特点：不论何种类型的人工神经网络，它们共同的特点是，大规模并行处理，分布式存储，弹性拓
塑胶技术·2022-08-22 17:07

最简单的神经网络的例子,神经网络简单应用实例

然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于
塑胶技术·2022-08-22 11:10

人工神经网络优化算法,进化算法优化神经网络

直观性的思维是将分布式存储的信息综合起来，忽然间产生的想法或解决问题的办法。这种思维方式的根本之点在于以下两点：1、信息是通过神经元上的兴奋模式分布存储在网络上。2
爱发猫·2022-08-21 11:57
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他