GridFS分布式存储

分布式系统面试连环炮

他们有共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统HadoopHDFS、分布式计算系统HadoopMapReduce/
@司马懿·2022-09-22 19:12

Hbase介绍

Hbase介绍什么是HbaseHbase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价的PCServer上搭建大规模结构化存储集群。
sanhongbo·2022-09-19 11:35

【招人啦】达坦科技寻优秀实习生/23届校招生/社招大佬

一、在招岗位1、Rust分布式存储开发【岗位职责】参与高性能分布式存储系统研发，涉及的开发内容包括但不限于：分布式系统开发；分布式数据一致性协议；分布式缓存、数据管理服务。
·2022-09-17 12:23

SpringBoot使用redis解决分页查询大量数据慢的情况

缓存的实现分布式缓存Redis（分布式缓存）memcached（分布式）Etcd（云原生架构的一个分布式存储，存储配置，扩容能力）java的进程缓存ehcache（单机）本地缓存（Java内存Map）Caffeine
等待救赎的波·2022-09-17 08:29

ELK日志分析系统

●Elasticsearch:是基于工ucene(一个全文检索引擎的架构)开发的分布式存储检索引擎，用来存储各类日志。●Elasticsearch是用Java开发的，可通过RESTfulWeb接
世上无难事754·2022-09-17 07:21

直播预告 | 在 CurveBS 上部署跨机 PolarDB for PostgreSQL 集群

Curve是网易开源的高性能、高可用、高可靠分布式存储系统，具备良好的扩展性，可应用于主流的云原生基础设施平台。
·2022-09-15 18:44

分布式文件系统HDFS架构解析

在“分布式系列之分开源分布式存储技术分析”中提到HDFS是以中间控制节点为代表的分布式存储架构，一部分节点NameNode是存放管理数据，另一部分节点DataNode存放业务数据。
solihawk·2022-09-14 12:33

游戏服务器架构的历史、现在以及未来(云游戏)

2.逻辑进程的拆分3.消息队列1.全局服务管理器(Master)2.分布式消息队列4.服务发现5.负载均衡1.登录服务器的负载均衡1.分区分服2.大服务器架构2.网关服务器的负载均衡6.战斗服务器四、分布式存储五
森明帮大于黑虎帮·2022-09-13 18:10

第三章 大数据之Hadoop搭建

这是大数据测试系列第三章，可参考大数据测试系列文章环境服务器信息，是腾讯云服务器，2核cpu，4GB内存，80GB云硬盘，系统为centos7.6_x64介绍Hadoop是用来处理大数据集合的分布式存储计算基础架构
测试小书童·2022-09-09 07:37

全能成熟稳定开源分布式存储Ceph破冰之旅-上

Ceph实现了分布式统一的存储，既支持对象存储、块设备存储还支持文件系统，不失为目前最成熟稳定的存储解决方案，本篇先了解传统存储问题和Ceph的优势，介绍总体架构和组成部分，说明官网文档部署和部署版本建议，了解几种部署方式，最后通过Cephadm快速部署一个简单暂无存储节点的集群，后续可以在此基础上进行高可用节点的和存储节点的扩缩容
itxiaoshen·2022-09-07 22:00

一文看懂分布式存储架构

目录一、集中存储结构二、分布式存储1、分布式存储的兴起2、分布式存储的重要性3、分布式存储的种类和比较三、分布式理论浅析1、一致性和可用性2、数据分布3、复制4、分布式协议5、跨机房部署四、分布式文件系统
Java烟雨·2022-09-07 21:14

分布式存储解决方案

常用分布式存储解决方案哈希取余分区一致性hash算法分区它是什么？能干嘛？构建三大步骤算法构建一致性hash环服务器节点IP映射key落到服务器的落健规则优点缺点总结哈希槽分区为什么会出现？能干什么？
增肥10斤再改名·2022-09-07 21:42

分布式存储---哈希槽的概念

1哈希槽是什么1.1为什么出现？由于一致性哈希算法的数据倾斜问题，Redis集群并没有使用一致性hash而是引入了哈希槽的概念。哈希槽实质就是一个数组空间，数组[0,2^14-1]形成hashsolt空间。2.2能干什么？解决均匀分配问题，在数据和节点之间又加入了一层，把这层称为哈希槽（slot），用于管理数据和节点之间的关系，现在就相当于节点上放的是槽，槽里放的是数据。槽解决的是粒度问题，相当于
paper@planes·2022-09-07 21:41

分布式存储的算法案列面试题

面试：1~2亿条数据需要缓存，请问如何设计这个存储案例单机单台100%不可能，肯定是分布式存储，用redis如何落地？
是小晴晴呀·2022-09-07 20:55

【Redis学习笔记 7】三种分布式存储方案

目录一、问题1~2亿条数据需要缓存，请问如何设计这个存储案例？二、哈希取余分区1.是什么2.优点3.缺点三、一致性哈希算法分区1.三大步骤1.1算法构建一致性哈希环1.2节点映射1.3key落到服务器的落键规则2.优点容错性扩展性3.缺点数据倾斜四、哈希槽分区1.为什么出现2.是什么3.多少个hash槽4.哈希槽计算一、问题1~2亿条数据需要缓存，请问如何设计这个存储案例？单机单台100%不可能，
小鲁蛋儿·2022-09-07 20:24

分布式存储之redis集群

1.哈希取余算法分区：根据哈希值取余redis个数优点：负载均衡缺点：宕机后或者扩容计算公式需要改变2.一致性哈希算法分区:能解决宕机和扩容产生的问题，但是容易发生数据倾斜，所以在很多个redis的情况下才采用一致性哈希环一致性哈希算法必然有个hash函数并按照算法产生hash值，这个算法的所有可能哈希值会构成一个全量集，这个集合可以成为一个hash空间[0.2’32-1]，这个是一个线性空间，但
letg·2022-09-07 20:54

微服务架构 | 分布式存储 -算法

INDEX§1场景§2hash取余算法§3一致性hash算法§3hash槽算法§1场景问：海量数据（亿即）作为缓存如何实现(其他持久化组件也适用)答：肯定是多个缓存实例问：海量数据是如何存在于多个缓存实例的答：使数据尽量均匀的落入多个缓存实例中，同时考虑缓存实例数量变更的场景问：如何具体实现答：顺次参考下面三个算法§2hash取余算法通过公式hash%N计算数据落点，N是缓存集群节点数量优缺点优点
问仙长何方蓬莱·2022-09-07 20:36

分布式存储之hash取余算法

分布式存储之hash取余算法文章目录分布式存储之hash取余算法1.hash取余分区2.一致性hash算法分区步骤：3.哈希槽分区算法**缓存的keyhash结果是和slot绑定的，而不是和服务器节点绑定
小夕Coding·2022-09-07 20:56

大数据开发必须掌握的五大核心技术

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。
xyzkenan·2022-09-07 10:39

接近3w详解Docker搭建Redis集群（主从容错、主从扩容、主从缩容）

单机单台100%不可能，肯定是分布式存储，用redis如何落地？
·2022-09-04 22:28

OceanBase 4.0：当我们谈单机分布式一体化架构时，我们在说什么？

同时，他也主导了两次OceanBaseTPC-C测试并打破世界纪录，著有《大规模分布式存储系统：原理与实践》。
OceanBase数据库官方博客·2022-08-30 16:47

Prometheus教程

Prometheus介绍主要特征使用时间序列数据（tsdb）的多维度数据模型灵活的查询语言（PromQL）不依赖分布式存储，单个节点是自主的通过http请求拉取（pull）时间序列数据（tsdb）通过网关推送
wuenwuen·2022-08-30 00:00

神经网络特征分类标准,有哪些典型的神经网络

然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经
技术的呼唤·2022-08-29 07:24

【官方教程】Web3时代的分布式存储——IPFS技术指引（教程）

当你想开发一个去中心化应用的时候，可能会想到像以太坊这样的区块链。区块链在管理状态、实现智能合约自动流程和交换经济价值等方面是非常有用的。你可以根据这篇教程(https://www.freecodecamp.org/news/build-a-blockchain-in-golang-from-scratch/)搭建一个区块链从而了解有关区块链的更多知识。不过，你的应用的数据存储在哪里？这些数据包括
NFT践行者·2022-08-27 11:14

【Web3 系列开发教程——创建你的第一个 NFT（3）】开始创建 NFT

星际文件系统IPFS是一个旨在实现文件的分布式存储、共享和持久化的网络传输协议。它是一种内容可寻址的对等超媒体分发协议。在IPFS网络中的节点构成一个分布式文件系统。
前端修罗场·2022-08-27 11:07

分布式存储系统——《MySQL海量数据存储与优化》

文章目录前言介绍必备基础主要内容MySQL起源和分支MySQL应用架构演变MySQL架构原理MySQL架构体系MySQL运行机制MySQL存储引擎InnoDB和MyISAM对比InnoDB存储结构InnoDB线程模型InnoDB数据文件日志文件UndologRedologBinlogMySQL索引原理索引类型索引原理二分法查找Hash结构B+Tree结构聚簇索引和辅助索引索引分析与优化EXPLAI
liuwangleoooO·2022-08-26 12:49

一个数据库存储架构的独白

本文由云+社区发表本文作者：许中清，腾讯云自研数据库CynosDB的分布式存储CynosStore负责人。从事数据库内核开发、数据库产品架构和规划。
腾讯云开发者·2022-08-26 09:11

SpringCloud微服务实战——搭建企业级开发框架（三十六）：使用Spring Cloud Stream实现可灵活配置消息中间件的功能

在进行框架设计的时候，我们考虑是否能够和之前实现的短信发送、分布式存储等功能一样，抽象统一消息接口，屏蔽底层实现，在用到消息队列时，使用统一的接口代码，然后在根据自
卡卡的Java架构笔记·2022-08-25 14:48

【03】HDFS

39_尚硅谷_Hadoop_HDFS_课程介绍40_尚硅谷_Hadoop_HDFS_产生背景和定义HDFS就是为了解决海量数据的存储问题分布式存储：就是利用多台服务器来解决同一件事，每个服务器用来存储一部分数据
饮马翰海·2022-08-24 18:09

01_大数据导论与Linux基础

贯穿分布式存储技术（HadoopHDFS）分布式计算技术（HadoopMapReduce）、分布式资源调度技术（HadoopYARN）以及数据仓库技术（Hive）。
饮马翰海·2022-08-24 18:36

OceanBase 4.0：当我们谈单机分布式一体化架构时，我们在说什么？

同时，他也主导了两次OceanBaseTPC-C测试并打破世界纪录，著有《大规模分布式存储系统：原理与实践》。
·2022-08-24 17:28

从三个案例看数字化转型需求下存储架构的选择和应用

本文结合制造业企业具体应用场景案例，分享数字化转型背景下集中式存储与分布式存储架构的选择和应用。
米朵儿技术屋·2022-08-23 07:26

HDFS的灵魂33问

1HDFS是什么HDFS是HadoopDistributeFileSystem的简称Hadoop分布式文件系统，是Hadoop核心组件之一，作为最底层的分布式存储服务而存在。
九味桔梗花·2022-08-22 23:20

医学图像分类 神经网络,神经网络和图神经网络

输出层特点：不论何种类型的人工神经网络，它们共同的特点是，大规模并行处理，分布式存储，弹性拓
塑胶技术·2022-08-22 17:07

最简单的神经网络的例子,神经网络简单应用实例

然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于
塑胶技术·2022-08-22 11:10

人工神经网络优化算法,进化算法优化神经网络

直观性的思维是将分布式存储的信息综合起来，忽然间产生的想法或解决问题的办法。这种思维方式的根本之点在于以下两点：1、信息是通过神经元上的兴奋模式分布存储在网络上。2
爱发猫·2022-08-21 11:57

Redis Cluster集群方案

RedisCluster集群方案简介核心原理配置节点配置集群配置健康检查常见管理手段扩容-增加Redis节点扩容-slot自动平衡缩容-slot手动分配缩容-删除Redis节点简介Redis集群实现了一个数据分布式存储
Ym影子·2022-08-19 13:42

浅析IPFS 与 SAFE Network 的关系与区别

IPFS＝InterPlanetaryFileSystem，是一个旨在创建持久且分布式存储和共享文件的网络传输协议。它是一种内容可寻址的对等超媒体分发协议。
存储-小白·2022-08-19 05:46

星环科技多模型数据统一存储的大数据分布式存储平台方案分享

数字经济时代，随着大数据、人工智能等新一代信息技术的快速发展与应用，企业的数据量呈现爆炸式增长，数据结构也越来越多样化，对数据存储提出了更新的要求：数据结构多样化如表格类型的关系数据、半结构化的文档日志搜索以及非结构化的图片和视频数据，多模型存储需求应运而生。非结构化数据的快速增长，对象存储的优势逐渐显现，并要求能够低成本实现海量非结构数据的存储。此外，传统数据存储平台需要同时存储大文件和小文件，
·2022-08-18 11:29

一文理解Hadoop分布式存储和计算框架入门基础

本篇从Hadoop发行版本历史开始，延伸至其生态说明，了解总体组成部分和架构，通过实战部署最新版本3.3.4实现3个节点集群，并配置NameNode和ResourceManager的HA，最后测试完成HDFS文件读写和Yarn任务资源调度。...
itxiaoshen·2022-08-17 19:00

Docker搭建redis集群

单机单台100%不可能，肯定是分布式存储另外，主从模式，薪火相传模式，主机宕机，导致ip地址发生变化，应用程序中配置需要修改对应的主机地址、端口等信息
小鲁蛋儿·2022-08-17 07:48

微服务思想篇

5.1.强一致性5.2.弱一致性6.负载均衡，限流，熔断7.一致性7.1幂等7.2分布式锁7.3分布式事务7.3.1刚性事务7.3.2柔性事务7.4CAP8.数据访问层9.DB,Cache,存储9.1.分布式存储
夹心米·2022-08-16 17:59

第六届 Techo TVP 开发者峰会暨腾讯云大数据峰会来啦！

20年前，单机存储能力遭遇瓶颈，分布式存储计算架构成为主流。ApacheHadoop成为大数据技术的代名词。10年前，满足实时交互性的Storm、Flink等流处理框架应运而生。
·2022-08-16 17:46

快手一面：讲一讲 Hadoop、Hive、Spark 之间的关系？

由两部分组成，分布式存储（HDFS）和分布式计算（MapReduce）HDFS
Park33448·2022-08-13 12:22

K8S集群rook部署ceph集群

rook介绍：rook是一个自我管理的分布式存储编排系统，它本身并不是存储系统，在存储和k8s
西幻001·2022-08-12 07:39

k8s 集群部署rook-ceph存储系统及使用

一、Rook、ceph简介Ceph分布式存储系统Ceph是一种高度可扩展的分布式存储解决方案，提供对象、文件和块存储。
Cloud孙文波·2022-08-12 07:38

K8S，k3s 分布式存储：rook-ceph or Longhorn

K8S的VolumeVolume的主要功能是为了持久化容器的数据，Volume的生命周期独立于容器，Pod中的容器可能被销毁和重建，但Volume会被保留。本质上，KubernetesVolume是一个目录，这一点与DockerVolume类似。当Volume被mount到Pod，Pod中的所有容器都可以访问这个Volume。KubernetesVolume目前（2020-09），Kubernet
Michaelwubo·2022-08-12 07:59

大数据应用开发流程

存储是指对分布式文件系统（GFS）或NoSQL分布式存储系统、数据格式）、压缩和数据模型的决策。处理是指
梯度科技·2022-08-09 16:00

如何通过 open-local 玩转容器本地存储? | 龙蜥技术

编者按：云原生背景下，本地存储相比分布式存储，在易用性、可维护性、IO性能上都更胜一筹，但使用本地存储任然有诸多问题。那么open-local会带来什么不一样的体验呢？来看看作者怎么说。
·2022-08-09 15:41

微服务架构案例(03)：数据库选型简介，业务数据规划设计

分布式存储Cassandra、Hbase、MongodDB等。键值存储Memcached、Redis、MemcacheDB等。图形
知了一笑·2022-08-08 23:44
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他