GridFS分布式存储

笔记：分布式大数据技术原理（一）Hadoop 框架

Hadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MapReduce
WeeeicheN·2024-01-09 22:17

大数据开发：Hive基础知识点介绍

Hive简介根据官方文档的定义，Hive是一种用类SQL语句来协助读写、管理那些存储在分布式存储系统上大数据集的数据仓库软件。Hive的特点Hive最大的特
加米谷大数据张老师·2024-01-09 13:52

【Vsan数据恢复】异常关机导致Vsan分布式存储虚拟机组件异常的数据恢复案例

vsan分布式存储故障：一套vsan分布式存储架构有数台服务器节点，该vsan分布式存储架构配置了固态硬盘和机械硬盘，固态硬盘作为缓存盘使用，机械硬盘作为容量盘使用。
北亚数据恢复·2024-01-09 12:08

挑战存储“不可能之三角”：用自研技术引领存储性能突破

虽然分布式存储在大众认知内具有高性价比和高扩展性，却未被赋予高性能的标签。可以说，分布式存储没能完全解决存储领域“大容量、高性能、高性价比不可能之三角”这一痛点。
科技云报道·2024-01-09 08:22

大数据之PySpark的RDD介绍

一、RDD简介RDD称为弹性分布式数据集，是Spark中最基本的数据抽象，其为一个不可变、可分区、元素可并行计算的集合；RDD中的数据是分布式存储，可用于并行计算，同时，
敲键盘的杰克·2024-01-09 07:11

Spark Core------算子介绍

Resilient弹性：RDD的数据可以存储在内存或者磁盘当中，RDD的数据可以分区Distributed分布式：RDD的数据可以分布式存储，可以进行并行计算Dataset数据集：一个用于存放数据
小希 fighting·2024-01-09 07:01

隐私保护在Web3.0中的重要性

敏感的用户数据可以从任何用户平台安全地共享到云端或分布式存储，并通过代理重加密或属性加密自动授予对该数据的访问。在这个过程中，有必要确保数据的可用性。
Aix17·2024-01-08 13:39

Spark Core基础知识

中最基本的数据抽象,代表一个不可变,可分区,里面的元素可并行计算的集合.Resilient弹性:RDD的数据可以存储在内存或者磁盘当中,RDD的数据可以分区Distributed分布式:RDD的数据可以分布式存储
MSJ3917·2024-01-08 07:52

了解Ceph 分布式存储

内容概括1、存储发展史随着OpenStack的快速发展，给Caph的发展注入了强心剂，越来越多的人使用Ceph作为OpenStack的底层共享存储，Ceph在中国的社区也蓬勃发展起来。近两年OpenStack火爆度不及当年，借助于云原生尤其是Kubernetes技术的发展，作为底层存储的基石，Ceph再次发力，为Kubernets有状态化业务提供了存储机制的实现。企业中使用存储按照其功能，使用场景
小老虎追玉兔·2024-01-08 04:24

【Java处理百万级数据的高效方法了解】

1.2分布式存储考虑使用分布式数据库（如HBase、Cassandra）或存储系统（如HadoopDistri
無飞·2024-01-07 12:21

高性能、可扩展、分布式对象存储系统MinIO的介绍、部署步骤以及代码示例

分布式存储：MinIO可以以分布式方式部署，通过纠删码（Erasu
小果运维·2024-01-07 12:18

Hadoop分布式文件系统(二)

目录一、Hadoop1、文件系统1.1、文件系统定义1.2、传统常见的文件系统1.3、文件系统中的重要概念1.4、海量数据存储遇到的问题1.5、分布式存储系统的核心属性及功能含义2、HDFS2.1、HDFS
杀神lwz·2024-01-07 11:19

XSKY SDS 产品率先获得 OceanBase V4 新版本认证

据悉，这是首个基于OceanBaseV4认证的分布式存储产品联合解决方案。联合解决方案 性能与成本兼得
XSKY星辰天合·2024-01-07 10:01

通用异构参数服务器技术

数据管理需要考虑数据的分布式存储
道亦无名·2024-01-07 02:32

分布式存储与传统存储对比分析

分布式存储的定义分布式存储系统，是将数据分散存储在多台独立的X86服务器上，通过通用的存储协议对外提供FC、ISCSI、RBD、NAS、S3等存储接口，每个存储服务器节点既能够进行数据存放和性能加速，也同时提供数据控制和存储接口对接
LD_ee65·2024-01-07 01:46

Ceph分布式存储

一.Ceph分布式存储1.Ceph概念（1）Ceph是一种开源的分布式存储系统，2006年出现，是私有云事实上的标准-OpenStack的默认存储后端。用于在整个集群中存储海量数据。
z怀夕·2024-01-06 08:46

BigData~05：HBase

https://www.cnblogs.com/ityouknow/p/7344001.html一、简介HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PCServer
帅可儿妞·2024-01-06 07:29

Alluxio中国行（一）开源分布式存储系统Alluxio的历史、现状和未来

七月底八月初在南京、上海和北京三地，Alluxio项目创立者李浩源以及部分核心开发者举办了一系列Meetup活动。活动现场介绍了Alluxio项目的新增功能，Alluxio生态系统展望，以及探讨了Alluxio在未来的发展路线。同时还分享了Alluxio在百度、去哪儿网的实践案例，与广大开发者及用户积极交流，碰撞思想。Alluxio，前称Tachyon，源自UCBerkeleyAMPLab，是一个
言则yanze·2024-01-05 22:43

分布式存储题库

分布式存储题库分布式存储系统要求实现的特性有哪些？答：低成本、高性能、可扩展、易用。分布式存储系统设计的技术性挑战包括那些。答：数据分布、一致性、容错、负载均衡、并发控制、易用性、压缩/解压缩。
@Yauo·2024-01-04 19:18

区块链的一股清流-Ulord

Ulord的特色Ulord是一条价值公链，利用分布式存储、共识机制、多侧链技术、智能合约、加密技术等打造了一个数字资源交互平台，为开发者提供了友好的API接口、完整的p2p数据服务、更多的智能模块，开发者可以在
回南少年·2024-01-04 15:30

区块链端对端交易性能分析

区块链端到端交易性能分析区块链从微观上来说就是一个不可篡改的可溯源系统，从宏观上来说具有三个特点:共识机制(这个被很多人所研究，包括改进，例如POW、POS、BPFT等等)、分布式存储(每个节点对于链信息的存储
Beta_King·2024-01-04 13:09

区块链媒体宣发：连接未来的数字传播纽带-大舍传媒

区块链媒体宣发通过智能合约和分布式存储等特性，为信息传播打开了全新的局面。区块链媒体宣发：数字时代的新引擎区块链媒体宣发在信息传播
大舍传媒·2024-01-04 12:38

HBase基本概念与基本使用

1.HBase简介1.1什么是HBaseHBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。
Yobhel·2024-01-04 08:28

电商数仓可视化1--数据导入

：用户基本信息、商品分类信息、商品信息、店铺信息、订单数据、订单支付信息、活动信息、物流信息等2、埋点数据埋点日志相对业务数据是用于数据分析、挖掘需求，一般以日志形式存储于日志文件中，随后通过采集落地分布式存储介质中如
bigdata从入门到放弃·2024-01-03 18:53

大数据StarRocks(一) StarRocks概述

1StarRocks介绍StarRocks是新一代极速全场景MPP(MassivelyParallelProcessing)数据库，它充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果
运维仙人·2024-01-03 06:24

大数据要学习什么知识？大数据学习的内容有哪些？

（资料在尾部）大数据技术体系太庞杂了，基础技术覆盖数据采集、数据预处理、分布式存储、NOSQL数据库、多模式计算（批处理、在线处理、实时流处理、内存处理）、多模态计算（图像、文本、视频、音频）、数据仓库
Java程序员YY·2024-01-03 00:19

Python的发展趋势

你可能在之前听说过很多编程语言，比如难学的C语言（语法和实现难度），非常流行的JAVA语言（尤其是现在分布式存储和服务），非常有争议的PHP（常见WordPress大多网站），前端HTML、JavaScripts
会python的小孩·2024-01-03 00:01

Hbase介绍以及Hive优势

因为HBase基于Hadoop的HDFS完成分布式存储，以及MapReduce完成分布式并行计算，所以它的一些特点与Hadoop相同，依靠横向扩展，通过不断增加性价比高的商业服务器来增加计算和存储能力。
毛毛虫同学·2024-01-02 14:38

【ceph】Ceph之PG状态详解--研读笔记

原文：分布式存储Ceph之PG状态详解-简书Ceph中一些PG相关的状态说明和基本概念说明、故障模拟_pansaky的博客-CSDN博客1.PG介绍继上次分享的《Ceph介绍及原理架构分享》，这次主要来分享
bandaoyu·2024-01-02 06:31

【2023】hadoop基础介绍

分布式计算YARN：资源管控调度YARN架构提交任务到**YARN中运行**Hadoop组成hadoop安装教程可以看我这篇文章===>hadoop通过docker安装HDFS组件：是Hadoop内的分布式存储组件
方渐鸿·2024-01-02 03:26

云宏大讲坛 | Ceph分布式存储高性能设计

随着数据量的不断增长，如何以高效的方式存储数据量成为IT界的一个挑战。许多传统存储解决方案不能满足日益增长的需求，业界迫切需要一种新的方法来管理现今的数据，为用户控制访问时间，缩减管理成本。软件定义的存储解决方案是存储大量数据的一个新兴方案。当代网络，云计算、大数据技术的应用使得数据呈指数增长，每天增长达百万兆背景字节的数据量是常见的情况。我们迫切需要一种更有效的解决方案，如可伸缩扩展的软件定义存
chennbwin·2024-01-02 01:48

docker小白第九天

单机存储是不可能的，需要分布式存储，如果使用redis又该如何部署。哈希取余分区优点：简单粗暴，直接有效，只需要预估好数据，规划好节点，例如3台、8台、10台，就能保证一段时间的数据支撑。
疯子的梦想＠·2024-01-01 16:36

【hcie-cloud】【15】华为云Stack应急预案

文章目录前言应急预案介绍应急预案诉求用户挑战业务上云阻碍大应急保障缺乏规范应急时效性难以保障运维体系存在盲点应急预案的必要性应急预案故障场景总览基础云服务应用平台数据库大数据平台AI服务应急预案故障场景介绍故障场景案例(1)故障场景案例(2)IaaS层应急预案计算节点故障应急预案批量虚拟机无法访问应急方案计算域平台故障场景应急预案存储故障场景介绍分布式存储
҉人间无事人·2024-01-01 11:57

PacificA 论文笔记（一）

然而实现一个实际项目中的分布式存储系统不仅仅是应用一个已知的复制协议。理论上的复制协议和实际应用的复制机制还是有很大的不同的。
余小言·2023-12-31 18:51

Kubernetes集群部署Rook Ceph实现文件存储，对象存储，块存储

Ceph是一个高度可扩展的分布式存储系统，提供了对象存储、块存储和文件系统的功能，广泛应用于提供大规模存储解决方案。
大風起雲飛揚·2023-12-31 17:08

ZStack Cube超融合一体机助力电子支付企业升级改造

电子支付服务企业实壹信息通过ZStackCube超融合一体机为业务生产环境构建新一代云基础设施，结合V2V迁移模块实现ZStack社区版云平台应用迁移到全新的云基础设施ZStackCube超融合一体机上，同时共享分布式存储和外接
ZStack云计算·2023-12-31 16:40

如何保障企业信息安全管理

我们YottaChain企业云盘打造核心技术区块链分布式存储在文件存储过程中全程加密，之后会通过互联网发送到YottaChain区块链存储的某个节点，超级节点接收到加密后的数据，全程传输的为加密数据，因为去中心化存储的每个节点都是不可信任的
lqyanna·2023-12-31 04:28

【图文详解】HBase 数据模型及其架构原理

HBase的设计思想，来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。HBase数据模型逻辑上，HBase的数据模型同
禅与计算机程序设计艺术·2023-12-30 21:40

对象存储COS是什么？如何接入SCDN

对象存储（CloudObjectStorage，简称COS）是一种在云上提供无层次结构的分布式存储产品。这种存储方式的特点在于，它没有目录层次结构，也不受数据格式的限制，可以容纳海量数据。
德迅云安全-文琪·2023-12-30 13:02

rancher harvester deploy demo 【部署 harvester v1.2.1】

Harvester运行在裸机服务器上，提供集成的虚拟化和分布式存储功能。除了传统的虚拟机(vm)之外，Harvester还通过与Rancher集成自动支持容器化环境。
ghostwritten·2023-12-30 11:10

在CentOS7上安装Hadoop分布式系统

项目背景：Hadoop原来是ApacheLucene下的一个子项目，它最初是从Nutch项目中分离出来的专门负责分布式存储以及分布式运算的项目。
栗子艾李子·2023-12-30 07:26

ELK日志分析系统，ELFK详解部署

以下是ELK日志分析系统的主要组件及其功能：Elasticsearch：基于Lucene的分布式存储检索引擎，用于存储各类日志。通过RESTfulWeb接口进行通
木合杉·2023-12-30 01:01

分布式存储考点梳理 + 高频面试题

欢迎来到分布式存储模环节，本文我将和你一起梳理面试中分布式系统的数据库的高频考点，做到温故知新。
小小哭包·2023-12-29 21:15

SuperMap iServer发布ArcGIS瓦片

包括发布分布式存储的瓦片，发布标准地图瓦片包，以及其他本地存储的瓦片包。
坐在对面吃炒面·2023-12-29 12:49

StarRocks：快速查询的秘密解析

它采用了以列为存储单位的分布式存储结构，可以高效地处理列式数据。相比于传统的行式存储引擎，这种存储结构在大数据分析场景下表现出更好的性能，并且可以轻松应对数据
临界爵迹·2023-12-29 09:03

分布式系统面试连环炮

他们有共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统hadoophdfs、分布式计算系统hadoopmapreduce/
Java机械师·2023-12-26 23:13

redis-cluster集群

redis-cluster集群：redis3.0引入的分布式存储方案集群由多个node节点组成，redis数据分布在这些节点之中在集群之中分为主节点和从节点集群模式当中，主从一一对应，数据写入和读取与主从模式一样
DDYYmmm·2023-12-26 21:23

LinkedIn 开源分布式存储系统Ambry

分布式存储入门认知分布式存储是一种用于处理大规模数据的存储系统。随着互联网的发展和数据量的爆发式增长，传统的集中式存储已经无法满足需求。
菠萝-琪琪·2023-12-26 15:51

10023---分布式系统理论基础 - CAP

原文引言CAP是分布式系统、特别是分布式存储领域中被讨论最多的理论，“什么是CAP定理？”在Quora分布式系统分类下排名FAQ的No.1。
xxxcyzyy·2023-12-26 15:59

分布式系统理论基础 - CAP

引言CAP是分布式系统、特别是分布式存储领域中被讨论最多的理论，“什么是CAP定理？”在Quora分布式系统分类下排名FAQ的No.1。
weixin_33841503·2023-12-26 15:28
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他