gfs分布式文件存储系统

Ceph应用

目录--------------------创建CephFS文件系统MDS接口--------------------//客户端操作--------------------创建Ceph块存储系统RBD接口
bob_gem·2024-01-29 02:38

Redis-持久机制

文章目录为什么有持久化什么是持久化RDB文件创建SAVEBGSAVE文件载入优缺点AOF日志步骤对比数据恢复总结Redis是一个开源的内存数据结构存储系统，被广泛应用于Web应用中，可以用作数据库和缓存服务器
江 流 儿·2024-01-28 22:00

SpringBoot中实现阿里云OSS对象存储

实现文件上传服务，需要有存储的支持，那么我们的解决方案将以下几种：直接将图片保存到服务的硬盘（springmvc中的文件上传）优点：开发便捷，成本低缺点：扩容困难使用分布式文件系统进行存储优点：
努力学习的小飞侠·2024-01-28 18:33

Doris系列12-数据导入之Broker Load

适用场景:源数据在Broker可以访问的存储系统中，如HDFS。数据量在几十到百GB级别。名词解释：Frontend（FE）：Doris系统的元数据和调度节点。在导入流程中主要负责导入plan生
只是甲·2024-01-28 15:29

大数据处理系统的架构

Lambda架构的主要组成部分包括：批处理层（BatchLayer）：存储：使用分布式存储系统（如ApacheHadoopHDFS）
demo123567·2024-01-28 14:58

Redis：入门

1.介绍Redis1.1什么是RedisRedis（RemoteDictionaryServer）是一种高性能的开源键值存储系统，属于NoSQL数据库的一种。
星光闪闪k·2024-01-28 14:47

superset未授权访问漏洞（CVE-2023-27524）复现

Superset支持多种数据源，包括关系型数据库、NoSQL数据库和各种其他数据存储系统。ApacheSuperset2.0.1版本及之前版本存在安全漏洞。攻击者利用该漏洞验证和访问未经授权的资源。
fly夏天·2024-01-28 14:08

Hadoop的基础操作

Hadoop的基础操作HDFS是Hadoop的分布式文件框架，它的实际目标是能够在普通的硬件上运行，并且能够处理大量的数据。
陆卿之·2024-01-28 12:27

性能监控命令 | CPU

我们测试的系统，总的来说可分为二类：第一，IOBound，这类系统会大量消耗内存和底层的存储系统，它并不消耗过
Root_123·2024-01-28 11:10

HBase入门：运行机制

StoreFile合并Store的工作原理HLog的工作原理HBase系统架构HBase的系统架构包括客户端、ZooKeeper服务器、Master主服务器、Region服务器HBase一般采用HDFS作为底层数据存储系统客户端客户端包含访问
缘友一世·2024-01-28 09:07

GFS

转载自：https://mr-dai.github.io/gfs/论文地址：TheGoogleFileSystemGFS的主要需求在学习GFS的原理前，首先我们应当了解GFS在设计时所面对的需求场景。
小睿千万别秃头·2024-01-28 08:48

2018-11-12

Redis学习笔记Redis在在线测试Redis官网REmoteDIctionaryServer(Redis)是一个由SalvatoreSanfilippo写的key-value存储系统。
喵喵小阳·2024-01-28 06:22

史上最全的Redis的数据类型和使用方法示例—2023最新版

redis介绍Redis全称为RemoteDictionaryServer（远程数据服务），是一款开源的基于内存的键值对存储系统，其主要被用作高性能缓存服务器使用，当然也可以作为消息中间件和Session
李先生_0808·2024-01-28 06:27

分布式数据实现跨设备数据同步的N个秘密 | 分布式数据管理解析（二）

这都得益于分布式数据管理平台抽象出的三大关键技术——分布式数据库，分布式文件系统和融合搜索。那么这三大技术究竟如何具体实现全场景多设备上的数据保存，数据同步，数据访问，让我们一一来详细解读。
码中之牛·2024-01-28 03:10

【ASP.NET Core 基础知识】--数据库连接--数据迁移和代码优先开发

一、数据迁移1.1定义和用途数据迁移是指将数据从一个存储系统、数据格式、应用程序或硬件平台转移到另一个的过程。这个过程可以涉及数据的转换、清洗和验证，以确保数据的完整性和一致性。
喵叔哟·2024-01-27 23:13

Spark-core

什么是SparkSpark是基于内存的快速，通用，可扩展的大数据分析引擎Spark的内置模块SparkCore是Spark可以离线处理的部分，实现了spark的基本功能，包含任务调度，错误恢复，与存储系统交互等模块
luckboy0000·2024-01-27 23:12

【C++】STL之vector类源码剖析

vector容器可以存储系统变量和自定义变量，也可以存储其他STL容器优缺点：尾增尾删方便，头插头删时间复杂度大算法设计：通过迭代器实现数据的增删，通过swap函数实现类的构造，简化代码源码MyVector.h
命运on-9·2024-01-27 21:47

etcd技术解析：构建高可用分布式系统的利器

etcd作为一个高可用的分布式键值存储系统，在这个领域发挥着至关重要的作用。本文将深入探讨etcd的技术细节，以及如何利用它构建高可用的分布式系统。
Memory_2020·2024-01-27 20:38

HBase基础知识与架构概述

1.背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable论文设计，并作为Hadoop生态系统的一部分。
OpenChat·2024-01-27 17:31

架构：HBase的核心组件和架构设计

HBase作为一种高性能、可扩展的列式存储系统，已经成为了许多企业和组织的首选。在本文中，我们将深入了解HBase的核心组件和架构设计，为读者提供一个全面的了解。
OpenChat·2024-01-27 14:02

redis面试题合集-基础

Redis是一个开源的、内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，如字符串、哈希表、列表、集合和有序集合等，并提供了丰富的原子操作来操作这些数据结构。
for62·2024-01-27 10:32

揭秘大数据时代的内存数据存储、数据缓存：redis缓存框架!

介绍：Redis是一个开源的、基于内存的数据存储系统，它也可以持久化数据到硬盘上。Redis以其高性能、高可靠性和丰富的数据结构支持而著称，在现代应用程序中被广泛用作数据库、缓存和消息中间件。
知识分享小能手·2024-01-27 09:37

Hadoop三大核心组件，hadoop原理

HadoopMapReduce分布式计算框架一.HDFS1.HDFS概述HDFS是google三大论文之一的GFS的开源实现，是一个高度容错性的系统，适合部署
你敢和我比剑吗·2024-01-27 09:03

Flutter 封装存储数据

shared_preferences是Flutter社区开发的一个本地数据存取插件，它有以下特性：1.简单的，异步的，持久化的key-value存储系统；2.在Android上它是基于SharedPreferences
景小帮·2024-01-27 07:50

1分钟了解基于Hadoop的数据仓库工具Hive(附超实用示例)

Hive功能Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL
yuyuyuyo·2024-01-27 05:53

[AIGC 大数据基础] 浅谈hdfs

HDFS（HadoopDistributedFileSystem）是ApacheHadoop生态系统的一部分，是一个分布式文件系统。
程序员三木·2024-01-27 01:00

VIVO- AI进展--机器学习平台建设

鲁文龙表示，这种模式下的机器学习项目会出现如下问题：1、特征与样本层面，添加新特征流程较长，且不同业务间特征无法共用；特征与样本的处理和存储系统性
数据智能谷·2024-01-26 23:23

大数据开发必备工具——Hadoop及整体架构介绍

它由几个关键的组件组成，其中最核心的是Hadoop分布式文件系统（HDFS）和MapReduce计算模型。
love6a6·2024-01-26 21:03

你知道为什么要选择B+树作为数据库索引结构？谈谈你的理解

所以，现在的存储系统，都是分级组织的。最常用的数据尽可能放在更高层、更小的存储器中，只有在当前层找不到，才向更低层、更大的存储器中寻找。这也就解释
风平浪静如码·2024-01-26 17:40

【Redis】网络模型

前言Redis（RemoteDictionaryServer）是一个开源的高性能键值对存储系统，广泛用于各种网络应用中作为数据库、缓存和消息代理。
hope笔记·2024-01-26 14:25

【Redis】命令手册

Redis，作为一个开源的内存数据结构存储系统，因其高性能、易用性和丰富的数据类型而广受开发者青睐。
hope笔记·2024-01-26 14:25

一文了解Ceph原理以及常见ceph指令

Ceph是一个统一的、分布式的存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。涉及初衷是成为一个可避免单点故障的分布式文件系统，提供较好的性能、可靠性和可扩展性。通过网络将数据分散存储在多台独
听说唐僧不吃肉·2024-01-26 13:08

二 Ceph存储工作原理及实现

认识Cephceph是一个能提供文件存储，快存储和对象存储的分布式存储系统。
假面生·2024-01-26 13:38

从Elasticsearch来看分布式系统架构设计

这篇文章中，重点会讨论下分布式数据系统的设计，比如分布式存储系统，分布式搜索系统，分布式分析系统等。我们先来简单看下Elasticsearch的架构。
大叶子不小·2024-01-26 10:11

Redis数据组织揭秘：全局哈希表

首先，Redis作为一个优秀开源的内存数据结构存储系统，可以用作数据库、缓存和消息中介。它支持多种数据结构，包括字符串、哈希表、列表、集合、有序集合等。当我们谈论R
地瓜伯伯·2024-01-26 02:19

mongodn简介

MongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB旨在为WEB应用提供可扩展的高性能数据存储解决方案。
杜大个·2024-01-25 16:47

一文看懂Redis 6.0多线程IO

个人博客网站：一文看懂Redis6.0多线程IORedis基础Redis是什么Redis是一个基于BSD开源的项目，是一个把结构化的数据放在内存中的一个存储系统。
「已注销」·2024-01-25 15:59

CalvinFS: Consistent WAN Replication and Scalable Metadata Management for Distributed File...——论文泛读

尽管已经开发了许多分布式文件系统以扩展到数千台计算机的集群，但由于在地理距离上提供期望的文件系统语义和工具（如线性化操作、分层访问控制、标准命令行工具等）的困难，这些
妙BOOK言·2024-01-25 14:02

hadoop集群部署

hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构,是一个存储系统+计算框架的软件框架，主要解决海量数据存储与计算的问题，是大数据技术中的基石。
Cat God 007·2024-01-25 12:45

2019-08-07

MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。
chengxiaoliang·2024-01-25 10:14

如何使用静态化freemarker和分布式文件系统minIO去存储静态文件 增强访问效率

有的时候把网页文章根据id查询出来可能更快一些但是如果作为静态化处理的话效率可能更好一点目录一、freemarker1.freemarker介绍2、环境搭建&&快速入门2.1pom文件2.2配置文件2.3创建模型类2.4创建模板2.5创建controller2.6测试3.freemarker基础3.1)基础语法种类3.2)集合指令（List和Map）3.3)if指令3.4)运算符3.5)空值处理3
学习中的程序媛~·2024-01-25 10:31

Hudi学习笔记(一)

大数据发展背景Hudi用于管理分布式文件系统上大型分析数据集存储，支持Spark和Flink整合。它能够是DFS数据集在分钟级时延内支持变更，也支持下游系统对这个数据集的增量处理。
一一|一一一亅·2024-01-25 09:37

centos安装api-six以及可视化工具(apisix-dashboard)最新教程

etcd：Key/Value存储系统。APISIX通过插件机制，提供了动态负载平衡、身份验证、限流限速等等功能，当然我们也可以自己开发插件进行拓展。安装教程1安装api-six下载
xc_jim_sun·2024-01-25 09:41

Hadoop HDFS 实现原理图文详解

一、HDFS体系结构1.1HDFS简介Hadoop分布式文件系统(HDFS)是运行在通用硬件(commodityhardware)上的分布式文件系统（DistributedFileSystem）。
禅与计算机程序设计艺术·2024-01-25 07:49

kafka（一）快速入门

kafka是一个分布式、支持分区、多副本，基于zookeeper协调的分布式消息系统；二、应用场景日志收集：一个公司可以用Kafka收集各种服务的log，通过kafka推送到各种存储系统；消息系统：解耦和生产者和消费者
匠道·2024-01-25 05:19

Redis的五种常用数据类型详解及相关面试问题

散列表常用命令使用场景List链表常用命令应用场景Set(集合)常用命令应用场景SortedSet(有序集合)zset常用命令介绍应用场景面试题常问的数据类型简述Redis是一个开源（BSD许可）的，内存中的数据结构存储系统
fpl1116·2024-01-24 20:55

设计数据库原则

本文档明确数据库设计原则和规范，规范数据库对象命名方式，见名知意，强化分工，保证数据库高效稳定运行1数据库设计原则充分考虑业务逻辑和数据分离，数据库只作为一个保证ACID特性的关系数据的持久化存储系统，
FourAu·2024-01-24 17:36

基于大模型(LLM)的数据仓库

一、数据仓库概述数据仓库是一个大型、集中式的存储系统，用于存储和管理企业的结构化数据。数据仓库通过对数据进行整合、清洗、转换和加载等操作，
百度_开发者中心·2024-01-24 16:14

开发「定位线上问题」小工具总结

.写在最前面1.1背景同事给处理各种线上问题以及处理紧急要交付的需求版本的我，紧急插入了一个线上的问题：问题说明：发现从2023.12.25号开始，XX产品上传的计费文件，偶现有超过12小时才进入计费存储系统
phantom_111·2024-01-24 15:58

车联网平台如何提升安全性能浅谈

车联网平台可以通过以下几种方式提升安全性能：加强网络安全管理：车联网服务平台运营企业需要采取必要的安全技术措施，加强智能网联汽车、路侧设备等平台接入安全，主机、数据存储系统等平台设施安全，以及资源管理、
MarkHD·2024-01-24 15:21
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他