分布式文件存储系统

大数据存储与管理

大数据存储与管理本节主要讲述大数据存储与管理技术的概念和原理，包括Hadoop分布式文件系统(HDFS)和分布式数据库（Hbase）;体系结构：一、分布式文件系统HDFS1.HDFS体系结构2.HDFS
Kris林·2024-01-31 07:25

大数据----4.hadoop分布式框架搭建

-使用本地文件系统，而不是分布式文件系统。-Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce
学无止境的大象·2024-01-31 06:49

HDFS Federation前世今生

一背景熟悉大数据的人应该都知道，HDFS是一个分布式文件系统，它是基于谷歌的GFS实现的开源系统，设计目的就是提供一个高度容错性和高吞吐量的海量数据存储解决方案。
跟着大数据和AI去旅行·2024-01-31 05:31

Flink中StateBackend（工作状态）与Checkpoint（状态快照）的关系

Flink定期获取所有状态的快照，并将这些快照复制到持久化的位置，例如分布式文件系统。如果发生故障，Flink可以恢复应用程序的完整状态并继续处理，就如同没有出现过异常。Fli
PONY LEE·2024-01-31 04:22

BAT学习笔记：详解环境变量及其所有创建方法

二、什么是环境变量环境变量是操作系统中用于存储系统配置信
迈达量化·2024-01-31 04:42

MongoDB实战：应用场景以及Spring和mongodb的整合

（老版本的mongodb有丢数据的情况，新版本不会有，网上说的），mongodb适合存储一些量大表关系较简单的数据，例如用户信息，用户注册信息，公司注册信息，留言，评论，操作日志，mongodb还能用分布式文件存储信息
Java小叮当·2024-01-31 02:32

Redis持久化机制

一、Redis持久化简介Redis（RemoteDictionaryServer）是一个高性能的键值对（key-value）存储系统，通常用作数据库、缓存和消息队列等。
无问287·2024-01-30 23:23

Spark的核心RDD（Resilient Distributed Datasets弹性分布式数据集）

例如在一个迭代过程中，除可复制的文件系统（HDFS）外没有提供其他存储的概念，这就导致在网络上进行数据复制而增加了大量的消耗，而对于两个的MapReduce作业之间数据共享只有一个办法，就是将其写到一个稳定的外部存储系统
fcyh·2024-01-30 15:46

Redis核心技术与实战【学习笔记】 - 5.万金油的String带来的内存空间开销问题及解决办法

先分析一个案例：开发一个文件存储系统，要求这个系统能快速记录文件ID和图片在存储系统中保存的文件存储对象ID。同时，系统可根据文件ID快速查找到图片存储对象ID。
陈建111·2024-01-30 12:17

实战教程：如何用Spring Boot和MySQL存储共享单车数据

⚡⚡Java实战|SpringBoot/SSMPython实战项目|Django微信小程序/安卓实战项目大数据实战项目⚡⚡文末获取源码文章目录⚡⚡文末获取源码共享单车数据存储系统-研究背
计算机编程指导师·2024-01-30 11:08

本地MinIO存储服务通过Java程序结合Cpolar内网穿透进行远程连接

AccessKeys2.Linux安装Cpolar3.创建连接MinIO服务公网地址4.远程调用MinIO服务小结5.固定连接TCP公网地址6.固定地址连接测试前言MinIO是一款高性能、分布式的对象存储系统
小沈YO.·2024-01-30 11:01

如何将千亿文件放进一个文件系统，EuroSys‘23 CFS 论文背后的故事

在现实业务的压力和技术理想的感召下，带着模糊的地图，百度沧海·存储CFS和TafDB两个技术团队启程进入无人区，寻找解开「千亿文件的情况下，文件存储系统依然保持高性能」难题的钥匙。
百度智能云技术站·2024-01-30 06:00

2.图说HDFS基本原理

英文原版作者：ManeeshVarshney,[email protected]是现在最受欢迎和被人们说熟知的分布式文件系统。
__元昊__·2024-01-30 03:59

hadoop必记知识点（1）

其中，HDFS为分布式文件系统，负责数据存储；MapR
运维仙人·2024-01-30 02:40

大数据 - Hadoop系列《三》- MapReduce（分布式计算引擎）概述

上一篇文章：大数据-Hadoop系列《三》-HDFS（分布式文件系统）概述-CSDN博客目录12.1针对MapReduce的设计构思1.如何对付大数据处理场景2.构建抽象编程模型3.统一架构、隐藏底层细节
王哪跑nn·2024-01-29 23:31

GFS--Google File System论文翻译和理解

一、系统设计目标高可用的大文件分布式文件系统。二、关键点Architecture-架构：有哪些Server，每个Server的功能。Master存储的MetaData的结构。client写数据流程。
不争_900c·2024-01-29 23:00

Flutter Web持久化存储SharedPreferences原理

在Android上，它使用轻量级的Key-Value存储系统，在iOS上，使用UserDefaults对于Web平台，SharedPreferences的实现有所不同，
夏目艾拉·2024-01-29 21:22

全面解析基于Hadoop模型的数据分析平台框架

本文主要讲解以下两个方面：♦HadoopMapReduce与Hive技术研究♦数据分析平台框架设计与环境配置HadoopMapReduce与Hive技术研究一、Hadoop框架工作机制Hadoop框架定义：Hadoop分布式文件系统
丨程序之道丨·2024-01-29 17:04

HDFS文件系统之存储优化篇1

随着业务数据规模逐渐变大，业务成本越来越高，同时HDFS本身的数据冗余多副本机制放大存储成本过高文题，且近年来各大公司都在搞降本增效，所以相关降本要求越来越高，对HDFS本身存储系统提出更多的挑战。
风筝Lee·2024-01-29 16:35

Fink CDC 1.0 至3.0的从古至今

当数据库中发生增（INSERT）/删（DELETE）/改（UPDATE）时，它可以将这种变化实时/非实时地将这些变更以事件流的形式推送给其他应用程序或数据存储系统。例如通过数据库
小枫@码·2024-01-29 14:07

Minifilter文件系统过滤框架

原理正常的IRP流程是R3API调用时，会将请求封装成一个IRP经过IO管理器到达文件系统，然后在发往磁盘存储系统，最后到达硬件。使用MiniFilter后会在IO栈中添加MiniFilter管理器。
zyorz·2024-01-29 10:23

MongoDB本地部署并结合内网穿透实现公网访问本地数据库

创建隧道映射2.3测试随机公网地址远程连接3.配置固定TCP端口地址3.1保留一个固定的公网TCP端口地址3.2配置固定公网TCP端口地址3.3测试固定地址公网远程访问4.结语前言MongoDB是一个基于分布式文件存储的数据库
春人.·2024-01-29 09:23

HDFS

HDFS入门1.1.HDFS介绍HDFS是HadoopDistributeFileSystem的简称，意为：Hadoop分布式文件系统。是Hadoop核心组件之一，作为最底层的分布式存储服务而存在。
VincentLeon·2024-01-29 08:44

python-django项目中使用celery异步

部分负责任务的处理，即工作进程（我的理解工作进程就是你写的python代码，当然还包括python调用系统工具功能）（2）broker部分负责任务消息的分发以及任务结果的存储，这部分任务主要由中间数据存储系统完成
ITBOBY·2024-01-29 07:05

Hadoop面试题及参考答案

3.1YARN：YetAnotherResourceNegotiator，是一种新的Hadoop资源管理器3.2HDFS：分布式文件管理系统3.3MapReduce：分布式计算框架，采用Master/Slave
zuolixiangfisher·2024-01-29 06:02

如何利用数据压缩提高高性能存储的效率？

高性能存储系统的效率对于数据处理和应用的性能至关重要。而数据压缩技术的应用可以在一定程度上提高高性能存储的效率。
莱卡云·2024-01-29 04:13

Ceph应用

目录--------------------创建CephFS文件系统MDS接口--------------------//客户端操作--------------------创建Ceph块存储系统RBD接口
bob_gem·2024-01-29 02:38

Redis-持久机制

文章目录为什么有持久化什么是持久化RDB文件创建SAVEBGSAVE文件载入优缺点AOF日志步骤对比数据恢复总结Redis是一个开源的内存数据结构存储系统，被广泛应用于Web应用中，可以用作数据库和缓存服务器
江 流 儿·2024-01-28 22:00

SpringBoot中实现阿里云OSS对象存储

实现文件上传服务，需要有存储的支持，那么我们的解决方案将以下几种：直接将图片保存到服务的硬盘（springmvc中的文件上传）优点：开发便捷，成本低缺点：扩容困难使用分布式文件系统进行存储优点：
努力学习的小飞侠·2024-01-28 18:33

Doris系列12-数据导入之Broker Load

适用场景:源数据在Broker可以访问的存储系统中，如HDFS。数据量在几十到百GB级别。名词解释：Frontend（FE）：Doris系统的元数据和调度节点。在导入流程中主要负责导入plan生
只是甲·2024-01-28 15:29

大数据处理系统的架构

Lambda架构的主要组成部分包括：批处理层（BatchLayer）：存储：使用分布式存储系统（如ApacheHadoopHDFS）
demo123567·2024-01-28 14:58

Redis：入门

1.介绍Redis1.1什么是RedisRedis（RemoteDictionaryServer）是一种高性能的开源键值存储系统，属于NoSQL数据库的一种。
星光闪闪k·2024-01-28 14:47

superset未授权访问漏洞（CVE-2023-27524）复现

Superset支持多种数据源，包括关系型数据库、NoSQL数据库和各种其他数据存储系统。ApacheSuperset2.0.1版本及之前版本存在安全漏洞。攻击者利用该漏洞验证和访问未经授权的资源。
fly夏天·2024-01-28 14:08

Hadoop的基础操作

Hadoop的基础操作HDFS是Hadoop的分布式文件框架，它的实际目标是能够在普通的硬件上运行，并且能够处理大量的数据。
陆卿之·2024-01-28 12:27

性能监控命令 | CPU

我们测试的系统，总的来说可分为二类：第一，IOBound，这类系统会大量消耗内存和底层的存储系统，它并不消耗过
Root_123·2024-01-28 11:10

HBase入门：运行机制

StoreFile合并Store的工作原理HLog的工作原理HBase系统架构HBase的系统架构包括客户端、ZooKeeper服务器、Master主服务器、Region服务器HBase一般采用HDFS作为底层数据存储系统客户端客户端包含访问
缘友一世·2024-01-28 09:07

2018-11-12

Redis学习笔记Redis在在线测试Redis官网REmoteDIctionaryServer(Redis)是一个由SalvatoreSanfilippo写的key-value存储系统。
喵喵小阳·2024-01-28 06:22

史上最全的Redis的数据类型和使用方法示例—2023最新版

redis介绍Redis全称为RemoteDictionaryServer（远程数据服务），是一款开源的基于内存的键值对存储系统，其主要被用作高性能缓存服务器使用，当然也可以作为消息中间件和Session
李先生_0808·2024-01-28 06:27

分布式数据实现跨设备数据同步的N个秘密 | 分布式数据管理解析（二）

这都得益于分布式数据管理平台抽象出的三大关键技术——分布式数据库，分布式文件系统和融合搜索。那么这三大技术究竟如何具体实现全场景多设备上的数据保存，数据同步，数据访问，让我们一一来详细解读。
码中之牛·2024-01-28 03:10

【ASP.NET Core 基础知识】--数据库连接--数据迁移和代码优先开发

一、数据迁移1.1定义和用途数据迁移是指将数据从一个存储系统、数据格式、应用程序或硬件平台转移到另一个的过程。这个过程可以涉及数据的转换、清洗和验证，以确保数据的完整性和一致性。
喵叔哟·2024-01-27 23:13

Spark-core

什么是SparkSpark是基于内存的快速，通用，可扩展的大数据分析引擎Spark的内置模块SparkCore是Spark可以离线处理的部分，实现了spark的基本功能，包含任务调度，错误恢复，与存储系统交互等模块
luckboy0000·2024-01-27 23:12

【C++】STL之vector类源码剖析

vector容器可以存储系统变量和自定义变量，也可以存储其他STL容器优缺点：尾增尾删方便，头插头删时间复杂度大算法设计：通过迭代器实现数据的增删，通过swap函数实现类的构造，简化代码源码MyVector.h
命运on-9·2024-01-27 21:47

etcd技术解析：构建高可用分布式系统的利器

etcd作为一个高可用的分布式键值存储系统，在这个领域发挥着至关重要的作用。本文将深入探讨etcd的技术细节，以及如何利用它构建高可用的分布式系统。
Memory_2020·2024-01-27 20:38

HBase基础知识与架构概述

1.背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable论文设计，并作为Hadoop生态系统的一部分。
OpenChat·2024-01-27 17:31

架构：HBase的核心组件和架构设计

HBase作为一种高性能、可扩展的列式存储系统，已经成为了许多企业和组织的首选。在本文中，我们将深入了解HBase的核心组件和架构设计，为读者提供一个全面的了解。
OpenChat·2024-01-27 14:02

redis面试题合集-基础

Redis是一个开源的、内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，如字符串、哈希表、列表、集合和有序集合等，并提供了丰富的原子操作来操作这些数据结构。
for62·2024-01-27 10:32

揭秘大数据时代的内存数据存储、数据缓存：redis缓存框架!

介绍：Redis是一个开源的、基于内存的数据存储系统，它也可以持久化数据到硬盘上。Redis以其高性能、高可靠性和丰富的数据结构支持而著称，在现代应用程序中被广泛用作数据库、缓存和消息中间件。
知识分享小能手·2024-01-27 09:37

Flutter 封装存储数据

shared_preferences是Flutter社区开发的一个本地数据存取插件，它有以下特性：1.简单的，异步的，持久化的key-value存储系统；2.在Android上它是基于SharedPreferences
景小帮·2024-01-27 07:50

1分钟了解基于Hadoop的数据仓库工具Hive(附超实用示例)

Hive功能Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL
yuyuyuyo·2024-01-27 05:53

[AIGC 大数据基础] 浅谈hdfs

HDFS（HadoopDistributedFileSystem）是ApacheHadoop生态系统的一部分，是一个分布式文件系统。
程序员三木·2024-01-27 01:00
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他