对象存储文件存储分布式存储

vue2、vue3实现用aws s3协议操作minio进行文件存储和读取

亚马逊s3API文档最开始安装了@aws-sdk/client-s3，但是不知道为什么一直报错，所以用了aws-sdk准备工作：需要已经搭建好minio、创建好桶1.vue2安装插件yarnaddaws-sdks3配置varAWS=require("aws-sdk");AWS.config.update({accessKeyId:accessKeyId,secretAccessKey:secret
查查茶茶丸·2023-12-26 19:09

百度下载限速解决办法--pandownload

百度网盘是很多人文件存储下载的必备工具，但由于百度限速，100M的宽带也只给你个十几k或者几百k的下载速度，真心让人受不了。
geene·2023-12-26 16:26

LinkedIn 开源分布式存储系统Ambry

分布式存储入门认知分布式存储是一种用于处理大规模数据的存储系统。随着互联网的发展和数据量的爆发式增长，传统的集中式存储已经无法满足需求。
菠萝-琪琪·2023-12-26 15:51

10023---分布式系统理论基础 - CAP

原文引言CAP是分布式系统、特别是分布式存储领域中被讨论最多的理论，“什么是CAP定理？”在Quora分布式系统分类下排名FAQ的No.1。
xxxcyzyy·2023-12-26 15:59

分布式系统理论基础 - CAP

引言CAP是分布式系统、特别是分布式存储领域中被讨论最多的理论，“什么是CAP定理？”在Quora分布式系统分类下排名FAQ的No.1。
weixin_33841503·2023-12-26 15:28

IPFS的高效是时代的需要

IPFS是当下最值得期待的新一代网络协议，它的巨大优势就在于分布式存储、文件加密以及数据的永久存在，它的出现能够使网络更加安全高效稳定。
IPFS爱好者·2023-12-26 13:13

SpringBoot整合阿里云OSS、天翼云OSS、MinIO对象存储

对象存储是什么？对象存储是一种数据存储方式，它将数据分割成不同的对象，并为每个对象分配一个唯一的标识符，用于访问和操作数据。这些对象被存储在多个服务器上，以确保数据的可靠性和可用性。
sum墨·2023-12-26 11:37

keepalived高可用 | 部署Ceph分布式存储

keepalived高可用|部署Ceph分布式存储keepalived高可用1.配置第二台haproxy代理服务器部署HAProxy2.为两台代理服务器配置keepalived配置第一台代理服务器proxy
桑_榆·2023-12-26 10:16

iceberg1.4.2 +minio通过spark创建表，插入数据

下层支持hadoop，s3,对象存储，上层支持hive，spark，flink等应用。实现在中间把两部分隔离开来，实现一种对接和数据管理的标准。有这个标准，不管是谁建的表，都可以操作和访问。
smileyboy2009·2023-12-26 06:39

SparkCore

Distributed：RDD中的数据是分布式存储的，可用于分布式计算。Resilient：RDD中的数据可以存储在内存中或者磁盘中。1.2RDD的五大
weixin_50458070·2023-12-26 06:40

HBase 内核深度剖析

叫：ConcurrentSkipListMap，通过对HBase的源码跟踪我们发现在这些地方使用了它：简单的列了几个，但是观察这几个类所在的模块就可以发现，HBase从客户端，到请求处理，到元数据再到文件存储贯穿
午后的红茶meton·2023-12-26 06:07

Day12总结-2019/08/06

一、文件操作1.数据持久化将数据通过文件存储到硬盘里面。2.操作步骤打开文件->操作文件内容（读、写）->关闭文件。
浩子_唯一号·2023-12-26 04:54

jvm中实例（引用），对象存储位置

一个完整的Java程序运行过程会涉及以下内存区域：1、寄存器：JVM内部虚拟寄存器，存取速度非常快，程序不可控制。2、栈：保存局部变量的值，包括：1.用来保存基本数据类型的值；2.保存类的实例，即堆区对象的引用(指针)。也可以用来保存加载方法时的帧。3、堆：用来存放动态产生的数据，比如new出来的对象。注意创建出来的对象只包含属于各自的成员变量，并不包括成员方法。因为同一个类的对象拥有各自的成员变
742744538徐睿·2023-12-26 04:36

Kafka日志文件存储

日志文件kafka在server.properties配置文件中通过log.dir属性指定了Kafka的日志存储路径核心文件1.log文件实际存储消息的日志文件,大小固定1G(参数log.segment.bytes可配置),写满后就会新增一个新的文件,文件名是第一条消息的偏移量2.index文件以偏移量为索引来记录对应的.log日志文件中的消息偏移量3.timeindex文件以时间戳为索引,用来进
kk_0910·2023-12-25 23:09

MongoDB数据库本地部署并结合内网穿透实现navicat公网访问

创建隧道映射2.3测试随机公网地址远程连接3.配置固定TCP端口地址3.1保留一个固定的公网TCP端口地址3.2配置固定公网TCP端口地址3.3测试固定地址公网远程访问前言MongoDB是一个基于分布式文件存储的数据库
小沈YO.·2023-12-25 23:05

架构设计内容分享(七十六)：分布式存储架构分析

目录一、集中存储结构二、分布式存储三、分布式理论浅析四、分布式文件系统五、分布式键值系统一、集中存储结构说到分布式存储，我们先来看一下传统的存储是怎么个样子。
之乎者也··2023-12-25 20:01

硅谷课堂-公众号云点播 硅谷课堂微服务项目实战笔记

技术栈涉及主流的SpringBoot+SpringCloud微服务架构，综合应用了腾讯云文件存储和视频点播服务；项目涉及到微信公众号开发，包含公众号菜单、公众号消息、微信分享、微信授权、微信支付；项目前端技术栈
帅杰IT大神·2023-12-25 19:37

vue前端上传图片到阿里云OSS，超详细上传图片与视频教程

1.简介与日常使用阿里云OSS是一款由阿里巴巴云计算有限公司开发的基于云端的对象存储服务。它为企业和个人存储海量数据提供了完美的解决方案。
欧阳呀·2023-12-25 02:32

[MySQL binlog实战] 增量同步与数据搜索～从入门到精通

可以直接跳到应用场景文章目录binlog是什么简介产生方式文件格式`statement``row``mixed`怎么办开启`binlog`查看`binlog`其他查看相关命令运维查看`binlog`设置文件存储格式缓冲区大小的调整方式缓冲区写入文件的时机
程序员三木·2023-12-25 02:29

22.序列化

序列化和反序列化:序列化:指把堆内存中的Java对象数据,通过某种方式把对象存储到磁盘文件中或者传递给其他网络的节点(在网络上传输).我们把这个过程称之为序列化.反序列化:把磁盘中的对象数据或者把网络节点上的对象数据
若愚同学·2023-12-24 23:29

2018.10.22 LOG：flex javascript

现在各个应用的数据量都在激增，一方面为大数据的发展提供了基础，另一方面也给数据存储的相关的设施提出了更高的要求，有一朋友在做分布式存储，据说很火。
灰喵九命·2023-12-24 20:40

NoSQL概念和特点

该类数据库主要用来应对分布式存储的海量数据，一个键指向了多个列。常用的有HBase。3.文档型数据库。该类数据库将结构化、半结构化的文档以特定格式存储，如json格式。一个文档相当于关系型数据库中的一
mingzhi618·2023-12-24 18:33

[MySQL] 二进制文件

文章目录日志文件binlog是什么简介产生方式文件格式`statement``row``mixed`怎么办设置文件存储格式缓冲区大小的调整方式缓冲区写入文件的时机`sync_binlog`日志文件官网https
程序员三木·2023-12-24 18:12

计算机基础：数据库-MongoDb

MongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。MongoDB将数据存储为一个文档，数据结构由
joyyi9·2023-12-24 12:13

Redis集群模式：搭建与管理

基本原理Redis集群通过分片机制实现数据的分布式存储。每个节点存储整个数据集的一部分。通过使用CRC16算法将键映射到16384个槽中，每个节点负责维护一部分槽。特点:自动分区
程序员升仔·2023-12-24 10:51

BUG记录 | 使用阿里云OSS实现文件上传后，得到的url无法在浏览器中打开

项目背景SpringBoot的项目，使用阿里云对象存储OSS对项目中的文件进行存储，所需文件也会通过IDEA中由官方Demo改编而成的工具类作为接口，调用接口后上传问题描述使用阿里云OSS实现文件上传后
Alita11101_·2023-12-24 09:03

Flink 数据类型和序列化

大数据生态中大多数技术组件都是运行在JVM上的，Flink也是运行在JVM上，基于JVM的数据分析引擎都需要将大量的数据存储在内存中，这就不得不面临JVM的一些问题，比如Java对象存储密度较低等。
大笑哈哈哈哈·2023-12-24 08:48

Flink 数据序列化

量身定制的序列化框架大家都知道现在大数据生态非常火，大多数技术组件都是运行在JVM上的，Flink也是运行在JVM上，基于JVM的数据分析引擎都需要将大量的数据存储在内存中，这就不得不面临JVM的一些问题，比如Java对象存储密度较低等
程序猿进阶·2023-12-24 08:17

Hadoop学习笔记（一）分布式文件存储系统 —— HDFS

概念HDFS（HadoopDistributedFileSystem），Hadoop分布式文件系统，用来存超大文件的。HDFS遵循主/从架构，由单个NameNode(NN)和多个DataNode(DN)组成：NameNode:负责执行有关文件系统命名空间的操作，例如打开，关闭、重命名文件和目录等。它同时还负责集群元数据的存储，记录着文件中各个数据块的位置信息。管理员，负责协调。DataNode：负
zhang35·2023-12-24 08:54

Key/Value之王Memcached初探：三、Memcached解决Session的分布式存储场景的应用

一、高可用的Session服务器场景简介1.1应用服务器的无状态特性应用层服务器（这里一般指Web服务器）处理网站应用的业务逻辑，应用的一个最显著的特点是：应用的无状态性。PS：提到无状态特性，不得不说下Http协议。我们常常听到说，Http是一个无状态协议，同一个会话的连续两个请求互相不了解，他们由最新实例化的环境进行解析，除了应用本身可能已经存储在全局对象中的所有信息外，该环境不保存与会话有关
伯雅之英·2023-12-24 08:21

【Redis】缓存预热

目录常见缓存Redis客户端设计缓存key缓存预热常见缓存●Redis（分布式缓存）●memcached（分布式）●Etcd（云原生架构的一个分布式存储，存储配置，扩容能力）●ehcache（单机）●本地缓存
程序员iteng·2023-12-24 07:55

GitHub + jsDelivr + PicGo打造免费图床

前言为什么要使用图床  用markdown写文章时经常需要插入一些图片，而现如今通常一篇文章会在各个不同的平台发布，但各个平台的文件存储方式各不相同，无法直接Ctrl+C的方式一键搞定；如果采用本地存储方式
静看枫殇·2023-12-24 03:33

linux下载minio

一、概述中文官网：MinIO|高性能，对Kubernetes友好的对象存储英文官网：MinIO|HighPerformance,KubernetesNativeObjectStorage二、Minio是什么
开心是星星·2023-12-24 00:25

通过python脚本上传本地/远程服务器文件到minio

前言将文件上传到MinIO对象存储后，MinIO会将文件存储为对象(.meta文件)，并为每个对象生成相应的元数据。元数据是描述对象的属性和信息的数据。通常，元数据包括对象的名称、大小、创建日期等。
publicman_·2023-12-24 00:23

Minio快速入门(Linux)

MinIO是在GNUAffero通用公共许可证v3.0下发布的高性能对象存储。它与AmazonS3云存储服务API兼容。使用MinIO为机器学习、分析和应用程序数据工作负载构建高性能基础架构。
Lixu-·2023-12-24 00:22

kkfileview与minio整合实现文件上传与预览

minio是apache开源的高性能、分布式的对象存储系统，点击这里跳转minio官网。本文将介绍整合minio与kkfileview部署流程与详细代码。
吃坨西红柿·2023-12-24 00:52

在Linux下探索MinIO存储服务如何远程上传文件

AccessKeys二.Linux安装Cpolar三.创建连接MinIO服务公网地址四.远程调用MinIO服务小结五.固定连接TCP公网地址六.固定地址连接测试结语前言MinIO是一款高性能、分布式的对象存储系统
聆风吟_·2023-12-24 00:22

OpenStack（3）：手动部署OpenStack Queens（3.镜像服务）

您可以将通过Image服务提供的虚拟机映像存储在各种位置，从简单的文件系统到OpenStackObjectStorage等对象存储系统。为简单起见，本指南介绍如何配置I
BJ天涯·2023-12-24 00:56

Ceph的优势及其特点？

Ceph的优势及其特点：Ceph是一个分布式的数据对象存储，Ceph相对其他存储系统具有如下优势CRUSH算法：ceph摒弃了传统的集中式存储元数据寻址的方案，而使用CRUSH算法完成数据的寻址操作。
cherry@kerry·2023-12-24 00:40

Ceph存储体系架构？

RADOS（Reliable,AutonomicDistributedObjectStore）是Ceph的底层核心，RADOS本身也是分布式存储系统，CEPH所有的存储功能都是基于RADOS实现。
cherry@kerry·2023-12-24 00:08

讲道理，Hive文件存储与压缩还是挺重要的

压缩和存储1、文件存储格式Hive支持的存储数的格式主要有：TEXTFILE、SEQUENCEFILE、ORC、PARQUET。
看朱成碧_·2023-12-23 22:27

Hive文件存储格式和Hive数据压缩小总结

二、Hive文件存储格式TEXTFILEHive数据表的默认格式，存储方式：行存储。可以使用Gzip压缩算法，但压缩后的文件不支持split。
浪尖聊大数据-浪尖·2023-12-23 22:27

hive文件存储格式及数据压缩

二、Hive文件存储格式TEXTFILEHive数据表的默认格式，存储方式：行存储。
菜梨子不想这么菜！·2023-12-23 22:57

【004hive基础】hive的文件存储格式与压缩

文章目录一.hive的行式存储与列式存储二.存储格式1.TEXTFILE2.ORC格式3.PARQUET格式ing三.Hive压缩格式1.mr支持的压缩格式:2.hive配置压缩的方式:2.1.开启map端的压缩方式:2.2.开启reduce端的压缩方式:四.hive中存储格式和压缩相结合五.hive主流存储格式性能对比1.压缩比比较2.存储文件的查询效率测试一.hive的行式存储与列式存储HIv
roman_日积跬步-终至千里·2023-12-23 22:56

Hive 文件存储格式与数据压缩结合

1压缩比和查询速度对比1）TextFile（1）创建表，存储数据格式为TEXTFILEcreatetablelog_text(track_timestring,urlstring,session_idstring,refererstring,ipstring,end_user_idstring,city_idstring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\
北山璎珞·2023-12-23 22:56

【基础知识】大数据组件HBase简述

HBase是一个开源的、面向列（Column-Oriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。
偏振万花筒·2023-12-23 22:54

Hive文件存储与压缩

压缩和存储1、Hadoop压缩配置1)MR支持的压缩编码压缩格式工具算法文件扩展名是否可切分DEFAULT无DEFAULT.deflate否GzipgzipDEFAULT.gz否bzip2bzip2bzip2.bz2是LZOlzopLZO.lzo否LZ4无LZ4.lz4否Snappy无Snappy.snappy否为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示压缩格式对应的
新鲜氧气·2023-12-23 22:24

通讯录应用程序开发指南

1)打印菜单(2)联系人信息的声明(3)创建通讯录(4)初始化通讯录2.2功能实现(1)增加联系人(2)显示联系人(3)删除联系人(4)查找联系人(5)修改联系人(6)排序联系人三、通讯录的优化3.1文件存储保存信息到文件中
南风与鱼·2023-12-23 21:18

MongoDB介绍

一、MongoDB介绍1.1mongoDB介绍MongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。
Guff_hys·2023-12-23 19:30

深入理解依赖反转原则(DIP)

很显然不是，不然今天就不用讲了先举个例子，我们的应用会依赖很多三方的服务，DB、缓存、文件存储、短信邮件服务等等，拿缓存来说，假如使用的是redis缓存，java应用访问redis一般都会使用Jedis
wb_snail·2023-12-23 19:30
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他