E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
minio集群搭建
3.上传视频到
Minio
实现断点续传
分块与合并测试断点续传通常视频文件都比较大,所以对于媒资系统上传文件的需求要满足大文件的上传要求,虽然Http协议本身对上传文件大小没有限制,但其他因素可能导致上传中断问题断点续传:将下载/上传的文件人为划分为几部分,每一部分采用一个线程进行上传或下载,遇到网络故障时从已上传或下载的部分开始继续上传下载未完成的部分文件分块根据设定的分块文件的大小将源文件分成指定的块数,按照顺序从源文件读取数据并依
echo 云清
·
2024-01-22 15:39
#
分布式文件系统
音视频
Minio
java
1.使用分布式文件系统
Minio
管理文件
分布式文件系统DFS分类文件系统文件系统是操作系统用于组织管理存储设备(磁盘)或分区上文件信息的方法和数据结构,负责对文件存储设备空间进行组织和分配,并对存入文件进行保护和检索文件系统是负责管理和存储文件的系统软件,操作系统通过文件系统提供的接口去存取文件,用户通过操作系统访问磁盘上的文件常见的文件系统:FAT16/FAT32、NTFS、HFS、UFS、APFS、XFS、Ext4一个计算机无法存储
echo 云清
·
2024-01-22 15:39
#
分布式文件系统
php
开发语言
Minio
分布式文心系统
java
【大数据处理技术实践】期末考查题目:
集群搭建
、合并文件与数据统计可视化
集群搭建
、合并文件与数据统计可视化实验目的任务一:任务二:实验平台实验内容及步骤任务一:搭建具有3个DataNode节点的HDFS集群集群环境配置克隆的方式创建Slave节点修改主机名编辑hosts文件生成密钥免认证登录修改
汐ya~
·
2024-01-22 09:35
hadoop
linux
虚拟机
java
RocketMQ
集群搭建
系列文章目录提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加RocketMQ
集群搭建
提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录系列文章目录前言一、多master
键盘敲烂~~~
·
2024-01-21 14:16
RocketMQ
rocketmq
消息队列
集群搭建
异步复制
同步复制
部署
MinIO
一、安装部署
MINIO
1.1下载wgethttps://dl.min.io/server/
minio
/release/linux-arm64/
minio
chmod+x
minio
mv
minio
/usr/local
只年
·
2024-01-21 11:53
macos
Minio
文件分片上传实现
135420241MacM1ProParallels安装CentOS7.9请参考https://blog.csdn.net/qq_41594280/article/details/135420461部署
Minio
只年
·
2024-01-21 11:21
java
数据库
开发语言
如何实现对存储在
MinIO
上的数据的高效搜索与查询
实现对存储在
MinIO
上的数据进行高效搜索与查询可以采取以下策略:对象元数据索引:在上传文件到
MinIO
时,将相关的搜索关键词、时间戳或类型信息作为自定义元数据(Metadata)保存。
小果运维
·
2024-01-21 07:51
运维
运维
minio
高效搜索
elasticsearch
docker快速下载并且部署
minio
容器
第一步:在本机的Linux虚拟机下载docker命令行:curl-fsSLhttps://get.docker.com|bash-sdocker--mirrorAliyun这里选用阿里云作为下载镜像速度更快第二步:开启docker容器命令为:systemctlstartdocker第三步:确认docker是否成功开启可以执行dockerps来查看如果出现上述图片的样子,那么恭喜你docker安装成
啄sir.
·
2024-01-21 06:48
docker
容器
linux
分布式_
Minio
_概述与安装
Minio
一、概述
Minio
是一个分布式的文件管理系统,用于解决存储管理非结构化数据问题,对于结构化数据我们有关系型数据库,但是对于音频、文件等非结构化数据我们要进行统一管理就需要使用
Minio
特点:
minio
伍六七_ba5e
·
2024-01-21 03:52
Docker部署高性能分布式存储
MinIO
文件存储系统,相比FastDFS使用
MinIO
易上手,可扩展,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T
抹香鲸之海
·
2024-01-20 21:27
Linux运维
分布式架构
docker
分布式
java
docker快速部署
minio
文件服务器,springboot整合
minio
docker部署命令:dockerrun-d\-p19000:9000\-p9001:9001\--name
minio
\-v/home/
minio
/data:/data\-e"
MINIO
_ROOT_USER
一枚进阶码农
·
2024-01-20 21:27
docker
spring
boot
中间件
docker 部署 单机
minio
docker部署单机
minio
第一步dockerpull
minio
/
minio
第二步dockerrun-di-p9000:9000--name
minio
--restart=always-e"
MINIO
_ACCESS_KEY
来至井底的青蛙
·
2024-01-20 21:57
docker
docker
java
Docker 部署
Minio
minio
部署docker安装
minio
1.拉取镜像dockerpull
minio
/
minio
:RELEASE.2022-01-03T18-22-58Z2.运行镜像dockerrun\-p19000:9000
Tianhao_521
·
2024-01-20 21:57
minio
docker
容器
java
Docker Desktop 部署单机
minio
节点
DockerDesktop部署单机
minio
节点提示:由于本人使用的是dockerdesktop,教程也就使用的这个安装,和linux下的docker的区别不大。
xxx-xail
·
2024-01-20 21:57
minio
docker
Docker安装部署
MinIO
1、拉取镜像dockersearch
minio
dockerpull
minio
/
minio
2、创建目录mkdir-p/data/
minio
/configmkdir-p/data/
minio
/data3、启动镜像
ymcaptain
·
2024-01-20 21:27
MinIO
docker
如何在Docker下部署
MinIO
存储服务通过Buckets实现文件的远程上传
前言本文主要是Linux下通过Docker部署
MinIO
存储服务实现远程上传的文章,如果有什么需要改进的地方还请大佬指出⛺️作者简介:大家好,我是青衿☁️博客首页:CSDN主页放风讲故事每日一句:努力一点
放风讲故事
·
2024-01-20 21:55
linux
docker
运维
ubuntu 上传文件提示权限拒绝或无法创建文件夹
因为权限不够,所以要使用chmodchmod777filename例:sudochmod777
minio
/
望月听风
·
2024-01-20 12:07
linux实战
linux
运维
将 SQL Server 2022 数据库备份到
MinIO
Microsoft在将S3连接器和Polybase添加到SQLServer2022时取得了重大飞跃。因此,企业可以利用他们保存到对象存储中的大量数据,并使用它来丰富SQLServer表。他们还可以利用对象存储来备份SQLServer,这是开放性和云原生灵活性的又一次巨大飞跃。对象存储在备份和恢复领域占据主导地位,因为它可靠、可扩展、高性能且不可变。VeeamBackupandReplication
MinIO官方账号
·
2024-01-20 12:05
硬件架构
sqlserver
minio
备份
数据库备份
es-kibana
集群搭建
(7.3版本带x-pack)
一、前言es因为版本迭代太快,网上的资料大多停留在6.x及之前的版本,但是6.x版本之前的es安全插件x-pack是收费的,如果不付费那es就是裸奔的状态。而从6.8.0和7.1.0版本开始,x-pack安全功能免费提供,但是网上关于x-pack的安装与使用确极少,本人最近恰好有用到所以记录一下(我这里使用的是7.3版本,我这里搭的是伪集群,搭建正式环境修改对应ip和端口就行)。二、安装elast
石用软件
·
2024-01-20 12:26
es
搜索引擎
elasticsearch
java
在SpringBoot应用中使用
Minio
作为云存储服务
在SpringBoot应用中使用
Minio
作为云存储服务除去阿里云之类的公有云,自己搭建一个私有云也是蛮不错的,虽然访问速率受到服务器带宽限制,但是它的存储和访问都是免费的。
JonathanYee
·
2024-01-20 09:36
Spring Cloud详细入门使用
文章目录SpringCloud服务注册与发现EurekaServer启动服务注册服务发现NacosServer启动(nacos2.2.0)服务注册服务发现服务集群命名空间配置中心
集群搭建
负载均衡RPC远程过程调用
怡人蝶梦
·
2024-01-20 08:59
JAVA
spring
cloud
spring
后端
Kafka系列(二)、架构原理及存储机制
kafkaeagle安装使用滴滴开源的kafka-manager编译及部署使用kafka管理监控系统CMAK(yahoo的kafka-manager)部署及使用Kafka系列(一)、2.6.0版本kafka
集群搭建
架构原理架构
王义凯_Rick
·
2024-01-20 08:56
#
Kafka
kafka
架构
控制器
存储机制
原理
使用antd design pro 及后端nodejs express 结合
minio
进行文件的上传和下载管理
使用AntDesignPro前端框架结合Node.jsExpress后端服务以及
MinIO
作为对象存储,实现文件上传和下载管理的基本步骤如下:1.安装所需依赖在Node.jsExpress项目中安装
minio
小果运维
·
2024-01-20 08:17
前端
JavaScript
express
ant
design
axios
minio
Linux部署
MinIO
实现图片存储,读取,删除
1、
MinIo
简介
MinIO
是一个高性能的分布式对象存储服务,它与亚马逊的S3(简单存储服务)兼容,在开源许可下是免费和开放的。
杜小白也想的美
·
2024-01-20 02:45
linux
运维
服务器
java
使用
MinIO
和 PostgreSQL 简化数据事件
本教程将教您如何使用Docker和DockerCompose在
MinIO
和PostgreSQL之间设置和管理数据事件,也称为存储桶或对象事件。
MinIO官方账号
·
2024-01-20 01:16
docker
硬件架构
postgresql
数据库
MinIO
分布式存储
Minio
分布式数据库使用
前言:当前需求是接收从设备传来的数据,其中的图片为base64字符串,首先需要将其转换为图片再保存再
Minio
中安装
Minio
https://dl.min.io/server/
minio
/release
顾十方
·
2024-01-19 22:06
java
minio
分布式
数据库
Minio
使用Docker部署
MinIO
服务器
说明:之前有介绍过如何在项目中使用
MinIO
及整合成起步依赖在项目中使用,本文介绍如何使用Docker部署
MinIO
服务器。
何中应
·
2024-01-19 22:47
docker
服务器
容器
对象存储, 开源
MinIO
docker-compose.yml 文件
文章目录pythonSDK文档地址:docker-compose.yml文件控制台使用:应用服务中使用样例:pythonSDK文档地址:https://min.io/docs/
minio
/linux/developers
诸葛老刘
·
2024-01-19 19:42
docker进阶
docker
容器
运维
Flutter中使用
minio
_new库
Minio
是一个开源的对象存储服务,它兼容AmazonS3云存储服务接口,可以用于存储大规模非结构化的数据。
且随疾风前行.
·
2024-01-19 18:19
Flutter
flutter
minio
python异步切片下载文件(内置redis获取任务 mongo更新任务状态等)
importjsonimportosimportasynciofromurllibimportparseimportaiohttpimportaioredisfrommotor.motor_asyncioimportAsyncIOMotorClientfromretryingimportretryfrom
minio
import
Minio
from
minio
༒࿈十三༙྇࿈༒
·
2024-01-19 17:01
python
工具
python
redis
开发语言
Elasticsearch8
集群搭建
(二)配置篇:(2)系统配置
此篇记录Elasticsearch8的一些系统配置。1、更改文件描述符的限制Elasticsearch使用了大量的文件描述符,它用于表示系统打开的文件的标识符。文件描述符是非负整数,它在操作系统层面被用来唯一标识一个打开的文件、套接字或其他I/O资源。每个进程都有一组文件描述符,这些描述符用于跟踪它当前打开的文件和网络连接。操作系统为每个进程分配一定数量的文件描述符。这个数量是由操作系统的配置和限
要薪贫气和哦
·
2024-01-19 13:55
Elasticsearch
elasticsearch
大数据
详解SpringCloud微服务技术栈:Nacos配置管理
Nacos的
集群搭建
,感觉太复杂了,就一台电脑要弄很久去模拟,所以不
布布要成为最负责的男人
·
2024-01-19 12:49
微服务技术全家桶
spring
cloud
微服务
java
nacos
springboot
centos中安装nfs实现服务器文件共享
如果一个服务使用集群方式部署,在文件读写时就需要考虑多个服务之间文件共享的问题,在共享文件时可以考虑部署一个单独的文件服务器,比如hdfs、
minio
、fastdfs等,也可以使用简单的文件目录共享方式实现
腊笔不小新xingo
·
2024-01-19 09:18
服务器
centos
linux
15.云原生之k8s容灾与恢复实战
恢复工作流程k8s中etcd备份恢复Velero备份恢复准备工作安装
minio
登录
minio
创建Buckets安装velero版本选
野心与梦
·
2024-01-19 07:37
私有云搭建实战
云原生
kubernetes
容器
Eureka整合seata分布式事务
修改conf目录中flie.conf文件1.3、修改conf目录中registry.conf文件1.4、初始化seata数据库二、微服务整合Seata2.1、父工程项目创建引入依赖2.2、Eureka
集群搭建
人生就像一场戏!
·
2024-01-19 07:52
springcloud
eureka
分布式
云原生
如何在
MinIO
存储服务中通过Buckets实现远程访问管理界面上传文件
文章目录前言1.创建Buckets和AccessKeys2.Linux安装Cpolar3.创建连接
MinIO
服务公网地址4.远程调用
MinIO
服务小结5.固定连接TCP公网地址6.固定地址连接测试前言
MinIO
日刷百题
·
2024-01-19 02:29
cpolar
docker
容器
运维
服务器
intellij-idea
HBase第一章:
集群搭建
系列文章目录HBase第一章:
集群搭建
文章目录系列文章目录前言一、环境准备二、上传HBase三、上传HBase四、配置参数五、分发测试六、高可用总结前言Hive的内容基本算是学完了,太深入的东西,现在没有必要死磕
超哥--
·
2024-01-19 00:57
HBase
hbase
hadoop
大数据
HBase集群部署
前提条件安装hbse的前提条件是jdk已经搭建完成,虚拟机具有Hadoop伪分布式或完全分布式的
集群搭建
,以及zookeeper环境搭建完成。
Golden life
·
2024-01-19 00:21
hbase
数据库
大数据
HBase学习三:集群部署
启动HBase—>关闭HBase—>关闭Hadoop1环境准备1.0环境前期准备参考基础环境配置1.1机器准备hostnameipvm1ip1vm2ip2vm3ip31.2机器分配hdfs的
集群搭建
可以参考
Studying!!!
·
2024-01-19 00:50
中间件
HBase
Redis
集群搭建
为什么要有集群之前我们已经讲了主从的概念,一主可以多从,如果同时的访问量过大(1000w),主服务肯定就会挂掉,数据服务就挂掉了或者发生自然灾难大公司都会有很多的服务器(华东地区、华南地区、华中地区、华北地区、西北地区、西南地区、东北地区、台港澳地区机房)集群的概念集群是一组相互独立的、通过高速网络互联的计算机,它们构成了一个组,并以单一系统的模式加以管理。一个客户与集群相互作用时,集群像是一个独
仲夏那片海
·
2024-01-18 22:14
运维文档
redis
数据库
缓存
docker报错 missing signature key 无法拉去镜像,yum install docker-ce没有可用软件包 解决办法
错误场景描述今天项目需要用到
minio
,我打算在虚拟机中使用docker装一个,可是发现当我dockerpull
minio
/
minio
的时候,报错了missingsignaturekey这个报错提示的让人很蒙
NoloseWind
·
2024-01-18 17:17
Docker
docker
eureka
容器
k8s
集群搭建
的一些坑
k8s集群部署的时候会遇到很多的坑,即使看网上的文档也可能遇到各种的坑。安装准备1、虚拟机两台(ip按自己的网络环境相应配置)(master/node)192.168.100.215k8s-master192.168.100.216k8s-node12、关闭防火墙(master/node)systemctlstopfirewalldsystemctldisablefirewalld3、关闭seli
ByteX
·
2024-01-18 15:29
k8s
kubernetes
容器
云原生
17.Kubernetes集群资源备份还原(Velero
Minio
)
Minio
简介
MinIO
是一个开源的分布式对象存储服务器,专注于为云原生应用程序提供高性能、可扩展性和强大的对象存储服务。
CodingDemo
·
2024-01-18 14:31
Kubernetes入门实战
kubernetes
容器
云原生
ElasticSearch学习之一:基础知识+单节点/
集群搭建
一、ES相关知识ES基于RESTfulweb接口并且构建在Apachelucene之上的开源分布式搜索引擎。同时ES是一个分布式文档数据库,每个字段均可被索引、每个字段数据均可被搜索,能够横向扩展数以百计的服务器存储以及处理PB级的数据。1.可以在极短时间内存储、搜索和分析大量的数据2.通常作为具有复杂搜索场景下的核心发动机ES高可用且高扩展。一方面同升级硬件完成系统扩展,称为垂直或向上扩展,另一
HackQ_sxj
·
2024-01-18 08:39
JAVA
WEB
Elasticsearch8
集群搭建
(一)基础篇
记录下工作中搭建Elasticsearch8集群的过程,此篇为第一部分,后续会陆续更新其他部分。前提:安全组配置:确保集群内所有服务器在同一安全组内。(或在不同安全组但互相可以通信)以下步骤需要在每台要安装Elasticsearch的服务器上执行。1、创建Elasticsearch专属用户Elasticsearch禁止以root身份启动,必须创建一个专属用户来运行:图片来源:Elasticsear
要薪贫气和哦
·
2024-01-18 08:38
Elasticsearch
elasticsearch
大数据
Elasticsearch8
集群搭建
(二)配置篇:(1)节点和集群配置
安装完Elasticsearch后,需要对其进行配置,包括以下几部分:节点和集群配置、系统配置、安全配置。此篇记录节点和集群配置的内容,后续将更新系统配置和安全配置。节点和集群配置:通过编辑/usr/local/elasticsearch-8.10.2/config/elasticsearch.yml文件进行配置,在集群内每个节点上都要进行配置。1、Cluster部分:cluster.name:设
要薪贫气和哦
·
2024-01-18 08:38
Elasticsearch
elasticsearch
大数据
OpenShift 4 - 在 Jupyter Notebook 中使用 Elyra 执行 AI 处理流水线
RHEL/DevSecOps汇总目录》说明:本文已经在OpenShift4.14+RHODS2.50的环境中验证说明:请先根据《OpenShift4-管理和使用OpenShiftAI运行环境》一文完成
MinIO
dawnsky.liu
·
2024-01-18 07:33
openshift
jupyter
人工智能
AI
【centos7系统】Redis-6.2.2版本
集群搭建
前redis最新版本已经是6.2.4,在
集群搭建
上和redis3.x、redis4.x区别很大。
SRE成长记
·
2024-01-18 05:16
数据库
redis
数据库
缓存
部署
【SpringBoot框架篇】24.集成FastDFS实现文件的分布式存储
上传图片5.2.下载图片5.3.删除图片6.项目配套代码1.简介如果应用是在集群部署,如果文件存储需要共享要通过linux的nfs服务来实现共享,或者把文件存储在分布式文件存储系统里面,例如FastDFS,
minio
皓亮君
·
2024-01-18 03:10
springBoot
java
spring
boot
restful
【SpringBoot框架篇】25.集成
Minio
实现文件的分布式对象存储
下载二进制文件安装2.1.1单机部署2.1.2.集群安装2.1.2.1创建存储路径2.1.2.2.创建集群启动脚本2.1.2.3.分别启动4个节点2.2.使用docker安装3.实战3.1.引入依赖3.2.配置
Minio
皓亮君
·
2024-01-18 03:10
springBoot
spring
boot
linux
后端
分布式
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他