E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
minio集群部署
如何在 Ubuntu 16.04 上使用
Minio
设置对象存储服务器
而且,凭借其占用空间小、界面简单以及与多种云存储服务的兼容性,
Minio
对象存储服务器具有强大的功能。
Minio
是一款开源对象存储服务器,它将照片、视频、虚拟机映像、容器和日志文件等非结
timi先生
·
2023-12-29 14:18
编程笔记
服务器
ubuntu
linux
kubeSphere
集群部署
nacos
kubeSphere部署nacos个人环境说明执行nacos数据脚本kubeSphere添加配置创建有状态副本集修改集群配置文件创建外部访问服务访问个人环境说明由于我之前这个项目就是docker+jenkins部署的,只是现在升级到k8s+kubeSphere所有下面有些操作我可能不同,例如我的nacos配置文件就是docker里面查看复制过来,如果之前没有部署过的小伙伴,可以直接到GitHub上
孟德爱吃香菜
·
2023-12-29 06:48
k8s
docker
nacos
kubernetes
云原生
kubeSphere
集群部署
ElasticSearch
kubeSphere
集群部署
ElasticSearch根据docker启动文件来配置修改max_map_count添加配置文件创建工作负载测试根据docker启动文件来配置dockerrun-d\--namees
孟德爱吃香菜
·
2023-12-29 06:41
k8s
docker
elasticsearch
云原生
kubernetes
【日志系列】什么是分布式日志系统?
现在,很多应用都是
集群部署
的,一次请求会因为负载均衡而被路由到不同的服务器上面,这就导致一个应用的日志会分散在不同的服务器上面。
昕宝爸爸爱编程
·
2023-12-29 03:12
#
日志
分布式
java
日志
kafka
07、Docker 安装
MinIO
Docker安装
MinIO
中文官网拉取镜像dockerpull
minio
/
minio
数据文件映射mkdir-p/docker/
minio
/data运行容器dockerrun-d\-p9000:9000\
这个昵称不容易
·
2023-12-29 03:30
Docker
docker
容器
运维
minio
文件系统
分布式文件系统MinIO
Java技术栈 —— Redis的雪崩、穿透与击穿
实验的先导条件(Nginx+Jmeter)一、Redis缓存雪崩、缓存穿透、缓存击穿1.1雪崩1.2穿透1.3击穿二、Redis应用场景——高并发2.1单机部署的高并发问题与解决(JVM级别锁)2.2
集群部署
的高并发问题与解决
躬身入世,以生证道
·
2023-12-29 00:44
Java技术栈
java
redis
开发语言
【
Minio
】上传报错:The difference between the request time and the server‘s time is too large.
原因:应用服务器与存储服务器时间对应不上导致的查看:解决:1.手动修改系统时间date-s"2023122710:28:00"2.时间同步hwclock--systohc
皮卡丘-ysh
·
2023-12-28 21:53
【日常工作Bug篇】
服务器
运维
java
springboot整合
minio
做文件存储
一,
minio
介绍
MinIO
是一个基于ApacheLicensev2.0开源协议的对象存储服务。
豆豆的java之旅
·
2023-12-28 17:38
springboot整合
java
MapReduuce配置&YARN
集群部署
并启动(非常详细!!)
博主syst1m带你acquireknowledge!✨博客首页——syst1m的博客《CTF专栏》超级详细的解析,宝宝级教学让你从蹒跚学步到健步如飞《大数据专栏》大数据从0到秃头,从分析到决策,无所不能❕《python面向对象(人狗大战)》突破百万的阅读量,上过各种各样的官方大型专栏,python面向对象必学之一!希望本文能够给读者带来帮助,更好地理解这个问题或解决你的困惑1.部署集群概述1.1
syst1m'
·
2023-12-28 13:29
大数据
yarn
hadoop
开源
minio
-AWS-S3存储的部署及go操作详细
介绍
MinIO
是一个开源的分布式对象存储服务,它允许用户在私有云或公有云环境中构建自己的对象存储基础设施。
liuyunshengsir
·
2023-12-28 12:49
go语言
开源
aws
golang
「Kafka」入门篇
「Kafka」入门篇基础架构Kafka快速入门集群规划
集群部署
官方下载地址:http://kafka.apache.org/downloads.html解压安装包:[atguigu@hadoop102software
小成同学_
·
2023-12-28 12:30
Kafka
kafka
中间件
分布式
后端
python中使用
minio
对象存储
#
minio
_client.pyfrom
minio
import
Minio
from
minio
.errorimportInvalidResponseErrorimportos#定义一个类,用于
minio
的操作
澂玙
·
2023-12-28 11:50
笔记
python
《千峰逆战“记录蜕变、见证奇迹”学习分享活动》2020-03-21
#千峰逆战班,SZ201刘峻#在千峰“逆战”学习第41天今天对昨天的mycat进行了回顾,初步了解mysql-galera
集群部署
。有时候要到达谷底,才会慢慢变好。
Mask_o
·
2023-12-28 11:56
【Java编程系列】
Minio
实现文件上传下载
热门系列:【Java编程系列】AmazonS3实现文件上传下载目录热门系列:1、前言2、
Minio
实战代码2.1
Minio
环境部署2.2
Minio
的Sdk对接实现2.2.1
Minio
Maven依赖2.2.2
minio
善良勤劳勇敢而又聪明的老杨
·
2023-12-28 09:26
Java专栏
minio
minio上传下载
minio存储
minio预览
minio永久访问
Spring Boot整合
Minio
实现上传凭证、分片上传、秒传和断点续传
概述SpringBoot整合
Minio
后,前端的文件上传有两种方式:文件上传到后端,由后端保存到
Minio
这种方式好处是完全由后端集中管理,可以很好的做到、身份验证、权限控制、文件与处理等,并且可以做一些额外的业务逻辑
技术小羊
·
2023-12-28 09:40
spring
boot
java
SpringBoot 整合
MinIO
实现视频的分片上传/断点续传(亲测可行)
1、前言之前做了一个慕课网上的仿短视频开发,里面有很多比较粗糙的实现,比如视频上传部分是直接由前端上传云服务,没考虑到客户的网络环境质量等问题,如果一个视频快上传完了,但是网断了没有上传完成需要客户重新上传,这对于用户体验是极差的。那么我们对于视频文件的上传可以采取断点续传,上传过程中,如果出现网络异常或程序崩溃导致文件上传失败时,将从断点记录处继续上传未上传完成的部分,断点续传依赖于MD5和分片
Java知音_
·
2023-12-28 08:40
spring
boot
java
后端
spring
前端
spring boot -
minio
分片上传
springboot-
minio
分片上传主要分三个接口:分片上传分片合并分片完整性校验Md5UploadController@RestControllerpublicclassMd5UploadController
iiaythi
·
2023-12-28 08:31
spring
boot
minio
quartz-深度解析
5.
集群部署
如何保证不重跑、不漏跑?
黑小飞
·
2023-12-28 08:03
SpringBoot集成组件
数据结构
b树
java
quartz
【分布式任务调度】(一)XXL-JOB调度中心
集群部署
配置
文章目录1.概述2.代码编译2.1.代码下载2.2.初始化与编译3.
集群部署
3.1.服务启动3.2.反向代理4.总结1.概述XXL-JOB是一款轻量级的分布式任务调度中间件,默认支持6000个定时任务,
挥之以墨
·
2023-12-28 08:19
框架与中间件
#
XXL-JOB
分布式
spring
boot
XXL-JOB
springboot整合webSocket:鉴权,心跳检测,wss请求,nginx配置、
集群部署
1.首先pom引入websocketorg.springframework.bootspring-boot-starter-websocketSpringBoot和WebSocket是没有token鉴权的,需要自己定义实现WebSocket建立连接时的鉴权,websocket的实现方式就和一般博客看到的不一样了,本文自定义websocket配置:WebSocketConfigimplementsW
乘风!
·
2023-12-28 08:10
java
spring
boot
websocket
后端
K8S二进制部署之定义CA证书与ETCD
制作官方颁发的证书:2、制作master端的证书(用于内部加密通讯,同时为了给与Client端颁发master签名的证书)3、制作workernode端证书CA证书机构(签发电子证书)三、K8S二进制
集群部署
啊啊啊啊啊建
·
2023-12-28 02:31
java
kubernetes
开发语言
ArgoCD
一.ArgoCDUI界面还不是很完善,很多依赖于命令行,都是无状态应用argocd多
集群部署
不能在一个Application内选择多个部署集群,只能通过建立多个相同Application对应不同部署目的集群方式支持
MoonSoin
·
2023-12-28 01:58
云原生
k8s
ci/cd
argocd
kubernetes
ci/cd
XXL-JOB任务分片
:单个任务和集群任务单机多任务分片集群分片任务类型单个任务:一个任务实例便可完成单机单任务:单机模式下任何路由模式都只有一个实例执行集群单任务:由路由策略(广播模式除外)选择其中一个实例完成分片任务:
集群部署
牧竹子
·
2023-12-27 22:25
#
分布式任务
java
开发语言
xxl-job
使用 Docker 安装 Redis、MySQL、
MinIO
和 RocketMQ
使用Docker安装Redis、MySQL、
MinIO
和RocketMQ是一个简单且高效的方法,特别是在开发和测试环境中。以下是每个服务的基本安装步骤。
翱翔-蓝天
·
2023-12-27 18:51
Linux运维实战
docker
redis
mysql
redis缓存雪崩解决方案六种
1.保持缓存层的高可用性使用Redis哨兵模式或者Redis
集群部署
方式,即便个别Redis节点下线,整个缓存层依然可以使用。
jayjay_liu
·
2023-12-27 17:11
redis
缓存
redis
java
分布式_
minio
_java整合
minio
minio
一、概述使用java语言整合
minio
准备工作:java(maven)
minio
serverroot@ubuntu:/
minio
#dockerps-aCONTAINERIDIMAGECOMMANDCREATEDSTATUSPORTSNAMES69916d0c5a05
minio
伍六七_ba5e
·
2023-12-27 17:05
架构设计内容分享(五十二):亿级短视频,如何架构?
InstagramReels,YouTubeShorts)的宏观业务架构1)与用户相关的子系统2)与视频发布相关的子系统3)点赞和评论相关子系统4)推荐子系统技术选型:常见的NOSQL存储框架选型基于
MinIO
之乎者也·
·
2023-12-27 14:44
架构设计
内容分享
音视频
架构
基于hostpath的k8s pod日志持久化
基于hostpath的k8spod日志持久化前置条件:step1:修改服务的yaml文件step2:推送日志到
minio
版保存step3:优化附加:简单了解前置条件:考虑到pod的多副本,但同时需要将日志集中收集起来
最美dee时光
·
2023-12-27 11:33
k8s
kubernetes
【软件系统构架】初步理解软件系统构架
文章目录前言一、动静分离二、CDN加速三、负载均衡四、微服务五、分布式六、读写分离七、分库分表八、
集群部署
九、消息队列十、异步处理前言在以往的学习工作中,接触到很多概念,并且很可能都不知道干嘛,就比如OSI
我辈李想
·
2023-12-27 09:50
Python全家桶
架构
Minio
文件服务器(上传文件)
官网:https://www.
minio
.org.cn/开源的分布式对象存储服务器Window安装用户名和密码相同创建bucket,并且将策略改成public一、添加依赖二、代码publicclassFileUploadTest
A尘埃
·
2023-12-27 09:05
服务器
运维
Minio
k8s
集群部署
jumpserver v3.3.1(helm)
首先安装了动态存储、动态存储怎么安装,这里不介绍1:mysql安装root@k8s-master1:/usr/local/helm-charts-jumpserver-3.9.2/charts/jumpserver/111#catmysql-pvc.yamlapiVersion:v1kind:PersistentVolumeClaimmetadata:name:mysql-datanamespac
qq_31292011
·
2023-12-27 08:06
kubernetes
下载
minio
1.下载window
minio
https://dl.
minio
.io/client/mc/release/windows-amd64/mc.exe2.启动
minio
set
MINIO
_ROOT_USER=
东隅北海
·
2023-12-27 08:26
java
redis在linux
集群部署
1.下载rediswgethttp://download.redis.io/releases/redis-3.2.9.tar.gz2.解压redistar-zxvfredis-3.2.9.tar.gz3.安装redis在解压redis目录下makeinstall/usr/soft/redis/4.启动redis在redis的bin目录执行./redis.conf5.设置redis端口密码集群vim
东隅北海
·
2023-12-27 08:53
redis
linux
数据库
Kubernetes(一)
集群部署
一.Kubernetes简介二.Kubernetes设计架构三.Kubernetes环境部署实验环境:准备四台虚拟机第一台为之前布置好的当作仓库使用四台虚拟机记得都添加解析和时间同步所有节点要关闭selinux和防火墙所有节点需配置同步docker引擎和证书所有节点禁用swap,注意注释掉/etc/fstab文件中的定义允许aptables检查桥接流量所有节点打开桥接bridge传输scpdock
BJZX_OL
·
2023-12-27 07:40
kubernetes
容器
云原生
linux
运维
微服务注册与发现——Eureka
文章目录Eureka使用引用配置启动类标记访问微服务注册微服务工程添加引用增加配置启动类增加注解启动服务注册EurekaServer
集群部署
修改配置文件启动多个eureka实例微服务注册到多个eureka
star-1331
·
2023-12-27 07:00
微服务
eureka
架构
简单理解Redis-cluster的slot
如果使用redis-cluster
集群部署
Redis,redis-cluster把所有的物理节点映射到[0-16383]slot上。这里有个理解误区,有初学者会想,这个slot是不是存储数据的点?
小狼在IT
·
2023-12-27 05:27
【大数据HA】HAProxy实现thrift协议HMS服务的高可用-附Chatgpt协助截图
【大数据】Docker部署HMS(HiveMetastoreService)并使用Trino访问
Minio
-CSDN博客本来想到的是Nginx,但是在进一步分析,HMS发布的是thrift协议,一种tcp
秦拿希
·
2023-12-27 05:08
hive
大数据
metastore
HMS
HAProxy
Flink-1.17
集群部署
1、部署1.1、修改flink-conf.yaml1.1.1、flink-17jobmanager.rpc.address:boshi-122jobmanager.rpc.port:6123#设置jobmanager总内存jobmanager.memory.process.size:2048m#设置taskmanager的运行总内存taskmanager.memory.process.size:4
docsz
·
2023-12-27 03:05
flink
flink
大数据
基于Cloudflare内网穿透实现自建图床
基于Cloudflare内网穿透实现自建图床图床的选择自建图床的选择安装
MinIO
基于dockercompose安装启动
MinIO
测试
MinIO
功能结合Cloudflare内网穿透功能,实现外网访问准备一个域名
入秋的大橘
·
2023-12-26 22:09
服务器
linux
阿里云
DolphinScheduler 2.0.5详解
1.3.1Linux操作系统版本要求1.3.2服务器建议配置1.3.3生产环境1.3.4网络要求1.3.5客户端Web浏览器要求第二章DolphinScheduler安装部署2.1安装部署介绍2.2单机版部署2.3
集群部署
大数据东哥(Aidon)
·
2023-12-26 22:05
大数据
任务调度
DS
DolphinSchedule
dolphinschedule
vue2、vue3实现用aws s3协议操作
minio
进行文件存储和读取
亚马逊s3API文档最开始安装了@aws-sdk/client-s3,但是不知道为什么一直报错,所以用了aws-sdk准备工作:需要已经搭建好
minio
、创建好桶1.vue2安装插件yarnaddaws-sdks3
查查茶茶丸
·
2023-12-26 19:09
前端
vue.js
javascript
docker安装入门及redis,
minio
,rabbitmq应用安装
部分笔记来自黑马课堂:【黑马程序员Docker快速入门到项目部署,MySQL部署+Nginx部署+docker自定义镜像+DockerCompose项目实战一套搞定-哔哩哔哩】https://b23.tv/niWEhEF一、什么是docker:快速构建、运行、管理应用的工具。--帮助我们快速部署提高开发效率。二、Docker是做什么的Docker可以帮助我们下载应用镜像,创建并运行镜像的容器,从而
小瞿码上有
·
2023-12-26 13:03
学习总结100篇计划
docker
docker安装
docker安装redis
docker安装minio
安装rabbitmq
Hadoop
集群部署
在虚拟机中需要的基础文件包1.4关闭防火墙1.5创建Hadoop的账户及文件2模板虚拟机安装JDK3模板虚拟机安装Hadoop4克隆虚拟机5虚拟机配置主机名称映射6集群分发脚本7SSH无密登陆配置8Hadoop集群配置8.1
集群部署
规划
程序员储物箱
·
2023-12-26 12:23
安装教程
hadoop
linux
SpringBoot整合阿里云OSS、天翼云OSS、
MinIO
对象存储
大家好!我是sum墨,一个一线的底层码农,平时喜欢研究和思考一些技术相关的问题并整理成文,限于本人水平,如果文章和代码有表述不当之处,还请不吝赐教。以下是正文!对象存储是什么?对象存储是一种数据存储方式,它将数据分割成不同的对象,并为每个对象分配一个唯一的标识符,用于访问和操作数据。这些对象被存储在多个服务器上,以确保数据的可靠性和可用性。对象存储适合存储大量数据,具有可扩展性、低成本和高安全性等
sum墨
·
2023-12-26 11:37
spring
boot
阿里云
后端
云计算
iceberg1.4.2+spark3.4.2+
minio
在idea里面编写iceberg的数据写入和创建表动作,虽然简单,但是官网没有给出完整例子,包括jar包的依赖。最大的坑就是版本不兼容。通过下面完整例子,编写Iceberg的完整代码。pom.xml文件需要引入的包org.scala-langscala-library${scala.version}junitjunit4.4testorg.specsspecs1.2.5testorg.apache
smileyboy2009
·
2023-12-26 10:25
spark
idea开发delta.io数据湖
通过idea的spark操作delta.ideamaven的pom.xmlio.
minio
minio
8.5.7org.apache.sparkspark-core_2.123.5.0o
smileyboy2009
·
2023-12-26 10:52
intellij-idea
java
ide
iceberg1.4.2 +
minio
通过spark创建表,插入数据
iceberg是一种开放的表格式管理,解决大数据数据中结构化,非结构化和半结构化不统一的问题。主要是通过对表的管理实现增删改查,同时支持历史回滚(版本旅行)等操作。下层支持hadoop,s3,对象存储,上层支持hive,spark,flink等应用。实现在中间把两部分隔离开来,实现一种对接和数据管理的标准。有这个标准,不管是谁建的表,都可以操作和访问。比如我用spark创建表,flink去读取的时
smileyboy2009
·
2023-12-26 06:39
spark
大数据
分布式
【Linux系统基础】(6)在Linux上大数据NoSQL数据库HBase
集群部署
、分布式内存计算Spark环境及Flink环境部署详细教程
大数据NoSQL数据库HBase
集群部署
简介HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。和Redis一样,HBase是一款KeyValue型存储的数据库。
老牛源码
·
2023-12-26 06:13
Linux教程
大数据
分布式
linux
nacos - centos7.x环境单机与集群快速部署
参考官网:https://nacos.io/zh-cn/docs/what-is-nacos.html官方
集群部署
手册:https://nacos.io/zh-cn/docs/cluster-mode-quick-start.html
19783793
·
2023-12-25 23:38
linux
运维
服务器
nacos
dubbo
1单一应用架构2应用和数据库单独部署3应用和数据库
集群部署
4数据库压力变大,读写分离5使用缓存技术加快速度6数据库分库分表
赵恩栋
·
2023-12-25 11:06
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他