E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
minio集群部署
IOT平台架构设计思路
2017版本2005版本和其他私有改动版本)国标212接收程序采用Netty开发服务端高并发传输快稳定MQTTborker采用开源EMQX(Emqttd)选择原因文档完善社区活跃高中文文档支持Qos2,支持
集群部署
懒惰-就是我
·
2023-03-28 23:47
高可用实践—负载均衡与Keepalived+VIP
随着互联网红利来临,并发量的增大,也对单体服务提出了较大的挑战,常见的解决方式是**增加服务器性能**(磁盘、内存、CPU),**
集群部署
**等。
winsonWu1996
·
2023-03-28 22:55
java
运维开发
运维
zookeeper分布式锁从零实践与源码解析
现今服务大都是
集群部署
,使用操作系统锁或基于AQS的JUC并发工具,不能满足`跨JVM`线程同步的需求。本文从中间件安装开始,以抢购商品为例,实现一个`zk`分布式锁。
winsonWu1996
·
2023-03-28 22:55
java
开发语言
常见面经整理
简述缓存穿透的解决方法5、简述缓存击穿6、简述缓存穿透的解决办法7、简述缓存雪崩8、简述缓存雪崩的解决方法9、MySQL与Redis区别10、Redis基本数据类型实现原理11、Redis快的原因12、Redis有哪些
集群部署
方式
Gogo冲啊
·
2023-03-28 14:46
面经整理
java
mysql
sql
spring
boot
java使用world模板动态生成PDF文件
同时上传到文件存储服务器
minio
上,下面介绍具体的实现步骤1、首先准备一个world模板,新建一个world如下图所示在需要动态填入数据的地方采用字母代替(此处注意,字母需要大写),用于占位操作。
静风落叶
·
2023-03-28 14:48
JAVA工具
pdf
java
world模板
动态生成pdf
minio
使用thanos、prometheus和
minio
打造高可用监控平台
在单kubernetes集群中,使用单实例或多副本的prometheus即可搭建好一个比较可用的监控平台。单该方案有很多的不足,有如下的缺点a.不能保存永久的监控数据(数据量太多会影响prometheus性能)b.多集群下grafana需要配置很多个数据源,比较麻烦c.节点异常会导致数据丢失,不高可用针对这些问题,目前的方案有:prometheus多副本+HA方案,数据量大是采用分层的promet
rekca
·
2023-03-28 04:41
使用熔断器防止服务雪崩
为了保证其高可用,单个服务通常会
集群部署
。由于网络原因或者自身的原因,服务并不能保证100%可用,如果单个
撸帝
·
2023-03-28 02:43
第三章.Flink 集群搭建
我们主要对Standalone模式和Yarn模式下的Flink
集群部署
进行分析。
__元昊__
·
2023-03-28 00:09
工作随笔 - docker-compose搭建多主机分布式
minio
根据官网介绍http://docs.
minio
.org.cn/docs/master/deploy-
minio
-on-docker-swarm,多主机
minio
只有介绍swarm的模式,但是单独为
minio
木子_小帅
·
2023-03-27 17:58
高可用集群的灰度升级
这就要求
集群部署
方式必须是高可用的,即控制节点采用高可用部署,数
DolphinDB智臾科技
·
2023-03-27 08:02
DolphinDB
时序数据库
高可用技术
Kubernetes 1.41.1 内网
集群部署
第1部分:主机环境初始化所有主机采用CentOS7操作系统,我们通过脚本实现批量初始化主机的环境。在每个主机都执行下面的脚本(找一个web服务放上脚本然后每个主机curl.....|bash)此脚本依次进行如下操作(部分地方需要你改成适合你的配置):关闭SELinux关闭Firewalld防火墙设置内网DNS使用内网Yum源使用内网NTP时钟服务更新主机名关闭rsyslog日志服务#!/usr/b
星辰大海w
·
2023-03-27 03:02
【运维/安装】Flink +
MinIO
:实现light-weighting思路下的集群(集群、高可用&&POC、快速搭建)
文章目录一.概述二.Flink配置
MinIO
实现Checkpoint和Savepoint1.配置s3文件系统2.配置checkpoint和savepoint3.提交一个flinkjob到flink集群上三
roman_日积跬步-终至千里
·
2023-03-27 00:56
flink
运维
flink
大数据
大数据技术之hadoop——(三)完全分布式集群搭建(多图详细步骤)
opt/software目录下【2】将jdk和hadoop解压到/opt/module目录下【3】配置环境变量【4】hadoop目录结构3、完全分布式集群搭建3.1集群分发脚本3.2SSH免密登录3.3
集群部署
「已注销」
·
2023-03-26 18:11
hadoop
大数据
hadoop
分布式对象存储服务器
minio
一、什么是分布式对象存储服务器?分布式存储服务器简单解释为将数据分布在多个存储型服务器上,并且这些分散的存储资源可以构成一个虚拟化的存储设备,但是现实是数据是分散存储在企业的各个角落。例如:您需要存储10PB的一个视频文件,但是您的个人电脑发生故障无法存储,需要存储在多个香港服务器上,每台香港服务器看作是一个datanode,在获取文件时,逐一去访问效率低。所以安排一个中间人来存放文件在哪台服务器
ZhengXinMing1998
·
2023-03-26 11:31
中间件
微服务
服务器
分布式
运维
Ceph (J)
集群部署
基于CentOS7x86_64可参考:https://blog.csdn.net/dylloveyou/article/details/79054120一、简单介绍Ceph的部署模式下主要包含以下几个类型的节点ØCephOSDs:ACephOSD进程主要用来存储数据,处理数据的replication,恢复,填充,调整资源组合以及通过检查其他OSD进程的心跳信息提供一些监控信息给CephMonito
小白说互联网
·
2023-03-26 09:03
Springboot中使用
minio
工作需求需要在项目中使用
minio
,项目使用springboot,如下操作:引入依赖:io.
minio
minio
8.2.1配置文件
minio
:
minio
Url:http://192.168.56.201
三生浮屠
·
2023-03-25 17:56
# 自荐:即时通讯IM开源项目OpenIM每周迭代版本发布-群管理 阅后即焚
新特性介绍OpenIM每周五发布新版,包括新特性发布,bug修复,同时合并PR,解决issue等一个完善的IM系统,非常复杂,功能繁多,需求不一,比如对象存储有云端oss,cos,s3,私有化存储有
MinIO
OpenIM
·
2023-03-25 06:18
docker-compose进行RocketMQ
集群部署
docker-compose进行RocketMQ
集群部署
官网文档docker和docker-compose的安装docker-compose.yml各节点配置文件控制台官网文档官网文档docker和docker-compose
东岂
·
2023-03-25 01:45
docker
docker
rocketmq
第四篇:断路器(Hystrix)
为了保证其高可用,单个服务通常会
集群部署
。
VC安城
·
2023-03-24 17:20
服务搭建篇(七) Elasticsearch单节点部署以及多节点
集群部署
1.ElasticsearchElasticsearch(简称ES)是一个分布式,RESTful风格的搜索和数据分析引擎,使用java开发并且是当前最流行的开源的企业级搜索引擎,能够达到近实时搜索,稳定,可靠,快速,安装使用方便。客户端支持Java、.NET(C#)、PHP、Python、Ruby等多种语言。官方网站:https://www.elastic.co/下载地址:https://www.
lingering fear
·
2023-03-24 16:32
elasticsearch
java
大数据
Hadoop Yarn集群中节点全是localhost
Hadoop
集群部署
后,出现Yarn的节点都是localhost,从而找不到其他的Node下发任务,出现如下的错误。
TalkTalk战术
·
2023-03-24 13:14
干货速看!同行盆友来稿:一文带你搭建K8S高可用集群,以及在上面搭建Prometheus和Grafana。
作为Kubernetes官方提供的
集群部署
管理工具,采用“一键式”指令进行集群的快速初
彩虹运维技术栈社区
·
2023-03-24 13:18
101_es生产
集群部署
之重要的操作系统设置(swapping、virutal memory等)
101_es生产
集群部署
之重要的操作系统设置(swapping、virutalmemory等)1、系统的重要配置理想情况下,es应该单独在一个服务器上运行,能够使用服务器上的所有资源。
小山居
·
2023-03-24 09:59
完全解析大数据的高可用
集群部署
HA介绍什么是HAHA:HighAvailability,高可用集群,指的是集群7*24小时不间断服务。为什么需要HA在HDFS中,有NameNode、DataNode和SecondaryNameNode角色的分布,客户端所有的操作都是要与NameNode交互的,同时整个集群的命名空间信息也都保存在NameNode节点。但是,现在的集群配置中只有一个NameNode,于是就有一个问题:单点故障那么
好程序员IT教育
·
2023-03-24 06:26
大数据
hadoop
java
SpringBoot集成
MinIO
文件服务器
docker-compose安装
minio
version:'3'services:
minio
:image:
minio
/
minio
:latest#原镜像`
minio
/
minio
:latest`container_name
皮多堡
·
2023-03-24 03:00
Kafka(生产者)
Kafka1.概述1.1消息队列1.1.1传统消息队列的应用场景1.1.2消息队列的两种模式1.2kafka基础结构2.kafka的快速入门2.1
集群部署
2.1.1安装java2.1.2部署zookeeper
sp_wxf
·
2023-03-24 00:09
kafka
java
java-rabbitmq
分布式文件系统[
MinIO
]YYDS
分布式文件管理系统简单的说就是一个服务器用于存放图片,一个服务器用于处理业务,每个服务器干的事不一样;感兴趣可以查看之前的文章–FastDFS-分布式文件管理系统今天要学习的是MiniIO,springboot整合下的分布式文件管理系统;什么是
MinIO
CodeMartain
·
2023-03-23 20:16
云原生基础
分布式
学习
java
后端
nacos集群的ap cp切换_redis集群特性:部署集群时发现的特性
分布式协议:AP协议,虽然
集群部署
会要求6个结点,主要是用来做主从同步,如果是6个节点,会形成3个主节点,3个从节点,1个主节点对应一个从节点,形成3对结构。
weixin_39623271
·
2023-03-23 20:58
nacos集群的ap
cp切换
SpringCloud微服务技术栈.黑马跟学(四)
同步和异步通讯1.1.1.同步通讯1.1.2.异步通讯1.2.技术对比:2.快速入门2.1.安装RabbitMQ2.1.1.单机部署(1).下载镜像方式一:在线拉取方式二:从本地加载(2).安装MQ2.1.2.
集群部署
心向阳光的天域
·
2023-03-23 20:19
微服务
spring
cloud
java
rabbit
mq
SpringCloud+
Minio
+Nginx实现分布式文件鉴权管理
最近需要使用
Minio
替代原来的SFTP服务器,在此记录下相关操作。
还没秃头的码农
·
2023-03-23 20:16
java
spring
cloud
Minio
设置永久下载链接
问题
minio
分享文件的链接,最多支持分享七天,而需求要求设置永久可下载?解决方式一:
minio
提供了一个客户端工具。可以直接对
minio
server进行配置,将指定桶设置为公共永久可下载。
小蜗牛爬楼梯
·
2023-03-23 19:05
kubernetes中部署ingress-nginx访问k8s内部服务
x86_64kubeadm-1.20.4-0.x86_64kubernetes-cni-0.8.7-0.x86_64二、k8s架构|用途|ip地址|主机名||master|192.168.10.127|
minio
归海听雪
·
2023-03-22 19:23
微服务与RPC思想总结
微服务通常都是
集群部署
,服务之间的通信需要通过RPC完成。集群需要通过服务治理去管理,服务治理主要管理:接口方法和服务之间的映射关系、负载均衡、健康检测、服务续约、服务发现、容灾容错等。
笔记本一号
·
2023-03-22 17:19
103_es生产
集群部署
之各个节点以daemon模式运行以及优雅关闭
103_es生产
集群部署
之各个节点以daemon模式运行以及优雅关闭1、以daemon模式运行在生产环境中,会使用daemon进程的方式来启动es,而不是直接采用前台进程的方式来启动es,具体命令如下.
小山居
·
2023-03-22 16:59
大数据框架保姆级安装教程——Kafka(3.0.0)
大数据框架保姆级安装教程——Kafka(3.0.0)1.1安装部署1.1.1集群规划hadoop102hadoop103hadoop104zkzkzkkafkakafkakafka1.1.2
集群部署
**
yiluohan0307
·
2023-03-22 11:04
大数据常用工具及技巧
kafka
大数据
分布式
Flink
集群部署
模式
根据集群的生命周期、资源隔离方式和应用程序的main()方法执行位置(client或者JobManager)可以将
集群部署
模式分为:FlinkSessionCluster(sessionmode)、FlinkJobCluster
零度沸腾_yjz
·
2023-03-22 02:20
kafka 核心技术实战(四)
Kafka线上
集群部署
方案操作系统Kafka由Scala语言和Java语言编写而成,编译之后的源代码就是普通的“.class”文件。
fangzhan666
·
2023-03-21 14:49
大数据开发基础
kafka
linux
java
k8s安装
目录一、K8s概念二、minikube安装三、部署应用到集群中四、Service五、k8s部署爬虫1、意义一、K8s概念参考文章,参考视频它是一个为容器化应用提供
集群部署
和管理的开源工具,由Google
十一姐
·
2023-03-21 07:33
OtherLearn
kubernetes
docker
容器
2020-11-24 Eureka服务
集群部署
Eureka服务端集群服务
集群部署
可以在Eureka项目构筑基础上调整得到。Eureka服务之间彼此互相注册配置文件如:端口7001Eureka服务yml配置。
Kurisutina
·
2023-03-21 04:38
Java实现Kafka基本的生产者和消费者Demo
第一、环境准备1、JDK2、Zookeeper3、Kafka第二、实现效果Postman或Chrome中,调用如下接口生产者ProducerConsole显示
minio
ocsendmessage:{"uuid
吾系司机
·
2023-03-21 04:19
xxl-job剖析
调度中心依赖mysql作为数据源(数据存储和分布式锁),可
集群部署
,各节点无状态,
集群部署
时需要部署负载均衡器(如
YDDMAX_Y
·
2023-03-21 04:26
Hystrix使用及原理
为了保证其高可用,单个服务又必须
集群部署
。
三不猴子
·
2023-03-20 13:00
解决
集群部署
Hadoop 启动后没有ResourceManager问题
解决
集群部署
Hadoop启动后没有ResourceManager问题问题1.启动完成后输入jps命令没有看到ResourceManager2.查看ResourceManager日志出现java.lang.reflect.InaccessibleObjectException
_DiMinisH
·
2023-03-20 08:42
Java
hadoop
大数据
java
ceph对象存储Bucket Notification功能使用
Ceph的对象存储提供了桶通知的功能(BucketNotification),其他一些存储比如
MinIO
、各家公有云产品上也有类似的功能。该功能在人工智能/机器学习、边缘计算领域工作流上
要厉害的
·
2023-03-20 05:59
分布式FastDFS
集群部署
FastDFSFastDFS的作者余庆在其GitHub上是这样描述的:“FastDFSisanopensourcehighperformancedistributedfilesystem.It'smajorfunctionsinclude:filestoring,filesyncingandfileaccessing(fileuploadingandfiledownloading),anditca
周若谷
·
2023-03-19 15:29
Flink从入门到精通02之
集群部署
1.Clustermodeintroduction1.1.Comparisonofclusterdeploymentmodes根据以下两种条件将
集群部署
模式分为三种类型:集群的生命周期和资源隔离根据程序
Coder-michael
·
2023-03-19 11:31
大数据
flink
数据库
flink集群
flink学习
flink理解
Flink
集群部署
1、环境准备工作1.1基础环境JDK1.8及以上【配置JAVA_HOME环境变量】SSH免密码登录【集群内节点之间免密登录】1.2安装包下载使用Flink1.12.0版本2、Local模式部署在Local模式下,不需要启动任何的进程,仅仅是使用本地线程来模拟Flink的进程,适用于测试开发调试等,这种模式下,不用更改任何配置,只需要保证JDK8安装正常即可。2.1解压直接启动Flink在处于Loc
Siobhan. 明鑫
·
2023-03-19 11:31
大数据环境搭建
flink
大数据
big
data
【Flink】1.Flink
集群部署
0引言Flink可以部署于各种各样的集群之中,比如Flink自己的standalone集群(不依赖于其他资源调度框架,是Flink自带的),flinkonyarn集群等。而不管是standalone还是flinkonyarn都属于集群,还有一种特殊的单机flink——local。Flink真正用来做执行操作的叫做worker,进程在不同的环境模式下运行,名称有所不同。如在Standalone集群模
Vincent道格
·
2023-03-19 11:30
大数据
flink
scala
hadoop
Flink Standalone
集群部署
Flink支持使用多种部署模式来满足不同规模应用的需求,常见的有单机模式,StandaloneCluster模式,同时Flink也支持部署在其他第三方平台上,如YARN,Mesos,Docker,Kubernetes等。以下主要介绍其StandaloneCluster模式的部署。StandaloneCluster模式是Flink自带的一种集群模式,具体配置步骤如下:安装部署1.前置条件使用该模式前
大数据翻身
·
2023-03-19 11:23
flink
kubernetes
【Flink系列】部署篇(一):Flink
集群部署
主要回答以下问题:Flink集群是由哪些组件组成的?它们彼此之间如何协调工作的?在Flink中job,task,slots,parallelism是什么意思?集群中的资源是如何调度和分配的?如何搭建一个Flink集群?如何配置高可用服务?如何使用外部文件系统?Flink系统架构Flink的核心组件包含客户端,jobmanager(JM)和taskmanager™三部分。此外Flink往往还需要结合
云若祯初
·
2023-03-19 11:17
Flink
flink
大数据
上一页
62
63
64
65
66
67
68
69
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他