E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
keepalived集群
大数据平台软硬件规划
一.大数据
集群
节点规划1.HDFS
集群
节点规划假如业务系统数据量每天增量50T,保留周期30天,那么HDFS存储容量为50T*30天*3副本*2倍(数据源+清洗加工)=9000T=8.79P假如每个机器的磁盘是
小枫@码
·
2024-01-22 17:17
大数据架构师
大数据
Spark简介
它是一个快速通用的
集群
计算平台.Spark扩展了流行的MapReduce模型.Spark提供的主要功能之一就是能够在内存中运行计算,但对于在磁盘上运行的复杂应用程序,系统也比MapReduce更有效。
shinelord明
·
2024-01-22 17:17
大数据
引擎
spark
大数据
hadoop
hbase预分区
一个好的方法是在建立HBase表时预先分配数个Region,这样写入数据时,会按照Region分区情况,在
集群
内做数据的负载均衡。--自定义预分区的RowKeyhbase>cre
小枫@码
·
2024-01-22 17:15
大数据运维
hbase
数据库
大数据
搭建共享磁盘nfs
文章目录前言一、安装二、挂载目录1.新建目录2.配置3.启动三、客户端挂载1.安装2.查看nfs主机共享情况3.客户端挂载4.查看挂载情况5.开机自动挂载四、客户端卸载总结前言共享磁盘可以让
集群
服务器的共享目录
你知道“铁甲小宝”吗丶
·
2024-01-22 15:14
linux
linux
服务器
网络
服务名配置dm_svc.conf-(达梦数据库)
达梦数据库-服务名配置dm_svc.conf1主备
集群
配置dm_svc.conf2多个
集群
同时配置dm_svc.conf3参数详细说明4服务名文件路径配置4.1windows环境4.2Linux环境5dm_svc.conf
祢真伟大
·
2024-01-22 15:50
数据库
数据库
表对象的标识
表对象标识kingbase中表作为数据库对象具有一个系统内部的唯一标识符,这个标识符被称为oid(对象标识符),它是kingbase用来在整个数据
集群
中唯一地标识每个数据库对象的一个字段。
我是东山
·
2024-01-22 15:17
数据库
postgresql
oracle
k8s----ingress
k8s----ingress一、Ingress简介1.1、service的作用1.2、外部访问k8s
集群
内的服务二、Ingress组成2.1、ingress2.2、ingress-controller三
这小子贼帅
·
2024-01-22 13:06
kubernetes
kubernetes
docker
java
k8s指南-Ingress
工作负载(3)(6)k8s指南-工作负载(4)(7)k8s指南-Service(8)k8s指南-Ingress(9)k8s指南-DNS与服务发现(10)K8S指南-平滑升级与自动扩缩容Ingress是k8s
集群
中负责管理服务外部访问的
还是转转
·
2024-01-22 13:06
分布式
云原生
kubernetes
云原生
k8s-ingress-nginx搭建
首先区分开ingress和ingress-controller前者个人理解是一种
集群
中服务之间访问控制策略后者是client访问
集群
时得一种方式如下图思维导图(部署方式不同,略有差别)暴露服务还分几种方式一
大鹅i
·
2024-01-22 13:34
k8s
kubernetes
裸机k8s安装nginx-ingress-controller
serviceAccount:kuboard-userserviceAccountName:kuboard-user中我们使用创建UI时候创建的ServiceAccountkuboard-user,因为此账户以进行过
集群
绑定
zow
·
2024-01-22 13:34
K8s
运维
nginx
kubernetes
docker
关于Hive架构原理,尚硅谷
最近学习hive时候,在做一个实操案例,具体大概是这样子的:我在dataGip里建了一个表,然后在hadoop
集群
创建一个文本文件里面存储了数据库表的数据信息,然后把他上传到hdfs后,dataGrip
大数据SQLboy
·
2024-01-22 11:41
Hive
hive
架构
hadoop
48、Spark性能优化之性能优化概览
Spark性能优化概览由于Spark的计算本质是基于内存的,所以Spark性能程序的性能可能因为
集群
中的任何因素出现瓶颈:CPU、网络带宽、或者是内存。
ZFH__ZJ
·
2024-01-22 11:31
SpringCloudAlibaba----Nacos
简介二.Nacos的关键特性三.nacos相关图四.Nacos的安装五.使用Nacos完成服务注册与发现六.使用Nacos作为配置中心七.Nacos配置项热更新八.Nacos配置灰度发布九.Nacos
集群
环境部署十
我就是我352
·
2024-01-22 10:52
Spring
java
spring
cloud
MySQL存储引擎
存储引擎常用存储引擎的对比:特点MyISAMInnoDBMEMORYMERGENDB存储限制有64TB有没有有事务安全支持锁机制表锁行锁表锁表锁行锁B树索引支持支持支持支持支持支持哈希索引支持支持全文索引支持
集群
索引支持数据缓存支持支持支持索引缓存支持支持支持支持支持数据可压缩支持空间使用低高
Thomas_Vader
·
2024-01-22 10:19
【大数据处理技术实践】期末考查题目:
集群
搭建、合并文件与数据统计可视化
集群
搭建、合并文件与数据统计可视化实验目的任务一:任务二:实验平台实验内容及步骤任务一:搭建具有3个DataNode节点的HDFS
集群
集群
环境配置克隆的方式创建Slave节点修改主机名编辑hosts文件生成密钥免认证登录修改
汐ya~
·
2024-01-22 09:35
hadoop
linux
虚拟机
java
什么是元数据
在
集群
文件系统中,分布信息包括文件在磁盘上的位置以及磁盘在
集群
中的位置。用户需要操作一个文件必须首先得到它的元数据,才能定位到文件的位置并且得到文件的内容或相关属性。
w蕾丝
·
2024-01-22 09:54
【Java万花筒】云端之旅:Java容器化、微服务与云服务之道
本文将深入探讨Java在容器化、Kubernetes
集群
、AWS云服务、SpringCloud微服务和ApacheHttpClient等方面的利用与实践。
friklogff
·
2024-01-22 09:16
Java万花筒
java
微服务
开发语言
云原生
Oracle-ORA-600 [ktecgetsh-inc], [1]报错分析
问题背景:在一套数据库的版本为11.2.0.4.160719的OracleRAC
集群
,应用程序执行语句出现异常失败,应用日志显示出现ORA-00600:internalerrorcode,arguments
牛牛的笔记
·
2024-01-22 09:29
Oracle
oracle
数据库
dba
运维
问题分析
redis-5.0.8
集群
环境搭建
1.前置准备Linux版redis-3.2.8单机环境安装redis-3.2.8主从复制架构搭建及哨兵配置如果你对redis的安装很陌生,请看完我以上两期教程,对完成此期教程很有帮助2.下载解压redis-5.0.8.tar.gz[xiaokang@hadoop01~]$cd/opt/software/[xiaokang@hadoop01software]$tar-zxvfredis-5.0.8.
小刘新鲜事儿
·
2024-01-22 08:15
redis
redis
【实战】K8S部署Redis
集群
代理Predixy
文章目录前言技术积累为什么要在redis
集群
前面加个predixy代理?这样做的好处有哪些?
小沈同学呀
·
2024-01-22 08:44
Kubernetes
kubernetes
redis
容器
k8s搭建单机版redis
前段时间在
集群
上搭建了一个简易的单机版redis用于测试,注意redis是采用nodePort方式暴露的服务,因此需要在配置相应的端口安全组策略。
行走的小码农
·
2024-01-22 08:44
docker&k8s
redis
kubernetes
docker
helm安装redis
redis主从–>redis-10.5.7.tgzk8s环境中一键拉起redis
集群
,解决传统方式安装的繁琐helminstallyemaodiyi-redis.
野猫第一
·
2024-01-22 08:13
野猫第一
redis
缓存
数据库
Flink on YARN(下):常见问题与排查思路
Flink支持Standalone独立部署和YARN、Kubernetes、Mesos等
集群
部署模式,其中YARN
集群
部署模式在国内的应用越来越广泛。
Apache Flink
·
2024-01-22 08:33
一张图轻松掌握 Flink on YARN 基础架构与启动流程
Flink支持Standalone独立部署和YARN、Kubernetes、Mesos等
集群
部署模式,其中YARN
集群
部署模式在国内的应用越来越广泛。
zhisheng_blog
·
2024-01-22 08:02
flink部署模式(二)- yarn三种部署模式
基于flink1.15.0SessionModeonyarn开启flinkyarn-session
集群
.
PONY LEE
·
2024-01-22 08:32
flink
flink
linux
java
flink部署模式介绍
在一些应用场景中,对于
集群
资源分配和占用的方式,可能会有特定的需求。
201001070
·
2024-01-22 08:32
Flink
flink
大数据
flink1.13环境搭建
1、本地启动非
集群
模式最简单的启动方式,其实是不搭建
集群
,直接本地启动。本地部署非常简单,直接解压安装包就可以使用,不用进行任何配置;一般用来做一些简单的测试。
201001070
·
2024-01-22 08:31
Flink
flink
[flink]一Flink部署|配置文件|提交作业|部署模式|独立模式部署|yarn模式部署
一、
集群
部署
集群
规划节点服务器hadoop1hadoop2hadoop3hadoop4角色JobManagerTaskManagerTaskManagerTaskManagerTaskManager1、
胖胖学编程
·
2024-01-22 08:30
Flink
flink
Flink
集群
部署到YARN上的提交流程
第一步:Flink任务提交后,Client向HDFS上传Flink的Jar包和配置第二步:之后向YarnResourceManager提交任务,ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMaster第三步:ApplicationMaster启动后加载Flink的Jar包和配置构建环境,然后启动JobManager第四步:之后
疯子1313
·
2024-01-22 08:00
flink
yarn
【Flink】部署模式-会话模式/单作业模式/应用模式/Yarn模式/独立模式/K8s模式
下的部署模式独立模式(Standalone)会话模式部署单作业模式部署应用模式部署YARN模式相关准备和配置会话模式/应用模式/单作业模式NativeKubernetes部署模式在一些应用场景中,对于
集群
资源分配和占用的方式
清清清清风
·
2024-01-22 08:59
Flink
kubernetes
flink
容器
yarn
大数据
13.Flink之Flink on Yarn/K8s 原理剖析及实践
当JobGraph提交给Flink
集群
后,能够以Local、Standalone、Yarn和Kuberne
吃胖点儿
·
2024-01-22 08:58
Flink
03-Flink内存模型
内存管理在大数据场景下的问题,提升了计算效率.1.1JVM内存管理的不足1.1.1有效数据密度低存储:对象头、实例数据、对齐填充部分导致JVM中有效信息的存储密度很低1.1.2垃圾回收FullGC会严重影响性能以及和
集群
中的心跳信息超时
情深@骚明
·
2024-01-22 08:48
流式计算
flink
kafka入门(十):副本数据同步
Kafka通过多副本机制实现故障自动转移,在Kafka
集群
中某个broker节点失效的情况下仍然保证服务可用。
乐之者v
·
2024-01-22 07:04
A1--kafka
kafka
kubectl与 jq的用法
一、背景在日常运维工作中,我们需要管理和操作大量的配置文件,这在使用Kubernetes
集群
管理应用时尤为常见。
睡不醒的猪儿
·
2024-01-22 07:01
kubernetes
容器
二进制部署K8S
集群
初始化设置服务器关闭防火墙]#systemctlstopfirewalld]#systemctldisablefirewalld关闭selinux]#sed-i's/enforcing/disabled/'/etc/selinux/config#永久关闭]#setenforce0#临时关闭关闭swap]#swapoff-a#临时关闭]#sed-ri's/.*swap.*/#&/'/etc/fsta
Marco_pei
·
2024-01-22 07:00
k8s
kubernetes
k8s
集群
重新将master节点加入
集群
文章目录问题背景解决过程基础环境恢复恢复etcd
集群
恢复docker恢复k8s
集群
总结问题背景由三台master节点组成的k8s
集群
,由于其中一台master节点启动文件异常,将机器重置了,需要重新部署后恢复到原来的
集群
中
qq_45731077
·
2024-01-22 07:30
k8s
容器
centos
二进制部署高可用k8s
集群
V1.20.11版本
所有节点均执行)1、关闭防火墙2、关闭selinux3、关闭swap4、根据规划修改主机名5、在master节点上添加host6、将桥接的IPv4流量传递到iptables的链7、时间同步二、部署Etcd
集群
不知名运维:
·
2024-01-22 07:57
Kubernetes学习分享;
kubernetes
容器
云原生
k8s
集群
master节点的删除和重新加入
一、剔除master1节点1)删除master1节点3台master下掉一个,剩下2个master运行基本也没问题。坚持个一两天问题不大。kubectldrainpaas-m-k8s-master-1--delete-local-data--force--ignore-daemonsetskubectldeletenodepaas-m-k8s-master-12)清理etcd数据a.进入etcd容
睡不醒的猪儿
·
2024-01-22 07:27
kubernetes
容器
云原生
SpringCloud-高级篇(十五)
下面要做的是Nginx的业务
集群
,在里面实现本地缓存,本地缓存未命中查Redis,Redis未命中查tomcat,这样的业务,在nginx
集群
中实现的,通过nginx来做业务编码,不在是用tomcat做编码了前面利用
喵俺第一专栏
·
2024-01-22 07:54
spring
cloud
spring
后端
Kafka常见指令及监控程序介绍
下文使用–bootstrap-server10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092需自行填写各自对应的
集群
IP和kafka的端口。
necessary653
·
2024-01-22 07:49
kafka
linq
分布式
配置ansible自动化工具
自动化运维工具Puppet:用ruby语言写的Saltstack:用python写的,是一个模块化shell(就是命令),用的agent服务连接的被控端,用于大
集群
,高并发ansible:用python
小王丨小王
·
2024-01-22 07:19
Centos
ansible
自动化
ansible
centos
k8s
集群
加入一个master2--kubeadm方式
已经有一个
集群
:192.168.206.138master192.168.206.136k8s-node1192.168.206.137k8s-node2kubectlgetnodes-owide新加入一个
fenglei2020
·
2024-01-22 07:51
kubernetes
java
linux
k8s
运维
kubeadm 安装k8s
集群
后,master节点notready问题解决方案
使用kubeadm安装k8s
集群
后,加载calicocni网络组件后,master节点notready问题表现为:使用命令查看日志:journalctl-f-ukubelet报错如下:FailedtostartContainerManagerfailedtoinitializetoplevelQOScontainers
fenglei2020
·
2024-01-22 07:21
kubernetes
java
docker
k8s 使用tomcat官方镜像部署
集群
并解决访问页面404
一、
集群
节点配置:master:192.168.206.138k8s-node1:192.168.206.136k8s-node2:192.168.206.137二、下载一个Tomcat镜像dockerpulltomcatdockerimages
fenglei2020
·
2024-01-22 07:21
kubernetes
java
服务器
k8s
集群
加入一个新的node节点
实验目的:在已有的k8s
集群
中加入一个新的node节点,并正常工作。
fenglei2020
·
2024-01-22 07:20
kubernetes
docker
java
【征服redis14】认真理解一致性Hash与Redis的三种
集群
目录1.前两种
集群
模式的特征与不足2.Cluster模式2.1Cluster模式原理2.2数据分片与槽位2.3Cluster模式配置和实现3.一致性Hash3.1哈希后取模3.2一致性Hash算法4RedisCluster
纵横千里,捭阖四方
·
2024-01-22 06:34
一个项目征服Java
精通redis
redis
数据库
缓存
腾讯云-服务违规封禁提醒解决
端口以及该进程的详细信息Step2:删除异常进程,及其可执行文件Step3:处理已经挂起的链接Step4:查看是否存在相关的定时任务Step5:修改密码背景之前在腾讯云租用了两台轻量服务器,搭建了一个K8S
集群
kanhou98
·
2024-01-22 06:09
腾讯云
服务器
Jmeter配置元件之DNS Cache Manager
这就是
集群
中只有一台服务器接收负载的原因。DNS缓存管理器在每次迭代时分别解析每个线程的名称,并将解析结果保存到其内部DNS缓存中,该缓存独立于JVM和系统DNS缓存。
安澜仙王
·
2024-01-22 06:08
Jmeter
2020-05-15
安装节点健康监测在kubernetes
集群
上,通常我们只是管制
集群
本身以及容器的稳定运行。但是这些稳定性都是强依赖节点node的稳定的。
wowshiwoniu
·
2024-01-22 06:55
linux运维学习笔记:
集群
系列之01:linux
集群
基础概念
linux运维学习笔记:
集群
系列之01:linux
集群
基础概念作者:周少言2018年1月,于北京声明:本博客是本人周少言在某培训机构学习期间所写,其中参考借鉴了他人的博客,本文将会选择性给出相关链接,如有侵权
周少言
·
2024-01-22 06:27
上一页
48
49
50
51
52
53
54
55
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他