E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
mod_jk集群
CDH 之 hive 数据迁移
当你想切换了
集群
想把hive迁移至新
集群
,两个
集群
之间又互不相通,一个最简单快捷的方法,就是批量导出元数据信息,同时把数据文件下载上传至新服务器的数据文件存放目录下1.导出元数据信息#database即是数据库名称
啊 这
·
2024-08-27 13:18
CDH
hive
hadoop
大数据
迁移学习
Hive 数据迁移与备份
导出到HDFS将表和数据从HDFS导出到本地服务器将表和数据从本地服务器复制到目标服务器将表和数据从目标服务器上传到目标HDFS将表和数据从目标HDFS上传到目标Hive库如果原始HDFS和目标HDFS
集群
连通
linzeyu
·
2024-08-27 13:17
Hive
hive
big
data
hadoop
带你详细了解Spring Cloud微架构服务的发展史
SpringCloud是一个基于SpringBoot实现的云应用开发工具,它为基于JVM的云应用开发中的配置管理、服务注册,服务发现、断路器、智能路由、微代理、控制总线、全局锁、决策竞选、分布式会话和
集群
状态管理等操作提供了一种简单的开发方式
武昌库里写JAVA
·
2024-08-27 11:07
面试题汇总与解析
算法
数据结构
c语言
开发语言
二维数组
卸载 kubeadm 方式安装的 k8s
停止服务与容器并删除镜像和容器所有节点都执行一遍以下命令:sudosystemctlstopkubelet&&sudosystemctlstatuskubeletsudosystemctlstopetcd2.清空K8S
集群
设置
qq_19783793
·
2024-08-27 10:30
kubernetes
容器
云原生
HPC&AI并行计算
集群
Slurm作业调度系统对通用资源(GRES)的调度
一、概述Slurm支持定义和调度任意通用RESources的功能(GRES)。为特定GRES类型启用了其他内置功能,包括图形处理单元(GPU)、CUDA多进程服务(MPS)设备,并通过可扩展的插件机制进行分片。二、配置默认情况下,群集的配置中未启用任何GRES。您必须在slurm.conf配置文件中明确指定要管理的GRES。的配置参数兴趣是GresTypes和Gres。有关详细信息,请参见slur
技术瘾君子1573
·
2024-08-27 09:25
并行计算
AI并行计算
Slurm调度系统
MPS管理
GPU管理
MIG多实例管理
GPU切片
HBase原理和操作
目录一、HBase在Zookeeper中的存储元数据信息
集群
状态信息二、HBase的操作WebConsole命令行操作三、HBase中数据的保存过程一、HBase在Zookeeper中的存储元数据信息HBase
无奈ieq
·
2024-08-27 08:16
HBase
hbase
linux
数据库
Hadoop:HA模式配置与实现
写的不到位的地方,欢迎评论指出不足之处一、检查系统环境1、HostName、Hosts、JDK、SSH、网络、防火墙、数据源二、
集群
角色分配表注:这只是实例服务器NameNodeNameNodeZookepperFailoverControllerDataNodeZookepperJournalNodeOneyes
家道消乏
·
2024-08-27 08:14
Hadoop基础
hadoop
大数据
hdfs
redisj
集群
之哨兵模式
首先可以搭建主从
集群
,再加上使用redis的哨兵模式。2.什么是哨兵模式?哨兵(sentinel)模式:可以实现主从
集群
的自动故障恢复。包含了主从服务的监控、自动故障恢复、通知。
求知耶
·
2024-08-27 06:07
redis
redis
mysql
集群
谈论
集群
之前,先说明一下项目发展的不同阶段对数据库性能的要求。项目发展经历1.项目初始阶段在这个阶段,主要是单节点数据库,注重的是可靠性。此时主要避免单点故障,做法是主从复制。
唏噗
·
2024-08-27 06:32
笔记
mysql
LVS负载均衡群集
目录一、什么是
集群
二、
集群
使用在哪一个场景三、
集群
的分类四、负载均衡的
集群
架构五、负载均衡的工作模式六、部署安装LVS-NAT1.1步骤1.2ipvsadm工具选项1.3实际案例(这里面有很多细节,暂时没有解释说明
必叫你大败而归
·
2024-08-27 05:29
高性能群集部署
lvs
负载均衡
服务器
Haproxy搭建Web
集群
目录一、Haproxy的概念二、Haproxy主要特性三、Haproxy负载均衡的策略四、HaproxyLVSNginx的区别五、编译部署Haproxy1.1haproxy配置文件中的五部分内容1.2搭建haproxy1.3日志定义一、Haproxy的概念HAProxy是可提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,是免费、快速并且可靠的一种解决方案。HAProxy非常适用于并发大(
必叫你大败而归
·
2024-08-27 05:29
高性能群集部署
服务器
运维
lvs+keepalived+nfs
集群
部署
keepalived介绍及lvs+keepalived+nfs
集群
部署目录一、Keepalived概述二、Keepalived工作原理三、Keepalived体系主要模块及其作用四、Keepalived
Linux运维老纪
·
2024-08-27 05:26
以梦为马
不负服务器群集技术
lvs
MySQL
集群
技术1——编译部署mysql
MySQL在服务器中的部署办法一般而言,企业中的服务器操作系统都为linux,对于MySQL的安装则通常采用源码编译的方式来进行。MySQL是一个广泛使用的开源关系型数据库管理系统。如果您希望从源代码编译和安装MySQL,可以遵循以下步骤。请注意,这里假设您正在使用类Unix系统(如Linux或macOS),并且您具有root或sudo访问权限。准备工作更新系统包列表:sudoaptupdate安
Autter_A3
·
2024-08-27 03:46
mysql
数据库
数据库基础:mysql主从
集群
搭建
position:表示从file的哪个位置开始;binlog_do_db:表示同步哪一个库在后面的slave配置中,这三个结果都需要使用到。4.Slave(6.85)节点配置配置从库(1)修改my.cnf文件,在[mysqld]加入下面的内容:#服务的唯一编号server-id=2#开启mysqlbinlog功能log-bin=mysql-bin#binlog记录内容的方式,记录被操作的每一行bi
2401_84049040
·
2024-08-27 00:58
程序员
数据库
mysql
android
doris跨hdfs
集群
迁移数据
官网-数据备份步骤一,在dorisA
集群
执行:CREATEREPOSITORY`repotestall`WITHBROKER`broker_name`ONLOCATION"hdfs://xx.xx.xx.xx
州周
·
2024-08-27 00:27
hdfs
hadoop
大数据
钱大妈生鲜如何利用 CCR 实现 Apache Doris
集群
读写分离
钱大妈是社区生鲜连锁品牌的开拓者,经过十一年的稳健运营,已成为行业内的领军品牌,截至2023年7月已全国布局超30多座城市,门店总数3000余家,服务家庭超1000万。近年来,随着业务的高速发展以及门店的快速扩张,钱大妈需要对生鲜产品的采购、销售、库存等数据进行实时监控和分析,以保障食品的新鲜度及品质。同时需要管理众多门店与供应链信息,以了解各区域销售趋势和顾客偏好,从而优化商品结构和库存管理。在
ApacheDoris
·
2024-08-27 00:57
开源
数据库
大数据
big
data
数据分析
redis分片
集群
1.为什么使用分片
集群
?主从和哨兵
集群
模式可以解决高并发和高可用的问题,依然存在两个问题没有解决:海量数据的存储问题;高并发写的问题;使用redis分片
集群
能够解决。2.redis分片
集群
原理?
求知耶
·
2024-08-26 18:10
redis
redis
数据库
缓存
[java][
集群
]consul
集群
安装
/usr/local/bin/consulagent-server-data-dir=/tmp/consul-node=server-1-bind=192.168.3.110-bootstrap-expect3-client=0.0.0.0-ui/usr/local/bin/consulagent-server-data-dir=/tmp/consul-node=server-2-bind=192
awonw
·
2024-08-26 17:05
java
java-consul
java
consul
java操作zookeeper
java操作zookeeper文档linux安装java-centos安装java-linux配置java环境变量zookeeper单机安装zookeeper
集群
安装zookeeper客户端命令行操作、
shuair
·
2024-08-26 16:59
zookeeper
zookeeper
基于Zookeeper搭建Kafka高可用
集群
基于Zookeeper搭建Kafka高可用
集群
一、Zookeeper
集群
搭建为保证
集群
高可用,Zookeeper
集群
的节点数最好是奇数,最少有三个节点,所以这里搭建一个三个节点的
集群
。
数字游牧人0v0
·
2024-08-26 16:58
大数据BigData
kafka
java-zookeeper
zookeeper
大数据
zookeeper+KAFKA
集群
搭建
它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、
集群
管理等。
懵逼的运维弟弟
·
2024-08-26 16:28
Linux
zookeeper+KAFKA
集群搭建
面试笔记8.24
我会在
集群
中部署多台服务器,通过分布式计算和存储来处理大规模数据。解答思路:首先,我会搭建一个Hadoop或Spark
集群
,确保
集群
中的每台服务器都能正常通信。
励志秃头码代码
·
2024-08-26 16:55
面试
职场和发展
zookeeper单机安装
zookeeper单机安装文档linux安装java-centos安装java-linux配置java环境变量zookeeper单机安装zookeeper
集群
安装zookeeper客户端命令行操作、节点类型及监听器
shuair
·
2024-08-26 15:49
zookeeper
zookeeper
java
Zookeeper实现分布式锁
文章目录什么是ZookeeperZookeeper
集群
机制Zookeeper特性Zookeeper数据结构Zookeeper应用场景Zookeeper的环境搭建(linux)Zookeeper客户端Zookeeper
爱吃糖的靓仔
·
2024-08-26 15:48
#
分布式区
分布式
java-zookeeper
zookeeper
什么是耦合、紧耦合、松耦合
但随着
集群
规模的扩大,系统的稳定性逐渐变差,主要原因如下:1、同步操作导致对
mingzhi61
·
2024-08-26 15:18
java代码审计
java代码审计
开发语言
大数据技术之Zookeeper安装 (2)
目录下载地址本地模式安装1)安装前准备2)配置修改3)操作Zookeeper配置参数解读Zookeeper
集群
操作
集群
规划解压安装配置服务器编号配置zoo.cfg文件
集群
操作Zookeeper
集群
启动停止脚本创建脚本增加脚本执行权限
大数据深度洞察
·
2024-08-26 14:43
Zookeeper
大数据
hadoop
zookeeper
redis面试(十八)RedLock加锁原理
普通的redis分布式锁,其实是在redis
集群
中根据hash算法选择一台redis实例创建一个锁就可以了大致流程如下:获取当前时间戳,单位是毫秒跟上面类似,
木小同
·
2024-08-26 12:26
redis
面试
redis
面试
数据库
redLock
多数节点
数据库系统 第25节 数据库
集群
数据库
集群
是一种高可用性和可扩展性解决方案,它通过将数据和工作负载分散到多个服务器上来提高性能和可靠性。
hummhumm
·
2024-08-26 03:30
数据库
python
java
mysql
database
sql
后端
Spring Cloud Config 与Spring Cloud Bus组合实现配置文件热部署
先介绍下SpringCloudConfig功能:配置管理工具包,让你可以把配置放到远程服务器,集中化管理
集群
配置,目前支持本地存储、Git以及Subversion。
java_飞
·
2024-08-25 22:34
Tair分布式缓存
redis
集群
中,想用缓存必须得指明redis服务器地址去要。这就增加了程序的维护复杂度。因为redis服务器很可能是需要频繁变动的。
kingkyrie
·
2024-08-25 18:38
分布式
63 - ES 诊断
集群
的潜在问题
集群
运维所面临的挑战用户
集群
数量多,业务场景差异大使用与配置不当,优化不够如何让用户更加高效和正确的使用ES如何让用户更全面的了解自己的
集群
的使用状况发现问题之后,需要防患于未然需要“有迹可循”,做到“
舍是境界
·
2024-08-25 16:36
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
1.2启动和停止Hadoop
集群
start-dfs.shstart-yarn.shstop-dfs.shstop-yarn.shstart-dfs.sh和stop-dfs.sh分别用于启动和停止HDFS
william.zhang(张)
·
2024-08-25 15:52
大数据
Hadoop
容器
大数据
hadoop
分布式
etcd
集群
恢复、单节点恢复操作手册
一、
集群
备份备份方式:Jenkins触发每小时的定时任务,通过调取ansible的playbook进行etcd
集群
的数据备份和上传,默认只备份
集群
中的非leader成员,避免leader成员压力过大。
*老工具人了*
·
2024-08-25 15:21
数据库
Kubernetes
etcd
数据库
Kubernetes Master节点 灾备恢复操作指南
KubernetesMaster节点灾备恢复操作指南目录一,Etcd数据备份及恢复...1A,单节点etcd数据备份和恢复...2B,etcd
集群
数据的备份和恢复...2二,Master节点控制组件的备份及恢复
weixin_34384915
·
2024-08-25 15:51
运维
kubernetes
集群
ETCD备份与恢复
一、通过kubeadm方式备份安装etcdctl命令行yuminstall-yetcd备份ETCDCTL_API=3etcdctl\snapshotsavesnap.db\#此处默认是当前路径,可自定义存储路径--endpoints=https://127.0.0.1:2379\--cacert=/etc/kubernetes/pki/etcd/ca.crt\--cert=/etc/kuberne
冷漠程序员小哥哥
·
2024-08-25 15:19
kubernetes
kubernetes
k8s
etcd
etcd
etcd主目录/配置配置在/etc/etcd.conf.yml主目录/数据/var/lib/etcd主目录/日志动态库或插件install:1,安装脚本:(安装脚本可与2配置文件一起使用,做自动化静态
集群
部署
mmgithub123
·
2024-08-25 15:49
docker
linux
centos
java
mysql
etcd
集群
部署实战
文章目录前言安装
集群
环境添加配置文件启动etcd查看
集群
状态前言本文使用v3.5.4版本的etcd进行搭建
集群
演示,仅适用于学习etcd的基本使用。
tree先生
·
2024-08-25 15:18
etcd
etcd
linux
数据库
Kubernetes 中如何对 etcd 进行备份和还原
etcd是Kubernetes的关键组件,用于存储
集群
的所有配置数据和状态信息。由于etcd永久性存储了
集群
的整个状态,因此对其进行定期备份非常重要。
乌南竹
·
2024-08-25 15:18
kubernetes
etcd
在Kubernetes中etcd作为存储
集群
在Kubernetes中,etcd作为存储
集群
所有关键数据的分布式键值存储系统,其数据的备份与还原对于确保
集群
的可靠性和数据完整性至关重要。
hai40587
·
2024-08-25 15:17
kubernetes
etcd
容器
Kubernetes 中如何对 etcd 进行备份和还原
etcd是Kubernetes
集群
的重要组件,存储了
集群
的所有数据,如配置文件、状态信息、以及服务发现数据。
william.zhang(张)
·
2024-08-25 14:16
后端
容器
大数据
etcd
大数据面试-Zookeeper
ZooKeeper的选举机制是基于Paxos算法的一种分布式选举算法,用于在ZooKeeper
集群
中选择一个节点作为Leader,负责处理客户端的写请求和协调其他节点。
文文鑫
·
2024-08-25 12:04
#
大数据面试-Zookeeper
大数据
面试
zookeeper
rocketmq: broker
集群
之间的brokerName命名是否可以一致。
今天回顾了下broker与nameserver之间建立连接之后30S一次的心跳测试源码和创建topic过程中broker主动推送topicConfig到Nameserver的源码(实际上心跳测试调用的方法和推送创建topic过程中broker主动推送topicConfig调用的方法是一样的,最终都是调用doRegisterBrokerAll())。心里有两个疑惑产生:1.我们知道创建一个新的top
飞向天空的鱼
·
2024-08-25 10:18
rocketmq学习
HDFS的编程
HDFS是一个分布式文件系统,以流式数据访问模式存储超大文件,将数据分块存储到一个商业硬件
集群
内的不同机器上
卍king卐然
·
2024-08-25 07:02
hdfs
hadoop
大数据安全
web安全
经验分享
Kubernetes中如何对etcd进行备份和还原
在Kubernetes中,etcd作为存储
集群
所有关键数据的分布式键值存储系统,其数据的备份与还原对于确保
集群
的可靠性和数据完整性至关重要。
jun778895
·
2024-08-25 06:28
kubernetes
etcd
容器
Hadoop入门基础(二):Hadoop
集群
安装与部署详解(超详细教程)
一、环境准备1.
集群
规划首先,需要为
集群
中的每台机器设置角色和网络配置。
william.zhang(张)
·
2024-08-25 06:57
hadoop
大数据
分布式
基于k8s搭建gitlab
前言一、安装kubernetes
集群
可以参考这篇博客,写的挺好的:搭建k8s环境二、安装helm在github上下载helm的二进制文件,在系统中解压,并将可执行文件移动到/usr/bin/目录下三helm
爱哭的猫!
·
2024-08-25 05:18
云原生
kubernetes
gitlab
运维
基于calico部署k8s
集群
k8s-1.23.6
1、资源清单主机名IP地址系统版本CPU内存mn01192.168.242.130redhat7.92C4GBln0192.168.242.131redhat7.92C4GBcn01192.168.242.129redhat7.92C4GB2、系统配置(所有节点都要进行)1、安装所需软件yuminstallvimnet-toolswgetlsofipsetipvsadmiproute-tc-y2、
只是想成为一名程序员
·
2024-08-25 05:17
kubernetes
容器
云原生
k8s-daemonSet控制器
当有节点加入
集群
时,也会为他们新增一个Pod。当有节点从
集群
移除时,这些Pod也会被回收。删除DaemonSet将会删除它创建的所有Pod。
垃圾宝宝
·
2024-08-25 05:47
kubernetes
容器
云原生
微服务中不同的容错模式
以下是每种模式的详细解释和应用场景:1.FailoverCluster(失败自动切换)描述:当服务调用失败时,系统会自动切换到
集群
中的其他机器进行重试。
Wade_Crab
·
2024-08-25 00:20
微服务
java
运维
从零开始搭建Aliyun ESC高可用
集群
(HaVip+KeepAlived)
从零开始搭建AliyunESC高可用
集群
(HaVip+KeepAlived)架构架构本设计方案采用两台阿里云ECS服务器搭建Keepalived结合LVS的高可用
集群
。
cloud_ether
·
2024-08-24 21:33
云原生运维
lvs
高性能集群
keepalived
lvs
高可用集群
高性能集群
云原生
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他