kafuka集群

CDH 之 hive 数据迁移

当你想切换了集群想把hive迁移至新集群，两个集群之间又互不相通，一个最简单快捷的方法，就是批量导出元数据信息，同时把数据文件下载上传至新服务器的数据文件存放目录下1.导出元数据信息#database即是数据库名称
啊 这·2024-08-27 13:18

Hive 数据迁移与备份

导出到HDFS将表和数据从HDFS导出到本地服务器将表和数据从本地服务器复制到目标服务器将表和数据从目标服务器上传到目标HDFS将表和数据从目标HDFS上传到目标Hive库如果原始HDFS和目标HDFS集群连通
linzeyu·2024-08-27 13:17

带你详细了解Spring Cloud微架构服务的发展史

SpringCloud是一个基于SpringBoot实现的云应用开发工具，它为基于JVM的云应用开发中的配置管理、服务注册，服务发现、断路器、智能路由、微代理、控制总线、全局锁、决策竞选、分布式会话和集群状态管理等操作提供了一种简单的开发方式
武昌库里写JAVA·2024-08-27 11:07

卸载 kubeadm 方式安装的 k8s

停止服务与容器并删除镜像和容器所有节点都执行一遍以下命令：sudosystemctlstopkubelet&&sudosystemctlstatuskubeletsudosystemctlstopetcd2.清空K8S集群设置
qq_19783793·2024-08-27 10:30

HPC&AI并行计算集群Slurm作业调度系统对通用资源（GRES）的调度

一、概述Slurm支持定义和调度任意通用RESources的功能（GRES）。为特定GRES类型启用了其他内置功能，包括图形处理单元（GPU）、CUDA多进程服务（MPS）设备，并通过可扩展的插件机制进行分片。二、配置默认情况下，群集的配置中未启用任何GRES。您必须在slurm.conf配置文件中明确指定要管理的GRES。的配置参数兴趣是GresTypes和Gres。有关详细信息，请参见slur
技术瘾君子1573·2024-08-27 09:25

HBase原理和操作

目录一、HBase在Zookeeper中的存储元数据信息集群状态信息二、HBase的操作WebConsole命令行操作三、HBase中数据的保存过程一、HBase在Zookeeper中的存储元数据信息HBase
无奈ieq·2024-08-27 08:16

Hadoop：HA模式配置与实现

写的不到位的地方，欢迎评论指出不足之处一、检查系统环境1、HostName、Hosts、JDK、SSH、网络、防火墙、数据源二、集群角色分配表注：这只是实例服务器NameNodeNameNodeZookepperFailoverControllerDataNodeZookepperJournalNodeOneyes
家道消乏·2024-08-27 08:14

redisj集群之哨兵模式

首先可以搭建主从集群，再加上使用redis的哨兵模式。2.什么是哨兵模式？哨兵（sentinel）模式：可以实现主从集群的自动故障恢复。包含了主从服务的监控、自动故障恢复、通知。
求知耶·2024-08-27 06:07

mysql集群

谈论集群之前，先说明一下项目发展的不同阶段对数据库性能的要求。项目发展经历1.项目初始阶段在这个阶段，主要是单节点数据库，注重的是可靠性。此时主要避免单点故障，做法是主从复制。
唏噗·2024-08-27 06:32

LVS负载均衡群集

目录一、什么是集群二、集群使用在哪一个场景三、集群的分类四、负载均衡的集群架构五、负载均衡的工作模式六、部署安装LVS-NAT1.1步骤1.2ipvsadm工具选项1.3实际案例（这里面有很多细节，暂时没有解释说明
必叫你大败而归·2024-08-27 05:29

Haproxy搭建Web集群

目录一、Haproxy的概念二、Haproxy主要特性三、Haproxy负载均衡的策略四、HaproxyLVSNginx的区别五、编译部署Haproxy1.1haproxy配置文件中的五部分内容1.2搭建haproxy1.3日志定义一、Haproxy的概念HAProxy是可提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，是免费、快速并且可靠的一种解决方案。HAProxy非常适用于并发大（
必叫你大败而归·2024-08-27 05:29

lvs+keepalived+nfs集群部署

keepalived介绍及lvs+keepalived+nfs集群部署目录一、Keepalived概述二、Keepalived工作原理三、Keepalived体系主要模块及其作用四、Keepalived
Linux运维老纪·2024-08-27 05:26

MySQL集群技术1——编译部署mysql

MySQL在服务器中的部署办法一般而言，企业中的服务器操作系统都为linux，对于MySQL的安装则通常采用源码编译的方式来进行。MySQL是一个广泛使用的开源关系型数据库管理系统。如果您希望从源代码编译和安装MySQL，可以遵循以下步骤。请注意，这里假设您正在使用类Unix系统（如Linux或macOS），并且您具有root或sudo访问权限。准备工作更新系统包列表：sudoaptupdate安
Autter_A3·2024-08-27 03:46

数据库基础：mysql主从集群搭建

position：表示从file的哪个位置开始；binlog_do_db：表示同步哪一个库在后面的slave配置中，这三个结果都需要使用到。4.Slave(6.85)节点配置配置从库(1)修改my.cnf文件，在[mysqld]加入下面的内容：#服务的唯一编号server-id=2#开启mysqlbinlog功能log-bin=mysql-bin#binlog记录内容的方式，记录被操作的每一行bi
2401_84049040·2024-08-27 00:58

doris跨hdfs集群迁移数据

官网-数据备份步骤一，在dorisA集群执行：CREATEREPOSITORY`repotestall`WITHBROKER`broker_name`ONLOCATION"hdfs://xx.xx.xx.xx
州周·2024-08-27 00:27

钱大妈生鲜如何利用 CCR 实现 Apache Doris 集群读写分离

钱大妈是社区生鲜连锁品牌的开拓者，经过十一年的稳健运营，已成为行业内的领军品牌，截至2023年7月已全国布局超30多座城市，门店总数3000余家，服务家庭超1000万。近年来，随着业务的高速发展以及门店的快速扩张，钱大妈需要对生鲜产品的采购、销售、库存等数据进行实时监控和分析，以保障食品的新鲜度及品质。同时需要管理众多门店与供应链信息，以了解各区域销售趋势和顾客偏好，从而优化商品结构和库存管理。在
ApacheDoris·2024-08-27 00:57

redis分片集群

1.为什么使用分片集群？主从和哨兵集群模式可以解决高并发和高可用的问题，依然存在两个问题没有解决：海量数据的存储问题；高并发写的问题；使用redis分片集群能够解决。2.redis分片集群原理？
求知耶·2024-08-26 18:10

[java][集群]consul集群安装

/usr/local/bin/consulagent-server-data-dir=/tmp/consul-node=server-1-bind=192.168.3.110-bootstrap-expect3-client=0.0.0.0-ui/usr/local/bin/consulagent-server-data-dir=/tmp/consul-node=server-2-bind=192
awonw·2024-08-26 17:05

java操作zookeeper

java操作zookeeper文档linux安装java-centos安装java-linux配置java环境变量zookeeper单机安装zookeeper集群安装zookeeper客户端命令行操作、
shuair·2024-08-26 16:59

基于Zookeeper搭建Kafka高可用集群

基于Zookeeper搭建Kafka高可用集群一、Zookeeper集群搭建为保证集群高可用，Zookeeper集群的节点数最好是奇数，最少有三个节点，所以这里搭建一个三个节点的集群。
数字游牧人0v0·2024-08-26 16:58

zookeeper+KAFKA 集群搭建

它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、集群管理等。
懵逼的运维弟弟·2024-08-26 16:28

面试笔记8.24

我会在集群中部署多台服务器，通过分布式计算和存储来处理大规模数据。解答思路：首先，我会搭建一个Hadoop或Spark集群，确保集群中的每台服务器都能正常通信。
励志秃头码代码·2024-08-26 16:55

zookeeper单机安装

zookeeper单机安装文档linux安装java-centos安装java-linux配置java环境变量zookeeper单机安装zookeeper集群安装zookeeper客户端命令行操作、节点类型及监听器
shuair·2024-08-26 15:49

Zookeeper实现分布式锁

文章目录什么是ZookeeperZookeeper集群机制Zookeeper特性Zookeeper数据结构Zookeeper应用场景Zookeeper的环境搭建（linux）Zookeeper客户端Zookeeper
爱吃糖的靓仔·2024-08-26 15:48

什么是耦合、紧耦合、松耦合

但随着集群规模的扩大，系统的稳定性逐渐变差，主要原因如下：1、同步操作导致对
mingzhi61·2024-08-26 15:18

大数据技术之Zookeeper安装 （2）

目录下载地址本地模式安装1）安装前准备2）配置修改3）操作Zookeeper配置参数解读Zookeeper集群操作集群规划解压安装配置服务器编号配置zoo.cfg文件集群操作Zookeeper集群启动停止脚本创建脚本增加脚本执行权限
大数据深度洞察·2024-08-26 14:43

redis面试（十八）RedLock加锁原理

普通的redis分布式锁，其实是在redis集群中根据hash算法选择一台redis实例创建一个锁就可以了大致流程如下：获取当前时间戳，单位是毫秒跟上面类似，
木小同·2024-08-26 12:26

数据库系统 第25节 数据库集群

数据库集群是一种高可用性和可扩展性解决方案，它通过将数据和工作负载分散到多个服务器上来提高性能和可靠性。
hummhumm·2024-08-26 03:30

Spring Cloud Config 与Spring Cloud Bus组合实现配置文件热部署

先介绍下SpringCloudConfig功能：配置管理工具包，让你可以把配置放到远程服务器，集中化管理集群配置，目前支持本地存储、Git以及Subversion。
java_飞·2024-08-25 22:34

Tair分布式缓存

redis集群中，想用缓存必须得指明redis服务器地址去要。这就增加了程序的维护复杂度。因为redis服务器很可能是需要频繁变动的。
kingkyrie·2024-08-25 18:38

63 - ES 诊断集群的潜在问题

集群运维所面临的挑战用户集群数量多，业务场景差异大使用与配置不当，优化不够如何让用户更加高效和正确的使用ES如何让用户更全面的了解自己的集群的使用状况发现问题之后，需要防患于未然需要“有迹可循”，做到“
舍是境界·2024-08-25 16:36

Hadoop入门基础（五）：Hadoop 常用 Shell 命令一网打尽，提升你的大数据技能！

1.2启动和停止Hadoop集群start-dfs.shstart-yarn.shstop-dfs.shstop-yarn.shstart-dfs.sh和stop-dfs.sh分别用于启动和停止HDFS
william.zhang(张)·2024-08-25 15:52

etcd集群恢复、单节点恢复操作手册

一、集群备份备份方式：Jenkins触发每小时的定时任务，通过调取ansible的playbook进行etcd集群的数据备份和上传，默认只备份集群中的非leader成员，避免leader成员压力过大。
*老工具人了*·2024-08-25 15:21

Kubernetes Master节点 灾备恢复操作指南

KubernetesMaster节点灾备恢复操作指南目录一，Etcd数据备份及恢复...1A,单节点etcd数据备份和恢复...2B，etcd集群数据的备份和恢复...2二，Master节点控制组件的备份及恢复
weixin_34384915·2024-08-25 15:51

kubernetes集群ETCD备份与恢复

一、通过kubeadm方式备份安装etcdctl命令行yuminstall-yetcd备份ETCDCTL_API=3etcdctl\snapshotsavesnap.db\#此处默认是当前路径，可自定义存储路径--endpoints=https://127.0.0.1:2379\--cacert=/etc/kubernetes/pki/etcd/ca.crt\--cert=/etc/kuberne
冷漠程序员小哥哥·2024-08-25 15:19

etcd

etcd主目录/配置配置在/etc/etcd.conf.yml主目录/数据/var/lib/etcd主目录/日志动态库或插件install:1，安装脚本：(安装脚本可与2配置文件一起使用，做自动化静态集群部署
mmgithub123·2024-08-25 15:49

etcd集群部署实战

文章目录前言安装集群环境添加配置文件启动etcd查看集群状态前言本文使用v3.5.4版本的etcd进行搭建集群演示，仅适用于学习etcd的基本使用。
tree先生·2024-08-25 15:18

Kubernetes 中如何对 etcd 进行备份和还原

etcd是Kubernetes的关键组件，用于存储集群的所有配置数据和状态信息。由于etcd永久性存储了集群的整个状态，因此对其进行定期备份非常重要。
乌南竹·2024-08-25 15:18

在Kubernetes中etcd作为存储集群

在Kubernetes中，etcd作为存储集群所有关键数据的分布式键值存储系统，其数据的备份与还原对于确保集群的可靠性和数据完整性至关重要。
hai40587·2024-08-25 15:17

Kubernetes 中如何对 etcd 进行备份和还原

etcd是Kubernetes集群的重要组件，存储了集群的所有数据，如配置文件、状态信息、以及服务发现数据。
william.zhang(张)·2024-08-25 14:16

大数据面试-Zookeeper

ZooKeeper的选举机制‌是基于Paxos算法的一种分布式选举算法，用于在ZooKeeper集群中选择一个节点作为Leader，负责处理客户端的写请求和协调其他节点。
文文鑫·2024-08-25 12:04

rocketmq： broker集群之间的brokerName命名是否可以一致。

今天回顾了下broker与nameserver之间建立连接之后30S一次的心跳测试源码和创建topic过程中broker主动推送topicConfig到Nameserver的源码（实际上心跳测试调用的方法和推送创建topic过程中broker主动推送topicConfig调用的方法是一样的，最终都是调用doRegisterBrokerAll()）。心里有两个疑惑产生：1.我们知道创建一个新的top
飞向天空的鱼·2024-08-25 10:18

HDFS的编程

HDFS是一个分布式文件系统，以流式数据访问模式存储超大文件，将数据分块存储到一个商业硬件集群内的不同机器上
卍king卐然·2024-08-25 07:02

Kubernetes中如何对etcd进行备份和还原

在Kubernetes中，etcd作为存储集群所有关键数据的分布式键值存储系统，其数据的备份与还原对于确保集群的可靠性和数据完整性至关重要。
jun778895·2024-08-25 06:28

Hadoop入门基础（二）：Hadoop集群安装与部署详解（超详细教程）

一、环境准备1.集群规划首先，需要为集群中的每台机器设置角色和网络配置。
william.zhang(张)·2024-08-25 06:57

基于k8s搭建gitlab

前言一、安装kubernetes集群可以参考这篇博客，写的挺好的:搭建k8s环境二、安装helm在github上下载helm的二进制文件,在系统中解压，并将可执行文件移动到/usr/bin/目录下三helm
爱哭的猫!·2024-08-25 05:18

基于calico部署k8s集群k8s-1.23.6

1、资源清单主机名IP地址系统版本CPU内存mn01192.168.242.130redhat7.92C4GBln0192.168.242.131redhat7.92C4GBcn01192.168.242.129redhat7.92C4GB2、系统配置(所有节点都要进行)1、安装所需软件yuminstallvimnet-toolswgetlsofipsetipvsadmiproute-tc-y2、
只是想成为一名程序员·2024-08-25 05:17

k8s-daemonSet控制器

当有节点加入集群时，也会为他们新增一个Pod。当有节点从集群移除时，这些Pod也会被回收。删除DaemonSet将会删除它创建的所有Pod。
垃圾宝宝·2024-08-25 05:47

微服务中不同的容错模式

以下是每种模式的详细解释和应用场景：1.FailoverCluster（失败自动切换）描述:当服务调用失败时，系统会自动切换到集群中的其他机器进行重试。
Wade_Crab·2024-08-25 00:20

从零开始搭建Aliyun ESC高可用集群 (HaVip+KeepAlived)

从零开始搭建AliyunESC高可用集群(HaVip+KeepAlived)架构架构本设计方案采用两台阿里云ECS服务器搭建Keepalived结合LVS的高可用集群。
cloud_ether·2024-08-24 21:33
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他