Cassandra集群

kafka详解

如果说按照容易理解来分层的话，大致可以分为3层：第一层是Zookeeper，相当于注册中心，他负责kafka集群元数据的管理，以及集群的协调工作，在每个kafka服务器启动的时候去连接到Zookeeper
Elivis Hu·2024-01-04 08:17

2024.1.3 Spark架构角色和提交任务流程

的角色回顾二、Spark提交任务流程1、SparkOnStandalone2.SparkonYarn三.Spark比MapReduce执行效率高的原因四.Spark的排序算子一.Yarn的角色回顾资源管理层面集群资源管理者
白白的wj·2024-01-04 08:46

用python抓取yarn和jstorm界面资源信息在grafana展示

为了能够快速了解集群资源使用率，写了个python脚本将数据入到MySQL，再通过grafana在界面进行展示，当然可以把数据落到时序数据库：tdengine或opntsdb上。本文只用于交流和学习。
运维仙人·2024-01-04 07:29

大数据StarRocks(二) StarRocks集群部署

一、生产机器资源评估1.梳理数据量，包括每天增量数据接入和全量数据接入2.数据存储时间长度（1个月/3个月/半年/1年/三年等）3.报表的SQL查询数量，SQL查询占用资源的统计，需要提前做好压测4.压测可以采用官网提供的压测工具先进行测试，根据测试数据进行资源调整，然后再要业务数据进行压测一遍最终以压测中预期结果最好的机器配置进行申请，如果公司很rich的话，直接用80c/256G的机器配置。二
运维仙人·2024-01-04 07:55

【Hadoop-HDFS-S3】HDFS 和存储对象 S3 的对比

之前的工作经历中的大数据集群存储都是用HDFS，当前工作接触到对象存储S3，在实践中比较两者的不同之处。1）可扩展性HDFS依赖本地的存储只能横向扩展，增
bmyyyyyy·2024-01-04 07:25

IoTDB 集群部署——windows

本文的测试环境为windowserver2016，版本包为1.1.0，jdk版本为1.8首先下载IoTDB版本包，链接地址如下https://archive.apache.org/dist/iotdb/1.1.0/apache-iotdb-1.1.0-all-bin.zip本次部署将使用1个ConfigNode和3个DataNode模式，元素的副本数为1，数据在3个DataNode中都进行存储，保
zhu1361·2024-01-04 07:54

2022 最新分布式面试题合集，轻松应对 Java 面试

当然个人整理的所有面试题都无偿分享，只求大伙一个点赞关注转发三连，这些文档都放在文末了，需要的同学可以自取一、分布式基础1、集群、分布式、SOA、微服
Java烟雨·2024-01-04 07:24

ZooKeeper面试题（总结最全面的面试题）

它是一个为分布式应用提供一致性服务的软件，分布式应用程序可以基于Zookeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。
java晴天过后·2024-01-04 07:46

分布式【zookeeper面试题12连问】

ZooKeeper，它是一个开放源码的**「分布式协调服务」**，它是一个集群的管理者，它将简单易用的接口提供给用户。可以基于Zookeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协
sober_me·2024-01-04 07:38

Kafka消息发送和消费的简化流程

2、Kafka集群，接收到Producer发过来的消息后，将其持久化到硬盘，并保留消息指定时长（可配置），而不关注消息是否被消费。
向梦而来·2024-01-04 07:39

RKE安装k8s及部署高可用rancher之证书私有证书但是内置的ssl不放到外置的LB中 4层负载均衡

先决条件#Kubernetes集群参考RKE安装k8s及部署高可用rancher之证书在外面的LB（nginx中）-CSDN博客CLI工具IngressController（仅适用于托管Kubernetes
Michaelwubo·2024-01-04 07:35

ELK+kafka+filebeat企业内部日志分析系统搭建

机器主要作用分布如下:三台安装elasticsearch来搭建ES集群实现高可用，其他机器就依次安装filebeat,kafka,logstash和kibana软件一、部署elasticsearch来搭建
五言六舌·2024-01-04 07:26

分布式【ZooKeeper面试题】

它是一个为分布式应用提供一致性服务的软件，分布式应用程序可以基于Zookeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。
sober_me·2024-01-04 07:52

SpringCloud Alibaba学习（四）：Linux版Nacos+MySQL生产环境配置

nacos-server-1.1.4.tar.gz2、解压后安装二、在Linux上为Nacos配置MySQL数据库1、执行SQL脚本2、修改application.properties配置三、Linux服务器上的Nacos集群配置
玉面大蛟龙·2024-01-04 07:16

Zookeeper（三）通信机制

当client需要与Zookeeperservice打交道时，首先读取配置文件确定集群内的所有server列表，按照一定的loadbalance算法选取一个follower作为一个通信目标。
顽强的猫尾草·2024-01-04 07:47

RabbitMQ集群

三台机器都操作:关闭防火墙和selinux，配置hosts文件更改三台MQ节点的计算机名分别为rabbitmq-1、rabbitmq-2和rabbitmq-3，然后修改hosts配置件（/etc/hosts）2.三个节点配置安装rabbitmq软件安装依赖[root@rabbitmq-1~]#yuminstall-yepelgcc-c++unixODBCunixODBC-developenssl-
耶波波·2024-01-04 04:51

声明式管理方(yaml)文件

3、编辑好的yaml文件需要依靠陈述是还是要依靠陈述式的命令发布到k8s集群当中create只能创建，不能更新。从指定yaml文件中读取配置，创建服务。
Lad1129·2024-01-04 04:34

Kafka

目录1、Kafka简要描述1.1、kafka1.2消息队列1.3、为什么需要消息队列1.4kafka架构1.5分布式模型1.6Kafka网址2、Kafka集群部署2.1环境准备2.1.1集群规划2.1.2jar
有语忆语·2024-01-04 04:59

Nacos配置回滚

dataid，找到我们需要回滚的配置文件2、浏览历史版本列表，找到你想要回滚到的特定版本，并点击其右侧的“回滚”按钮即可，Nacos的配置回滚功能仅适用于配置管理中的普通配置，而不适用于维护命名空间、集群等元数据的变更
way_more·2024-01-04 04:06

Redis初时~集群模式

Redis的集群模式是在Redis3.0模式以后所实行的高可用模式。虽然大部分公司还都在用3.0以下的模式，但是随着发展我们会慢慢的接触到3.0以上的形式。
胖琪的升级之路·2024-01-04 03:27

docker-compose部署hadoop集群（高可用）—— 筑梦之路

hadoop高可用依赖组件zookeeper1.下载二进制文件###1、zookeeper#下载地址：https://zookeeper.apache.org/releases.html#zookeeper非高可用用不到wgethttps://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz--
筑梦之路·2024-01-04 03:11

1. Kafka架构

1.Kafka作为一个集群，运行在一台或者多台服务器上.2.Kafka通过topic对存储的流数据进行分类。3.每条记录中包含一个key，一个value和一个timestamp（时间戳）。
chongweiLin·2024-01-04 03:16

GBase 8a GDCA认证之GBase 8a初认识

一、GBase8a介绍1、GBase8aMPPCluster，全称“南大通用大规模分布式并行数据库集群系统”。
lFang Li·2024-01-04 02:24

GBASE南大通用数据库-GBase8a虚拟集群镜像技术

随着云计算和大数据技术的发展，虚拟集群环境下的数据同步和备份问题日益凸显。如何在保证数据一致性的同时，实现高效、可靠的数据管理？今天，我们为大家介绍一款强大且实用的技术——GBase8a虚拟集群镜像。
GBASE数据库·2024-01-04 02:23

Zookeeper 分布式服务协调治理框架介绍入门

文章目录为甚么需要Zookeeper一、Zookeeper介绍1.1介绍1.2Zookeeper中的一些概念1.2.1集群角色1.2.2会话session1.2.3数据节点Znode1.2.4版本1.2.5
栗子叶·2024-01-04 02:08

kubernetes入门到放弃

提供了资源调度，扩容缩容，服务发现，存储编排，自动部署和回滚，并且具有天生高可用，负载均衡，故障自动恢复架构master主节点生产环境推荐三个起步kube-ApiServer无状态服务，状态存储到etcd当中集群的控制中枢提供集群各个模块之间的数据交换将集群状态和信息存储到
漫漫行程路·2024-01-04 01:01

使用Service连结到应用

kubernetes假设pod可与其他pod通信，不管他们在哪个主机上kubernetes给每一个Pod分配一个集群私有ip地址没必要在pod与pod之间创建链接或将容器的端口映射到主机端口同一个pod
漫漫行程路·2024-01-04 01:01

The Road of DBA 17_NoSQL_Some Tools

工具扩容节点Redis集群的扩容操作可分为以下几个步骤1）准备新节点2）加入集群3）迁移槽和数据扩容流程图image.png在db01上创建2个新节点mkdir-p/opt/redis_cluster/
Linux_淡忘·2024-01-04 01:42

VirtualBox6.0 搭建Ubuntu18.04集群环境

image.png2、下载Ubuntu18.04镜像应为计划搭建hadoop集群，所以用server版本。
大道至简非简·2024-01-04 00:54

Spark---RDD介绍

文章目录1.Spark核心编程2.RDD介绍2.1.RDD基本原理2.2RDD特点1.弹性2.分布式：数据存储在大数据集群的不同节点上3.数据集：RDD封装了计算逻辑，并不保存数据4.数据抽象：RDD是一个抽象类
肥大毛·2024-01-03 23:34

增量预训练经验积累（2）

1、并行策略选择1.1并行方式验证和调优这个和集群很相关例如我目前在16台A800集群（每台机器8张80G显卡）上测的最佳3D并行策略的具体partition配置就和L40s集群不一样（和集群有关，和具体的模型也有关
GUANYX~·2024-01-03 22:24

Kubernetes部署系列：高可用MySQL集群

PerconaXtraDBCluster（PXC）是一个开源的MySQL高可用性（HA）解决方案，它建立在PerconaServerforMySQL之上，是一个基于GaleraCluster的分布式数据库集群
Cancerking·2024-01-03 22:46

k8s 之7大CNI 网络插件

Kubernetes它需要网络插件来提供集群内部和集群外部的网络通信。
睡不醒的猪儿·2024-01-03 22:31

mysql polardb 集群结果集重复

表结构有一主一从的polardbmysql数据库集群，表结构如下：CREATETABLE`t`(`id`int(11)DEFAULTNULL,`name`varchar(100)DEFAULTNULL)
赵丙双·2024-01-03 22:26

深入理解Mysql MHA高可用集群搭建：从实验到实战

1.简介MHA（MasterHighAvailability）是一个高效的开源MySQL高可用性解决方案。由日本开发者yoshinorim（前DeNA员工，现在Facebook）创建，MHA支持MySQL的主从复制架构，自动化主节点故障转移。当主节点发生故障，MHA能迅速将最新数据的从节点升级为新主节点。这个过程中，MHA从其他从节点获取额外信息，确保数据一致性。MHA还能在线切换主节点，按需调整
光芒软件工匠·2024-01-03 22:21

SpringCloud微服务 【实用篇】| Dockerfile自定义镜像、DockerCompose

目录一：Dockerfile自定义镜像1.镜像结构2.Dockerfile语法3.构建Java项目二：Docker-Compose1.初识DockerCompose2.部署微服务集群前些天突然发现了一个巨牛的人工智能学习网站
@每天都要敲代码·2024-01-03 22:20

Kubernetes 弃用 Docker，Artifactory 新版本已经支持 OCI 镜像

对于Kubernetes的最终用户，此次调整并不会有太大影响，Docker可以继续构建容器镜像，这些镜像也能够在Kubernetes集群中正常运行。
JFrog·2024-01-03 21:34

防火墙未开端口导致zookeeper集群异常，kafka起不来

问题描述：主机信息：IPhostname10.0.0.10host1010.0.0.12host1210.0.0.13host13在这三台主机上部署一套zookeeper&kafka集群环境的时候，zk
SRE成长记·2024-01-03 21:22

Kafka集群部署

在Kafka集群(Cluster)中，一个Kafka节点就是一个Broker，消息由Topic来承载，可以存储在1个或多个Partition中。
Minority·2024-01-03 21:18

hive基本概念原理与底层架构

hadoop是一个开源框架，在分布式环境中存储和处理大型数据，他包括两个模块，一个是mapreduce,另一个是hdfs.mapreduce:他是一个并行编程模型在大型集群普通硬件可用于处理大型
byway_lyn·2024-01-03 20:22

k8s---声明式资源管理（yml文件）

3、编辑好的yaml文件还是要靠陈述式命令发布到k8s集群当中。有三种方式：create-f：只能创建，不能更新。从指定yml文件读取配置，创建服务，
aaa.com·2024-01-03 19:43

k8s的三种发布方式

蓝绿发布首先将所有的应用服务集群为蓝绿两组，首先将绿组的集群从负载均衡中移除，蓝组则继续对用户提供服务。此时移除的绿组进行服务的升级，等升级
aaa.com·2024-01-03 19:41

小皮面板（PhPsTudy）安装及使用教程（linux）

支持一键LAMP,LNMP,集群,监控,网站,FTP,数据库,JAVA等100多项服务器管理功能。
book0121·2024-01-03 19:07

RadonDB MySQL on K8s 2.1.2 发布！

RadonDBMySQL是一款基于MySQL的开源、高可用、云原生集群解决方案。支持一主多从高可用架构，并具备安全、自动备份、
RadonDB·2024-01-03 19:53

大数据Hadoop入门学习线路图

YARN是一种新的Hadoop资源管理器，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。如何入门Hadoop学习，不妨
千_锋小小千·2024-01-03 19:12

k8s声明式资源管理

蓝绿发布：把应用服务集群标记为两个组，蓝组和绿组，先升级蓝组从负载均衡当中移除，绿组继续提
小布爱吃糖.·2024-01-03 18:16

HDFS重温

今天被问到分布式，有些忘记，查资料回忆起分布式集群构建，现在重温集群搭建过程费话不多说，来个简图NameNode：HDFS群集包含单个NameNode（主服务器），它管理文件系统命名空间并控制客户端对文件的访问权限
zty_1995·2024-01-03 18:18

cassandra备份恢复之incremental backups

Cassandraincrementalbackups介绍本文会就与cassandra备份恢复相关的模块进行系列介绍，大概包括：incrementalbackups；snapshot；nodetool相关
maxwellguo·2024-01-03 18:19

elasticsearch7.17.9两节点集群改为单节点

但是现在node-83-1并没有加入到集群中，因此首先将node-83-1加入到node-23-1的集群解决方案使用ES版本为7.17.9，最开始设置集群为一个节点，node-23-1的配置如下cluster.name
vincent_hahaha·2024-01-03 17:46

java版Spring Cloud Spring Boot 电商平台-技术架构分析

SpringBoot、MybatisPlus、Redis前端框架：VUE、Bootstrap/H5/CSS3、IOS、Android、小程序核心思想：分布式、微服务、云架构、模块化、原子化、持续集成、集群部署开发模式
黑骑士1203·2024-01-03 17:05
上一页 80 81 82 83 84 85 86 87 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他