主从集群第11页

spark2如何集成到cdh里

最近做性能测试需要spark2测试下和spark1.6性能有多大差别，官方文档里写着可以集成，但是自己怎么搞都不行，折磨了3天的时间，目前终于把spark2集成到集群里了我安装的是最新版本的下载spark2

蘑菇丁·2025-01-27 16:55

大数据之Spark运行流程

文章目录前言（一）SparkOnYarn集群的Client模式运行流程（二）SparkOnYarn集群的Cluster模式运行流程总结前言上篇文章有讨论到SparkOnYarn的两种部署模式，如果有不清楚的地方

「已注销」·2025-01-27 15:17

K8S知识点

1.查看Pod状态详情列出所有Pod：使用kubectlgetpods命令可以查看集群所有Pod的概览信息，包括名称、状态、IP地址等。

余额很不足·2025-01-27 15:12

springboot kafka配置与使用

org.springframework.kafkaspring-kafkaapplication配置可以根据情况只配置生产着或消费者spring:kafka:#以逗号分隔的地址列表，用于建立与Kafka集群的初始连接

摘星喵Pro·2025-01-27 10:43

HDFS升级和回退

概述作为一个大型的分布式系统，Hadoop内部实现了一套升级机制，当在一个集群上升级Hadoop时，像其他的软件升级一样，可能会有新的bug或一些会影响现有应用的非兼容性变更出现；在任何有实际意义的HDFS

小森饭·2025-01-27 08:05

mysql Pxc工作原理_浅谈MySQL-PXC架构

一、PXC概述PXC是基于Galera协议的MySQL高可用集群架构。具有高可用性、方便扩展且可以实现多个MySQL节点间的数据同步复制和读写，保证数据的强一致性。

wei小彦·2025-01-27 07:26

kubernetes 核心技术-探针

在Kubernetes集群中，容器的健康状态对于确保应用的稳定性和可靠性至关重要。

難釋懷·2025-01-27 07:53

web集群搭建

扩展多个web应用原因：单台web服务器能抗住的访问是有限的，配置多台web服务器能提升更高的访问速度，能够接受更多的用户请求。优点：提高冗余提高性能实现方法：1.准备web02服务器2.安装nginx和php环境[root@web01~]#scp/etc/yum.repos.d/[email protected]:/etc/yum.repos.d/nginx.repo[root@

℡永恒·2025-01-27 04:07

Docker compose v3版本构建跨主机容器编排构建wordpress集群

在Docker1.13版本之后，可以说Docker对于compose容器调度编排实现了飞跃，可以使得在编排容器的时候可以结合Dockerswarm集群和跨主机通讯的概念。

weixin_34095889·2025-01-27 04:34

Docker Swarm 核心概念及详细使用

DockerSwarm核心概念及详细使用DockerSwarm介绍DockerSwarm是Docker的原生集群管理工具。

·2025-01-27 01:20

kubernetes 安装 kubernetes-dashboard 7.x

kubernetes安装kubernetes-dashboard7.x介绍Kubernetes仪表板是Kubernetes集群的通用、基于Web的UI。

·2025-01-27 01:49

ElasticSearch技术解析与实战读书笔记

术语及概念索引词term：能够被索引的精确值，索引词可以通过term查询进行准确搜索文本text：一段普通的非结构化文字，通常文本会被分析成一个个的索引词分析analysis：将文本转换为索引词的过程，依赖于分词器集群

zhangyankun_csdn·2025-01-26 23:01

Linux二进制部署K8s集群的平滑升级教程

一、升级前的准备工作备份集群配置和数据备份/etc/kubernetes/目录，其中包含Kubernetes集群的配置文件。备份/var/lib/etcd/目录，其中存储了etcd数据库的数据。

努力的小T·2025-01-26 21:43

Kuberntes部署MetalLB负载均衡器

Kuberntes部署MetalLB负载均衡器MetalLB简介MetalLB是一个为基础Kubernetes集群提供负载均衡实现的工具，使用标准路由协议。

·2025-01-26 21:43

Redis主从模式部署

Redis主从模式部署主从模式是Redis三种集群模式中最简单的，主数据库(master)和从数据库(slave)。

·2025-01-26 21:42

使用kubeadm部署高可用IPV4/IPV6集群

使用kubeadm部署高可用IPV4/IPV6集群https://github.com/cby-chen/Kubernetes开源不易，帮忙点个star，谢谢了介绍kubernetes（k8s）二进制高可用安装部署

·2025-01-26 20:11

es+kibana+logstash快速安装上手

Elasticsearch安装上手Elasticsearch安装与简单配置目录结构bin脚本文件，启动脚本，安装插件，运行统计数据等config集群配置文件JDKjava运行环境data数据文件libjava

DoloresOOO·2025-01-26 20:37

Kafka 生产者中的ack的配置

在同步发送的前提下，⽣产者在获得集群返回的ack之前会⼀直阻塞。那么集群什么时候返回ack呢？

欧阳冰轩·2025-01-26 20:04

【53】Camunda8-Zeebe核心引擎-Partitions分区与Internal processing内部处理

在broker集群中，分区分布在节点之间，因此可以将其视为分片。启动/初始化Zeebe集群时，用户可以配置所需的分区数。如果使用过Kafka，这部分内容是比较相似的。

AlieNeny·2025-01-26 18:25

PingCAP TiDB数据库专员PCTA认证笔记

三层架构：PD（PlacementDriver）负责集群元信息管理和调度，TiDB负责sql计算，TiKV负责存储存储引擎1、基于LSM-Tree的RocksDB引擎，比B-Tree写入更快，用空间置换写入延迟

handsomestWei·2025-01-26 18:51

xgboost在spark集群使用指南

简介XGBoost是一个优化的分布式梯度增强库，具有高效、灵活和可移植性。在梯度增强框架下实现了机器学习算法。XGBoost提供了一种并行树增强(也称为GBDT、GBM)，可以快速、准确地解决许多数据科学问题。相同的代码在主要的分布式环境(Hadoop、SGE、MPI)上运行，可以解决数十亿个示例的训练问题。xgb相对于gbt所做的改进：1.2.3.XGBoost可以使用R、python、java

一颗小草333·2025-01-26 17:49

使用GitLab CI/CD部署应用到Kubernetes集群的方案

最近业余时间调研了一下在GitLabCI/CD中部署应用到Kubernetes的方案。这是一个老生常谈的话题，很多粉丝和读者问我如何部署应用到K8s中。其实思路是很清晰的，只是其中又很多点大家可能无法串起来。那么本篇文章就带领大家实践一下如何做CD的方案。本方案的好处就是，读者不需要了解太多关K8s相关知识也可以实现该方案。Kubernets的命令行工具是kubectl。就像我们使用docker命

拿我格子衫来·2025-01-26 12:39

轻松搞定应用产品上架，全面提升部署质量与一致性！

汉得鲲苍基础架构管理平台的核心目标是为企业的异构系统提供简单高效的一站式统一闭环管理能力，包括统一资源（集群、主机、存储等）管理、统一应用及部署管理、统一监控管理、统一服务治理，帮助企业实现更快、更好、

·2025-01-26 12:58

MongoDB的读写分离技术方案

MongoDB的读写分离是一种优化性能和可扩展性的方法，通常通过主从复制（ReplicaSet）实现。

yuanpan·2025-01-26 11:03

k8s-实战——ES集群部署

文章目录yaml文件es-pvc.yamles-svc.yamles-cluster-sts.yaml创建elasticsearch集群yaml文件es-pvc.yaml通过nfs服务进行新增pv并通过

北城半夏·2025-01-26 06:21

快速入门使用Redis缓存

高并发MySQL的连接数存在瓶颈，连接过大可能导致MySQL宕机解决方法：部署多个MySQL服务，主从复制部署缓存，承担一部分的并发高性能基于内存，内存IO效率远远高于磁盘Redis的特点：性能高（读的速度是

阳光宅男dh·2025-01-26 05:43

用 Docker 搭建 Spark 集群

简介Spark是Berkeley开发的分布式计算的框架，相对于Hadoop来说，Spark可以缓存中间结果到内存而提高某些需要迭代的计算场景的效率，目前收到广泛关注。熟悉Hadoop的同学也不必担心，Spark很多设计理念和用法都跟Hadoop保持一致和相似，并且在使用上完全兼容HDFS。但是Spark的安装并不容易，依赖包括Java、Scala、HDFS等。通过使用Docker，可以快速的在本地

yeasy·2025-01-26 00:22

rockylinux9.4单master节点k8s1.28集群部署

kubernetes集群部署常见的k8s部署方式包括：二进制包、kubeadm工具、云服务提供商、或通过一些开源的工具搭建，例如：sealos、kuboard、Runcher、kubeSphere。

大白菜和MySQL·2025-01-25 23:48

华为云云原生王者之路集训营（黄金-第五章)

在Kubernetes中，Pod代表的是集群上处于运行状态的一组容器。四种负载：无状态工作负载：管理的Pod集合是相互等价的，需要的时候可

※网络笨猪※·2025-01-25 23:16

Redis集群的高可用架构及维护

Redis集群作为一款开源内存键值存储数据库，在高性能、易用性等方面都给予了开发者更高的满意度。

AI天才研究院·2025-01-25 22:40

mha mysql 两台机器_MySQL主从复制（8）MHA实现主从高可用

一、MHA介绍1、MHA的作用MHA是实现MySQL高可用的一种成熟解决方案，可以在主从故障时自动完成主从切换，切换速度在30-60秒，并且可以最大程度的去保持数据一致性。

日签君AIUX·2025-01-25 16:24

基于MySQL8.0安装部署MHA集群（一主两从）

写在前面之前搭建过MySQL5.7版本的MHA集群，因为一些需要，现进行MySQL8.0版本的MHA集群搭建，搭建步骤基本与5.7版本相似，所以某些测试部分、问题解决、安装包、mha的IP漂移配置文件可以参照我之前写的博文

收买神的欢心·2025-01-25 16:53

MHA架构部署

一、**简介MHA（MasterHA）是一款开源的MySQL的高可用程序，它为MySQL主从复制架构提供了automatingmasterfailover功能。

凰玥·2025-01-25 15:52

mysql8 MHA集群部署

服务器环境系统主机名IPcentos7.9mha-master192.168.200.41、192.168.200.45（vip）centos7.9mha-slave01192.168.200.42centos7.9mha-slave02192.168.200.43centos7.9mha-monitor192.168.200.40SSH互信mha-master、mha-slave01、mha-s

L白眸·2025-01-25 15:52

redis原理

文章目录redis客户端-认识RESP持久化持久化具体实现1.RDB(RedisDataBase)2.AOF(AppendOnlyFile)事务相关命令主从复制拓扑结构同步过程部分复制实时复制哨兵（Sentinel

小哲会嘿魔法·2025-01-25 15:47

浅谈 redis

可以集群部署，数据在各个机器上都有备份，挂了一台机器，可以从其他机器上找到数据。集群带来主从节点机制，一般至少需要3个节点来选举出主节点，也可以指定主节点。主从同步问题，会导致数据不一致。

BigDeng_2014·2025-01-25 13:06

kafka内部工作机制

集群中成员关系kafka使用zookeeper来维护成员信息。

一只叫狗的猫·2025-01-25 13:03

python做并行计算_python做并行计算可以吗

角动量不守恒·2025-01-25 13:31

python并行计算

系统可以直观地与本地或网络的计算节点集群进行交互，而不管集群的实现方式如何。这种易于交互使用帮助IPython和Python

weixin_30894389·2025-01-25 12:00

Zookeeper（26）Zookeeper的ZAB协议是什么？

它的设计目标是确保在任何时候，集群中的所有节点都能看到相同的事务更新顺序，从而保证数据的一致性。

辞暮尔尔-烟火年年·2025-01-25 12:58

【Kafka：概念、架构与应用】

2.2消费者（Consumer）2.3主题（Topic）2.4分区（Partition）2.5消息偏移量（Offset）2.6消费组（ConsumerGroup）Kafka的架构设计3.1Broker与集群

三日看尽长安花·2025-01-25 12:28

Kafka：架构与核心机制

1.Kafka的架构1.1组件概述Kafka的架构由多个组件构成，主要包括以下部分：Broker：Kafka集群中的服务器，每个Broker存储一部分消息。

J老熊·2025-01-25 11:49

DigitalOcean Kubernetes现已支持VPC natvie集群

DigitalOceanKubernetes(DOKS)的VPCnatvie集群功能现已正式上线！

DO_Community·2025-01-25 09:37

利用Kubespray安装生产环境的k8s集群-排错篇

利用Kubespray安装生产环境的k8s集群-排错Ansible排错Ansible安装后需要加入到PATH，以便能够直接运行。

超级阿飞·2025-01-25 08:30

不同hive集群中基于表的数据一致性比对

前阵子博主遇到一个需求，因对hadoop集群进行数据迁移，数据迁移完毕后进行两个hive库的数据一致性的比对，不仅对源表数据进行比对，而且要同时使用两个集群加工相同数据，对加工后的数据进行数据一致性比对

AA赵师傅·2025-01-25 07:19

Hadoop、Hive、Hbase集群间的数据迁移

一、hadoop集群间拷贝数据：迁移之前需要把两个集群的所有节点都互通/etc/hosts文件（重要，包括各个数据节点）两个集群版本不相同hadoopdistcphftp://192.168.57.73

这个操蛋的人生！！！·2025-01-25 07:18

mysql主从数据一致性怎么校验_mysql主从数据一致性校验及纠错工具

目录1、概述2、percona-tooldit工具的安装3、新建用户4、pt-table-checksum使用5、pt-table-sync使用6、个人总结1、概述假如你是一位运维人员，假如你生产环境上目录1、概述2、percona-tooldit工具的安装3、新建用户4、pt-table-checksum使用5、pt-table-sync使用6、个人总结1、概述假如你是一位运维人员，假如你生产环

Oliverzzzhang·2025-01-25 07:47

MySQL 主从同步一致性详解

MySQL主从同步是一种数据复制技术，它允许数据从一个数据库服务器（主服务器）自动同步到一个或多个数据库服务器（从服务器）。

Java之路行者·2025-01-25 06:42

Hive之数据迁移方案(实测)

文章目录Hive的迁移涉及两个技术点：1.仅迁移元数据2.元数据及Hive数据全量迁移2.1全表迁移2.1.1旧集群2.1.2新集群2.2仅部分分区迁移（主要步骤）2.1.1旧集群2.1.2新集群2.3beeline

南风知我意丿·2025-01-25 06:11

如何控制主从架构的数据一致性？

胡弦，视频号2023年度优秀创作者，互联网大厂P8技术专家，SpringCloudAlibaba微服务架构实战派(上下册)和RocketMQ消息中间件实战派(上下册)的作者，资深架构师，技术负责人，极客时间训练营讲师，四维口袋KVP最具价值技术专家，技术领域专家团成员，2021电子工业出版社年度优秀作者，获得2023电子工业出版技术成长领路人称号，荣获2024年电子工业出版社博文视点20周年荣誉专

架构随笔录·2025-01-25 06:39

推荐频道

主从集群