spark集群

6.《DevOps》系列K8S部署CICD流水线之K8S通过Yaml部署动态Jenkins-slave,以及Jenkins平台基于Gitlab实现SSO授权认证

120G192.168.1.102k8s-node28核、16G、120G192.168.1.103nfs2核、4G、500G操作系统：Rocky9.3jenkins版本：2.477原理JenkinsMaster接到构建任务后会动态在集群中的一
洋葱_学习过程·2025-01-29 01:25

一线大厂的 MQ 组件实现思路和架构设计思路

首先来看看一线大厂的架构图一线大厂的架构图如上图所示，中间是我们的MQ集群架构，在上层利用keepalived和HA-Proxy，最下面是两个大的MQ集群做一个高可用。
java领域·2025-01-29 00:17

k8s（kubernetes）常见故障处理总结——详细文档

运维过程中大部分常见的故障,提供相应的排查思路，笔记详细，仅供参考本人会经常更新运维相关技术文档，如有兴趣，可以关注我博客，欢迎互动分享k8s其他相关详细资料下载地址：kubeadm初始化高可用k8s1.20.4集群网盘地址
运维实战课程·2025-01-28 20:17

【微服务与分布式实践】探索 Eureka

当节点在短时间内丢失过多的心跳时，那么这个节点就会进入自我保护模式，以防止因网络问题导致的服务注册失败高可用：注册中心集群模式、互相注册、服务同步AP（保证可用性，放弃数据一致性）服务注册服务心跳续约、
Forest 森林·2025-01-28 20:12

分布式微服务系统架构第88集：kafka集群

使用集群最大的好处是可以跨服务器进行负载均衡，再则就是可以使用复制功能来避免因单点故障造成的数据丢失。在维护Kafka或底层系统时，使用集群可以确保为客户端提供高可用性。
掘金-我是哪吒·2025-01-28 18:27

kuberay 安装和使用

KubeRay是一个基于Kubernetes的项目，旨在简化在Kubernetes上部署和管理Ray集群的过程。
CHEN_RUI_2200·2025-01-28 14:27

RDD 算子全面解析：从基础到进阶与面试要点

Spark的介绍与搭建：从理论到实践_spark环境搭建-CSDN博客Spark的Standalone集群环境安装与测试-CSDN博客PySpark本地开发环境搭建与实践-CSDN博客Spark程序开发与提交
天冬忘忧·2025-01-28 12:16

【elasticsearch】如何更新许可证（License）

在Elasticsearch中，**许可证（License）**用于控制集群的功能和权限。
risc123456·2025-01-28 11:04

【MQ】如何保证消息队列的高可用？

RocketMQNameServer集群部署Broker做了集群部署主从模式类型：同步复制、异步复制主节点返回消息给客户端的时候是否需要同步从节点Dledger：要求至少消息复制到半数以上的节点之后，才给客户端返回写入成功
Forest 森林·2025-01-28 09:24

日志收集Day008

1.zk集群优化修改zookeeper的堆内存大小，一般情况下，生产环境给到2G足以，如果规模较大可以适当调大到4G。
ccnnlxc·2025-01-28 07:16

大数据小白系列——YARN(1)

A:在一个具有成百上千节点的集群上(这很常见)，资源管理十分重要，一个好的资源管理系统可以充分发挥各节点的能力，避免一些节点忙碌，
weixin_44386638·2025-01-28 07:13

redis分布式锁与redsync库源码分析

一.redlock算法单点场景首先来看单redis实例的场景，这是集群模式的基础。
阿鹏哥哥01·2025-01-28 07:13

Hadoop学习笔记 --- YARN执行流程与工作原理

MapReduce1中的JobTracker的资源管理和作业调度两个功能分开，分别由ResourceManager和ApplicationMaster进行实现；ResourceManager：负责整个集群的资源管理和调度
杨鑫newlfe·2025-01-28 07:42

基于Multi-Agent的无人机集群体系自主作战系统设计

源自：系统工程与电子技术作者：张堃,华帅,袁斌林,杜睿怡“人工智能技术与咨询”发布摘要针对无人集群自主作战体系设计中的关键问题,提出基于Multi-Agent的无人集群自主作战系统设计方法。
龙腾亚太·2025-01-28 05:30

无人机低成本集群技术实现详解

其中，无人机集群技术作为提高任务效率、降低成本的重要手段，正受到越来越多的关注。
无人机技术圈·2025-01-28 05:59

真实互联网线上系统JVM内存溢出排查流程(文末彩蛋)

期间发现集群中每台应用服务器JVM内存使用率高达96%左右，存在瞬间内存打满，导致服务瘫痪情况。
程序健跑人生·2025-01-28 03:12

【面试题】构建高并发、高可用服务架构：技术选型与设计

监控系统消息队列缓存层数据存储层应用层Web层负载均衡与流量分配GrafanaPrometheusAlertmanager消息队列Kafka/RabbitMQ集群/镜像队列缓存层Redis/Memcached
言之。·2025-01-28 02:05

K8S中高级存储之PV和PVC

PV（PersistentVolume）PV是Kubernetes中的一个API对象，它代表集群中的一块存储，这块存储已经预先按照某种方式设置好了，并且可以被多个用户使用。
元气满满的热码式·2025-01-28 00:19

【常用bsub指令介绍】使用bsub命令提交作业、开启交互式窗口，在集群服务器上用pdb进行代码调试

目录1.LSF作业调度系统和服务器集群介绍2.bsub运行作业的两种方式2.1bsub直接提交作业2.2bsub开启交互式窗口3.使用pdb进行代码调试4.更多bsub指令分享1.LSF作业调度系统和服务器集群介绍在一个服务器集群中
凌漪_·2025-01-28 00:16

软考高级系统架构设计师系列之：分布式存储技术

分布式存储技术集群存储技术。集群存储系统是指架构在一个可扩充服务器集群中的文
快乐骑行^_^·2025-01-27 23:13

k8s的主要组件以及重要概念

它采用主从设备模型（Master-Slave架构），其中Master节点负责集群的调度、管理和运维，Slave节点（也被称为WorkerNode节点）负责执行工作负载。
linshuai-on·2025-01-27 21:32

菜鸟BUG之常见异常（一）

雷声炸响，天地倾斜，海啸山崩，黎明前的曙光迟迟不现，群魔乱舞霍乱人间，有仙师集群英之心血，持剑出山，剑斩群魔，终于仙巅同最后一大魔同归于尽，然有人的江湖便有魔，为警示后人，群贤集巨力书群魔以息，吾初入江湖
苏白辛·2025-01-27 21:57

helm介绍和helm部署应用到k8s集群（helm+k8s）——详细文档

helm介绍和helm部署应用到k8s集群（helm+k8s）——详细笔记整理文档相关配套软件包和文档网盘地址:https://url28.ctfile.com/f/37115828-599686627
运维实战课程·2025-01-27 20:51

虚拟服务器的外部跟内部端口,虚拟服务器设置 外部端口

您需要创建一个至少包含一个节点的集群，且该节点已绑定弹性IP。集群是运行工作负载的逻辑分组，包含一组云服务器资源，每台云服务器即集群中的一个节点。使用外部镜像文件创建私有
验行客·2025-01-27 19:14

使用Ambassador容器构建docker容器集群

当两个Docker容器在同一主机（或虚拟机）时，可以通过--link命令让两者直接互相访问。如果要跨主机实现容器互联，则往往需要容器知道物理主机的ip地址。利用Ambassador容器机制，可以让互联的容器无需知道所在物理主机的IP地址即可互联。基本场景Ambassador容器也是一种docker容器，她在内部提供了转发服务。如下图。当客户端容器要访问服务器时，直接访问客户端Ambassador容
安心Smile·2025-01-27 17:33

kubernetes 查询容器的 network namespace

尽管Linux内核提供了各种类型的名称空间，在本文中，我们将研究如何查看Kubernetes集群中容器的networknamespace，这对于故障排除和学习非常有用。
安心Smile·2025-01-27 17:02

anaconda中pyspark_自学大数据——9 Anaconda安装与使用pyspark

首先从Anaconda官网上下载Anaconda。一、解压安装包sudobashAnaconda3-2020.07-Linux-x86_64.shchown-Rhadoop:hadoop/opt/anaconda/vi/etc/profileexportANACONDA_HOME=/opt/anacondaexportPATH=$PATH:$ANACONDA_HOME/bin:source/etc
步六孤陆·2025-01-27 17:59

PySpark数据处理过程简析

作者：禅与计算机程序设计艺术1.简介PySpark是ApacheSpark的PythonAPI，可以用Python进行分布式数据处理，它在内存中利用了ApacheHadoopYARN资源调度框架对数据进行并行处理
AI天才研究院·2025-01-27 17:28

2022-02-09大数据学习日志——PySpark——Spark快速入门&Standalone集群

第一部分Spark快速入门01_Spark快速入门【Anaconda软件安装】[掌握]使用Python编写Spark代码，首先需要安装Python语言包，此时安装Anaconda科学数据分析包。
王络不稳定·2025-01-27 17:28

PySpark

1.PySpark的搭建https://blog.csdn.net/qq_36330643/article/details/78429109PySpark是Spark为Python开发者提供的API，位于
rainyrainbow·2025-01-27 17:56

spark2如何集成到cdh里

最近做性能测试需要spark2测试下和spark1.6性能有多大差别，官方文档里写着可以集成，但是自己怎么搞都不行，折磨了3天的时间，目前终于把spark2集成到集群里了我安装的是最新版本的下载spark2
蘑菇丁·2025-01-27 16:55

大数据之Spark运行流程

文章目录前言（一）SparkOnYarn集群的Client模式运行流程（二）SparkOnYarn集群的Cluster模式运行流程总结前言上篇文章有讨论到SparkOnYarn的两种部署模式，如果有不清楚的地方
「已注销」·2025-01-27 15:17

xgboost-spark-scala

今天学习写scala，拿xgboost试一下～先记一下xgboost调参要点：7.xgboost中比较重要的参数介绍（1）objective[default=reg:linear]定义学习任务及相应的学习目标，可选的目标函数如下：“reg:linear”–线性回归。“reg:logistic”–逻辑回归。“binary:logistic”–二分类的逻辑回归问题，输出为概率。“binary:logi
maokunnn·2025-01-27 15:14

K8S知识点

1.查看Pod状态详情列出所有Pod：使用kubectlgetpods命令可以查看集群所有Pod的概览信息，包括名称、状态、IP地址等。
余额很不足·2025-01-27 15:12

springboot kafka配置与使用

org.springframework.kafkaspring-kafkaapplication配置可以根据情况只配置生产着或消费者spring:kafka:#以逗号分隔的地址列表，用于建立与Kafka集群的初始连接
摘星喵Pro·2025-01-27 10:43

HDFS升级和回退

概述作为一个大型的分布式系统，Hadoop内部实现了一套升级机制，当在一个集群上升级Hadoop时，像其他的软件升级一样，可能会有新的bug或一些会影响现有应用的非兼容性变更出现；在任何有实际意义的HDFS
小森饭·2025-01-27 08:05

mysql Pxc工作原理_浅谈MySQL-PXC架构

一、PXC概述PXC是基于Galera协议的MySQL高可用集群架构。具有高可用性、方便扩展且可以实现多个MySQL节点间的数据同步复制和读写，保证数据的强一致性。
wei小彦·2025-01-27 07:26

kubernetes 核心技术-探针

在Kubernetes集群中，容器的健康状态对于确保应用的稳定性和可靠性至关重要。
難釋懷·2025-01-27 07:53

web集群搭建

扩展多个web应用原因：单台web服务器能抗住的访问是有限的，配置多台web服务器能提升更高的访问速度，能够接受更多的用户请求。优点：提高冗余提高性能实现方法：1.准备web02服务器2.安装nginx和php环境[root@web01~]#scp/etc/yum.repos.d/[email protected]:/etc/yum.repos.d/nginx.repo[root@
℡永恒·2025-01-27 04:07

Docker compose v3版本构建跨主机容器编排构建wordpress集群

在Docker1.13版本之后，可以说Docker对于compose容器调度编排实现了飞跃，可以使得在编排容器的时候可以结合Dockerswarm集群和跨主机通讯的概念。
weixin_34095889·2025-01-27 04:34

大数据平台建设整体架构设计方案

《大数据平台建设整体架构设计方案》关键词：大数据平台、分布式存储、分布式计算、数据仓库、数据湖、数据安全、数据质量管理、数据治理、数据挖掘、机器学习、图计算、自然语言处理、Hadoop、Spark、Flink
AI天才研究院·2025-01-27 02:55

Docker Swarm 核心概念及详细使用

DockerSwarm核心概念及详细使用DockerSwarm介绍DockerSwarm是Docker的原生集群管理工具。
·2025-01-27 01:20

kubernetes 安装 kubernetes-dashboard 7.x

kubernetes安装kubernetes-dashboard7.x介绍Kubernetes仪表板是Kubernetes集群的通用、基于Web的UI。
·2025-01-27 01:49

ElasticSearch技术解析与实战读书笔记

术语及概念索引词term：能够被索引的精确值，索引词可以通过term查询进行准确搜索文本text：一段普通的非结构化文字，通常文本会被分析成一个个的索引词分析analysis：将文本转换为索引词的过程，依赖于分词器集群
zhangyankun_csdn·2025-01-26 23:01

Linux二进制部署K8s集群的平滑升级教程

一、升级前的准备工作备份集群配置和数据备份/etc/kubernetes/目录，其中包含Kubernetes集群的配置文件。备份/var/lib/etcd/目录，其中存储了etcd数据库的数据。
努力的小T·2025-01-26 21:43

Kuberntes部署MetalLB负载均衡器

Kuberntes部署MetalLB负载均衡器MetalLB简介MetalLB是一个为基础Kubernetes集群提供负载均衡实现的工具，使用标准路由协议。
·2025-01-26 21:43

Redis主从模式部署

Redis主从模式部署主从模式是Redis三种集群模式中最简单的，主数据库(master)和从数据库(slave)。
·2025-01-26 21:42

使用kubeadm部署高可用IPV4/IPV6集群

使用kubeadm部署高可用IPV4/IPV6集群https://github.com/cby-chen/Kubernetes开源不易，帮忙点个star，谢谢了介绍kubernetes（k8s）二进制高可用安装部署
·2025-01-26 20:11

es+kibana+logstash快速安装上手

Elasticsearch安装上手Elasticsearch安装与简单配置目录结构bin脚本文件，启动脚本，安装插件，运行统计数据等config集群配置文件JDKjava运行环境data数据文件libjava
DoloresOOO·2025-01-26 20:37

Kafka 生产者中的ack的配置

在同步发送的前提下，⽣产者在获得集群返回的ack之前会⼀直阻塞。那么集群什么时候返回ack呢？
欧阳冰轩·2025-01-26 20:04
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他