spark集群

etcd

etcd主目录/配置配置在/etc/etcd.conf.yml主目录/数据/var/lib/etcd主目录/日志动态库或插件install:1，安装脚本：(安装脚本可与2配置文件一起使用，做自动化静态集群部署
mmgithub123·2024-08-25 15:49

etcd集群部署实战

文章目录前言安装集群环境添加配置文件启动etcd查看集群状态前言本文使用v3.5.4版本的etcd进行搭建集群演示，仅适用于学习etcd的基本使用。
tree先生·2024-08-25 15:18

Kubernetes 中如何对 etcd 进行备份和还原

etcd是Kubernetes的关键组件，用于存储集群的所有配置数据和状态信息。由于etcd永久性存储了集群的整个状态，因此对其进行定期备份非常重要。
乌南竹·2024-08-25 15:18

在Kubernetes中etcd作为存储集群

在Kubernetes中，etcd作为存储集群所有关键数据的分布式键值存储系统，其数据的备份与还原对于确保集群的可靠性和数据完整性至关重要。
hai40587·2024-08-25 15:17

Kubernetes 中如何对 etcd 进行备份和还原

etcd是Kubernetes集群的重要组件，存储了集群的所有数据，如配置文件、状态信息、以及服务发现数据。
william.zhang(张)·2024-08-25 14:16

大数据面试-Zookeeper

ZooKeeper的选举机制‌是基于Paxos算法的一种分布式选举算法，用于在ZooKeeper集群中选择一个节点作为Leader，负责处理客户端的写请求和协调其他节点。
文文鑫·2024-08-25 12:04

rocketmq： broker集群之间的brokerName命名是否可以一致。

今天回顾了下broker与nameserver之间建立连接之后30S一次的心跳测试源码和创建topic过程中broker主动推送topicConfig到Nameserver的源码（实际上心跳测试调用的方法和推送创建topic过程中broker主动推送topicConfig调用的方法是一样的，最终都是调用doRegisterBrokerAll()）。心里有两个疑惑产生：1.我们知道创建一个新的top
飞向天空的鱼·2024-08-25 10:18

HDFS的编程

HDFS是一个分布式文件系统，以流式数据访问模式存储超大文件，将数据分块存储到一个商业硬件集群内的不同机器上
卍king卐然·2024-08-25 07:02

Kubernetes中如何对etcd进行备份和还原

在Kubernetes中，etcd作为存储集群所有关键数据的分布式键值存储系统，其数据的备份与还原对于确保集群的可靠性和数据完整性至关重要。
jun778895·2024-08-25 06:28

Hadoop入门基础（二）：Hadoop集群安装与部署详解（超详细教程）

一、环境准备1.集群规划首先，需要为集群中的每台机器设置角色和网络配置。
william.zhang(张)·2024-08-25 06:57

基于k8s搭建gitlab

前言一、安装kubernetes集群可以参考这篇博客，写的挺好的:搭建k8s环境二、安装helm在github上下载helm的二进制文件,在系统中解压，并将可执行文件移动到/usr/bin/目录下三helm
爱哭的猫!·2024-08-25 05:18

基于calico部署k8s集群k8s-1.23.6

1、资源清单主机名IP地址系统版本CPU内存mn01192.168.242.130redhat7.92C4GBln0192.168.242.131redhat7.92C4GBcn01192.168.242.129redhat7.92C4GB2、系统配置(所有节点都要进行)1、安装所需软件yuminstallvimnet-toolswgetlsofipsetipvsadmiproute-tc-y2、
只是想成为一名程序员·2024-08-25 05:17

k8s-daemonSet控制器

当有节点加入集群时，也会为他们新增一个Pod。当有节点从集群移除时，这些Pod也会被回收。删除DaemonSet将会删除它创建的所有Pod。
垃圾宝宝·2024-08-25 05:47

大数据技术——RDD编程初级实践

RDD编程初级实践1、需求描述2、环境介绍3、数据来源描述4、数据上传及上传结果查看5、数据处理过程描述1.pyspark交互式编程2.编写独立应用程序实现数据去重3.编写独立应用程序实现求平均值问题6
@璿·2024-08-25 03:04

微服务中不同的容错模式

以下是每种模式的详细解释和应用场景：1.FailoverCluster（失败自动切换）描述:当服务调用失败时，系统会自动切换到集群中的其他机器进行重试。
Wade_Crab·2024-08-25 00:20

手动修改zk类型的kafka offset

.*.87.125:2181查找并修改ae_spark这个topic的消费者组的offset值对于每个分区（0、1、2），需要分别查看和修改offset值查看和修改分区0的offset值查看当前offset
Keep hunger·2024-08-24 23:45

每天一个数据分析题（四百八十七）- 非监督学习

C.Minkowski距离D.笛卡尔距离数据分析认证考试介绍：点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark
跟着紫枫学姐学CDA·2024-08-24 23:13

每天一个数据分析题（四百八十八）- 非监督学习

C.Minkowski距离D.笛卡尔距离数据分析认证考试介绍：点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark
跟着紫枫学姐学CDA·2024-08-24 23:13

黑猴子的家：Spark RDD 行动算子 Action

1、reduce（1）原理通过f函数聚集RDD中的所有元素，这个功能必须是可交换且可并联的（2）源码defreduce(f:(T,T)=>T):T=withScope{valcleanF=sc.clean(f)valreducePartition:Iterator[T]=>Option[T]=iter=>{if(iter.hasNext){Some(iter.reduceLeft(cleanF))
黑猴子的家·2024-08-24 22:03

从零开始搭建Aliyun ESC高可用集群 (HaVip+KeepAlived)

从零开始搭建AliyunESC高可用集群(HaVip+KeepAlived)架构架构本设计方案采用两台阿里云ECS服务器搭建Keepalived结合LVS的高可用集群。
cloud_ether·2024-08-24 21:33

从零开始搭建 LVS 高性能集群 (DR模式)

从零开始搭建LVS高性能集群（DR模式）架构本设计方案采用三台服务器构建集群，使用LinuxVirtualServer(LVS)作为负载均衡器，运行在直接路由(DR)模式下。
cloud_ether·2024-08-24 21:03

LVS+Keepalived集群

在一个LVS服务集群中通常有主服务器（Master）和备份服务器（Backup）两种服务器，但是对外表现为一个虚拟IP，主服务器会广播VRRP报文给备份服
史努比.·2024-08-24 21:01

Redis 集群搭建

1.环境：centos6.7、redis-6.2.62.模式：5主+20丛+5备丛（即：1主-4从-1备丛）3.服务器环境检查及安装查看服务器是否安装了gccrpm-qgcc若没有安装，则进行gcc安装yuminstall-ygcc4.redis下载前往redis官网下载https://redis.io/downloadredis-6.2.6.tar.gz5.将redis-6.2.6.tar.gz
丿似锦·2024-08-24 21:00

PolarDB for PostgreSQL 内核解读 ：HTAP架构介绍

存储计算分离的架构基础上我们研发了基于共享存储的MPP架构步具备了HTAP的能力，对一套TP的数据支持两套执行引擎：单机执行引擎用于处理高并发的OLTP；MPP跨机分布式执行引擎用于复杂的OLAP查询，发挥集群多个
阿里云云栖号·2024-08-24 20:56

GO-REDIS的一些高级用法

其中redigo不支持对集群的访问。本文想聊聊go-redis2个高级用法。
羊城程序猿·2024-08-24 19:22

高佣联盟是怎么赚钱的？是真的吗？

淘客红利期的时候，无论做培训、工具、采集群和接单、自营粉丝群都创造出了不少个千万富翁的屌丝逆袭案例，对比拼多多的平台模式加之绝大部分商
高省APP·2024-08-24 18:09

zookeeper集群安装

zookeeper集群安装文档linux安装java-centos安装java-linux配置java环境变量zookeeper单机安装说明版本选择：apache-zookeeper-3.5.7-bin.tar.gz
shuair·2024-08-24 18:13

Ubuntu下部署Hadoop集群+Hive（一）

准备环境：3台Ubuntu服务器（版本20.04），自建的虚拟机也可以；推荐内存：8GB以上；部署也支持Ubuntu20.04以上版本，或是Centos也可以。配置主机Host在三台服务器上添加主机名与IP的映射，以方便在局域网内进行主机间的快速访问和后续的文件配置；配置方法：vi/etc/hosts为方便配置：我的三台主机取名为HadoopMaster、HadoopSlave01、HadoopS
岩屿·2024-08-24 17:41

Kubernetes中的守护者与管家：ReplicaSet与Deployment的协同工作

引言在Kubernetes集群中，ReplicaSet和Deployment是两种至关重要的资源对象，它们共同维护着应用程序的稳定性和可用性。
哎呦没·2024-08-24 16:29

【Pyspark-驯化】一文搞懂Pyspark修改hive表描述以及增加列使用技巧

【Pyspark-驯化】一文搞懂Pyspark修改hive表描述以及增加列使用技巧本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合，智慧小天地！
算法驯化师·2024-08-24 13:43

【Pyspark-驯化】一文搞懂Pyspark写入hive表的使用技巧

【Pyspark-驯化】一文搞懂Pyspark写入hive表的使用技巧本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合，智慧小天地！
算法驯化师·2024-08-24 13:43

【Pyspark-驯化】一文搞懂Pyspark中对json数据处理使用技巧：get_json_object

【Pyspark-驯化】一文搞懂Pyspark中对json数据处理使用技巧：get_json_object本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合，智慧小天地
算法驯化师·2024-08-24 13:43

【Pyspark-驯化】一文搞懂Pyspark中dropDuplicates和sort的使用技巧

【Pyspark-驯化】一文搞懂Pyspark中dropDuplicates和sort的使用技巧本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合，智慧小天地！
算法驯化师·2024-08-24 13:13

【Pyspark-驯化】一文搞懂Pyspark中的withColumnRenamed函数的使用技巧

【Pyspark-驯化】一文搞懂Pyspark中的withColumnRenamed函数的使用技巧本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合，智慧小天地
算法驯化师·2024-08-24 13:13

从零到一建设数据中台 - 关键技术汇总

一、数据中台关键技术汇总语言框架：Java、Maven、SpringBoot数据分布式采集：Flume、Sqoop、kettle数据分布式存储：HadoopHDFS离线批处理计算：MapReduce、Spark
我码玄黄·2024-08-24 12:09

《Apache Kafka 实战》笔记 - 7.5.2 分区重分配

准备环境搭建一个3个节点的集群，然后创建两个测试topic：foo1、foo2，它们都是3个分区，副本因子都是2：bin/kafka-topics.sh--create--zookeeperlocalhost
SlowGO·2024-08-24 12:11

Hbase BulkLoad用法

要导入大量数据，Hbase的BulkLoad是必不可少的，在导入历史数据的时候，我们一般会选择使用BulkLoad方式，我们还可以借助Spark的计算能力将数据快速地导入。
kikiki2·2024-08-24 09:57

Eureka原理实践

EurekaServer通常采用集群部署以保证高可用性和容错能力。EurekaClient（服务提供者客户端和服务消费者客户端）：嵌入到每个微服务
丁爸·2024-08-24 07:01

Linux下ETCD安装、配置、命令

ETCD的诞生背景是为了解决集群管理系统中操作系统升级时的分布式并发控制、配置文件的存储与分发等问题。它设计为提供高可用、强一致性的小型kv数据存储服务，项目当前隶属于CNCF基金会
丁爸·2024-08-24 07:01

从部署 httpd 入手，理清 k8s 配置中的 containerPort、port、nodePort、targetPort

背景在上一篇文章自己搭建一个k8s环境中，我们一顿操作猛如虎，搭建出了由1个master和1个worker节点组成的k8s集群，大概是这样的效果：为了验证我们搭建的环境是否好使，本篇文章就借搭建httpd
dotNET跨平台·2024-08-24 06:58

一文讲明白集群与负载均衡

集群概念与优势定义：计算机集群是协同工作的计算机组，通常被视为单一系统。服务节点：部署了应用程序的服务器。集群优势：提高性能：通过增加服务节点实现并行处理，提升整体处理能力。
modelsetget·2024-08-24 04:43

云原生周刊：Score 成为 CNCF 沙箱项目|2024.08.12

开源项目推荐KubeOneKubermaticKubeOne自动化管理您所有云环境、本地环境、边缘计算和物联网环境中的集群操作。KubeOne可以安装高可用（HA）的主集群，也可以安装单主集群。
KubeSphere 云原生·2024-08-24 04:12

云原生周刊：Kubernetes Grafana 看板更新 ｜ 2024.5.13

ClusterpediaClusterpedia是一个多集群的百科全书，用于同步、搜索和简单控制多集群资源。
KubeSphere 云原生·2024-08-24 04:41

云原生周刊：Kubernetes v1.31 发布

开源项目推荐KardinalKardinal是一个用于在共享Kubernetes集群中创建超轻量级临时开发环境的框架。
KubeSphere 云原生·2024-08-24 03:36

K8S集群中驱逐节点

K8S集群中驱逐node节点下面以驱逐节点上的GPU节点为例：1.驱逐节点上的资源使用以下命令从节点上驱逐GPU资源：kubectldrain--delete-local-data--force--ignore-daemonsets
听说唐僧不吃肉·2024-08-24 02:32

mysql mongodb 集群_MySQL与MongoDB

MySQL与MongoDB声明：MySQL与MongoDB都是开源的常用数据库，但是MySQL是传统的关系型数据库，MongoDB则是非关系型数据库，也叫文档型数据库，是一种NoSQL的数据库。它们各有各的优点，关键是看用在什么地方。所以我们所熟知的那些SQL语句就不适用于MongoDB了，因为SQL语句是关系型数据库的标准语言。一、关系型数据库-MySQL1、在不同的引擎上有不同的存储方式。2、
何钦尧·2024-08-24 02:02

Kafka-之控制器（Controller选举、leader选举）

Kafka-之控制器（控制器选举，leader选举）1控制器是什么，如何选举kafka控制器管理着整个集群中分区以及副本的状态，控制器的选举需要依赖于Zookeeper，在kafka集群启动的时候，会在
稳哥的哥·2024-08-24 02:31

postgresql 集群文档

https://www.cnblogs.com/Alicebat/p/14148933.html[命令]Pacemaker命令pcscluster（管理节点）–EternalCenterPostgreSQL实战之物理复制和逻辑复制（五）_postgresql流复制和物理复制-CSDN博客https://jingyan.baidu.com/article/a378c9606f059df3292830
st780206·2024-08-23 23:44

K8S集群层面监控

KubeStateMetrics简介kube-state-metrics是一个Kubernetes组件，它通过查询Kubernetes的API服务器，收集关于Kubernetes中各种资源（如节点、pod、服务等）的状态信息，并将这些信息转换成Prometheus可以使用的指标kube-state-metrics主要功能：节点状态信息，如节点CPU和内存的使用情况、节点状态、节点标签等Pod的状态
云纷纷·2024-08-23 22:40

K8S 无状态应用&有状态应用

无状态应用（StatelessApplications）和有状态应用（StatefulApplications）是描述应用行为和架构的两个重要概念，它们对于如何设计、部署和管理应用程序在Kubernetes集群中的行为至关重要
王小工·2024-08-23 22:39
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他