spark集群

【云原生】Kubernetes----ETCD数据的备份与恢复

一）确定备份策略（二）使用etcdctl工具进行备份1.安装etcdctl命令2.设置ETCDCTL_API环境变量（三）执行备份二、数据还原（一）创建新资源（二）数据恢复1.停止etcd服务和K8s集群的相关组件
智能运维探索者·2024-09-09 14:00

Redis cluster 集群TLS and Jedis使用SSL调用redis服务

安装#安装依赖软件sudoaptupdatesudoaptinstallmakegcclibssl-devpkg-config#下载redis解压wgethttps://download.redis.io/releases/redis-6.2.6.tar.gztar-xvfredis-6.2.6.tar.gz#编译cdredis-6.2.6makeBUILD_TLS=yes#如果执行编译出错，提示
潘多编程·2024-09-09 14:29

Spring Cloud全解析：注册中心之Eureka架构介绍

类似多机房部署，保证服务稳定性A:Availability，可用性C:Consistency，一致性对于任意一个系统只能同时满足两个，一个分布式系统不可能同时很好的满足一致性、可用性和分区容错性CA单点集群
拾光师·2024-09-09 14:24

深度学习框架 人工智能操作系统 训练&前向推理 PyTorch Tensorflow MindSpore caffe 张量加速引擎TBE 深度学习编译器 多面体 polyhedral AI集群框架

深度学习框架人工智能操作系统训练&前向推理深度学习框架发展到今天，目前在架构上大体已经基本上成熟并且逐渐趋同。无论是国外的Tensorflow、PyTorch，亦或是国内最近开源的MegEngine、MindSpore，目前基本上都是支持EagerMode和GraphMode两种模式。AI嵌入式框架OneFlow&清华计图Jittor&华为深度学习框架MindSpore&旷视深度学习框架MegEn
EwenWanW·2024-09-09 13:54

Eureka vs. Nacos:注册中心角色之间的不同特性

当程序并发量大，提供者以集群部署时，应该如何选择？
8tydegrees·2024-09-09 12:46

K8S（Kubernetes）开源的容器编排平台安装步骤详解

安装KubernetesMaster：在集群中选择一台主机作为Master节点，安装K8S的控制平面组件，如APIServer、
爱摄影的程序猿·2024-09-09 12:11

Hbase的简单使用示例

使用HBase的Java示例前置条件HBase集群：确保HBase集群已经安装并启动。如果没有，你可以通过本地伪分布模式或Docker来运行HBase。Hadoop配置：HBas
傲雪凌霜，松柏长青·2024-09-09 11:40

MySQL8.0 集群搭建

文章目录环境准备安装MySQL8.0配置主服务配置从服务器主从复制：即主服务器上的所有操作（创建库，修改表等）会被同步到从服务器上，但是在从服务器上的操作不会进入到主服务器中环境准备两台服务器，一主一从安装docker#国内源curl-fsSLhttps://get.docker.com|bash-sdocker--mirrorAliyun启动dockersystemctlstartdocker配
我有一只肥螳螂·2024-09-09 08:46

k8s部署

kubelet组件简介kubernetes是一个分布式的集群管理系统，在每个节点（node）上都要运行一个worker对容器进行生命周期的管理，这个worker程序就是kubeletkubelet的主要功能就是定时从某个地方获取节点上
xml222z·2024-09-09 06:36

云计算技术与应用 - 了解认识云计算

云计算的背景互联网自1960年开始兴起，主要用于军方、大型企业等之间的纯文字电子邮件或新闻集群组服务。
ZuckD·2024-09-09 06:35

Infiniband网络架构的技术与性能分析

因此，如何最大限度地提高集群的计算资源成为了当前的核心问题。集群算力优化的关键在于GPU利用率和线性加速比。其中，GPU利用率受限于
科技互联人生·2024-09-09 04:51

双vip高可用的MySQL集群

下载软件包2、二进制安装PrometheusServer3、通过服务管理Prometheus4、安装node_exporter5、安装mysqld_exporter6、添加被监控的服务器部署MySQL集群
Hi，你好啊·2024-09-09 02:10

Docker的110个命令，高级开发运维工程师必备

6.容器运行选项命令7.DockerCompose命令8.DockerSwarm命令9.安全管理命令10.系统调试命令以下是分类列出的110个常用Docker命令，涵盖镜像、容器、网络、卷、Swarm集群等多个方面的管理操作
golove666·2024-09-09 02:38

Spring Cloud Alibaba面试题

SpringCloudAlibaba1SpringCloudAlibaba基础组件1.1解释SpringCloudAlibaba及其主要目标1.2分析Nacos服务注册与发现的原理服务注册服务发现心跳检测数据一致性Nacos集群和持久化基于
golove666·2024-09-09 02:37

Redis分布式

Redis的分布式架构包括主从复制、哨兵模式（Sentinel）、RedisCluster集群模式。不同的分布式机制各自适用于不同的场景，提供了从简单的高可用性到复杂的水平扩展能力。
Flying_Fish_Xuan·2024-09-08 21:34

ClickHouse 分布式部署、分布式表创建及数据迁移指南

文章目录部署ClickHouse集群1.1环境准备1.2安装ClickHouse1.3配置集群创建分布式表2.1创建本地表2.2创建分布式表2.3删除分布式表测试分布式表3.1插入测试数据。
努力做一名技术·2024-09-08 21:03

Flink - CEP

Hadoop3.2集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。
kikiki1·2024-09-08 21:46

部署一套完整的架构系统有哪些步骤

架构图1、环境准备准备一台或多台服务器作为宿主机，确保服务器操作系统已安装（例如Linux）;安装Docker环境，宿主机需要支持容器化技术；安装Kubernetes集群环境，可以选择Minikube作为本地测试环境或其他方案例如
missterzy·2024-09-08 20:26

LVS+keepalived+nginx搭建高可用负载均衡集群(详细配置步骤讲解)

一.准备工作首先我们要准备四台虚拟机如下表所示:主机IPMASTER192.168.204.130192.168.204.208(VIP)real_server1192.168.204.135real_server2192.168.204.137BACKUP192.168.204.1381.在主机和备机上都要安装LVS和keepalived:安装LVS:yuminstallipvsadm-y安装k
纵享山河万里·2024-09-08 20:54

史上最全LVS+keepalived+nginx基于DR模式高可用安装部署

史上最全LVS+keepalived+nginx基于DR模式高可用安装部署lvs+keepAlived→效率最高的负载均衡在大型网站中一般服务端会做集群，同时利用负载均衡器做负载均衡。
徐兴强的博客·2024-09-08 19:21

分布式文件系统FastDFS动态扩容

当用户量越来越大，则集群中某个group总会到达其极限，这时就得扩展集群的容量了。
欢醉·2024-09-08 18:38

如何拿下TCP（数据库交付运维高级工程师TDSQL(MySQL版)）认证

数据库TDSQL（MySQL版）的产品架构与分布式特性掌握TDSQL（MySQL版）各组件的功能，以及启停方法掌握TDSQL（MySQL版）数据库实例的基本操作与使用方法掌握TDSQL（MySQL版）集群的基本操作与使用方法掌握
小伟C_C·2024-09-08 18:14

Hive的优势与使用场景

它利用Hadoop的MapReduce或Spark来执行查询，具备高度扩展性，适合大数据处理。2.支持SQL-like查询语言(Hi
傲雪凌霜，松柏长青·2024-09-08 17:07

rke管理k8s节点的新增与删除

1删除worker节点#查看节点名kubectlgetnodes#标记节点不可调度kubectlcordonworker8#DaemonSet确保集群中的所有（或某些）节点上都运行了一个Pod的副本#排空节点上的
warrah·2024-09-08 16:32

Kubernetes 从集群中移除一个节点（Node）

确定工作节点名称1.2驱逐工作节点上的Pod1.3删除工作节点1.4重置该工作节点2.移除控制平面节点(ControlPlaneNode)2.1确定控制平面节点名称2.2驱逐控制平面节点上的Pod2.3更新etcd集群
Roc.Chang·2024-09-08 16:28

shiro 采用redis共享session，出现反序列化错误的排查过程

jfinal#shiroredis,采用outh2协议的方式，对多个子系统之间进行单点登录，以实现系统之间的session，由于速度方面的影响，现在要改造成多个系统之间共享session，并采用redis集群的方式
nightseventhunit·2024-09-08 16:26

【Kubernetes】常见面试题汇总（四）

目录11.简述Kubernetes集群相关组件？12.简述KubernetesRc的机制？11.简述Kubernetes集群相关组件？
summer.335·2024-09-08 16:26

【Kubernetes】常见面试题汇总（二）

7.简述Kubernetes如何实现集群管理？8.简述Kubernetes的优势、适应场景及其特点？5.简述Kubernetes中什么是Minikube、Kubectl、Kubelet？
summer.335·2024-09-08 16:25

Spark 3.5.1 升级 Java 17 异常 cannot access class sun.nio.ch.DirectBuffer

异常说明使用Spark3.5.1升级到Java17的时候会有一个异常，异常如下SLF4J:Failedtoloadclass"org.slf4j.impl.StaticLoggerBinder".SLF4J
敏叔V587·2024-09-08 15:23

Windows安装RabbitMQ详细教程

RabbitMQ的高可靠性、灵活的路由、集群支持和多语言客户端等特点，使其成为企业级消息传递系统的理想选择。
赵亚旭·2024-09-08 13:10

Spring Cloud构建微服务架构（六）高可用服务注册中心

在Eureka中，是通过集群来解决这个问题。
ApesKingMan·2024-09-08 12:40

ES elasticsearch集群入门

1介绍使用单机的版的elasticsearch可以完成检索，但是如果要实现高可用的话，就需要搭建集群。集群不仅可以实现高可用，也能实现海量数据存储的横向扩展。
小P聊技术·2024-09-08 12:40

DevOps实战：使用GitLab+Jenkins+Kubernetes(k8s)建立CI_CD解决方案

服务器版本docker软件版本Kubernetes(k8s)集群版本CPU架构CentOSLinuxrelease7.4.1708(Core)Dockerversion20.10.12v1.21.9x86
北京少女的梦·2024-09-08 12:27

【无标题】大数据之批处理，流处理，批流一体概念

Spark和Flink都支持批处理，其中Spark使用的是批处理模型，即将一批数据一次性读入内存，然后对其进行处理，处理完成后再将结果写入磁盘。
数字天下·2024-09-08 09:43

LVS调度

什么是集群？
宁藏在云烟里·2024-09-08 08:36

Docker

高并发集群eleme后端登录模块1、数据库1.主从复制(高可用)2.传统的主从复制3.gtids事务型的主从复制4.注意（1）server_id唯一（2）8.x版本需要get_ssl_pub_key（3
WPFwpf_·2024-09-08 05:08

8.12（LVS负载均衡）

www.linuxvirtualserver.org,现在lvs已经是linux内核标准的-部分，使用lvS可以达到的技术目标是:通过linux达到负载均衡技术和linux操作系统实现一个高性能高可用的linux服务器集群
WPFwpf_·2024-09-08 05:08

pyspark kafka mysql_数据平台实践①——Flume+Kafka+SparkStreaming(pyspark)

蜻蜓点水Flume——数据采集如果说，爬虫是采集外部数据的常用手段的话，那么，Flume就是采集内部数据的常用手段之一(logstash也是这方面的佼佼者)。下面介绍一下Flume的基本构造。Agent：包含Source、Channel和Sink的主体，它是这3个组件的载体，是组成Flume的数据节点。Event：Flume数据传输的基本单元。Source：用来接收Event，并将Event批量传
weixin_39793638·2024-09-08 04:34

Docker-基础入门学习路线以及面试问题-不定期更新

-镜像迁移的三种方式=＞备份恢复&公有仓库&私有仓库Docker-一文详解容器通信的基础网络模式及衍生的自定义网络模式Docker-Compose多容器同主机编排Docker-Swarm多容器跨主机的集群服务管理总结面试题
菜腿1994·2024-09-08 03:29

Mysql 8.0 集群简介【官方文档5种方式】

Mysql官方介绍几种集群架构：Replication【主从复制】GroupReplication【组复制】InnoDBClusterInnoDBReplicaSetMySQLNDBCluster8.0
arroganceee·2024-09-08 00:04

<转>Spark体系架构

最近看到一篇关于Spark架构的博文，作者是AlexeyGrishchenko。
yongjian_luo·2024-09-07 20:11

Spark分布式计算原理

目录一、RDD依赖与DAG原理1.1RDD的转换一、RDD依赖与DAG原理Spark根据计算逻辑中的RDD的转换与动作生成RDD的依赖关系，同时这个计算链也形成了逻辑上的DAG。
NightFall丶·2024-09-07 20:40

K8S发布应用步骤详解

比如使用Maven；3.编写Dockerfile文件，把步骤2产生的包制作成镜像；4.上传步骤3的镜像到远程仓库，比如Harhor；5.编写Deployment文件；6.提交Deployment文件到k8s集群
cn--萍诚1号·2024-09-07 20:10

在外打工的70、80和90后们，两大难题已日益严重，早做准备早解决

现如今农村似乎已经不再是居民安居乐业的最佳场所，随着城市集群的出现，越来越多的老百姓更喜欢前往中大型城市寻找就业的机会。
李妖罐子·2024-09-07 17:55

cephadm搭建ceph文件集群存储

一、基础配置1、配置主机名[root@ecs-cd34~]hostnamectlset-hostnamenode1[root@ecs-cd34~]execbash#主机名生效2、配置hosts解析（根据自己的服务器id修改）cat>>/etc/hosts/etc/docker/daemon.json<
L__liurs·2024-09-07 16:41

存储集群消除pg数量过多的告警

[root@xxxxxxxxxxxxxx~]#ceph-scluster334cfe7e-9ccc-483d-8d2c-218fde3a5fdehealthHEALTH_WARNtoomanyPGsperOSD(307>max300)nodeep-scrubflag(s)setmonmape1:3monsat{node1=100.88.28.11:6789/0,node2=100.88.28.12
大 大金·2024-09-07 15:36

速盾：没有备案的网站能否接入CDN使用？

CDN作为一个分布式的网络服务器集群，可以将网站的静态资源存储在离用户最近的服务器上，从而加快资源的访问速度。然而，CDN服务提供商在为网站提供CDN服务之前，需要对网站进行一系列的备案手续。
速盾cdn·2024-09-07 13:52

kubernetes集群下部署kafka+zookeeper单机部署方案

背景：注：在kubernetes集群上部署单机版的zookeeper+kafka服务，是采用了kubernetes中的deploment组件+service组件+pvc存储组件1、部署zookeeper
jiang0615csdn·2024-09-07 12:17

Apache Flink 替换 Spark Stream的架构与实践( bilibili 案例解读)_streamsparkflink加载udf(1)

bilibili早期使用的引擎是SparkStreaming，后期扩展了Flink，在开发架构中预留了一部分引擎层的扩展。最下层是状态存储
2401_84165953·2024-09-07 12:44

linux搭建ceph集群

linux三节点搭建ceph集群主机IP主机名称172.26.50.75node1172.26.50.112node2172.26.50.228node3ceph-mon，ceph-mgr，ceph-mds
浓黑的daidai·2024-09-07 11:05
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他