HPC高性能计算集群第20页

DolphinScheduler-3.2.0 集群搭建

本篇文章主要记录DolphinScheduler-3.2.0集群部署流程。

爱吃辣条byte·2024-02-10 01:23

每日一看大模型新闻（2023.12.20上）AI把OpenAI内斗魔改成晋江文学，插图也能画；微软把DALL-E 3集成到键盘，任何APP中都可生图；百度智能云：千帆AppBuilder开放服务

其中，百舸3.0针对AI应用和大模型进行了全面优化，支持超大规模AI集群计算，提高模型训练和推理

超爱玩大模型·2024-02-09 22:18

Kubernetes - 部署 Mysql

在部署之前，先要完成集群初始化准备#为MySQL服务创建一个RC定义文件mysql-rc.yaml[root@master-nodeapplication]#catmysql-rc.yamlapiVersion

埃尔温薛定谔不养猫·2024-02-09 21:24

hdfs支持lzo压缩配置

1安装linux的lzo库需要在集群的每一个节点都安装lzo库，假定都64位的机器。

机灵鬼鬼·2024-02-09 20:28

数据中台 pdf_数据中台到底怎么建设，有人把他说清楚了

本人断断续续从事数据仓库约有五六年经验，在移动公司前三年是负责数据仓库项目实施，后四年开发搞大数据平台，见证了从传统数据仓库转型到大数据平台的全历程，见证了大数据平台从0到1的全部过程，包括第一个MPP数据集市、第一个Hadoop集群项目

weixin_39699121·2024-02-09 18:59

Kafka系列之：kafka集群管理工具Know Streaming安装详细步骤

Kafka系列之：kafka集群管理工具KnowStreaming安装详细步骤一、安装JDK-11二、安装mysql数据库详细步骤三、安装Elasticsearch数据库详细步骤四、安装KnowStreaming

最笨的羊羊·2024-02-09 15:41

深入浅出理解kafka原理系列之：自动提交和手动提交

手动异步提交代码示例一、kafka消费者提交的内容消费组+消费的某个主题+消费的某个分区及消费的偏移量消费者无论是自动提交还是手动提交，都需要把所属的消费组+消费的某个主题+消费的某个分区及消费的偏移量，这样的信息提交到集群

最笨的羊羊·2024-02-09 15:40

Kafka系列之：Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据

Kafka系列之：Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据一、基于日志大小二、基于时间大小三、参数设置四、设置命令一、基于日志大小"log.retention.bytes"是

最笨的羊羊·2024-02-09 15:09

1.业界方案-瓜子二手车在 Dubbo 版本升级、多机房方案方面的思考和实践(1)

一、Ephermal节点未及时删除导致provider不能恢复注册的问题修复事故背景各业务线共用zookeeper集群作为dubbo注册中心。19年9月，一台交换机故障，导致zk集群几分钟网络波动。

hedgehog1112·2024-02-09 14:40

69.Kudu、Spark2、Kafka安装—CDH

69.1演示环境介绍CDH集群运行正常操作系统版本为：CentOS6.5CM和CDH版本为：5.12.1CM管理员为：admin用户操作系统用户为：root用户69.2操作演示Kudu安装Kudu的Parcel

大勇任卷舒·2024-02-09 14:55

redis集群配置

redis集群配置.pdf跳转/opt/redis→cd/opt/redis1、下载rediswgethttp://download.redis.io/releases/redis-6.2.1.tar.gz2

珠光·2024-02-09 12:50

分布式与集群的区别究竟是什么？

作者：至尊宝cnblogs.com/aspirant/p/5697807.html在IDF05（IntelDeveloperForum2005）上，Intel首席执行官CraigBarrett就取消4GHz芯片计划一事，半开玩笑当众单膝下跪致歉，给广大软件开发者一个明显的信号，单纯依靠垂直提升硬件性能来提高系统性能的时代已结束，分布式开发的时代实际上早已悄悄地成为了时代的主流。吵得很热的云计算实际

程序员吴乘风·2024-02-09 12:02

Redis部署简单步骤及主从搭建

Redis的特点是数据读写速度快、支持事务和Lua脚本、支持持久化、支持集群等。Redis的优势在于其高效的内存读写能力，使得它在处理高并发、大量数据的场景下表现出色。2·Redis的使用

喜欢慢生活·2024-02-09 12:28

《纺织工业互联网发展行动计划（2018~2020年）》简介

纺织工业互联网发展行动计划（2018~2020年）》，将部分内容摘抄如下：01工业互联网体系到2020年底，初步建成有力支撑纺织行业发展的工业互联网体系：培育和建设10个有较大影响力的企业级工业互联网平台；建设一批以重点产业集群

追求财务自由的中年人·2024-02-09 11:57

ElasticSearch7.9集群的安装部署

下面总结下elasticsearch集群部署，单机的安装部署请见linux上安装部署elasticsearch7.9_linux部署elasticsearch-CSDN博客前期准备：准备三台主机配置ubuntu22

一个高效工作的家伙·2024-02-09 11:53

【HPC最全最新离线安装开源资源管理、作业调度软件-SLURM】

文章目录HPC离线最全安装开源资源管理、作业调度软件-SLURM一、★软件简介1.1软件定义1.2软件架构1.3slurm插件1.5slurm配置模式分类1.6slurm无配置方式二、★安装环境2.1集群环境规划

xyq_龙呆呆·2024-02-09 10:43

【集群】Slurm作业调度系统的使用

最近使用集群进行实验，记录并学习集群系统进行深度学习的实验过程。集群所使用的作业调度系统为Slurm，这里记录下使用的常用命令和一些注意事项。

qq_29750461·2024-02-09 10:13

slurm安装配置_Slurm任务调度系统部署和测试(源码)（1）

1.概述slurm任务调度系统，主要应用在HPC集群资源管理和任务调度。

多伦多豪·2024-02-09 10:43

Spark是什么？与MapReduce的对比

Spark是一个基于内存的集群计算系统，是一个分布式的计算框架。Spark可以将计算任务分发到多个机器并行计算。

Tim在路上·2024-02-09 10:27

k8s，1.14.2 集群搭建（3）：metric server

简介如何查看pod的CPU,内存等资源占用情况？那就需要metricserver。借用官网的例子使用kubectltop命令查看mem-example中memory-demo的资源使用情况。kubectltoppodmemory-demo--namespace=mem-example结果类似如下：NAMECPU(cores)MEMORY(bytes)memory-demo162856960安装运行

Java程序员YY·2024-02-09 10:01

Kubernetes架构中各个组件介绍

kubernetes概述1、kubernetes是什么Google2014年推出的容器集群管理系统k8s用于容器化应用程序的部署、扩展和管理k8s提供了容器编排、资源调度、弹性伸缩、部署管理、服务发现等一系列功能

柳华聪·2024-02-09 08:39

Kubernetes 实战（二） -- 面向资源的分布式集群 - 运维舵手

本文所涉及的脚本均来自仓库k-kubernetes-public闻名不如见面--HPAHorizontalPodAutoscaling，水平部署自动化弹性伸缩，即K8s支持根据CPU/内存利用率自动伸缩Pod数量，从而动态调整负载。Yaml配置#无状态服务部署DeploymentapiVersion:apps/v1kind:Deploymentmetadata:name:nginx-hpaspec

coder_kkx·2024-02-09 08:00

Kubernetes系列之监控Metres-server实战篇

这些度量指标可以由用户直接访问，例如通过使用kubectltop命令，或者使用集群中的控制器。MetricsAPI:通过MetricsAPI，您可以获得node或po

weixin_30843605·2024-02-09 08:00

Kubernetes----Kubernetes学习从入门到实战循序渐进系列篇

Kubernetes的产生背景与简介Kubernetes----Kubernetes组件简介及相关概念Kubernetes----Kubernetes常用插件简介Kubernetes----Kubernetes集群环境搭建

redrose2100·2024-02-09 08:30

虚拟机VirtualBox和VMware安装Ubuntu16配置静态IP

计算机集群安装之前，准备先在虚拟机上尝试一下，网上多是采用VMware虚拟机和CentOS系统，个人则准备采用已经安装好的VirtualBox虚拟机和Ubuntu16，但遇到第一个问题即是配置静态IP，

xk6891·2024-02-09 08:28

Ubuntu搭建计算集群

计算机硬件和技术的发展使得高性能模拟和计算在生活和工作中的作用逐渐显现出来，无论是计算化学，计算物理和当下的人工智能都离不开高性能计算。

xk6891·2024-02-09 08:56

Redis 笔记十二 Redisson分布式锁的使用

Redisson分布式锁的实现原理加锁机制如果该客户端面对的是一个rediscluster集群，他首先会根据hash节点选择一台机器。

新手路上的程序员·2024-02-09 07:19

SpringBoot中使用注解来实现 Redis 分布式锁-学习笔记

2.分析流程使用Redis作为分布式锁，将锁的状态放到Redis统一维护，解决集群中单机JVM信息不互通的问题，规定操作顺序，保护用户的数据正确。

qinxun2008081·2024-02-09 07:46

浅析下开源时序数据库VictoriaMetrics的存储机制

具备的特性有：-支持prometheus查询api，同时实现了一个metricsql查询语言-支持全局查询视图，支持多prometheus实例写数据到VictoriaMetrics，然后提供一个统一的查询-支持集群

大铁憨·2024-02-09 07:03

Red Hat安装Red Hat OpenShift Local

文章目录环境安装需求硬件操作系统软件包安装使用RedHatOpenShiftLocal预设置设置RedHatOpenShiftLocal启动实例访问OpenShift集群访问OpenShiftwebconsole

蓝黑2020·2024-02-09 06:37

Kubernetes的有状态应用示例：用PV部署WordPress和MySQL

MySQL和WordPress添加资源配置部署和验证清理参考环境RHEL9.3DockerCommunity24.0.7minikubev1.32.0PVC和PVPersistentVolume（PV）是在集群里由管理员手动

蓝黑2020·2024-02-09 06:06

多线程&JUC：解决线程安全问题——synchronized同步代码块、Lock锁

如果是想要解决集群下的线程安全问题，可以学习我在做Redis项目的时候的解决方法：Redis：原理速成+

布布要成为最负责的男人·2024-02-09 06:35

【Redis】Redis安装、应用场景、数据类型、配置文件（很全）、发布订阅、事务、分布式锁、持久化、主从复制、集群等

文章目录Redis笔记Redis介绍应用场景相关技术安装Redis操作及数据类型Redis键操作（Key）Redis字符串（String）Redis列表（List）Redis集合（Set）Redis哈希（Hash）Redis有序集合（ZSet，SortedSet）BitmapsHyperLogLogGeospatialRedis配置文件UnitsNetwork网络相关GENERAL通用配置SNAP

haiqiang0225·2024-02-09 05:23

负载均衡（2）

文章目录一、LinuxVirtualServer简介LVS介绍LVS工作原理LVS集群体系架构LVS功能及组织架构应用于高访问量的业务扩展应用程序消除单点故障同城容灾（多可用区容灾）跨地域容灾LVS应用场景音视频

Dream visit·2024-02-09 05:35

redis集群搭建

redis集群搭建在开始redis集群搭建之前，我们先简单回顾一下redis单机版的搭建过程下载redis压缩包，然后解压压缩文件；进入到解压缩后的redis文件目录（此时可以看到Makefile文件）

角角_d216·2024-02-09 03:44

spark原理总体介绍

部署图image.png从部署图中可以看到整个集群分为Master节点和Worker节点，相当于Hadoop的Master和Slave节点。

tracy_668·2024-02-09 03:48

redis的主从配置模拟（一主双从）

目录先来给大家扩展机道面试官经常会问到关于redis的题一、redis有哪些好处二、redis相比memcached有哪些优势三、redis常见性能问题和解决方案四、redis集群的工作原理五、redis

藻头男·2024-02-09 03:16

2020-11-04

各个微服务进程之间可以用HTTPAPI通信1.2集群&分布式&节点集群是一个物理形态，分布式是一个工作方式。

肝点啥_董晓宁·2024-02-09 02:51

Docker 第十一章： Docker 三剑客之 Swarm （集群管理命令）

第十一章：Docker三剑客之Swarm（集群管理命令）本章知识点：本文介绍了Docker三剑客之一的Swarm集群管理工具,通过Swarm，用户可以轻松地创建和管理Docker容器集群，实现容器服务的横向扩展和高可用性

半部论语·2024-02-09 01:45

Spring Cloud 17 -- 使用 nginx 做网关集群的负载均衡

一、配置nginx修改配置文件nginx.conf二、直接通过zuul1或者zuul2访问比如http://localhost:8769/toclient2/client2/hello或者http://localhost:8770/toclient2/client2/hello三、通过nginx访问访问http://localhost:88/toclient2/client2/hello四、在zu

半碗鱼汤·2024-02-09 00:37

手把手教你实现 Docker 部署 Redis 集群

cnblogs.com/cxbhakim/p/9151720.html摘要接触docker以来，似乎养成了一种习惯，安装什么应用软件都想往docker方向做，今天就想来尝试下使用docker搭建redis集群

码农小光·2024-02-09 00:36

在Linux下源码编译安装GreatSQL/MySQL

docker1.3、提前下载几个必要的安装包1.4、构建docker镜像2、编译GreatSQL2.1、只编译二进制文件2.2、编译并打包成二进制文件包或RPM包3、初始化GreatSQL4、搭建MGR集群延伸阅读本次介绍如何利用

老叶茶馆_·2024-02-08 23:16

2019-12-24

4.redis的集群模式如何实现？5.redis的key是如何寻址的？6.使用redis如何设计分布式锁？说一下实现思路？使用zk可以吗？如何实现？这两种有什么区别？7.知道redis的持久化吗？

笑起来真好看LQQ·2024-02-08 22:14

k8s 部署java应用基于ingress+jar包

k8集群ingress的访问模式先部署一个namespace命名空间vimnamespace.yamlkind:NamespaceapiVersion:v1metadata:name:ingress-testlabels

村长在路上·2024-02-08 22:34

centos7搭建集群过程

集群搭建过程第一步：ping测试第二步：修改主机名第三步：修改IP地址与域名映射关系第四步：重启reboot第五步：关闭防火墙第六步：关闭SELinux第七步:免密登录第八步：时钟同步第九步：安装JDK

妖怪书生·2024-02-08 21:06

Zookeeper集群搭建（3台）

准备工作1、提前安装好hadoop102、hadoop103、hadoop104三台机器，参照：CentOS7集群环境搭建（3台）-CSDN博客2、提前下载好Zookeeper安装包并上传到/opt/software

在下区区俗物·2024-02-08 21:35

Hadoop集群所有进程查看脚本

1、在/home/atguigu/bin目录下创建脚本xcall.shcd/home/atguigu/binvimxcall.sh脚本编写如下内容#!/bin/bashforiinhadoop102hadoop103hadoop104doecho---------$i----------ssh$i"$*"done2、赋予文件运行权限chmod+xxcall.sh3、使用案例xcall.shjps相

在下区区俗物·2024-02-08 21:04

linux-centos7 集群环境搭建

1.软件版本1.1.软件vmware版本：12.5.6centos版本：71.2.硬件CPU：>1推荐2以上内存：>2G推荐4以上硬盘：>20G推荐40以上2.单机设置2.1.网络配置2.1.1.外部网络环境准备网断：192.168.200.0掩码：255.255.255.0网关：192.168.200.2宿主机地址：192.168.200.12.1.2.修改网络配置文件vi/etc/syscon

被遗忘的优雅·2024-02-08 21:34

CentOS7集群环境搭建（3台）

准备工作安装CentOS7，安装步骤参考：https://mp.csdn.net/mp_blog/creation/editor/136008879搭建集群将开启的虚拟机关闭一、修改虚拟网络配置1、打开

在下区区俗物·2024-02-08 21:03

2022年职业院校技能大赛高职组云计算赛项试卷——云计算赛项第二场-容器云

分]【题目3】平台部署--部署Istio服务网格[1分]【题目4】平台部署--部署KubeVirt虚拟化[0.5分]【题目5】平台部署--部署Harbor仓库及Helm包管理工具[0.5分]【题目6】集群管理

你可知这世上再难遇我·2024-02-08 21:31

推荐频道

HPC高性能计算集群