集群分布式技术

XGBoost系列7——XGBoost的性能优化策略

目录写在开头1.XGBoost的并行计算原理1.1特征并行1.2数据并行1.3参数调整优化并行性能1.4多线程和分布式计算2.大规模数据集的分布式训练2.1分布式训练原理2.2集群配置2.3参数调整2.4
theskylife·2024-01-26 21:21

在Centos中搭建 K8s 1.23 集群超详细讲解

一、准备基础环境1、准备两台Centos服务器，建议2C4G及以上角色IP系统版本主机名安装组件Master192.168.40.100Centos7.9master1apiserver、controller-manager、scheduler、etcd、kube-proxy、docker、calicoNode192.168.40.101Centos7.9node1kubelet、kube-pro
明明跟你说过·2024-01-26 21:45

HBase探索篇 _ 单节点多RegionServer部署与性能测试

目录导读[toc]1.引言随着集群中总的Region数持续增长，每个节点平均管理的Region数已达550左右，某些大表的写入流量一上来，RegionServer就会不堪重负，相继挂掉。
大猿小猿向前冲·2024-01-26 21:22

大数据开发必备工具——Hadoop及整体架构介绍

Hadoop是一个由Apache软件基金会开发的开源Java软件框架，专为大数据处理设计，支持在大量计算机组成的集群上进行数据存储和分布式计算。
love6a6·2024-01-26 21:03

TIDB修改日志级别

info,可选项为[debug,info,warn,error,fatal]，在tidb-server,tikv-server,tiflash-server,pd-server四个板块内都可以设置查看集群名称使用
一名数据库爱好者·2024-01-26 19:06

深信服虚拟桌面部署及性能优化关键点配置（图文顺序全解）

为什么要保障管理口，集群中各主机的管理口通讯是否正常将作为集群心跳测试的重要依据，如管理口中断，可能导致集群HA判断并引发业务迁移。
symstandsun·2024-01-26 19:45

Kubernetes 认证与授权

Kubernetes认证与授权serviceaccounts创建并使用serviceaccount认证创建用户并使其能够访问指定集群授权为指定用户赋权serviceaccounts资源对象5要素：NAME
JP.Hu·2024-01-26 19:38

ZooKeeper 3.5.10 集群部署

ZooKeeper3.5.10集群部署相关文档依赖服务系统优化创建路径配置/etc/profie配置$ZK_HOME/conf/zoo.cfg创建/data/service/zookeeper/data
JP.Hu·2024-01-26 19:08

HBase 2.3.2 集群部署

HBase2.3.2集群部署依赖服务系统优化查看ZooKeeper集群状态查看HDFS集群状态创建路径配置/etc/profile配置$HBASE_HOME/conf/hbase-env.sh配置$HBASE_HOME
JP.Hu·2024-01-26 19:07

MongoDB 5.0.9 集群分片模式部署

MongoDB5.0.9集群分片模式部署文档材料依赖服务集群架构创建数据路径部署configsrv1.配置configsrv.conf2.启动configsrv实例3.部署configsrv复制集部署shardsrv1
JP.Hu·2024-01-26 19:07

Spark 2.3.4 StandAlone 集群模式部署

Spark2.3.4StandAlone集群模式部署相关文档依赖服务系统优化创建路径配置/etc/profile配置$SPARK_HOME/conf/spark-env.sh配置$SPARK_HOME/
JP.Hu·2024-01-26 19:07

Hadoop 3.1.1 HDFS 集群部署

Hadoop3.1.1HDFS集群部署依赖服务系统优化查看ZooKeeper集群状态创建路径配置/etc/profile配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh配置
JP.Hu·2024-01-26 19:37

ELK 8.8.1 + Kafka 2.5.0 日志收集架构部署

ELK8.8.1+Kafka2.5.0日志收集架构部署服务版本节点角色分布服务兼容性JDK特殊性官方文档库系统优化部署ES集群1.下载ES源码包2.调整配置文件\$ES\_HOME/config/elasticsearch.yml3
JP.Hu·2024-01-26 19:01

Redisson实现 redis 集群分布式锁

前言上文我们介绍的Redis实现分布式锁的正确方式是redis单机的方式，所以本篇要基于redis集群做分布式锁，我们使用Redisson来做。
雨不在·2024-01-26 18:38

免费小程序商城搭建之b2b2c o2o 多商家入驻商城 直播带货商城 电子商务b2b2c o2o 多商家入驻商城 直播带货商城 电子商务

SpringBoot、Mybatis、Redis3.前端框架VUE、Uniapp、Bootstrap/H5/CSS3、IOS、Android、小程序4.核心思想分布式、微服务、云架构、模块化、原子化、持续集成、集群部署
2301_77700816·2024-01-26 18:29

K8S搭建（centos）八、从节点中使用kubectl命令

文章目录从节点中使用kubectl命令（可选，本篇执行）1.查看文件（主节点）2.复制文件（主节点）3.工作节点查看（从节点）4.配置环境变量（从节点）5.再次查看集群节点（从节点）K8S搭建（ubuntu
寒山李白·2024-01-26 18:57

K8S搭建（centos）九、集群节点的删除

文章目录集群节点的删除1.释放节点（主节点）2.删除节点（主节点）3.重置配置（从节点）4.删除文件（从节点）K8S搭建（ubuntu）系列：k8s搭建（详细演示完整一篇）k8s搭建（二、k8s组件安装
寒山李白·2024-01-26 18:57

K8S搭建（centos）七、节点加入集群

文章目录节点加入集群1.加入集群命令获取（主节点）2.加入集群（从节点）3.查看集群节点（主节点）K8S搭建（ubuntu）系列：k8s搭建（详细演示完整一篇）k8s搭建（二、k8s组件安装）K8S搭建
寒山李白·2024-01-26 18:56

【Flink】记录Flink 任务单独设置配置文件而不使用集群默认配置的一次实践

如今我们的需求是个别任务提供的配置仅用于配置执行参数，例如影响作业的配置参数，而不是底层集群。那么我们改如何实现呢。获取Flinkconf目录Flink获取conf目录（Flink配置）的顺序：查找
kiraraLou·2024-01-26 18:54

手把手超详细Docker部署MongoDB集群

Mongodb集群搭建mongodb集群搭建的方式有三种：主从备份（Master-Slave）模式，或者叫主从复制模式。副本集（ReplicaSet）模式。分片（Sharding）模式。
YellowKang·2024-01-26 18:04

本地缓存的优缺点

集群的数据更新问题与此同时，本地缓存只支持被该应用进程访问，一般无法被其他应用进程访问，故在应用进程的集群部署当中，如果对应的数据库数据，存在数据更新，则需要同步更新不同部署节点的本地缓存的数据来包保
sangsong7th·2024-01-26 17:03

Doris系列3-基础使用指南

基础使用指南Doris采用MySQL协议进行通信，用户可通过MySQLclient或者MySQLJDBC连接到Doris集群。
只是甲·2024-01-26 17:11

elasticsearch-6.5.4集群部署(图文详细)及常见错误

关闭防火墙创建es用户安装jdkes部署单节点(节点1)部署部署包上传解压配置文件修改修改文件属组部署包分发单节点(节点2)部署配置文件修改修改文件属组单节点(节点3)部署配置文件修改修改文件属组启动ES集群验证单节点验
夜灬狼丶·2024-01-26 16:09

Redis之旅--Redis集群(十)

一、Redis集群(Linux搭建)2018年十月Redis发布了稳定版本的5.0版本，推出了各种新特性，其中一点是放弃Ruby的集群方式，改为使用C语言编写的redis-cli的方式，是集群的构建方式复杂度大大降低
无剑_君·2024-01-26 16:48

Kubernetes_概念篇

组件1，kube-apiserver2，kube-controller-manager3，kube-scheduler4，Node组件5，Deployment6，Service7，Pod四、核心组件五、集群一个节点内容一
Aring88·2024-01-26 16:36

kubernets_实战篇（minikube）

minikube一、前提准备1，安装工具二、启动集群1，启动集群2，暴露Pod（1）kubernetesService类型三、集群操作1，Pod操作2，启用插件3，清理集群资源一、前提准备本文环境是基于
Aring88·2024-01-26 16:06

ElasticSearch7.7.1集群搭建

前言Elasticsearch（ES）是一个基于ApacheLucene的分布式、高扩展、近实时的搜索引擎，主要用于海量数据快速存储、实时检索、高效分析的场景。通过简单易用的RESTfulAPI，Elasticsearch隐藏了Lucene的复杂性，使得全文搜索变得简单。以下是Elasticsearch的主要特点：分布式：由于其分布式特性，Elasticsearch可以将海量数据分散到多台服务器上
卢卡上学·2024-01-26 16:32

展望2024: 中国AI算力能否引爆高性能计算和大模型训练的新革命？

；预训练；边缘计算；液冷；HPC；冷板式液冷；Bard；AlphaGo；深度学习；AI服务器；GPU服务器；H100；A100；B100；X100；InfiniBand；L40S；PC；AIPC；PC集群
高性能服务器·2024-01-26 15:02

k8s集群安全机制

k8s集群安全机制概述认证，传输安全传输安全：认证：鉴权（授权）准入控制RBAC介绍（基于角色的访问控制）实战创建命名空间在新创建的命名空间下创建pod创建角色创建角色绑定使用证书识别身份概述（1）访问
Lieon Chou·2024-01-26 15:55

k8s安全机制

安全机制：k8s的安全机制，分布式集群管理工具，就是容器编排。安全机制的核心：APISERVER作为整个集群内部通信的中介，也是外控控制的入口。
相遇蟹堡王，尽享蟹黄堡·2024-01-26 15:16

Springcloud Stream整合Rabbitmq(生产者和消费者)

RabbitMQ服务器是用Erlang语言编写的，而集群和故障转移是构建在开放电信平台上的。所有主要的编程语言均有与代理接口通讯的客户端库。RabbitMq的特性：（1）可靠性：使用一些机制来保证
菜鸟小邓·2024-01-26 14:58

ES性能优化和注意事项

进阶数据预处理Ingest冷热集群架构性能优化硬件配置优化升级硬件设备配置一直都是提高服务能力最快速有效的手段，在系统层面能够影响应用性能的一般包括三个因素：CPU、内存和IO，可以从这三方面进行ES的性能优化工作
冲上云霄的Jayden·2024-01-26 14:00

ES系列索引、文档、集群、技术原理文章目录

文档操作索引ES-index索引配置文档ES-DynamicMapping、文档字段类型ES-索引、文档插入、更新、删除、脚本API和Query参数ES-aggregation聚合分析ES-API约定集群
冲上云霄的Jayden·2024-01-26 14:00

ES的一些名称和概念总结

概念先看看ElasticSearch的整体架构：一个ESIndex在集群模式下，有多个Node（节点）组成。每个节点就是ES的Instance(实例)。
冲上云霄的Jayden·2024-01-26 14:27

HEGERLS智能物流机器人｜场景为王 以存取为技术核心布局的仓储集群

随着物流需求的多样化、复杂化，四向穿梭车技术经过几年的蓬勃发展，正在各领域迎来愈加广泛的应用。河北沃克作为该领域的代表，凭借庞大的产品群、功能强大的软件系统以及资源丰富的生态合作伙伴体系实现了快速的发展。其中，海格里斯HEGERLS四向穿梭车作为新的存储技术，也通过不断的技术迭代芯升级，以其柔性化、灵活性等特点而备受瞩目，成为该领域的一面旗帜。河北沃克始终定位于产品型技术企业，非常重视在技术上的投
qq_39775293·2024-01-26 14:20

（九）centos7案例实战——redis一主二从三哨兵高可用服务搭建

需要注意的是搭建集群的过程中，我们要保证集群服务器之间可以相互访问，并且redis所需要访问的端口是开放的。
北溟溟·2024-01-26 14:40

docker-compose搭建redis集群

这里用docker-compose在一台机器搭建三主三从，生产环境肯定是在多台机器搭建，否则一旦这台宿主机挂了，redis集群全挂了，依然是单点故障。
程序员buddha·2024-01-26 14:39

Redis 一主一从哨兵模式配置

哨兵模式架构redis的集群方案大致有三种：rediscluster集群方案；master/slave主从方案；哨兵模式来进行主从替换以及故障恢复。
ColorlessCube·2024-01-26 14:38

redis 两主两从+哨兵模式

特殊的，一个从机同样可以设置为一个RedisServer的主机，这样一来Master-Slave的分布看起来就是一个有向无环图DAG，如此形成RedisServer集群，无论是主机还是从机都是RedisServ
beishi6738·2024-01-26 14:06

JVM系列-6.java垃圾回收

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-26 14:23

比Nginx更好用的Gateway！

Token新开源Gateway，使用yarp实现的一个反向代理，支持界面操作动态添加集群添加路由绑定，并且支持动态添加域名绑定https证书，超强yarp+FreeSql+MiniApis纯原生接口实现
token-go·2024-01-26 14:47

Kubernetes/k8s之安全机制:

k8s当中的安全机制核心是分布式集群管理工具，容器编排，安全机制核心是:APISERVER作为整个集群内部通信的中介，也是外部控制的入口，所有的安全机制都是围绕apiserver开设计的。
m0_52416577·2024-01-26 14:43

一主一从二哨兵_redis（一主两从三哨兵模式搭建）记录

软件架构：生产环境使用三台服务器搭建redis哨兵集群，3个redis实例(1主2从)+3个哨兵实例。
重庆580心理咨询中心·2024-01-26 14:40

Redis 一主两从 哨兵集群模式

Redis集群部署实操。纯干货，按步骤操作即可。
东郭小厮·2024-01-26 13:10

搭建k8s集群实战（三）安装配置containerd、kubelet、kubeadm、kubectl

k8s在1.24之后，使用containerd代码docker提供容器服务。下面说明如果安装containerd，并设置镜像仓库。添加源yuminstall-yyum-utilsyum-config-manager--add-repohttp://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo安装containerd由于CentOS
xiegwei·2024-01-26 13:56

搭建k8s集群实战（二）安装keepalived和haproxy

keepalived介绍：是集群管理中保证集群高可用的一个服务软件，其功能类似于heartbeat，用来防止单点故障Keepalived作用：为haproxy提供vip（10.208.1.190）在三个
xiegwei·2024-01-26 13:56

Ceph篇之搭建Ceph可视化界面Dashboard

一、CephDashboardCeph提供了原生的Dashboard功能，通过Dashboard可以获取Ceph集群的各种基本状态信息等。
听说唐僧不吃肉·2024-01-26 13:09

一文了解Ceph原理以及常见ceph指令

与集中式存储相反，分布式存储通常采用存储单元集群的形式。并且具有在集群节点之间进行数据同步和协调的机制。其目的是为了通过服务器解决大规模，高并发情况下的Web访问问题。
听说唐僧不吃肉·2024-01-26 13:08

二 Ceph存储工作原理及实现

它提供了一个可无限伸缩的Ceph存储集群ceph构架参考官网：https://ceph.io/中文官网：http://docs.ceph.org.cn/ceph架构中文图示RADOS：Ceph的高可靠,
假面生·2024-01-26 13:38

Redis在生产环境中可能遇到的问题与解决方案（五）

21.Redis大规模集群问题问题描述在构建大规模Redis集群时，可能会面临节点间通信、数据一致性等问题。
QFN-齐·2024-01-26 13:37
上一页 39 40 41 42 43 44 45 46 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他