分布式高可用

大模型训练和推理

文章目录一、NLP基础1.Tokenizer2.positionencoding3.注意力机制与transformer架构二、大模型训练1.SFT训练2.RLHF训练3.分布式并行训练技术（1）模型并行
李明朔·2024-08-30 01:27

云计算day13

一、Git概述Git是一种分布式版本控制系统，用于跟踪和管理代码的变更。它是由LinusTorvalds创建的，最初被设计用于Linux内核的开发。
巭氼·2024-08-29 23:42

云计算day25

负载均衡nginxlvshaproxy官网https://www.haproxy.com/自由及开放源代码软件HAProxy是一个使用C语言编写的自由及开放源代码软件，其提供高可用性、负载均衡，以及基于
巭氼·2024-08-29 23:42

中间件简介

它们在分布式系统、网络通信和应用集成中起着关键的作用。那么常见的中间件有哪些呢？消息队列中间件：消息队列中间件允许应用程序之间异步地发送和接收消息。
Will_1130·2024-08-29 22:38

为什么k8s节点要保持配置一致

为了确保K8s集群的正常运行和高可用性，节点需要保持配置一致，这有以下几个原因：1.资源利用率通过保持节点配置一致，可以确保资源利用率的均衡。K8s集群通过调度器将容器调度到可用
骑上单车去旅行·2024-08-29 22:34

虚拟机安装hadoop，hbase（单机伪集群模式）

就像当初做爬虫一样（虽然很简单），在数据爆发的现在，传统的数据库mysql，oracle显然在处理大数据量级的数据时显得力不从心，所以有些特定的业务需要引进能够处理大数据量的数据库，hadoop提供了分布式文件系统
流~星~雨·2024-08-29 21:31

项目的发布方式和容器的重启策略

过去成本很高，负载均衡+高可用特点：一旦出现问题，影响范围比较大发布策略也比较简单用户无感知，平滑过渡
星殇曦落·2024-08-29 21:29

Apache Kafka 快速学习大纲

Kafka概述定义Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。
aaaak_·2024-08-29 19:46

大数据实训笔记7：kafka

概述Kafka是一个开源的分布式事件流平台(EventStreamingPlatform)，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。
Roslin_v·2024-08-29 19:14

QPS提升10倍怎么设计-JAVA后端经常用到的技术

例如，使用分布式服务器集群，将请求均匀地分配到各个节点上，避免单个服务器负载过高。升级服务器的硬件配置，如提高CPU性能、增加内存容量、使用更快的存储设备等。例如，采用多核处理
九张算数·2024-08-29 17:00

优秀的开源项目

目录热key多线程并行秒级百G级日志工具ES操作工具消息推送平台HTTP客户端业务层的分布式限流组件企业级微服务解决方案热keyhotkey:京东App后台中间件，毫秒级探测热点数据，毫秒级推送至服务器集群内存
点滴~·2024-08-29 16:28

分布式中间件

1.Nacos服务注册和服务发现原理图：1.服务提供方将集群信息注册到Nacos，并定期心跳包提供健康信息，宕机即剔除2.服务消费方定期拉取订阅信息，获取服务实例列表3.服务集群的负载均衡是在消费者一方进行选择负载均衡：四层（传输层，ip+端口），七层（应用层，在四层ip+端口的基础上，添加一些用户级负载均衡规则，例如过滤特定的url访问请求）；nginx同时支持四层和七层负载均衡，硬件负载均衡器
C15751X·2024-08-29 16:54

Python知识点：如何使用HBase与HappyBase进行分布式存储

使用HBase与HappyBase进行分布式存储是处理大规模数据的有效方式。HBase是一个基于Hadoop的开源分布式数据库，可以处理非常大的表。
杰哥在此·2024-08-29 15:51

思二勋：web3.0是打造应对复杂市场敏捷组织的关键

本文内容摘自思二勋所著的《分布式商业生态战略》一书。数字化时代，需要企业具备敏捷应对变化的能力，以敏捷反应应对客户和市场的迅速变化。
学客汇·2024-08-29 14:15

【观点】区块链的未来：分布式商业；企业的未来：分布式商业生态战略

本文内容摘自思二勋所著的《分布式商业生态战略》一书。近两年，商业经济环境的不确定性越来越明显，市场经济受到疫情、技术、政策等多方因素影响越来越难以预测，黑天鹅事件时有发生。
学客汇·2024-08-29 14:14

新书推荐：《分布式商业生态战略：未来数字商业新逻辑与企业数字化转型新策略》

近两年，商业经济环境的不确定性越来越明显，市场经济受到疫情、技术、政策等多方因素影响越来越难以预测，黑天鹅事件时有发生。在国内外经济方面，国际的地缘政治对商业经济产生着重大的影响，例如供应链中断，核心技术的自主创新及国产化，以及美联储的持续加息对市场经济的影响，等等。国内经济也在承压发展，尽管内需总体回暖，但市场活力不足、内生动力不强、市场资源利用率低下等问题不容忽视。而在技术革新商业经济方面，如
学客汇·2024-08-29 14:44

GM（Guaranteed Multicast）协议

这一机制对于保持数据的一致性和高可用性至关重要。二、GM协议的工作原理消
河hehe·2024-08-29 14:42

Spark权威指南读书笔记（二）：结构化API

第四章结构化API概述结构化API主要指三种核心分布式集合类型API：Dataset、DataFrame、SQL表和视图DataFrame和Dataset类型DataFrame和Dataset是具有行和列的类似于数据表的集合类型
kaiker·2024-08-29 11:23

Python分布式任务处理库之dramatiq使用详解

Dramatiq是一个用于分布式任务处理的Python库，旨在提供简单、可靠的任务队列解决方案。与其他任务队列库相比，Dramatiq更加轻量级，且易于上手。
Rocky006·2024-08-29 09:41

Kylin的工作原理及使用分享操作指南

ApacheKylin是一个分布式的分析引擎，专为大数据环境中的快速分析和查询而设计。它通过构建OLAP（联机分析处理）立方体，使得对海量数据的实时分析成为可能，极大地提升了数据查询的效率。
vvvae1234·2024-08-29 05:14

Metasploit漏洞利用系列（九）：MSF渗透测试 - DistCC后门漏洞实战

DistCC是一个分布式编译系统，旨在通过网络分发编译任务以加速编译过程。然而，不当的配置或特定版本的漏洞可能为攻击者留下可乘之机，使其能够利用DistCC服务作为跳板，入侵目标系统。
Alfadi联盟 萧瑶·2024-08-29 02:55

分布式唯一id的7种方案

背景为什么需要使用分布式唯一id？如果我们的系统是单体的，数据库是单库，那无所谓，怎么搞都行。
木小同·2024-08-29 02:53

Hdfs的机架感知与副本放置策略

1.介绍Apachehadoop机架感知Hadoop分布式文件系统(Hdfs)作为ApacheHadoop生态系统的的核心组件之一,通过机架感知和副本放置策略来优化数据的可靠性,可用和性能.Hdfs的机架感知和副本放置策略是其设计的关键组成部分
sheansavage·2024-08-29 01:42

JMS 原理

为什么需要JMS用RPC中间件技术已广泛应用于分布式系统之间的通信，但是这些技术也显示出了局限性：同步通信：客户发出调用后，必须等待服务对象完成处理并返回结果后才能继续执行客户和服务对象的生命周期紧密耦合
LynnGuo·2024-08-29 00:53

ROS Node

ROS节点是ROS中实现模块化、分布式和可扩展性的关键组件之一。在ROS中，节点是通过ROS核心（ROSMaster）进行通信和协调的。
GYHlf·2024-08-28 23:31

39-nacos eureka zookeeper区别

支持集群部署和高可用。Eureka是Netflix开源的一款提供服务注册和发现的产品。设计思路是AP（可用性和分区容忍性）。不支
weixin_41775999·2024-08-28 22:56

XML-RPC-1概述

XML-RPC是一个远程过程调用（远端程序呼叫）（remoteprocedurecall，RPC)的分布式计算协议，通过XML将调用函数封装，并使用HTTP协议作为传送机制。
weixin_30340775·2024-08-28 22:26

RPC框架之Dubbo

问题1：为什么要把系统拆分成分布式的？为啥要用dubbo？1.为什么要将系统进行拆分？
猫猫桑·2024-08-28 22:56

为什么搜索引擎可以检索到网站？

分布式计算：提高处理速度。缓存机制：快速返回热门查询结果。用户行为分析：优化搜索结
程序员T哥·2024-08-28 22:23

教程：在Spring Boot应用中集成OAuth 2.0认证

在现代的分布式系统中，使用OAuth2.0认证可以有效地保护API端点和用户数据。本文将介绍如何在S
微赚淘客系统开发者@聚娃科技·2024-08-28 22:52

Java高级技术day75：Zookeeper与Dubbo

Zookeeper的介绍1.Zookeeper介绍：顾名思义zookeeper就是动物园管理员，他是用来管hadoop（大象）、Hive(蜜蜂)、pig(小猪)的管理员，ApacheHbase和ApacheSolr的分布式集群都用到了
开源oo柒·2024-08-28 20:54

【redis】哨兵模式

redis哨兵的高可用性在不使用rediscluster时，哨兵能够保证redis的高可用。redis哨兵也会提供其他的附带功能，如监控、通知、作为配置提供者。
HardCorePlayer·2024-08-28 16:09

【redis】主从的高可用

Redis副本是如何保证高可用的在redis副本的基础上，redis提供了简单易用的主从模式。从节点会精确的从主节点复制数据，并且在连接中断的时候自动重连，无论主节点发生什么都会尝试复制数据。
HardCorePlayer·2024-08-28 16:09

第三十四天学习笔记

1、主从复制（高可用）2、传统的主从复制3、gtids事务型的主从复制4、注意1）server_id唯一2）8.X版本需要get_ssl_pub_key3）5.X不需要4）changemasterto5
神效的枫叶c·2024-08-28 16:09

clickhouse集群部署

单节点设置为了延迟演示分布式环境的复杂性，我们将首先在单个服务器或虚拟机上部署ClickHouse。ClickHouse通常是从deb或rpm包安装，但对于不支持它们的操作系统也有其他方法。
林鸟鸟·2024-08-28 14:29

汇总：20个Linux服务器性能调优技巧

Linux高可用服务器集群解决方案让IT系统管理员可以从容应对许多常见的硬件和软件故障，允许多台计算机一起工
开源Linux·2024-08-28 14:58

k8s上的clickhouse集群部署并创建分布式表（附详细参数说明和参考链接）

k8s上的clickhouse集群部署并创建分布式表制作docker镜像创建configmap创建clickhouseservicepod创建clickhouseclientpod创建Service创建分布式表部署总体参考
KirutoCode·2024-08-28 14:56

k8s必知必会

目录1、简述etcd及其特点etcd是CoreOS团队发起的开源项目，是一个管理配置信息和服务发现（servicediscovery）的项目，它的目标是构建一个高可用的分布式键值（key-value）数据库
小卒曹阿瞒·2024-08-28 13:54

CentOS(7.x、8)上安装EMQX

EMQX是一个高度可扩展的分布式MQTT消息服务器，适用于IoT、M2M和移动应用程序。
功夫熊猫ok88·2024-08-28 11:10

Spring Boot 一个极简且完整的后台框架

先放几张图imageimageimage项目介绍SpringBoot，实现了一个极简单的后台框架image小编提供免费的Java架构学习资料（里面有高可用、高并发、高性能及分布式、Jvm性能调优、Spring
搬砖养女人·2024-08-28 10:33

Eureka与Ribbon的协作：实现客户端负载均衡的详细指南

Eureka与Ribbon的协作：实现客户端负载均衡的详细指南引言在现代微服务架构中，负载均衡是保证系统高可用性和性能的重要技术之一。随着服务实例的数量和动态变化，如何高效地分发请求成为一个关键问题。
勤劳兔码农·2024-08-28 07:46

图数据库之ArangoDB

ArangoDB是一个多模型、开源的分布式数据库，支持文档、图和键值存储三种数据模型。它以其灵活性和强大的查询能力而著称，特别是在需要处理复杂数据关系的场景下。
james二次元·2024-08-28 07:46

Django后端架构开发：Django 与 Celery 的深度集成

Celery是一个简单、灵活且可靠的分布式任务队列系统，它支持任务的实时处理和定时任务调度。Celery的工作原理非常简单：它将任务发送到消息队
Switch616·2024-08-28 06:41

如何使用 Redis 实现分布式锁？

分析&回答分布式锁一般有三种实现方式：1.数据库乐观锁；2.基于Redis的分布式锁；3.基于ZooKeeper的分布式锁。
喵呜刷题·2024-08-28 06:37

MongoDB适用场景

MongoDB是一个基于分布式文件存储的开源数据库系统，其主要目标是为WEB应用提供高性能，高可用性和高伸缩性的数据存储解决方案。
Rverdoser·2024-08-28 06:05

redis作为缓存，mysql的数据如何与redis进行同步呢？双写一致性

.阿里提供cannal中间件，他是一个个服务，可以伪装一个mysql节点，当mysql有更新操作的时候，会监听binlog二进制日志数据，更新到redis缓存当中数据强一致性1.使用的readsson分布式锁
码农汉子·2024-08-28 05:27

打造扛得住的MySQL数据库架构视频教程-数据库结构优化 高可用架构设计

打造扛得住的MySQL数据库架构视频教程-数据库结构优化高可用架构设计30套数据库系列Mysql/SQLServer/Redis/Mongodb/Nosql精讲训练营项目实战，数据库设计，架构设计，性能管理
cd137a460a79·2024-08-28 04:10

vos3000系统，如何防护ddos数据攻击？

分布式拒绝服务（‌‌DDoS）‌攻击是一种通过大量请求拥塞目标服务器的网络资源，‌从而阻止合法用户访问的攻击方式。‌为了有效防御DDoS攻击，‌可以采取以下策略：‌服务器高防ip，这个成本太高不考虑。
wx_jiuyun383838·2024-08-28 02:13

Redis数据结构

Redis数据结构Redis作为内存数据库，被用于分布式缓存首选。作为一个coder，没有想必刚踏入职场第一天就了解了这玩意儿吧。这家伙是个单线程的，但是为什么很快？
lazy_kid·2024-08-28 01:10

当服务器遭受攻击怎么办？

互联网快速发展，各种网络攻击花样繁多，特别是DDoS攻击，DDoS是英文DistributedDenialofService的缩写，意即“分布式拒绝服务”，让人防不胜防，而避免服务器遭受DDoS攻击的最好方式就是接入高防
qq_2383525702·2024-08-28 01:08
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他