分布式学习篇

Hadoop框架及HDFS详细概述

文章目录Hadoop概述一、Hadoop1、分布式和集群2、Hadoop框架2.1概述2.2版本更新2.3Hadoop架构详解2.4官方示例2.4.1圆周率练习2.4.2词频统计3、Hadoop的HDFS3.1
搬砖人_li·2025-02-05 07:14

KaiwuDB 受邀亮相 2024 数博会

KaiwuDB受邀携一众产品亮相大会，重点展示了分布式多模数据库KaiwuDB2.0及其在物联网海量异构数据管理分析的落地应用，现场引来众多客户伙伴们的热烈关注。
KaiwuDB 数据库·2025-02-05 03:46

再添认可！KaiwuDB 储能行业解决方案入选国家级案例集题

“基于KaiwuDB的分布式储能行业解决方案”分别通过了资格初审、专家中评、区域评议、专家答辩终评、综合复议等环节，最终从全国各省厅、局提报的1073项优秀案例中
KaiwuDB 数据库·2025-02-05 03:46

IM 即时通讯系统-51-MPush开源实时消息推送系统

实现的IM服务端,提供客户端jar包,可集成自己的登录系统IM即时通讯系统-43-简单的仿QQ聊天安卓APPIM即时通讯系统-44-仿QQ即时通讯系统服务端IM即时通讯系统-45-merua0oo0IM分布式聊天系统
老马啸西风·2025-02-05 01:00

Kafka SSL（TLS）安全协议

文章目录KafkaSSL（TLS）安全协议1.KafkaSSL的作用1.1数据加密1.2身份认证1.3数据完整性1.4防止中间人攻击1.5确保安全的分布式环境1.6防止拒绝服务（DoS）攻击2.KafkaSSL
王多鱼的梦想～·2025-02-04 21:06

Git从入门到精通：全面掌握版本控制的核心技能

Git作为分布式版本控制系统，相比传统的集中式系统（如SVN）具有更强大的分支管理能力和本地化操作优势。
Bro_cat·2025-02-04 19:23

【starRocks-docker 部署问题汇总】

二、等待后续跟新前言starrocks基于docker-compose部署的3节点分布式(3FE,3BE)，遇到的问题也都是基于当前环境。
万琛·2025-02-04 18:16

读书笔记--分布式架构的异步化和缓存技术原理及应用场景

本篇是在上一篇的基础上，主要对分布式应用架构下的异步化机制和缓存技术进行学习，主要记录和思考如下，供大家学习参考。
一望无际的大草原·2025-02-04 18:08

【系统架构】架构演进

系列文章目录第一章系统架构的演进第二章REST风格架构第三章事务处理本篇文章目录系列文章目录前言一、原始分布式二、单体系统时代三、SOA时代烟囱架构微内核架构事件驱动架构四、微服务架构五、后微服务时代六
编程巫师·2025-02-04 17:05

对比JSON和Hessian2的序列化格式

在分布式系统中，数据的序列化和反序列化是关键环节。不同的序列化格式在性能、可读性和跨语言兼容性上存在显著差异。
yyytucj·2025-02-04 16:30

kaggle花分类比赛91.168%

之前一直都没注意显存，也没注意数据格式，直到跑模型的时候电脑直接崩了，因为排队用TPU，感觉人多，就直接在自己电脑上跑，我自己是有一张8G的4070,没想到啊，光是读取数据，就占用了6G历次成绩这个是用分布式
仙尊方媛·2025-02-04 16:28

Git 的安装与基本配置

一、Git是什么Git是一个开源的分布式版本控制系统，最初由LinusTorvalds在2005年为了帮助管理Linux内核开发而创建。
计算机毕设定制辅导-无忧学长·2025-02-04 15:16

Dubbo与Spring Cloud的区别？

Dubbo与SpringCloud的区别分析在分布式系统中，微服务架构的实现是现代企业架构的核心，而Dubbo和SpringCloud作为两大常用框架，各自有其独特的特点和优势。
·2025-02-04 14:28

分布式消息队列ActiveMQ RabbitMQ RocketMQ Kafka

目录1、消息队列的主要的应用场景：解耦异步削峰（1）解耦（2）异步（3）削峰2、使用消息队列的缺点3、消息队列选型4、保证消息队列的高可用5、保证消息不被重复消费6、保证消费的可靠性传输(1）生产者丢失数据(2)消息队列丢失数据(3）消费者丢数据6、那么下次消费的时候offset就从7开始。7、保证消息的顺序性8、MQTT与重量级消息队列的区别1、消息队列的主要的应用场景：解耦异步削峰（1）解耦传
zxm8513·2025-02-04 12:23

基于Kamailio、MySQL、Redis、Gin、Vue.js的微服务架构

这种方案通常被称为分布式部署或微服务架构。以下是针对您的VoIP管理系统（基于Kamailio、MySQL、Redis、Gin、Vue.js）的详细分析和建议。
狂爱代码的码农·2025-02-04 11:12

【分布式】服务端高并发分布式结构演进

文章目录1.单机架构1.1单机架构的优缺点1.2单机架构的典型应用场景2.应用与数据分离架构2.1应用与数据分离架构的优缺点2.2应用与数据分离架构的典型应用场景3.应用服务集群架构3.1应用服务集群架构的优缺点3.2负载均衡技术3.3应用服务集群架构的典型应用场景4.读写分离/主从分离架构4.1读写分离架构的优缺点4.2读写分离架构的典型应用场景5.引入缓存——冷热分离架构5.1缓存架构的优缺点
阿猿收手吧！·2025-02-04 10:36

AI学习指南HuggingFace篇-高级优化技巧

本文将介绍混合精度训练、分布式训练等高级优化技巧，并探讨如何通过这些方法提升模型训练效率。
俞兆鹏·2025-02-04 10:35

Hadoop3.2.1安装-单机模式和伪分布式模式

Hadoop入门篇概述Hadoop是使用Java编写的，是为了解决大数据场景下的两大问题，分布式存储和分布式处理而诞生的，包含很多组件、套件。需要运行在Linux系统下。
花菜回锅肉·2025-02-04 07:13

Spark3.1.2单机安装部署

Spark专注于数据的处理分析，而数据的存储还是要借助于Hadoop分布式文件系统HDFS等来实现。大数据问题场景包含以下三种：复杂的批量数据处理基于历史数据的交
花菜回锅肉·2025-02-04 07:43

Elixir语言的物联网

在众多编程语言中，Elixir以其并发、可靠性和分布式特性，逐渐成为构建物联网应用的一个优秀选择。本文将详细探讨Elixir在物联网项目中的应用，包
蔺曲韵·2025-02-04 07:42

Elixir语言的安全开发

Elixir，作为一种现代化的函数式编程语言，以其高并发、分布式和容错的特点，迅速获得了开发者的青睐。然而，尽管Elixir语言本身带来了许多安全优势，安全开发仍然是一个复杂而关键的过程。
沈韶珺·2025-02-04 07:10

分布式id-雪花算法

通常我们在生成用户id或者订单id时都需要一个全局唯一的id来唯一标识，在单体情况下我们可以使用UUID、时间戳、数据库自增id而在分布式情况下，需要考虑大量服务器之间生成的id全局唯一，所以就使用了今天要介绍的雪花算法来生成分布式下的全局
精通HelloWorld!·2025-02-04 06:09

Spring Boot 2 快速教程：WebFlux 集成 Mongodb（三）

官网：https://www.mongodb.com/MongoDB是一个基于分布式文件存储的数据库，由C++语言编写，旨在为WEB应用提供可扩展的高性能数据存储解决方案。
星如雨ｸﾞｯ!(๑•̀ㅂ•́)و✧·2025-02-04 06:09

IM 即时通讯系统-44-仿QQ即时通讯系统服务端

实现的IM服务端,提供客户端jar包,可集成自己的登录系统IM即时通讯系统-43-简单的仿QQ聊天安卓APPIM即时通讯系统-44-仿QQ即时通讯系统服务端IM即时通讯系统-45-merua0oo0IM分布式聊天系统
老马啸西风·2025-02-04 06:34

IM 即时通讯系统-42-基于netty实现的IM服务端,提供客户端jar包,可集成自己的登录系统

实现的IM服务端,提供客户端jar包,可集成自己的登录系统IM即时通讯系统-43-简单的仿QQ聊天安卓APPIM即时通讯系统-44-仿QQ即时通讯系统服务端IM即时通讯系统-45-merua0oo0IM分布式聊天系统
老马啸西风·2025-02-04 06:04

IM 即时通讯系统-47-beardlessCat IM 使用netty开发分布式Im，提供分布netty集群解决方案

实现的IM服务端,提供客户端jar包,可集成自己的登录系统IM即时通讯系统-43-简单的仿QQ聊天安卓APPIM即时通讯系统-44-仿QQ即时通讯系统服务端IM即时通讯系统-45-merua0oo0IM分布式聊天系统
老马啸西风·2025-02-04 06:01

构建由局部观测、分布式决策与全局奖励协同作用的多智能体强化学习系统

1.问题背景与建模：从自治调度到POMDP1.1自治调度问题与多智能体环境在实际应用中（例如生产调度、资源分配等），多个自治决策单元（智能体）需要在一个共享的环境中协同工作，每个智能体只能获取局部信息（例如自身状态或部分环境观测），但它们的行为会相互影响。传统的单智能体强化学习（RL）模型难以直接适用于这种场景，因此需要多智能体强化学习（MARL）的方法。1.2将问题转化为部分可观测马尔可夫决策过
由数入道·2025-02-04 05:30

Flink Standalone集群模式安装部署全攻略

FlinkStandalone集群模式安装部署全攻略一、引言Flink作为一款强大的分布式流处理和批处理框架，在大数据领域有着广泛的应用。
自节码·2025-02-04 04:17

【Flink】集群环境下的搭建（Standalone 模式）

前言Flink是目前开源社区中唯一一套集高吞吐、低延迟、高性能三者于一身的分布式流式数据处理框架，支持多种安装部署模式。
つ 情绪·2025-02-04 03:46

鸿蒙系统未来发展方向

鸿蒙系统未来有以下几大发展方向：技术深化与优化内核性能提升：持续优化鸿蒙内核，进一步提高系统的运行速度、稳定性和资源利用率，降低功耗，以满足不断增长的多设备互联和复杂应用场景的需求24.分布式技术拓展：
月栖梧_teachjunkie·2025-02-04 01:26

技术速递｜测试和 .NET Aspire 入门

在这篇博文中，我们将探讨如何开始在.NETAspire中进行测试，以便我们能够测试分布式应用程序中的各种场景。
微软Reactor·2025-02-04 01:55

Python结合pyhdfs模块操作HDFS分布式文件系统

使用python操作hdfs本身并不难，只不过是把对应的shell功能“翻译”成高级语言，我这里选用的是hdfs，下边的实例都是基于hdfs包进行的。1：安装由于我的是windows环境（linux其实也一样），只要有pip或者setup_install安装起来都是很方便的pipinstallhdfs2：Client——创建集群连接​fromhdfsimport*client=Client("ht
唐僧不爱八戒·2025-02-04 00:50

算法基础——一致性

引入最早研究一致性的场景既不是大数据领域，也不是分布式系统，而是多路处理器。
黄雪超·2025-02-03 23:10

go分布式锁

go-redis配置packageconfigimport("context""fmt""github.com/redis/go-redis/v9")varCtx=context.Background()varRdb*redis.Clientfuncinit(){Rdb=redis.NewClient(&redis.Options{Addr:"localhost:6379",//Redis服务器地
alsarkc·2025-02-03 19:10

三十四、领域驱动设计DDD（DDD 与微服务架构结合）

在现代企业应用中，领域驱动设计（DDD）与微服务架构的结合被认为是应对复杂业务系统和大规模分布式系统的有效方法。
伯牙碎琴·2025-02-03 17:20

华为余承东鸿蒙系统随时可以上线,华为发布鸿蒙系统，余承东称随时可替换安卓...

华为消费者业务CEO余承东在发布会现场表示，这是基于微内核的全场景分布式OS系统，这也是世界第一个基于微内核的OS。
温列来·2025-02-03 17:49

k8s网络架构图_kubernetes搭建高可用集群架构图

如果你在其他云平台上搭建，可以利用云平台上的负载均衡器：例如aws采用elb;aliyun...参考：Kubernetes采用主从分布式架构，包括MasterNode(主节点)、WorkerNode(从节点或工作节点
沈千越·2025-02-03 17:49

分布式架构中的事务管理：需要了解的常见解决方案

前言在现代互联网应用中，分布式架构越来越常见。随着系统规模的扩大，越来越多的业务和数据被分布到不同的服务和数据库中。虽然分布式架构带来了诸多优势，但也引入了一个新的问题：分布式事务。
四七伵·2025-02-03 16:12

基于Stackelberg博弈的光伏用户群优化定价模型(Matlab代码实现）

然而,在现有的分布式光伏上网政策下,用户间的共享水平很低。为了提高用户间光伏电量共享水平,根据用户的用电特性,构建了光伏用
然哥爱编程·2025-02-03 15:05

分布式之消息中间件

分布式之消息中间件目录*1.消息中间件概述*2.消息中间件使用场景*3.消息中间件原理*4.消息中间件传递模式  *4.1点对点模式（PTP）  *4.2发布-订阅模型（Pub/Sub）1.消息中间件概述
CatalpaFlat·2025-02-03 15:30

HarmonyOS开发：生命周期详解

目录前言生命周期的概念HarmonyOS生命周期最后前言随着移动端操作系统的多样化发展，HarmonyOS作为华为推出的一款面向全场景的分布式操作系统，受到了业内外的广泛关注。
三掌柜666·2025-02-03 15:30

Hive 分区和分桶总结

分区表实际上就是对应一个在HDFS(或者是其他分布式文件系统)文
Stray_Lambs·2025-02-03 14:23

基于Stackelberg博弈的光伏用户群优化定价模型(Matlab代码实现）

然而,在现有的分布式光伏上网政策下,用户间的共享水平很低。为了提高用户间光伏电量共享水平,根据用户的用电特性,构建了光伏用
砌墙_2301·2025-02-03 14:52

深度学习篇---张量&数据流动处理

文章目录前言第一部分：张量张量的基本概念1.维度标量（0维）向量（1维）矩阵（2维）三维张量2.形状张量运算1.基本运算加法减法乘法除法2.广播3.变形4.转置5.切片6.拼接7.矩阵分解8.梯度运算：深度学习框架中的张量运算1.自动求导2.硬件加速3.高度优化第二部分：数据流动与处理1.磁盘（硬盘或固态硬盘）读取数据写入数据2.内存（RAM）加载程序和数据数据交换3.缓存CPU缓存磁盘缓存4.数
Ronin-Lotus·2025-02-03 13:46

Java RabbitMQ 的作用是什么? 使用场景有哪些？有哪些优缺点?

RabbitMQ是一个开源的消息队列系统，用于在分布式系统中传递消息。它实现了AMQP（AdvancedMessageQueuingProtocol）协议，为应用提供了可靠的消息传递机制。
学习资源网·2025-02-03 12:08

Windows下Go语言环境搭建和使用

可以用于系统监控、容器技术(Docker)、大数据、存储技术、分布式系统(HyperledgerFabric)、消息系统(Kafka客户端)、服务器管理、安全工具、Web工具等。
go语言学习基地·2025-02-03 11:36

重磅|粉丝福利|专栏1.8|配电网|分布式能源的选址与定容系列

鸟语花香迎接黎明的曙光繁星坠落，夜色绵长盛装星空的宁静岁月如歌，时光飞逝2024留下足迹，2025将开启新篇章让我们心怀希望，展开美丽的画卷2025年，愿我们梦想绽放，心灵自由舒展以下全部资源文章末尾下载专栏1.8配电网、分布式能源的选址与定容系列
Ps.729·2025-02-03 11:31

HBase的原理

一、什么是HBaseHBase是一个分布式，版本化，面向列的数据库，依赖Hadoop和Zookeeper（1）HBase的优点提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统(2)HBase表的特性
会探索的小学生·2025-02-03 11:30

1、架构-服务架构演进史

架构演进史1.原始分布式时代这个阶段发生在20世纪70年代末到80年代初，当时的计算机科学从以大型机为主转向以微型机为主。
大树~~·2025-02-03 09:10

简述Apache Airflow：分布式工作流调度与管理利器

的安装与配置环境要求安装步骤Airflow示例项目简单任务调度使用PythonOperator实现数据处理任务集成外部工具：MySQL和S3Airflow的高级功能自定义Operators使用Sensors实现动态依赖分布式调度
心上之秋·2025-02-03 09:10
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他