《分布式系统》教学大纲

高级分布式系统-第15讲 分布式机器学习--联邦学习

联邦学习两种常见的架构：客户-服务器架构和对等网络架构联邦学习在传统的分布式机器学习基础上的变化。传统的分布式机器学习：在数据中心或计算集群中使用并行训练，因为有高速通信连接，所以通信开销相对很小，计算开销将会占主导地位。联邦学习：通信需要依靠互联网，甚至是无线网络，所以通信代价是占主导地位的。减少通信轮次的方法增加并行度：加入更多的参与方，让它们在通信轮次间各自独立地进行模型训练。增加每一个
十有久诚·2024-01-15 19:31

高级分布式系统-第15讲 分布式机器学习--分布式机器学习算法

分布式机器学习算法按照通信步调，大致可以分为同步算法和异步算法两大类。同步算法下，通信过程中有一个显式的全局同步状态，称之为同步屏障。当工作节点运行到同步屏障，就会进入等待状态，直到其工作节点均运行到同步屏障为止。接下来不同工作节点的信息被聚合并分发回来，然后各个工作节点据此开展下一轮的模型训练。异步算法下，各个工作节点不再需要等待，而是以一个或多个全局服务器为作为中介，实现对全局模型的更新和读取
十有久诚·2024-01-15 19:01

高级分布式系统-第15讲 分布式机器学习--概念与学习框架

分布式机器学习的概念人工智能蓬勃发展的原因：“大”大数据：为人工智能技术的发展奠定了坚实的物质基础。大规模机器学习模型：具备超强的表达能力，可以解决很多难度非常大的学习问题。大规模计算机集群：以GPU集群为主，有着强大的并行度和计算能力，可以使复杂的训练过程变得更加高效。在前所未有的大数据的支撑下，通过庞大的计算机集群，训练大规模的机器学习模型。面临的问题：计算量太大解决方法：以采取基于共享内存
十有久诚·2024-01-15 19:00

高级分布式系统-第15讲 分布式机器学习--神经网络理论

神经网络理论模糊控制在处理数值数据、自学习能力等方面还远没有达到人脑的境界。人工神经网络从另一个角度出发，即从人脑的生理学和心理学着手，通过人工模拟人脑的工作机理来实现机器的部分智能行为。人工神经网络（简称神经网络，NeuralNetwork）是模拟人脑思维方式的数学模型。神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来模拟人类大脑神经网络的结构和行为。神经网络反映了人脑功能的基本特征，
十有久诚·2024-01-15 19:58

使用注解@GrpcService在Spring Boot 中开始使用gRPC

gRPC和@GrpcService注解概述在微服务和分布式系统的世界中，高效和可扩展的通信机制的需求比以往任何时候都更为关键。作为开发人
懒散的猫大王·2024-01-15 19:51

分布式系统的复杂性：如何构建高可用性的架构

1.背景介绍分布式系统的复杂性：如何构建高可用性的架构分布式系统的复杂性是一项重要的技术挑战，尤其是在当今的大数据时代，数据量越来越大，计算能力和存储能力也在不断增长。
OpenChat·2024-01-15 18:35

2019-07-14 CAP理论小结

定义：在一个分布式系统（指互相连接并共享数据的节点的集合）中，当涉及读写操作时，只能保持一致性（Consistence)、可用性（Availability)、分区容错性（PartitionTo
hexm01·2024-01-15 18:32

ActiveMQ 学习笔记

ActiveMQ学习笔记ActiveMQ介绍MQ是消息中间件，是一种在分布式系统中应用程序借以传递消息的媒介，常用的有ActiveMQ，RabbitMQ，kafka。
须臾亦无穷·2024-01-15 16:57

从零到一：设计实现Dubbo分布式服务框架

从零到一：设计实现Dubbo分布式服务框架前言Dubbo是一款高性能的JavaRPC框架，广泛应用于大规模的分布式系统。
一休哥助手·2024-01-15 15:12

高级分布式系统-第11讲 现场总线技术

现场总线概述国际电工委员会制定的国际标准IEC61158对现场总线（fieldbus）的定义是：安装在制造或过程区域的现场装置与控制室内的自动控制装置之间的数字式、串行、多点通信的数据总线。新型的现场总线控制系统突破了DCS系统中通信由专用网络的封闭系统来实现所造成的缺陷，把基于封闭、专用的解决方案变成了基于公开化、标准化的解决方案，即可以把来自不同厂商而遵守同一协议规范的自动化设备，通过现场总线
十有久诚·2024-01-15 13:18

高级分布式系统-第13讲 分布式控制经典理论

模糊控制器模糊控制是以模糊集理论、模糊语言变量和模糊逻辑推理为基础的一种智能控制方法，它是从行为上模仿人的模糊推理和决策过程的一种智能控制方法。该方法首先将操作人员或专家经验编成模糊规则，然后将来自传感器的实时信号模糊化，将模糊化后的信号作为模糊规则的输入，完成模糊推理，将推理后得到的输出量反模糊化之后加到执行器上。模糊控制的起源（1）1965年加利福尼亚大学教授L.AZadeh发表论文《模糊集合
十有久诚·2024-01-15 13:18

高级分布式系统-第12讲 分布式控制经典理论

控制器基础分布式控制系统的设计，是指在给定系统性能指标的条件下，设计出控制器的控制规律和相应的数字控制算法。PID控制器根据偏差的比例（Proportional）、积分（Integral）、微分（Derivative）进行控制（简称PID控制），一种广泛应用于压力、温度、流量、液位等工业控制系统中的控制规律。PID调节的实质：根据输入的偏差信号，按比例、积分、微分的函数关系进行计算，其运算结果用于
十有久诚·2024-01-15 13:48

高级分布式系统-第14讲 分布式控制经典理论

模糊控制模糊控制是一种以模糊集合论、模糊语言变量以及模糊逻辑推理为数学基础的控制方法，它模拟人的思维，构造一种非线性控制，以满足复杂的不确定的过程控制的需要，属于智能控制范畴。由于模糊控制是对人的思维方式和控制经验的模仿，所以在一定程度上可以认为模糊控制方法是一种实现了用计算机推理代替人脑思维的控制方法。模糊控制之所以可以模仿人的思维和经验，是因为人们在描述控制规则时大量的使用模糊概念。模糊控制系
十有久诚·2024-01-15 13:10

基于容器健康检测的系统自动恢复

在分布式系统中，利用健康检查机制来检查服务的可用性，防止其他服务调用时出现异常特别重要，可以帮助运维人员快速的定位问题，而且结合一些容器运维工具可以让容器不健康时自动恢复，增加平台的稳定性和减少宕机时间
乱七八糟谈技术·2024-01-15 13:52

分布式 ID 生成器的解决方案

设计一个分布式环境下的全局唯一的发号器，或者也称分布式ID生成器，需要考虑分布式系统的特点，以及实现全局唯一性、高性能、低延迟等方面的需求。现在通用的做法是以雪花算法为基础。
灸哥漫谈·2024-01-15 11:13

分布式系统中的CAP原理

分布式系统中的CAP原理本文已收录至我的个人网站：程序员波特，主要记录Java相关技术系列教程，共享电子书、Java学习路线、视频教程、简历模板和面试题等学习资源，让想要学习的你，不再迷茫。
程序员波特·2024-01-15 11:20

Sentinel 实现服务降级、熔断与限流（1.8.+ 版）

Sentinel:分布式系统的流量防卫兵。随着微服务
陌守·2024-01-15 10:59

Sentinel 降级、限流、熔断

前言在现代分布式系统中，如何有效地保护系统免受突发流量和故障的影响，是每个开发人员和架构师都需要思考的重要问题。
薛慕昭·2024-01-15 10:53

读《教育的勇气》之小学语文教学中，应避免“中老年气质”

从昨晚到今天，反复读了这一章，对于语文学科教学我有很强烈的兴趣，每次听一节语文课都会在百度上搜索教学设计，了解教学大纲的要求，然后以一个非语文老师的角度思考，如果我来上这节课，我会怎么设计，怎么教，课堂语言注意什么
PEONY丹一·2024-01-15 06:04

杨中科 EFCORE 第三部分 主键

优点:简单;缺点:数据库迁移以及分布式系统中（多数据库合并，会有重复主键值）比较麻烦;并发性能差（大并发情况下，为了保证自增且不重复，会加锁）。long、int等类型主键，默认是自增。
Pual singer·2024-01-15 06:22

多图：深入剖析抗住亿级流量的大型分布式系统架构设计

欢迎关注方志朋的博客，回复”666“获面试宝典图片来源：理想之城本文是学习大型分布式网站架构的技术总结。对架构一个高性能、高可用、可伸缩及可扩展的分布式网站进行了概要性描述，并给出一个架构参考。文中一部分为读书笔记，一部分是个人经验总结，对大型分布式网站架构有较好的参考价值。一、大型分布式网站架构技术1、大型网站的特点用户多，分布广泛大流量，高并发海量数据，服务高可用安全环境恶劣，易受网络攻击功能
公众号:方志朋·2024-01-15 03:06

设计模式——基于容器的分布式系统

当下，我们可以看到类似的革新出现在了分布式系统开发，具体特点如下：基于容器的微服务架构体系日益流行容器天然隔离的属性非常适合作为分布式系统中的基本对象基于面向对象，四人帮基于经验提出和总结了对于一些常见软件设计问题的标准解决方案
老胡的储物柜·2024-01-15 03:36

分布式链路追踪专栏，分布式链路追踪：Skywalking集群管理设计

SkyWalking是一个开源APM系统，包括针对CloudNative体系结构中的分布式系统的监视，跟踪，诊断功能。
架构随笔录·2024-01-14 23:26

两阶段提交与三阶段提交（转）

节点故障事务一致性数据库事务包含：原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）分布式事务:事务的参与者、支持事务的服务器、资源服务器以及事务管理器位于分布式系统的不同节点上
胖虎大哥·2024-01-14 21:42

当 OpenTelemetry 遇上阿里云 Prometheus

OpenTelemetry是CNCF（CloudNativeComputingFoundation）旗下的开源项目，它的目标是在云原生时代成为应用性能监控领域的事实标准，它提供了一套统一的API和SDK，用于生成、收集和处理分布式系统的遥测数据
阿里云云栖号·2024-01-14 21:49

Java--Spring项目生成雪花算法数字（Twitter SnowFlake）

文章目录前言步骤查看结果前言分布式系统常需要全局唯一的数字作为id，且该id要求有序，twitter的SnowFlake解决了这种需求，生成了符合条件的这种数字，本文将提供一个接口获取雪花算法数字。
芝麻馅_·2024-01-14 18:36

高级分布式系统-第7讲 分布式系统的时钟同步

顺序的分类在分布式系统中，顺序关系主要分为以下三类：时间顺序：事件在时间轴上发生的先后关系。无限时刻集组成有向时间轴，时间顺序是通过时刻的顺序体现的。
十有久诚·2024-01-14 17:52

高级分布式系统-第10讲 分布式控制系统

自动化是关于一切人造系统自动、智能、自主、高效和安全运行的科学与技术计算机控制技术是实现自动化的主要方法和手段分布式控制技术是伴随着机器大工业生产而诞生的特殊计算机控制技术计算机控制系统指利用计算机（通常称为工业控制计算机，简称工业控制机）来实现生产过程自动控制的系统。其工作原理如图所示。分布式控制系统分散控制系统（DistributedControlSystem，简称DCS）；集散控制系统（To
十有久诚·2024-01-14 17:52

高级分布式系统-第9讲 实时调度--可调度性分析

调度的目的：分布式实时系统中，很多任务同时尝试访问共享资源（如处理器和网络），调度试图有效地利用这些资源来解决问题，以保证系统是正确的，换句话说是保证系统符合其所有的时间限制。调度的运行可以采取操作系统形式，由操作系统直接控制硬件；也可采用中间件形式，中间件位于操作系统和应用程序之间。调度的定义：针对给定的系统资源和一组实时任务，确定每个任务何时何处执行的整个过程称为调度。实时调度理论中，主要研究
十有久诚·2024-01-14 17:21

高级分布式系统-第9讲 实时调度--静态调度与动态调度

静态调度在静态调度中，任务组的调度表是通过离线计算得出的。在调度表的生成过程中，必须把所有任务的资源、优先级和同步要求考虑进去，并且确保所有的截止时间要求。这个调度表指明了各个任务的运行起始时间，一旦生成就不再变化。在系统运行期间，任务调度器只需要根据这张表在指定的时刻启动相应的任务。静态调度表是一个周期性的、时间触发的进度表。时间轴被分成一系列基本粒度，每个基本粒度被认为是一个基本循环时间（ba
十有久诚·2024-01-14 17:12

hadoop java 创建文件夹 弹出窗口填写文件夹名称

在Hadoop中使用Java创建文件夹时，无法弹出窗口来填写文件夹名称，因为Hadoop是一个分布式系统，运行在多台计算机上，无法直接与用户交互。
酷爱码·2024-01-14 14:16

前端经典案例——购物车，Jquery实现

请登录免费注册我的订单我的品优购品优购会员企业采购关注品优购客户服务网站导航购物车全部商品全选商品单价数量小计操作【5本26.8元】经典儿童文学彩图青少版八十天环游地球中学生语文教学大纲￥12.60
月下绯烟·2024-01-14 10:49

Java操作spark-自定义累加器

如何在这样的分布式系统中实现变量的共写呢？这就要用到累加器简介：累加器
卡卡东~·2024-01-14 09:00

Python使用pyzabbix调用Zabbix API

Python使用pyzabbix调用ZabbixAPIZabbix是一个开源的提供分布式系统监视以及网络监视功能的解决方案。
小斌哥ge·2024-01-14 08:52

谷粒商城-商品服务-品牌管理-阿里云云存储+JSR303数字校验+统一异常处理

阿里云云存储OSS分布式系统上传文件分布式系统上传文件单体应用上传：上传文件到服务器，想获取文件时再向服务器发请求获取文件。
没脑袋的喵·2024-01-14 08:47

ZooKeeper初探：分布式世界的守护者

欢迎来到我的博客，代码的世界里，每一行都是一个故事ZooKeeper初探：分布式世界的守护者前言Zookeeper的概述分布式系统中的角色和作用：Zookeeper的数据模型Znode的概念和层次结构：
一只牛博·2024-01-14 07:53

springcloud sleuth分布式请求链路跟踪

一个由客户端发起的请求在后端系统中会经过多个不同的的服务节点调用来协同产生最后的请求结果，每一个前段请求都会形成一条复杂的分布式服务调用链路，链路中的任何一环出现高延时或错误都会引起整个请求最后的失败.SpringCloudSleuth提供了一套完整的服务跟踪的解决方案，在分布式系统中提供追踪解决方案并且兼容支持了
Sahm5k·2024-01-14 07:52

当下流行的分布式唯一ID生成算法-雪花算法

在分布式系统中，唯一ID的生成对于数据的溯源和分布式环境下的数据管理至关重要。传统的自增长ID或UUID在某些场景下存在一些问题，如性能、不连续等。
Java斌·2024-01-14 06:20

失控之九律

我们所能发现的最有趣的奇迹——生命、智力、进化，全部根植于大型分布式系统中。自下而上的控制当分布式网络中的一切都互相连接起来
太公赢·2024-01-14 03:34

Zookeeper与Kafka基础概念和原理

这里首先介绍下什么是分布式系统，所谓分布式系统就是在不同地域分布的多个服务器，共同组成的一个应用系统来为用户提供服务，在分布式系统中最重要的是进程的调度，这里假设有一个分布在三个
weixin_34198797·2024-01-14 02:18

rockscache：保证与DB最终或强一致性的Redis缓

随着缓存的引入，分布式系统中的一致性问题出现了，因为数据同时存储在两个地方：数据库和Redis。到目前为止，我们看到的所有缓存解决方案，如果没有在应用程序级别引入版本控制，都无法解决数据不一致场景。
极道Jdon·2024-01-14 01:27

java生成唯一有序序列号_分布式系统中唯一ID算法之雪花算法

背景分布式系统中，有一些需要使用全局唯一ID的场景，这种时候为了防止ID冲突可以使用36位的UUID，但是UUID有一些缺点，首先他相对比较长，另外UUID一般是无序的。
weixin_39907526·2024-01-14 01:23

java生成唯一有序序列号_分布式唯一ID的生成方案

高可用既然是服务于分布式系统，为多个服务提供ID服务，访问压力一定很大，所以需要保证高可用。信息安全如果ID是有规律的，就容易被恶意操作，在一些场景下需要ID无规则。
weixin_39647499·2024-01-14 01:53

Redis分布式锁的Java实现之道

一、分布式锁的基本概念在分布式系统中，多个节点可能同时访问和修改共享资源。如果没有适当的同步机制，就会导致数据不一致的问题。而分布式锁就是为了解决这个问题而诞生的。
Adger_mi·2024-01-14 00:37

如何通过内网穿透实现任意浏览器远程访问Linux本地zabbix web管理界面

前言Zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。
_苏沐·2024-01-14 00:04

分布式系统的前世

文章目录前言分布式系统解决了什么问题分布式系统存在什么问题总结前言大家好，我是醉墨居士，我准备和大家浅聊一下分布式系统，分享我一下我的心得体会分布式系统解决了什么问题如果用户的请求压力过于庞大，使单台服务器无法及时处理完用户的请求
醉墨居士·2024-01-14 00:01

分布式系统的三字真经CAP

文章目录前言C（Consistency数据一致性）A（Availability服务可用性）P（PartitionTolerance分区容错性）CAP理论最后前言你好，我是醉墨居士，我一起探索一下分布式系统的三字真经
醉墨居士·2024-01-14 00:31

RabbitMQ 的基本概念

多用于分布式系统之间进行通信。消息队列就是所谓的存放消息的队列。消息队列解决的不是存放消息的队列的⽬的，解决的是通信问题。
伍六七.167·2024-01-14 00:58

分布式事务2PC、3PC

1、概念分布式事务的二阶段提交（Two-PhaseCommit,2PC）和三阶段提交（Three-PhaseCommit,3PC）是用于处理分布式系统中事务一致性的两种不同的协议。
xixingzhe2·2024-01-13 23:42

《请记住：没有也不可能有抽象的学生》读后感

他说：“任何一门学科的任何教学大纲只是包含一定水平和一定范围的知识，而没有包含活生生的儿童。”而不同的儿童要达到这个知识的
惬意小鱼·2024-01-13 23:49
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他