分布式演变第64页

【ELK】分布式日志解决方案

直入主题docker-comose搭建elk创建相关目录总的结构图如下docker-compose.ymlversion:'2'services:elasticsearch:image:elasticsearch:7.6.2container_name:elasticsearchprivileged:trueuser:rootenvironment:-cluster.name=elasticsea

总在寒冷清秋·2024-01-28 02:07

运维平台之应用日志解决方案--ELK

开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成：1）ElasticSearch是一个基于Lucene的开源分布式搜索服务器

四月天03·2024-01-28 02:37

ELK分布式日志解决方案

一、简介ELK，包含三款产品，Elasticsearch、Logstash、Kibana，可在项目中作为日志框架使用。项目中框架整合所需技术：在整个方案中，各组件的作用如下：应用服务生产日志，通过Logger产生日志并输出。Logstash收集日志，通过http接收应用服务产生的日志。Elasticsearch为日志提供全文检索功能。kibana为Elasticsearch提供图形化界面。二、安装

一半@java·2024-01-28 02:37

3.2.6 手把手实现分布式锁

手把手实现分布式锁进程中的锁1.互斥锁2.自旋锁3.读写锁4.信号量5.条件变量6.原子变量以及内存屏障进程间通信1.pipe2.FIFO3.信号量4.信号5.消息队列6.共享内存7.socket1.条件变量为什么与互斥锁协同条件的判断是一个临界资源

高二的笔记·2024-01-28 01:23

我的隐私计算学习——联邦学习（4）

（六）横向联邦学习—梯度更新聚合云端数据中心的分布式机器学习可以有成百上千的节点，对比横向联邦学习有一定的借鉴意义，都存在着节点更新的同步与异步的问题，节点梯度更新之后的问题、节点掉线的问题、数据的NonIID

Atara8088·2024-01-28 00:54

05-TiDB 之 HTAP 快速上手

行存OLTP，列存OLAPHTAP数据一致性：作为一个分布式事务型的键值数据库，TiKV提供了满足ACID约束的分布式事务接口，并通过Raft协议保证了多副本数据一致性以及高可用。

xcg340123·2024-01-28 00:53

区块链中分叉机制

任何协议的改变都是代价巨大的，因为全网那么多节点，有的保守有的激进，任何一个提议的提出，不同的节点一定会有不同的意见，这个就是分布式共识难达成的原因。

林犀居士·2024-01-28 00:32

朗致集团面试总结

第一道题是实现链表，然后逐渐演变成二叉树，最后给二叉树赋值，顺序是从上到下，从左到右。我当时写的时候有一处写错了，时间紧迫实在没及时找到问题所在。

skyshandianxia·2024-01-27 23:43

如何检查Post body并作出响应？

AkamaiEdgeWorkers是一个规模庞大的分布式无服务器网络，可以帮助客户在边缘处编写和部署自定义代码，而无需考虑基础架构或编程语言等繁琐事项。

Akamai中国·2024-01-27 23:38

J9数字论：DAO组织的组成形式是怎样的？

DAO的特点分布式与去中心化DAO中没有中心节点或分层管理结构。它通过网络节点间自底向上的交互、竞争和协作来实现组织目标。

J9说数字·2024-01-27 23:01

数据库软考知识

分布式数据库透明性封锁加上共享锁之后只能加共享锁，加上排他锁之后，啥锁都不能加。分布式数据库特性伪传递定理SQL函数定义，有点冷来了奥，更冷存储过程很重要，下午第二大题也是数据库

抹山微云筠曦·2024-01-27 23:57

Hadoop-分布式

分布式分步+并行处理+汇总结果Hadoop分布式一台计算机存储不了了，也计算不了了Hadoop把多台计算机资源（存储资源：硬盘；计算资源：CPU，内存）连接在一起，形成集群输入文件，拆分成块，多个节点存储计算任务

日月交辉·2024-01-27 23:48

用户行为数据采集

Flume——Hadoop——VMVM环境准备安装JDK安装HadoopHadoop运行模式本地模式伪分布式完全分布式集群启动组件逐一启动。模块启动

日月交辉·2024-01-27 23:18

asp按钮跳转页面代码_基于ASP.NET Core 3.0快速搭建Razor Pages Web应用

对于希望扩大类库的受众平台，或者希望在分布式应用程序的其他领域使用相同代码的开发人员来说

weixin_39541044·2024-01-27 23:46

区块链只是一个昂贵和缓慢的数据库

区块链分布式账本技术(DLT)已经被吹捧成了一剂包治百病的良药，从支付处理和供应链跟踪到数字身份，再到版权保护，似乎当今世界几乎所有的交易问题都可以从中找到答案。

xykh·2024-01-27 23:37

Spark-core

SparkCore中还包含了对弹性分布式数据集的APISparkSQL可以使用sql结构化语句来查询数据，支持多种数据源，hive，json等SparkStreaming是Spark对

luckboy0000·2024-01-27 23:12

下一代货币，基于区块链架构上的，你知道多少？

货币的演变人类通过多种形式来表达“货币”这一概念。无论是大自然的实物，还是人类的虚拟数据，货币作为链接一切的交易媒介，让整个世界紧密相连，从贝壳到比特币，货币的进化脚步从未停止过。

心态区块链·2024-01-27 22:25

2020-06-25

认识GitGit是一个开源的分布式版本控制系统，可以有效、高速地处理从很小到非常大的项目版本管理。Git十分适合分布式开发。

实用青年·2024-01-27 22:53

清兴明亡，中国是进步了还是倒退了？只有一点清朝贡献巨大

在这个制度下，皇帝权力与内阁权力互相牵制，不过后来也慢慢演变成了皇帝要不回行政权，只需要做最高决议者，有点被架空，但是皇帝依然掌握所有大臣的生杀大权，

a1e97cf796be·2024-01-27 22:58

JVM系列-9.性能调优

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话

爱吃芝士的土豆倪·2024-01-27 21:19

合同网协议

该协议模拟人类商业活动中的招标-投标-中标过程，通过节点之间的招投标机制进行任务分配，使系统以较低的代价、较高的质量完成分布式任务。是一种分布式任务分配方法？

酸酸甜甜我最爱·2024-01-27 21:12

K8S的安全机制

安全机制：K8S的安全机制，分布式集群管理工具，就是容器编排安全机制的核心：APISERVER作为整个集群内部通信的中介，也是外部控制的入口。

91888888·2024-01-27 21:59

未来区块链发展将是主流

区块链说白就是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的一种新型应用模式。

币圈姚姐xi·2024-01-27 21:40

etcd技术解析：构建高可用分布式系统的利器

1.引言随着云原生技术的兴起，分布式系统的构建变得愈发重要。etcd作为一个高可用的分布式键值存储系统，在这个领域发挥着至关重要的作用。

Memory_2020·2024-01-27 20:38

什么是RPC？RPC框架dubbo的核心流程

在单体应用中，各模块间的调用是通过编程语言级别的方法函数来实现，但分布式系统运行在多台机器上，一般来说，每个服务实例都是一个进程，服务间必须使用进程间通信机制来交互，而常见的通信协议主要有RPC和REST

废柴程序员·2024-01-27 20:35

Datawhale 组队学习之大模型理论基础 Task7 分布式训练

第8章分布式训练8.1为什么分布式训练越来越流行近年来，模型规模越来越大，对硬件（算力、内存）的发展提出要求。因为内存墙的存在，单一设持续提高芯片的集成越来越困难，难以跟上模型扩大的需求。

AIzealot无·2024-01-27 19:00

大语言模型分布式训练技术原理

分布式训练技术原理数据并行FSDPFSDP算法是由来自DeepSpeed的ZeroRedundancyOptimizer技术驱动的，但经过修改的设计和实现与PyTorch的其他组件保持一致。

三更科技公社·2024-01-27 19:52

2 分 31 秒，腾讯云创造 128 卡训练 ImageNet 新记录

刷新世界纪录：2分31秒完成ImageNet训练基于腾讯公有云25Gbps的VPC网络环境，使用128块V100，借助Light大规模分布式多机多卡训练框架，在2分31秒内训练ImageNet28个epoch

视学算法·2024-01-27 19:19

数据中心大型AI模型所需的网络需求

同时，与传统模型相比较，大型AI模型规模和性能的演变也对训练所需网络环境提出了全新的挑战。为了适应大规模训练集群中高效分布式计算的需求，大

audrey-luo·2024-01-27 19:13

redis主从复制

分布式系统涉及到一个非常关键的问题，就是单点问题，如果某一个服务器程序，只有一个节点，也就是说只是搞一个物理服务器来部署这个服务器程序，就会出现以下问题1)可用性问题:如果这个机器挂了，意味着服务器就中断了

写个堆排·2024-01-27 19:10

ActiveMQ|01-Classic&Artemis功能介绍

接上篇-MQ消息队列主流消息服务规范及代表产品，ActiveMQ就是基于JMS消息服务规范的消息中间件组件，主要应用在分布式系统架构中，帮助构建高可用、高性能、可伸缩的企业级面向消息服务的系统本文速览：

c_zyer·2024-01-27 18:13

自定义RPC框架

自定义RPC框架分布式架构网络通信分布式的基础问题是远程服务是怎么通讯的。java领域有很多可实现远程通讯的技术，例如：RMI、Hessian、SOAP、ESB和JMS等。

terwer·2024-01-27 18:24

【华为云-云驻共创】数据高速公路—数仓集群通信技术详解

【摘要】本文讲解GaussDB（DWS）集群通信技术如何在大规模集群中承载高并发业务，如何实现高性能分布式通信系统。

IT民工金鱼哥·2024-01-27 18:29

基于Opentracing+Jaeger全链路灰度调用链

当网关和服务在实施全链路分布式灰度发布和路由时候，我们需要一款追踪系统来监控网关和服务走的是哪个灰度组，哪个灰度版本，哪个灰度区域，甚至监控从HttpHeader头部全程传递的灰度规则和路由策略。

程序员泥瓦匠·2024-01-27 18:56

分布式系统互斥性与幂等性问题的分析与解决

传统的集中式系统已经逐渐无法满足要求，分布式系统被使用在更多的场景中。分布式系统由独立的服务器通过网络松散耦合组成。在这个系统中每个服务器都是一台独立的主机，服务器

leiwingqueen·2024-01-27 18:18

Redis的应用问题

目录一、缓存穿透问题描述解决方案缓存击穿问题描述解决方案缓存雪崩问题描述解决方案二、分布式锁问题描述解/决方案：使用redis实现分布式锁优化之设置锁的过期时间优化之UUID防误删LUA脚本保证删除的原子性

北北川.·2024-01-27 17:03

Elasticsearch分布式一致性原理剖析(二)-Meta篇

Elasticsearch分布式一致性原理剖析(二)-Meta篇-知乎本文首发于云栖社区(Elasticsearch分布式一致性原理剖析(二)-Meta篇-博客-云栖社区-阿里云)，由原作者转载。

大叶子不小·2024-01-27 17:30

分布式系统架构的基本原则和实践入门到精通

java架构师、集群、高可用、高性能、高并发、性能优化、Springboot、Redis、ActiveMQ、Nginx、Mycat、Netty、Jvm大型分布式项目实战视频课程内容包含：高级Java架构师包含

dengyulabn8200·2024-01-27 17:27

【分布式架构】什么是企业级分布式应用服务

什么是企业级分布式应用服务企业级分布式应用服务（EnterpriseDistributedApplicationService,简称EDAS）以阿里巴巴中间件团队多款成熟的分布式产品作为核心基础组件，面向企业级云计算市场提供高可用分布式解决方案

开发者社区小百科·2024-01-27 17:27

【分布式架构】企业级分布式应用服务EDAS使用攻略（下篇）

关于企业级分布式应用服务EDAS的指南：企业级分布式应用服务EDAS使用攻略（内容主要讲解企业级分布式应用服务EDAS相关技术和使用方法。）

开发者社区小百科·2024-01-27 17:27

抗住千万流量的大型分布式系统架构设计

点击上方“码农突围”，马上关注这里是码农充电第一站，回复“666”，获取一份专属大礼包真爱，请设置“星标”或点个“在看”本文是学习大型分布式网站架构的技术总结。

Ch97CKd·2024-01-27 17:26

【分布式架构】企业级分布式应用服务EDAS使用攻略（上篇）

关于企业级分布式应用服务EDAS的指南：企业级分布式应用服务EDAS使用攻略（内容主要讲解企业级分布式应用服务EDAS相关技术和使用方法。）

开发者社区小百科·2024-01-27 17:26

【分布式技术专题】「分布式技术架构」探索Tomcat集群架构原理和开发分析指南

探索Tomcat技术架构设计模式的奥秘Tomcat集群原理Tomcat集群能带来什么Tomcat集群产生什么问题Tomcat单服务体系架构Tomcat集群"简单版"首先要解决Session共享的问题典型负载均衡策略分析Session管理-SessionSticky粘滞会话：Session管理-Session复制Session管理-基于CookieSession管理-Session服务器Tomcat

洛神灬殇·2024-01-27 17:55

操作系统

能够及时响应随机发生的外部事件，并对外部事件做出快速处理，对来自外部的请求和信号量在限定的时间范围做出响应，实时性和可靠性是其主要特点网络os:面相网络上多用户提供基本的网络操作所需要的功能，如文件共享内存管理和进程任务调度等分布式

Zh1为明天1·2024-01-27 17:55

apache 前30个开源项目

个具有代表性的项目序号项目名称功能描述业务范围活跃度（参考性描述）1ApacheHTTPServer高性能Web服务器提供HTTP服务支持非常活跃2ApacheTomcatJava应用服务器部署JavaWeb应用程序非常活跃3ApacheHadoop分布式存储和计算框架大数据处理非常活跃

临水逸·2024-01-27 17:35

HBase基础知识与架构概述

1.背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable论文设计，并作为Hadoop生态系统的一部分。

OpenChat·2024-01-27 17:31

Apache Pulsar 为滴滴大数据运维带来了哪些收益？

ApachePulsar是Apache软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体。

滴滴技术·2024-01-27 17:58

滴滴基于 Ray 的 XGBoost 大规模分布式训练实践

背景介绍作为机器学习模型的核心代表，XGBoost在滴滴众多策略算法业务场景中发挥着至关重要的作用。因此，保障并持续提升XGBoost模型的离线训练及在线推理稳定性一直是机器学习平台的重点工作。同时，面对多样化的业务场景定制需求和数据规模从万到亿级的跨度，XGBoost的训练效率和灵活性也成为我们需要重点关注的问题。由于平台历史架构原因，平台XGBoost模型训练仍是开源XGBoostOnSpar