【Distributed】

The Log: What every software engineer should know about real-time data's unifying abstraction

年的日志与流处理架构，bolg中涉及到了大量的参考资料，与我的架构类似，但是基于JAVAHadoop生态，并用Kafka作为日志底层文章地址：https://engineering.linkedin.com/distributed-systems
doubeye·2023-11-30 00:23

asp.net core webpi 结合jwt实现登录鉴权

1.安装jwtnuget包2.配置jwt信息builder.Services.AddDistributedMemoryCache();varkey=Encoding.ASCII.GetBytes("your_secret_key_hereyour_secret_key_hereyour_secret_key_hereyour_secret_key_hereyour_secret_key_herey
彭小彭~·2023-11-29 09:07

torch.distributed.elastic.multiprocessing.api: [ERROR] failed (exitcode: -7)

在docker中运行时，由于配置的共享内存不足导致。新建docker时，shm-size设个大点的值。不设置时，默认值时64M
huahuahuahhhh·2023-11-28 19:27

区块链技术最好的应用场景会是灵活用工？

互联网成就了一大批大企业，区块链将成就一大批微组织区块链技术来源于社区，诞生于分布式自治组织（DistributedAutonomousOrganization，DAO）。
星福通·2023-11-28 19:40

Doris-导入示例（二十五）

）Doris中创建表createtablestudent_result(idint,namevarchar(50),ageint,scoredecimal(10,4))DUPLICATEKEY(id)DISTRIBUTEDBYHASH
玖玖1704·2023-11-28 16:18

HDFS-实验指导书 -更新

Hadoop02核心介绍1.HDFSHDFS（HadoopDistributedFileSystem）是一个ApacheSoftwareFoundation项目,是ApacheHadoop项目的一个子项目
撒娇的猫·2023-11-28 16:42

消息队列Kafka介绍

介绍ApacheKafka是一个分布式流平台【distributedstreamingplatform】。这到底是什么意思呢？
梅坞茶坊·2023-11-28 11:11

训练DiT报错ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: -9) local_rank: 0

nproc_per_node=8train.py--modelDiT-XL/2--data-path/home/pansiyuan/jupyter/qianyu/data遇到报错1完整报错2报错关键位置ERROR:torch.distributed.elastic.multiprocessing.api
计算机视觉-Archer·2023-11-28 03:15

GO七天开发挑战：7天实现Web框架-Gee（day 2）

学习资料来自：GitHub-geektutu/7days-golang:7daysgolangprogramsfromscratch(webframeworkGee,distributedcacheGeeCache
kkkkkkkkk777777777·2023-11-27 06:47

【漏洞复现】OpenTSDB 2.4.0 命令注入(CVE-2020-35476)漏洞复现

漏洞描述官方文档这样描述：OpenTSDBisadistributed,scalableTimeSeriesDatabase(TSDB)writtenontopofHBase；翻译过来就是，基于Hbase
丢了少年失了心1·2023-11-27 05:34

详细解答T-SNE程序中from sklearn.manifold import TSNE的数据设置，包括输入数据，绘制颜色的参数设置，代码复制可用！！

文章目录前言——TSNE是t-DistributedStochasticNeighborEmbedding的缩写1、可运行的T-SNE程序2.实验结果3、针对上述程序我们详细分析T-SNE的使用方法3.1
小桥流水---人工智能·2023-11-27 03:13

Project DESFT 白皮书中文版——应用于普惠金融的可信数字凭证解决方案

1.概述ProjectDESFT是由Solv基金会与zCloakNetwork联合设计孵化，以跨境贸易和金融服务为场景的分布式可信数字凭证解决方案（DistributedTrustedDigitalCredentialSolution
myan·2023-11-27 03:28

基于Hadoop架构的多重分布式BP神经网络的短期负荷预测方法

架构的多重分布式BP神经网络的短期负荷预测方法.docx基于Hadoop架构的多重分布式BP神经网络的短期负荷预测方法"AShort-termLoadForecastingMethodbasedonMulti-distributedBPNeuralNetworkArchitecturewithHadoopFramework
桃宝护卫队·2023-11-27 01:25

3W法（what，why，how）入门 Spring Cloud

SpringCloudprovidestoolsfordeveloperstoquicklybuildsomeofthecommonpatternsindistributedsys
tyronchen·2023-11-26 19:17

RedLock底层源码分析

RedLock底层源码分析一、Redlock红锁算法https://redis.io/docs/manual/patterns/distributed-locks/官网说明1、为什么要学习这个？
Fiercezm·2023-11-26 18:27

分布式 SQL：数据库分片的替代方案——MariaDB Xpand

分布式SQL：数据库分片的替代方案——MariaDBXpand本文译自：DistributedSQL:AnAlternativetoDatabaseSharding分布式SQL数据库是从头开始设计的，几乎可以线性扩展
寒水馨·2023-11-26 10:34

防御DDoS你做对了吗？这三点告诉你成功的关键在哪里

这三点告诉你成功的关键在哪里DDoS（DistributedDenialofService，分布式拒绝服务）攻击是一种通过很多
Hik__c484·2023-11-26 08:35

RFC 文档（501-1000）

-0501摆脱混乱的“免费文件传输”(Un-muddling"freefiletransfer")RFC-0503套接字编号表(Socketnumberlist)RFC-0504分布式资源研讨会公告(Distributedresourcesworkshopannouncement
苍澜如水·2023-11-26 06:43

游戏被攻击了怎么办

最常见的当属于DDOS攻击（DistributedDenialofService）即分布式阻断服务。由于容易实施、难以防范、难以追踪等而成为最难解决的网络安全问题之一，给网络社会带来了极大的危害。
德迅云安全-小潘·2023-11-26 05:44

Hadoop

1.请说下HDFS读写流程；HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，
烈火138·2023-11-26 05:34

Docker swarm 集群

Swarm默认内置有加密的分布式集群存储（encrypteddistributedclusterstore）、加密网络（En
我就是我，不一样的烟火·2023-11-25 21:13

分布式定时任务系列1：XXL-job安装

xxl-job文档地址官方地址：分布式任务调度平台XXL-JOB下载地址：GitHub-xuxueli/xxl-job:Adistributedtaskschedulingframework.
kobe_t·2023-11-25 17:55

分布式计算 第五章 大数据多机计算：Hadoop

文章目录分布式计算第五章大数据多机计算：Hadoop5.2大数据和分布式的基础概念5.2.1从硬件思考大数据5.1.2从软件角度看大数据5.1.3分布式DISTRIBUTED5.1.4谷歌“三驾马车”5.1.5
一只大小菜·2023-11-25 14:42

玩转人工智能（11）使用Pyspark上手机器学习

文件系统HDFSHadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。
Moscar_M·2023-11-25 07:10

大数据组件图谱

大数据组件图谱文件系统数据存储内存技术数据搜集消息系统数据处理查询引擎分析和报告工具调度与管理服务机器学习开发平台文件系统HDFSHadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统
饮水思源09·2023-11-25 07:40

6.0 柔性事务 ：TCC两阶段补偿型

关于TCC（Try-Confirm-Cancel）的概念，最早是由PatHelland于2007年发表的一篇名为《LifebeyondDistributedTransactions:anApostate
逗逼程序员·2023-11-24 19:10

[Microsoft/AI-System]微软AI系统Lab6，Lab7+Lecture7+Lecture8

SchedulingandresourcemanagementsystemLecture8:InferencesystemsLab6：Schedulingandresourcemanagementsystem实验6确实是做不了，卑微的环境暂时凑不齐三台有GPU的服务器Lab7：Distributedtraining
sagfugetabf·2023-11-24 16:20

Doris中物化视图-案例（二十）

创建一个Base表createtablesales_records(record_idint,seller_idint,store_idint,sale_datedate,sale_amtbigint)distributedbyhash
玖玖1704·2023-11-24 16:01

SpringBoot系列之集成Dubbo示例教程

一、分布式基本理论1.1、分布式基本定义《分布式系统原理与范型》定义：“分布式系统是若干独立计算机的集合，这些计算机对于用户来说就像单个相关系统”分布式系统（distributedsystem）是建立在网络之上的软件系统
smileNicky·2023-11-24 11:36

简单测试能够发现分布式系统中最严重的问题

这篇文章主要是记录阅读下面论文的观点以及自己的感受论文：SimpleTestingCanPreventMostCriticalFailures:AnAnalysisofProductionFailuresinDistributedData-IntensiveSystems
leeliang·2023-11-24 10:00

Kafka应用总结

关于kafkaApacheKafkaisanopen-sourcedistributedeventstreamingplatformusedbythousandsofcompaniesforhigh-performancedatapipelines
筑梦之队·2023-11-24 07:19

spark算子总结

spark算子总结RDD介绍rdd是（resilientdistributedataset）弹性分布式数据集代表一个不可变，可分区，里面的元素可并行计算的集合对rdd的改动，只能通过转换算子，转换成一个新的形态的
Cciccd·2023-11-24 07:28

HDFS小结01

首先我们来认识一下HDFS，HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。
liuzx32·2023-11-24 01:30

【Redisson】基于自定义注解的Redisson分布式锁实现

目标使用@DistributedLock即可实现获取锁，判断锁，处理完成后释放锁的
丶只有影子·2023-11-23 23:15

最优孤岛划分下含分布式电源配电网可靠性评估（Matlab代码实现）

目录1概述2运行结果3参考文献4Matlab代码实现1概述文献来源：随着智能配电网的建设，各种信息和通信技术、电力电子技术和各种控制设备和分布式电源(distributedgencration，DG)广泛的应用和接入配电系统
荔枝科研社·2023-11-23 16:06

在T-SQL语句中访问远程数据库(openrowset/opendatasource/openquery)

1、启用AdHocDistributedQueries在使用openrowset/opendatasource前搜先要启用AdHocDistributedQueries服务，因为这个服务不安全所以SqlServer
weixin_33916256·2023-11-23 12:08

spark-RDD编程 持久化，常用算子总结

spark-RDD编程持久化，常用算子总结RDD编程RDD基础RDD：弹性分布式数据集（ResilientDistributedDataset），是spark对数据的核心抽象，spark中RDD其实就是不可变的分布式的元素集合
qq_38558851·2023-11-23 12:35

sparkRDD操作，转换算子和行动算子

RDD介绍在Spark中，RDD代表弹性分布式数据集（ResilientDistributedDataset），是一种可以并行计算的、不可变的分布式数据结构。
严同学正在努力·2023-11-23 12:02

c++ hiredis封装

*DistributedunderGPLlicense.*----------------------------------------------
۞边城浪子·2023-11-23 07:35

Hadoop中HDFS文件管理系统的使用

1概述HDFS（HadoopDistributedFileSystem）是一个文件系统，用于存储文件，通过目录树来定位文件；随着数据量激增，单个操作系统无法对海量数据进行存储，因此将数据分散到多个系统中
Vic·Tory·2023-11-23 06:54

XA分布式事务

概念关键词概念XAXA是指X/OpenDistributedTransactionProcessing（DTP）协议规范中定义的一种事务处理标准。
shumeizwb·2023-11-23 06:04

超详细逐步骤演示Pytorch深度学习多GPU并行训练全过程

打开AnacandaPowershellPrompt或AnacondaPrompt：2.激活自己的虚拟环境并打开对应的项目文件夹：3.输入多GPU启动指令四、一些报错及处理1.RuntimeError:Distributedpackagedoesn
撑住我爱代码·2023-11-23 06:15

PyTorch多GPU训练时同步梯度是mean还是sum?

PyTorch通过两种方式可以进行多GPU训练:DataParallel,DistributedDataParallel.当使用DataParallel的时候,梯度的计算结果和在单卡上跑是一样的,对每个数据计算出来的梯度进行累加
月夜长影·2023-11-23 06:35

深度学习Pytorch代码相关总结

1、多GPU训练Pytorch分布式训练DataParallel和DistributedDataParallel详解_ncllbackend_九点澡堂子的博客-CSDN博客关于DDP单卡多GPU训练：为防止出现
lybllybl·2023-11-23 04:21

【论文笔记】Recent Developments in Parallel and Distributed Computing for Remotely Sensed Big Data Proc...

题目：用于遥感大数据处理的并行和分布式计算的最新进展摘要本文对处理遥感大数据的最先进方法进行了调查，并深入研究了各种流行的高性能计算平台上现有的并行实现。这些方法的优缺点在功能、可扩展性、可靠性和易用性方面进行了讨论。在现有的分布式计算平台中，云计算由于其先进的高性能和面向服务的计算能力，是目前对遥感大数据进行高效、可扩展处理最有前途的解决方案。我们进一步深入分析了寻求利用遥感大数据分布式处理的并
吃核桃用手夹·2023-11-22 06:12

什么是DDoS攻击？

名词解释DDoS：DistributedDenialofService，即分布式拒绝服务攻击。
终结者ASDF·2023-11-21 17:04

Creating Higher-level Constructs with ZooKeeper: A Comprehensive Guide

Introduction:ZooKeeper,adistributedcoordinationservice,hasevolvedintoapowerfultoolforbuildingcomplexdistributedsystems.Whileitsprimaryfunctionistoprovidearobustplatformforbuildingcoordinationprimitive
卢延吉·2023-11-21 16:06

如何给面试官解释什么是分布式和集群？

分布式（distributed）是指在多台不同的服务器中部署不同的服务模块，通过远程调用协同工作，对外提供服务。
什么什么啊啊啊·2023-11-21 14:09

HBase RegionServer宕机恢复三部曲

DistributedLogReplay解决了哪些问题？
尼小摩·2023-11-21 14:33

Spark---核心介绍

一、Spark核心1、RDD1）、概念：RDD（ResilientDistributedDatest），弹性分布式数据集。
30岁老阿姨·2023-11-21 13:45
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他