分布式PyTorch

Xline v0.2.0: 一个用于元数据管理的分布式KV存储

Xline是一个基于Curp协议的，用于管理元数据的分布式KV存储。现有的分布式KV存储大多采用Raft共识协议，需要两次RTT才能完成一次请求。
达坦科技DatenLord·2024-09-06 03:35

大厂程序员都会的分布式RPC框架，直接无私打包分享，手慢无

一.概述什么是RPC？远程服务调用官方：一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的思想通俗一点：客户端在不知道调用细节的情况下，调用存在于远程计算机上的某个对象，就像调用本地应用程序中的对象一样。市面上常见的rpc框架：dobbo，springCloud，gRPC...那为什么要有RPC，HTTP不好么？因为RPC和HTTP就不是一个层级的东西，所以严格意义上这两个没有可比
卡卡的Java架构笔记·2024-09-06 02:56

JuiceFS 社区版 v1.2 发布，新增企业级权限管理、平滑升级功能

JuiceFS是为云环境设计的分布式文件系统，支持超过10种元数据引擎和30种以上的数据存储引擎。
Juicedata·2024-09-06 01:24

经验笔记：RPC与高性能NIO框架

RPC与高性能NIO框架的经验笔记引言随着互联网技术的发展，分布式系统逐渐成为了现代软件架构的标准之一。
漆黑的莫莫·2024-09-06 01:21

python分布式集群ray_GitHub - Leesire-Python/jd_spider: 两只蠢萌京东的分布式爬虫.

使用scrapy,scrapy-redis,graphite实现的京东分布式爬虫，以mongodb实现底层存储。分布式实现，解决带宽和性能的瓶颈，提高爬取的效率。
weixin_39781930·2024-09-06 00:17

Nvidia GPU benchmark压力测试工具

一、参考资料使用Pytorch测试cuda设备的性能（单卡或多卡并行）GPU：使用gpu-burn压测GPU二、GPU压力测试方法1.PyTorch方式使用torch.ones测试CUDA设备。
花花少年·2024-09-06 00:13

文章汇总 | 2018

12月RIA便签学习法10月财富最好的定义Spark分布式原理及碰到的三个坑在不断解决问题(矛盾)的过程进步9月《韭菜的自我修养》-股票交易是零和游戏吗?
学习之术·2024-09-05 22:27

Spark基础

一.基础1.RDD机制  1.rdd分布式弹性数据集，简单的理解成⼀种数据结构，是spark框架上的通⽤货币。所有算⼦都是基于rdd来执⾏的，不同的场景会有不同的rdd实现类，但是都可以进⾏互相转换。
Tom无敌宇宙猫·2024-09-05 22:26

【研发日记】Matlab/Simulink技能解锁(八)——分布式仿真

文章目录前言背景分布式仿真使用方式分析和应用总结参考资料前言见《【研发日记】Matlab/Simulink技能解锁(三)——在Stateflow编辑窗口Debug》见《【研发日记】Matlab/Simulink
Mr.Cssust·2024-09-05 21:53

Hadoop组件

以下是每个组件的简短介绍：HBase：一个分布式、面向列的NoSQL数据库，基于GoogleBigTable的设计理念构建。
静听山水·2024-09-05 20:14

GBase 8c 分布式核心技术—CDC数据同步

作为一款分布式数据库，GBase8c可轻松实现例如两地三中心架构的集群异地灾备。GBase8c异地灾备集群间的不同节点采用各自对应的高可用部署方式，两地间采用同步或者异步复制的备份方式。
manhuai2022·2024-09-05 19:11

分布式架构基础-多线程

分布式架构基础-多线程基本概念进程：程序的一次执行过程线程：一个进程产生的多个线程并发：偏重于多个任务交替执行，可用于一个CPU并行：用于多个CPU同时执行任务高并发：通常考验指标为响应时间、吞吐量、每秒查询效率
猿日记·2024-09-05 18:00

腾讯，干掉 Redis 项目，正式开源、太牛逼啦

项目简介Tendis是腾讯互娱CROSDBA团队&腾讯云数据库团队自主设计和研发的分布式高性能KV存储数据库，兼容Redis核心数据结构与接口，可提供大容量、低成本、强持久化的数据库能力，适用于兼容Redis
六月·飞雪·2024-09-05 17:53

Apache Spark简介

Spark的核心概念包括：1.RDD（弹性分布式数据集）：RDD是Spark的基本计算单元，它代表了一个可并行操作的分布式对象集合。RDD可以通过加
不知名的小Q·2024-09-05 17:52

区块链技术

区块链技术是一种去中心化的数据库技术，透过分布式账本的方式，记录和验证数据的交易和交流。
寂然如故·2024-09-05 15:13

springboot整合kafka

Kafka是一个分布式的发布-订阅消息系统，它可以处理大量数据并提供高吞吐量。在本教程中，我们将使用SpringBoot2.7.2和Kafka2.8.1。
##明天·2024-09-05 15:42

1+X云计算运维与开发(中级)实战案例——Kafka集群部署

前言Kafka是一种开源的流处理平台和消息系统，被设计用于构建实时数据管道和流式应用程序，可以处理大规模的实时数据流，并提供高吞吐量、持久性存储和分布式处理能力。
kuuuugua·2024-09-05 15:41

深度学习的发展历程

深度学习的起源在机器学习中，我们经常使用两种方式来表示特征：局部表示（LocalRepresentation）和分布式表示（DistributedRepresentation）。
木亦汐丫·2024-09-05 13:00

Spark

1.核心概念RDD（ResilientDistributedDataset）：RDD是Spark的核心抽象，表示一个分布式的、不变的集合。它提供了对大数据集的容错机制，支持并行操作。
傲雪凌霜，松柏长青·2024-09-05 11:20

Windows系统下的Spark环境配置

一：Spark的介绍ApacheSpark是一个开源的分布式大数据处理引擎，它提供了一整套开发API，包括流计算和机器学习。
eeee~~·2024-09-05 11:19

pyro.optim pyro ppl 概率编程 优化器 pytorch

特别是，它提供了焦光性，用于包装PyTorch优化器并管理动态生成参数的优化器(参见教程SVI第一部分供讨论)。任何自定义优化算法也可以在这里找到。
zhangfeng1133·2024-09-05 11:17

Spring Cloud开发实战

SpringCloud是当今Java开发行业最为流行的分布式开发架构，使用其可以方便的搭建高可用、高性能、分布式的系统服务架构，本课程基于SpringCloudAlibaba的套件进行了实现架构的完整讲解
yootk·2024-09-05 11:47

GIT代码托管工具

Git是一个开源的分布式版本控制系统，用于敏捷高效地处理任何或小或大的项目。
Rebirth-LSS·2024-09-05 11:16

Hadoop-MapReduce机制原理

MapReduce特点3、MapReduce局限性4、MapTask5、Map阶段步骤：6、Reduce阶段步骤：7、MapReduce阶段图1、MapReduce概述  HadoopMapReduce是一个分布式计算框架
H.S.T不想卷·2024-09-05 11:46

【目标检测】MMRotate旋转目标检测训练自定义DOTA格式数据集

1.安装环境1.1.Conda虚拟环境condacreate--namemmrotatepython=3.8-ycondaactivatemmrotate1.2.安装PyTorchpipinstalltorch
ericdiii·2024-09-05 10:10

Git核心概念

1.概念Git就是一个典型的分布式版本控制系统，这类系统，客户端不只是提取最新版本的文件快照，而是把代码仓库完整的镜像下来，这样一来，任何一处协同工作用的服务器发生故障，事后都可以用任何一个镜像出来的本地仓库恢复
众愿·2024-09-05 09:34

Git 的基本概念和使用方式

Git是一种分布式版本控制系统，是用于跟踪文件的修改和协作工作的工具。它允许多个开发者同时对同一个代码库进行更改，并能够有效地处理并合并这些更改。
汽车软件工程师001·2024-09-05 08:52

速盾：高防 CDN 是一种有效的 DDoS 防御解决方案

在当今数字化时代，网络安全问题日益凸显，尤其是DDoS（分布式拒绝服务）攻击，给企业和个人带来了巨大的损失和困扰。
速盾cdn·2024-09-05 07:17

pytorch中的gather函数_Pytorch中torch.gather函数祥解

引言：在多分类中，torch.gather常用来取出标签所对应的概率，但对于刚开始接触Pytorch的同学来说，torch.gather()可能不太好理解，这里做一些说明和演示，帮助理解。
陈村·2024-09-05 07:16

面试题：什么是DoS、DDoS、DRDoS攻击？

指单一主机对目标服务器进行的拒绝服务攻击；而DDoS（DistributedDenialofService）和DRDoS（DistributedReflectionDenialofService）则是分布式拒绝服务攻击
极客李华·2024-09-05 07:45

pytorch torch.squeeze函数介绍

在PyTorch中，torch.squeeze(input,dim=None)函数用于去除张量中尺寸为1的维度。一、函数参数input：输入张量。
qq_27390023·2024-09-05 06:44

云计算与分布式技术-常见云的比较

云南大学软件学院期中报告SchoolofSoftware,YunnanUniversity个人成绩学号姓名成绩学期:2019秋季学期课程名称:云计算任课教师:陆歌皓姓名:学号：年级:完成提交时间：2019年11月4日目录SchoolofSoftware,YunnanUniversity1云计算概念2什么叫做云计算?2云计算定义及分类2根据iiMediaResearch数据挖掘和分析机构所发论文分析
NicolasLearner·2024-09-05 06:13

如何尽早地发现并抵御 DDoS 攻击?

DDoS(DistributedDenialofService)也称之为分布式拒绝服务，指借助于客户/服
德迅云安全-文琪·2024-09-05 06:13

Pytorch torch.Where 和 torch.Gather

torch.Wheretorch.where(condition,x,y)→Tensor返回一个tensor，tensor的元素从x或者y中的元素选择，选择依据是条件矩阵condition。要求：condition、x，y可以broadcastable到相同的shape。返回值也是相同shape的矩阵condition：参数：condition(BoolTensor)–条件矩阵，当元素为True时
程序之巅·2024-09-05 06:12

Pytorch中torch.gather和torch.scatter函数理解

torch.gather()torch.gather(input,dim,index,*,sparse_grad=False,out=None)→Tensor参数解释：input(Tensor)–thesourcetensordim(int)–theaxisalongwhichtoindexindex(LongTensor)–theindicesofelementstogathersparse_g
尘世猫·2024-09-05 06:40

探索阿里巴巴的增量数据处理利器：Canal

探索阿里巴巴的增量数据处理利器：Canalcanalalibaba/canal:Canal是由阿里巴巴开源的分布式数据库同步系统，主要用于实现MySQL数据库的日志解析和实时增量数据订阅与消费，广泛应用于数据库变更消息的捕获
费琦栩·2024-09-05 05:37

本地部署Elasticsearch分布式搜索引擎结合内网穿透实现远程搜索

Elasticsearch3.Windows安装Cpolar4.创建Elasticsearch公网访问地址5.远程访问Elasticsearch6.设置固定二级子域名前言本文主要介绍如何在Windows系统安装分布式搜索和分析引擎
E绵绵·2024-09-05 05:36

2021年大厂Java面试题（基础+框架+系统架构+分布式+实战）

Java线程的状态进程和线程的区别，进程间如何通讯，线程间如何通讯HashMap的数据结构是什么？如何实现的。和HashTable，ConcurrentHashMap的区别Cookie和Session的区别索引有什么用？如何建索引？ArrayList是如何实现的，ArrayList和LinkedList的区别？ArrayList如何实现扩容。equals方法实现面向对象线程状态，BLOCKED和W
2401_85195615·2024-09-05 05:04

鸿蒙（HarmonyOS）北向开发知识点记录~

开发技术与特点1.分布式技术：鸿蒙操作系统的一大特色是分布式能力，北向开发可以充分利用这一特性，实现跨设备的应用协同。例如，在手机、平板、智慧屏等设备之间实现数据共享、任务流转和多屏互动。2.
CTrup·2024-09-04 22:56

Seata 分布式事务控制

概述Seata是阿里巴巴和蚂蚁集团内部开发了分布式事务中间件，用于解决电商、支付、物流等业务场景中应用数据的一致性问题，2023年10月，为了更好的通过社区驱动技术的演进，阿里和蚂蚁集团正式将Seata
动物园首领·2024-09-04 22:24

利用Spring Boot实现服务降级与熔断机制

在分布式系统中，服务降级和熔断是保证系统稳定性的重要机制。服务降级是指在系统负载过高或部分服务不可用时，主动降低服务的可用性等级，以释放资源给关键服务。
微赚淘客机器人开发者联盟@聚娃科技·2024-09-04 20:11

Sublime text3+python3配置及插件安装

：http://blog.chargingbunk.cn/微信公众号：rayson_666(Rayson开发分享)个人专研技术方向：微服务方向：springboot,springCloud,Dubbo分布式
raysonfang·2024-09-04 19:23

pytorch实战-7图像风格迁移

1什么是风格迁移howto：还是cnn，输入是图像，输出和上一章相比，不是数字，而是图像。意义：给一张图像输入，可以输出指定风格化处理的图像2风格迁移发展简史早期针对图像局部特征（纹理生成）或特定风格/场景建立模型，迁移时通过套用模型提取图片纹理或转化风格。缺点是特征/风格单一，无法通用。2015lerogatys尝试用神经网络做风格迁移，效果很好，并成为了主流。神经网络做风格迁移前，主要有纹理生
新世纪摸鱼战士678·2024-09-04 18:02

深度学习算法——Transformer

参考教材：动手学pytorch一、模型介绍Transformer模型完全基于注意力机制，没有任何卷积层或循环神经网络层。
fw菜菜·2024-09-04 18:31

大数据学习｜理解和对比 Apache Hive 和 Apache Iceberg

文章目录数据模型与存储事务支持性能优化使用场景总结数据模型与存储Hive:Hive使用的是传统的关系型数据模型，数据存储在Hadoop分布式文件系统(HDFS)中，通常是以文本格式（如CSV或TSV）或者二进制格式
进击的小白菜·2024-09-04 16:50

pytorch利用简单CNN实现葡萄病虫害图片识别

2实现思路实现思路是想通过pytorch做一个CNN模型的训练，然后根据给出的图片进行类型的预测。3数据集我没有数据集，仅有的一些图片是之前委托我做程序的bro给的
麦麦大数据·2024-09-04 16:19

kafka集群搭建

Kafka集群搭建一、概念说明它是一个分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流（ActivityStream）和运营数据处理管道（Pipeline）的基础。
java皮皮虫·2024-09-04 16:48

【微服务】Etcd实现服务器注册和发现|Etcd、Eureka、Consul、Zookeeper 比较

目录Etcd、Eureka、Consul、Zookeeper的比较Etcd服务注册与发现的必要：etcd简介etcd分布式一致性算法etcd应用场景etcd安装服务注册与发现实例(go语言)服务注册的简单实现
bdview·2024-09-04 15:09

深度学习入门：使用 PyTorch 构建和训练你的第一个神经网络

PyTorch是一个强大的深度学习框架，它提供了灵活的API和动态计算图，非常适合初学者和研究者使用。安装PyTorch确保安装了Python和pip。
Mr' 郑·2024-09-04 13:29

B/S架构与C/S架构简介

B/S架构与C/S架构简介1.联系与区别B/S（Browser/Server，浏览器/服务器）架构和C/S（Client/Server，客户端/服务器）架构是两种常见的分布式系统架构模式。
像风一样自由2020·2024-09-04 13:28
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他