张量并行

深入理解PyTorch中的`torch.topk`函数！！！（个人总结，为了方便我自己复习，要是同时也能帮助到大家就更好了）

`torch.topk`函数概述函数签名返回值2.基本用法示例1：找到一维张量的最大值示例2：在二维张量的指定维度上操作3.高级应用4.结论深入理解PyTorch中的torch.topk函数在深度学习和数据处理中
小桥流水---人工智能·2024-08-30 06:32

在 PyTorch 中，`permute` 方法是一个强大的工具，用于重排张量的维度。

在PyTorch中，permute方法是一个强大的工具，用于重排张量的维度。这在深度学习中非常有用，尤其是在处理具有多维数据（如图像、视频或复杂数组）的神经网络时。
小桥流水---人工智能·2024-08-30 06:32

PyTorch概述

以下是PyTorch的一些重要模块及其功能：torch简介：这是PyTorch的核心库，提供了张量（tensor）操作的基本功能。功能：支持张量的创建、操作和转换，涵盖数学运算、线性代数操
fydw_715·2024-08-30 06:01

Java-List分批多线程执行

我们可以创建一个工具类ListBatchExecutor，它包含一个静态方法executeInBatches，该方法接收一个列表、一个处理每个元素的函数以及一个自定义线程池，并利用CompletableFuture来并行处理这些元素
ZHOU_VIP·2024-08-30 06:31

免费Excel工作表同类数据合并工具

**重要亮点**-**手动合并数据的难题**：确定可合并的同类数据时人工对比易出错；待合并行可能分属多个分组且分布分散，操作繁琐；合并时
火星技术·2024-08-30 05:55

Linux并行gzip压缩工具pigz

于是使用了pigz这个可以利用多核的并行压缩工具。效果显著，如果你也需要频繁压缩大量的数据，可以尝试一下这个软件。
冰封飞飞·2024-08-30 03:33

2021-10-25中原焦点团队中27坚持原创分享第242天（咨询约练59次，做咨询师21次）

苟日新，日日新，又日新，贵在持续，今天做到做孩子与老师正向转换器，表达自己想要的，坚持爱与规则并行，虽然陪伴孩子情绪会时不时的冒出来，及时觉察然后稳住，被尊重被欣赏，是孩子喜欢的，激发孩子动力四要素：关系
海丽_9961·2024-08-30 02:18

python爬虫 使用pyppeteer爬取非静态页面内容，使用事件循环批量爬取，提升效率

最近写的是彩票系统，需要爬取很多彩票信息，展示的代码只是我整个爬虫程序的一小部分首先是使用pyppeteer抓取非静态页面，将整个逻辑封装成一个异步方法，有多个页面爬取，将多个页面爬取存储到任务列表，并行执行任务列表内部的异步函数我这代码里面有个
IvanWKQ·2024-08-30 02:32

RAID磁盘阵列

软件技术，将多个较小/低速的磁盘整合成一个大磁盘–阵列的价值：提升I/O效率、硬件级别的数据冗余–不同RAID级别的功能、特性各不相同image.png•RAID0，条带模式–同一个文档分散存放在不同磁盘–并行写入以提高效率
一个小运维·2024-08-30 02:50

大模型训练和推理

文章目录一、NLP基础1.Tokenizer2.positionencoding3.注意力机制与transformer架构二、大模型训练1.SFT训练2.RLHF训练3.分布式并行训练技术（1）模型并行
李明朔·2024-08-30 01:27

优秀的开源项目

目录热key多线程并行秒级百G级日志工具ES操作工具消息推送平台HTTP客户端业务层的分布式限流组件企业级微服务解决方案热keyhotkey:京东App后台中间件，毫秒级探测热点数据，毫秒级推送至服务器集群内存
点滴~·2024-08-29 16:28

释放GPU潜能：PyTorch中torch.nn.DataParallel的数据并行实践

释放GPU潜能：PyTorch中torch.nn.DataParallel的数据并行实践在深度学习模型的训练过程中，计算资源的需求往往随着模型复杂度的提升而增加。
2401_85762266·2024-08-29 05:45

二十七、有缓冲channel与无缓冲channel

目录一、写法二、有无缓冲的区别：1、串行时2、并行时一、写法在go语言的channel中有两种写法分别是//无缓冲ch:=make(chanint)//有缓冲ch2:=make(chanint,2)二、
Boo_T·2024-08-29 04:07

并行处理的魔法：PyTorch中torch.multiprocessing的多进程训练指南

并行处理的魔法：PyTorch中torch.multiprocessing的多进程训练指南在深度学习领域，模型训练往往需要大量的计算资源和时间。
liuxin33445566·2024-08-29 03:59

英特尔服务器级cpu型号含义,intel服务器cpu命名规则

其次，E3-1230中的这个"1"，也就是连字符后的第一个数字，它代表处理器最多支持的并行路数，有1、2、4、8四种规格，分别
浪个锤子情报局·2024-08-28 17:46

Intel Xeon CPU 命名规则

其次，E3-1220中的这个"1"，也就是连字符后的第一个数字，它代表处理器最多支持的并行路数，有1、2、4、8
weixin_34242658·2024-08-28 17:46

PyTorch库学习之torch.mean函数

PyTorch库学习之torch.mean函数一、简介torch.mean是PyTorch库中的一个函数，用于计算张量的均值。
Midsummer-逐梦·2024-08-28 17:44

基于强化学习的制造调度智能优化决策

文章目录调度状态和动作设计调度状态的设计调度动作的设计基于RL的调度算法基于值函数的RL调度算法SARSAQ-learningDQN基于策略的RL调度算法基于RL的调度应用基于RL的单机调度基于RL的并行机调度基于
松间沙路hba·2024-08-28 14:27

【离线安装clickhouse集群】

特性：基于shard+replica实现的线性扩展和高可靠采用列式存储，数据类型一致，压缩性能更高硬件利用率高，连续IO，提高了磁盘驱动器的效率向量化引擎与SIMD提高了CPU利用率，多核多节点并行
eddianliu·2024-08-28 14:56

进程间通信与线程间通信

现代操作系统的主要特点是多用户和多任务，也就是程序的并行执行，windows如此linux也是如此。所以操作系统就借助于进程来管理计算机的软、硬件资源，支持多任务的并行执行。
liliansunshine·2024-08-28 12:18

pytorch | torch.contiguous()方法

torch.permute()、torch.transpose()、torch.view()方法一起使用，要理解这样使用的缘由，得从pytorch多维数组的低层存储开始说起：touch.view()方法对张量改变
Mopes__·2024-08-28 10:31

并行计算的艺术：PyTorch中torch.cuda.nccl的多GPU通信精粹

并行计算的艺术：PyTorch中torch.cuda.nccl的多GPU通信精粹在深度学习领域，模型的规模和复杂性不断增长，单GPU的计算能力已难以满足需求。多GPU并行计算成为提升训练效率的关键。
2401_85763639·2024-08-28 09:56

应用数学与机器学习基础 - 线性代数篇

线性代数1.标量、向量、矩阵、张量学习线性代数，会涉及以下几个数学概念：标量（scalar）：定义：一个标量就是一个单数的数，不同于线性代数中大多数概念会涉及到多个数。表示法：我们用斜体表示标量。
绎岚科技·2024-08-28 05:31

控制连接器引脚排列中的串扰

串扰这个术语通常与耦合互换使用，如上所述，它是并行传输的信号或迹线之间不必要的相互作用。在这种情况下，并行传输可以在同一信号层或相邻层中。
David WangYang·2024-08-28 04:24

Shell编程规范与变量：Shell编程前的必要基础知识

文章目录1.查看进程的父子关系**1.1使用`ps-ef--forest`****1.2子Shell与进程关系**2.子Shell的概念与应用**2.1子Shell的概念****2.2多进程并行处理任务
shyuu_·2024-08-28 02:45

娜娜感恩日记｜Day398

感恩湘湘贴心的准备了开工蛋糕感恩塑形班宝子们快乐复课，看了一圈最胖的是我本人，我要反省并行动感恩棒棒晚上来看我找我聊天哈哈哈，和姊妹聊起聊八很开心感恩硕哥晚上早回家陪我，但我很对不住他却弄到很晚才联系感恩思思上午去买菜并做饭
Na娜娜子·2024-08-28 02:48

散文怎么教——《让孩子学会阅读》笔记三

在中国现代文学中，散文指与诗歌、小说、戏剧并行的一种文学体裁。3.文学散文是一种题材广泛、结构灵活，注重书写真实感受、人生境遇的文学体裁。散文的基本特征：题材广泛，结构灵活，书写真实。
莲韵奇珍·2024-08-28 01:34

spark采坑集锦之用kafka作为DStream数据源，并行度问题

在SparkStreaming中作为数据源的Kafka怎样接收多主题发送的数据呢？使用StreamingContext.union方法将多个streaming流合并处理defmain(args:Array[String]):Unit={Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)valconf=newSparkConf().s
方兵兵·2024-08-27 16:41

PYTORCH 官方文档，开发文档，Python编程 人工智能 深度机器学习

PYTORCH文档PyTorchdocumentation—PyTorchmasterdocumentationPyTorch是一个使用GPU和CPU进行深度学习的优化张量库。
zhangfeng1133·2024-08-27 13:21

torch.max()学习记录

x=tourch.tensor([[1,2,3],[4,6,5],[9,11,4],[-2,6,20]])为4*3的一个张量1)请思考y的值y=torch.max(x,dim=0)分析：x是一个2D:4
wu_huashan·2024-08-27 13:50

理解torch.argmax() ，我是错误的

torch.max()importtorch#定义张量bb=torch.tensor([[1,3,5,7],[2,4,6,8],[11,12,13,17]])#使用torch.max()找到最大值max_indices
wu_huashan·2024-08-27 13:45

6U VPX总线架构：搭载飞腾D2000/FT2000 + FPGA-K7(赛灵思)

这种架构利用了CPU的通用计算能力和FPGA的并行处理能力，可以提供高效能、低延迟和高灵活性的计算平台。
未来通信-国产化板卡及设备定制·2024-08-27 12:10

Pytorch:torch.diag()创建对角线张量方式例子解析

在PyTorch中，torch.diag函数可以用于创建对角线张量或提取给定矩阵的对角线元素。
乔丹搞IT·2024-08-27 10:00

HPC&AI并行计算集群Slurm作业调度系统对通用资源（GRES）的调度

一、概述Slurm支持定义和调度任意通用RESources的功能（GRES）。为特定GRES类型启用了其他内置功能，包括图形处理单元（GPU）、CUDA多进程服务（MPS）设备，并通过可扩展的插件机制进行分片。二、配置默认情况下，群集的配置中未启用任何GRES。您必须在slurm.conf配置文件中明确指定要管理的GRES。的配置参数兴趣是GresTypes和Gres。有关详细信息，请参见slur
技术瘾君子1573·2024-08-27 09:25

解决yum不能正常使用，报错： No module named yum，如何安装python2和python3并行版本,搭建自动化环境

嗨，我是兰若姐姐，今天在用yum安装python的时候，发现yum整个都不能使用了，但是之前都是好好的，yum相关的命令都是可以正常使用，所以可以判断的是，yum是在我之后的操作过程中被搞坏了，为了恢复yum只能一步步的排查，现在执行yum直接报错就是：Nomodulenamedyum[centos@ip-172bin]$sudoyumcleanallTherewasaproblemimporti
兰若姐姐·2024-08-27 09:21

24.8.24学习心得

u=y.detach()detach()方法用于从计算图中分离出一个张量，使其不再跟踪历史，这样就不会在反向传播时影响u。范数（Norm）是一个数学概念，在不同的领域有不同的应用，比如
kkkkk021106·2024-08-27 05:00

CUDA指南-CUDA简介与开发环境搭建

CUDA（ComputeUnifiedDeviceArchitecture）是由NVIDIA开发的并行计算平台和编程模型，它允许开发者利用NVIDIAGPU进行高效的通用计算任务。
小虾米欸·2024-08-26 21:41

TensorFlow 的基本概念和使用场景

TensorFlow的基本概念如下：张量（Tensor）：TensorFlow使用张量来表示数据。张量是多维数组，在计算图中流动，是TensorFlow的基本数据单元。
Envyᥫᩣ·2024-08-26 20:34

spring-batch批处理框架介绍及demo

step还可设置任务并行、串行与多线程执行。整个框架包含了常用的大量监听器监听每一个细分步
这个码农不太萌·2024-08-26 17:32

【Java基础】9.多线程与Lambda表达式

【Java基础】9.多线程9.1基础概念9.1.1并发与并行并发：CPU同一时间段执行多种不同的进程并行：CPU同一时刻同时执行不同进程9.1.2进程进程：进入到内存的程序。
莺声碎·2024-08-26 15:49

python深度学习框架——TensorFlow

TensorFlow核心概念在TensorFlow中，**张量（Tensor）**是基本的数据单元，可以视为多维数组。**计算图（ComputationGraph）是由节点（代表数学运算）和边（代表张
零 度°·2024-08-26 14:13

【赵渝强老师】Spark中的RDD

它由分区组成，每个分区被一个Spark的Worker从节点处理，从而支持分布式的并行计算。RDD通过检查点Checkpoint的方式提供自动容错的功能，并且具有位置感知性调度和可伸缩的特性。
赵渝强老师·2024-08-26 11:52

深度学习--Transformer和BERT区别详解

与传统的循环神经网络（RNN）和卷积神经网络（CNN）不同，Transformer完全摒弃了循环和卷积结构，依赖于自注意力机制和并行化的处理方式，极大地提高了模型的训练效率和效果。
Ambition_LAO·2024-08-26 08:36

【机器学习】机器学习与大模型在人工智能领域的融合应用与性能优化新探索

3BERTResNetTransformer机器学习与大模型的融合应用自然语言处理文本生成文本分类机器翻译图像识别自动驾驶医学影像分析语音识别智能助手语音转文字大模型性能优化的新探索模型压缩权重剪枝量化知识蒸馏分布式训练数据并行模型并行异步训练高效推理模型裁剪缓存机制专用硬件未来展望跨领域应用智能化系统人
E绵绵·2024-08-26 06:25

Atrous Spatial Pyramid Pooling（ASPP）空洞空间卷积池化金字塔

ASPP通过在网络中引入多个并行的分支，每个分支使用不同尺度的空洞卷积和池化操作，来捕获不同
m0_55576290·2024-08-26 06:22

Ruby并发模型：解锁多线程编程的奥秘

标题：“Ruby并发模型：解锁多线程编程的奥秘”摘要Ruby作为一种动态、灵活的编程语言，提供了多种并发模型来满足不同场景下的并行处理需求。
2402_85758349·2024-08-26 05:44

酒店行业如何利用XML进行营销短信

随着信息社会的到来，消费者获得会所的服务也从单纯的电话方式，逐渐转变为电话、互联网、传真，群发短信等多种媒体并行的方式。今天着重介绍下酒店行业如何利用短信平台进行营销。
乐讯通云通信·2024-08-25 23:41

深度学习多GPU训练原理

数据并行的方法把一个batch的所有数据平均分配到每块GPU的显存里，把模型参数在每个GPU显存上拷贝一份。
浦东新村轱天乐·2024-08-25 22:31

YOLOv8独家原创改进：图像去噪 |一种新颖的双分支残差注意，助力低光照、红外小目标检测 | 2024年最新发表（全网独家首发）

该模型包含两个不同的并行分支，可以捕获互补特征，增强模型的学习能力。我们分别设计了一种新的残差注意力(RAB)和一种新的混合型扩张型残差注意力(HDRAB)。如何跟Y
AI小怪兽·2024-08-25 21:59

flink 状态

**特性：**与并发的算子实例绑定，假设算子并行度为N，则
王小工·2024-08-25 21:54
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他