张量

大模型的实践应用14-大语言模型的分布式训练并行策略，(数据、模型、张量)并行的原理介绍

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用14-大语言模型的分布式训练并行策略，(数据、模型、张量)并行的原理介绍。大语言模型的分布式训练并行策略主要通过数据并行来实现。
微学AI·2023-12-28 11:12

标量、向量、张量之间的关系

张量（tensor)在某些情况下，我们会讨论坐标超过两维的数组。一般地，一个数组中的元素分布在若干维坐标的规则网格中，我们将其称之为张量（tensor,TensorFlow名称的由来）。
编程回忆录·2023-12-28 08:50

Python：PyTorch

PyTorch的基础组成Tensor：张量是PyTorc
AnyaPapa·2023-12-27 20:47

模型量化 | Pytorch的模型量化基础

Quantization—PyTorch2.1documentationPracticalQuantizationinPyTorch|PyTorch量化简介量化是指执行计算和存储的技术位宽低于浮点精度的张量
夏天｜여름이다·2023-12-27 15:04

【PyTorch】torch.data.Field 参数与方法详解 & Embedding 层浅谈

文章目录Field类功能.构造参数.成员函数build_vocab.Embedding.Field类功能.Field\rmFieldField类对可以用张量Tensor\rmTensorTensor表示的常见文本处理数据类型进行处理
Anova.YJ·2023-12-27 11:24

深度学习框架TensorFlo

深度学习框架TensorFlowTensorFlow简介第一个TensorFlow应用TensorFlowAPITensorFlow基础概念TensorFlow张量（Tensor）TensorFlow张量维度
hixiaoyang·2023-12-27 04:09

图的张量积、图的积

图的张量积（KroneckerProduct）图的笛卡尔积（Cartesianproduct)
qq_42725437·2023-12-26 23:57

TensorFlow是什么

字面上理解，TensorFlow就是以张量（Tensor）在计算图（Graph）上流动（Flow）的方式的实现和执行机器学习算法的框架。具
不做梵高417·2023-12-26 20:59

TPU-MLIR

1、AI编译器TPU，张量处理器AI编译器，把不同框架下的搭建起来的模型，转换为统一形式的中间表达IR，然后通过IR转换成可以在特定芯片平台上运行的二进制模型Top，芯片无关层：图优化、量化、推理Tpu
哦豁灬·2023-12-26 13:37

GPU的并行方式

•数据并行（DataParallelism）—在不同的GPU上运行同一批数据的不同子集；•流水并行（PipelineParallelism）—在不同的GPU上运行模型的不同层；•张量并行（TensorParallelism
永远的HelloWorld·2023-12-26 07:59

TensorFlow层次结构中的三种计算图

实线表示有数据传递依赖，传递的数据即张量。虚线通常可以表示控制依赖，即执行先后顺序。有三种计算图的构建方式：静态计算图，动态计算图，以及Autograph。
人工智能MOS·2023-12-26 07:25

介绍 TensorFlow 的基本概念和使用场景。

1.张量（Tensor）：张量是TensorFlow中的基本数据单元。它可以是一个标量（0维张量）、向量（1维张量）、矩阵（2维张量）或更高维度的数组。
程序猿～厾罗·2023-12-26 07:55

【论文解读】ICLR2023 TimesNet: TEMPORAL 2D-VARIATION MODELING FOR GENERAL TIME SERIES ANALYSIS

本文提出timesNet，基于多周期将时间序列从1维空间扩展到2维空间，这种变换可以将周期内和周期间的变化分别嵌入到2D张量的列和行中，2D张量易于用kernel进行特征提取。
Scc_hy·2023-12-25 10:39

torch.tensor张量的维度

问题描述今天在对张量进行处理的时候，对于数据的维数绕晕了很久，特此记录。
Sup星月★然·2023-12-25 09:15

Python深度学习029：pytorch中常用的模块或方法

常用方法：torch.tensor()：创建张量torch.randn()：生成随机数torch.save()：保存模型torch.load()：加载模型torch
惊鸿若梦一书生·2023-12-25 01:19

介绍 TensorFlow 的基本概念和使用场景。

TensorFlow的基本概念是通过创建和操作张量（tensor）来定义计算图（computationalgraph）。张量是一种多维数组，是数据在TensorFlow中的主要表示方式。
ahstudy·2023-12-24 18:21

新南威尔士大学 COMP9444 Project1 课业解析

新南威尔士大学COMP9444Project1课业解析新南威尔士大学COMP9444Project1课业解析题意：实现三个part函数解析：part1：simple_addition函数，两个张量分素相加
Artemis_666·2023-12-24 16:28

pytorch常用的几个函数详解

viewview()是PyTorch中的一个常用函数，用于改变张量（tensor）的形状。
AI浩·2023-12-24 12:40

torch中关于张量是否是叶子结点，张量梯度是否会被计算，张量梯度是否会被保存的感悟

先上结论：1、叶子结点定义:（1）不依赖其它任何结点的张量（2）依赖其它张量，但其依赖的所有张量的require_grad=False#判断方法：查看is_leaf属性2、张量梯度是否会被计算:require_grad
tongle.Wang·2023-12-24 11:58

构建掩码多序列比对（masked msa）特征

设计替换概率张量categorical_probs，含有为mask位点以及随机/正确的氨基酸（+gap+X)，从protein['msa']中随机选择替换的位点，生成protein['bert_mask
qq_27390023·2023-12-24 09:32

LLaMA开源大模型源码分析！

Datawhale干货作者：宋志学，Datawhale成员花了一晚上照着transformers仓库的LLaMA源码，把张量并行和梯度保存的代码删掉，只留下模型基础结构，梳理了一遍LLaMA的模型结构。
Datawhale·2023-12-23 16:17

tensorflow1.15与numpy、keras以及Python兼容版本对照

CannotconvertasymbolicTensor(bi_lstm/lstm_encoder_a/fw/fw/strided_slice:0)toanumpyarray.根据错误信息中提到的内容，可能是在创建初始状态时使用了一个符号张量
aha（）啊哈·2023-12-23 14:40

Python函数.view(1,-1）和 .view(-1,1)有什么区别

.view(1,-1)和.view(-1,1)都是用于改变张量的形状，但是它们的具体行为略有不同。.
高哥的代码没Bug·2023-12-23 14:41

TensorFlow入门和案例分析

节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。它灵活的架构让你可以在多种平台上展开计算，例如台式计算机中的一个或
人工智能MOS·2023-12-23 12:29

零基础学人工智能：TensorFlow 入门例子

TensorFlow中最重要的概念是张量（Tensor），它代表了多维数组或矩阵，因此TensorFlow支持各种不同类型的计算，如线性回归、逻辑回归、卷积神经网络、循环神经网络等。
人工智能MOS·2023-12-23 12:59

与周迅相恋，枪指刘涛老公，打女记者的王烁怎么“销声匿迹”了？

2016年，“新京城四少”名单出炉：除了潘石屹的儿子潘瑞，张力的儿子张量，王志才的儿子王烁之外，作为首富公子的思聪少爷赫然在列。这就有点尴尬了。
刘是我的姓·2023-12-23 11:23

pytorch张量的创建

张量的创建张量（Tensors）类似于NumPy的ndarrays，但张量可以在GPU上进行计算。从本质上来说，PyTorch是一个处理张量的库。一个张量是一个数字、向量、矩阵或任何n维数组。
小森( ﹡ˆoˆ﹡ )·2023-12-23 09:03

【Python深度学习第二版】学习笔记之——神经网络

一、张量运算作者把张量运算比作神经网络的”齿轮“，那么什么是张量呢？神经网络的数据以张量的形式表示，即存储在多维NumPy数组中数据。对于文本、时间序列、图片、视频数据，分别按不同阶张量表示。
没有竹蜻蜓的小叮当·2023-12-23 00:39

Pytorch：torch.sum()函数用法

（返回输入张量inp
北方骑马的萝卜·2023-12-22 20:10

文本处理

深度学习模型不会接收原始文本作为输入，它只能处理数值张量。
smile_怡远·2023-12-22 07:58

TensorFlow介绍

简而言之，它可以帮助您创建计算图，图形中的节点是数学运算，图形中的边是多维数据数组，称为张量。它的主要目的是训练和部署机器学习模型，包括深度学习模型。
xhlh-cn·2023-12-21 22:23

基于DeepSpeed对 llama2-7b的LORA精调

该框架包含四个技术亮点：用3D并行化实现万亿参数模型训练：DeepSpeed实现了三种并行方法的灵活组合，它们分别为ZeRO支持的数据并行，流水线并行和张量切片模型并行。
Charles_yy·2023-12-21 21:32

Megatron模型并行研究

但和普通的模型并行不同，他采用的其实是张量并行的形式，具体来说就是将一个层切开放到不同的GPU上，属于层切的方法，是一种层内的模型并行。
Charles_yy·2023-12-21 21:02

长文预警【深度学习】基于 Pytorch 的网络训练

一、数学基础：标量，向量，矩阵与张量enterdescriptionhere一个标量（Scalar）就是一个单独的数；一个向量就是一列数，这些数是有序排列的。通过索引，、可以确定对应的每个
雪天鱼·2023-12-21 09:08

【pytorch】自动求导机制

grad:data的梯度grad_fn:创建Tensor的Function，是自动求导的关键requires_grad：指示是否需要梯度is_leaf:指示是否是叶子结点PyTorch张量可以记住它们来自什么运算以及其起源的父张量
prinTao·2023-12-21 08:17

深度学习框架TensorFlow

深度学习框架TensorFlowTensorFlow简介第一个TensorFlow应用TensorFlowAPITensorFlow基础概念TensorFlow张量（Tensor）TensorFlow张量维度
hixiaoyang·2023-12-21 07:10

PyTorch比NumPy能省多少时间？（附代码）

首先定义数据的转换，指定它应该是一个张量，并且应该对其进行规范化。然后，将in与数据集结合使用来加载数据集。这就是您所需要的。稍后将了解如何从这些加载程序中解压缩值。DataLo
人工智能小豪·2023-12-21 07:05

Python当中x.size()和x.shape有什么区别？

在PyTorch中，x.size()和x.shape基本上是等价的，都用于获取PyTorch张量的维度信息，但是有一些微小的区别：x.size()：x.size()是一个函数，调用时不需要加括号，返回一个元组
BugMaker2002·2023-12-20 22:40

torch.rand()和torch.randn()的区别

torch.rand()和torch.randn()是PyTorch中用于生成张量的两个函数，它们之间的主要区别在于生成张量元素的方式不同：1.torch.rand()：torch.rand()用于生成元素值在
BugMaker2002·2023-12-20 22:40

测试pytorch-gpu

执行代码看显卡是否点亮#coding=gbkimporttorch#定义张量的形状和大小shape=(100,1000)num_tensors=50000device=torch.device('cuda
雕刻刀·2023-12-20 19:29

一对一磁共振弥散张量成像(DTI)数据处理教学服务

★课程简介★弥散张量成像（DiffusionTensorImaging,DTI）是一
茗创科技·2023-12-20 18:14

tf.squeeze()

squeeze(input,axis=None,name=None,squeeze_dims=None)该函数返回一个张量，这个张量是将原始input中所有维度为1的那些维都删掉的结果axis可以用来指定要删掉的为
炫云云·2023-12-20 13:12

【10大专题，2.8w字详解】：从张量开始到GPT的《动手学深度学习》要点笔记

从最基础的张量操作，到最新的GPT模型，每个专题都配备了直观的图示和详细的公式解析。初版笔记以《动手学深度学习PyTorch版》书籍为基准，随后将根据视频讲解和最新论文研读内容进行实时更新。
hadiii·2023-12-20 11:11

[PyTorch中文文档]-Package参考-torch-索引,切片,连接,换位Indexing, Slicing, Joining, Mutating Ops torch.cat

torch.cat(inputs,dimension=0)→Tensor在给定维度上对输入的张量序列seq进行连接操作。
蒸饺与白茶·2023-12-20 07:21

图像卷积操作

在卷积层中，输入张量和核张量通过互相关运算产生输出张量。首先，我们暂时忽略通道（第三维）这一情况，看看如何处理二维图像数据和隐藏表示。在下图中，输入是高度为、宽度为的二维张量（即
奉系坤阀·2023-12-20 07:48

TensorFlow 的基本概念和使用场景

TensorFlow的基本概念和使用场景如下：张量（Tensors）：TensorFlow的核心数据结构是张量，它是一个多维数组或矩阵。
乐神来了·2023-12-20 02:26

torch中张量与数据类型的介绍

PyTorch张量的定义介绍PyTorch最基本的操作对象是张量，它表示一个多维数组，类似NumPy的数组，但是前者可以在GPU上加速计算初始化张量t=torch.tensor([1,2])#创建一个张量
才不是小emo的小杨·2023-12-20 01:55

深度学习中的张量维度

1深度学习中的张量在深度学习框架中，Tensor（张量）是一种数据结构，用于存储和操作多维数组。张量可以被视为一种扩展的矩阵，它可以具有任意数量的维度。
智慧医疗探索者·2023-12-20 01:54

pytorch--基于语音的性别识别

pytorch官网基于梅尔频谱的语音性别分类模型，训练了20epoch，准确率97%提升点有很多：还可以基于声纹特征作为训练集、数据预处理的逻辑、transform的逻辑（修改transform会导致数据的张量维度变更
Carry_NJ·2023-12-19 22:25

查看张量形状len(?)、shape、.numel()以及.reshape()

importtorcha=torch.randn(2,2)print(a)print(a.shape)#张量的形状 （沿每个轴的长度）print(len(a))print(a.numel())#张量中元素的总数
ngc2244·2023-12-19 16:56
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他