pytorch分布式训练

LLM系列 | 36：Google最新开源大模型：Gemma 2介绍及其微调(下篇)

引言环境安装数据准备下载处理模型训练模型inference结果gemma-2-9bgemma-2-9b-it引言低头观落日，引手摘飞星。
JasonLiu1919·2024-09-08 18:10

【DeepSpeed 教程翻译】三，在 DeepSpeed 中使用 PyTorch Profiler做性能调试和Flops Profiler教程翻译

文章目录0x0.前言0x1.在DeepSpeed中使用PyTorchProfiler做性能调试Profile模型训练的循环标记任意代码范围ProfileCPU/GPU的活动Profile内存消耗0x2.
just_sort·2024-09-08 17:39

Transformer、BERT、GPT、T5、LLM（大语言模型），以及它们在实际行业中的运用

作为AI智能大模型的专家训练师，我将从主流模型框架的角度来分析其核心技术特点及其在不同实际行业中的应用。
Funhpc_huachen·2024-09-08 17:38

HBase

ApacheHBase是一个基于Hadoop分布式文件系统（HDFS）构建的分布式、面向列的NoSQL数据库，主要用于处理大规模、稀疏的表结构数据。
傲雪凌霜，松柏长青·2024-09-08 17:07

Hive的优势与使用场景

以下是Hive的主要优势：1.与Hadoop生态系统的紧密集成Hive构建在Hadoop分布式文件系统(HDFS)之上，能够处理海量数据并进行分布式计算。
傲雪凌霜，松柏长青·2024-09-08 17:07

李敏镐新兵训练营照近日曝光 长腿欧巴帅气依旧

李敏镐新兵训练营照近日曝光。李敏镐结束四周的新兵基础训练后将继续作为社会服务要员服役，军装照真的很精神！
娱乐快乐说说·2024-09-08 16:27

PyTorch学习（13）：PyTorch的张量相乘（torch.matmul）

PyTorch学习（1）：torch.meshgrid的使用-CSDN博客PyTorch学习（2）：torch.device-CSDN博客PyTorch学习（9）：torch.topk-CSDN博客PyTorch
赛先生.AI·2024-09-08 16:02

pytorch正向传播没问题，loss.backward()使定义的神经网络中权重参数变为nan

记录一个非常坑爹的bug:loss回传导致神经网络中一个linear层的权重参数变为nan1.首先loss值是正常数值；2.查了好多网上的解决办法：检查原始输入神经网络数据有没有nan值，初始化权重参数，使用relu激活函数，梯度裁剪，降低优化器的学习率等等都没解决，个人认为这些应该影响不大，一般不会出问题；3.最后是使用如下异常检测：检测在loss回传过程中哪一块出现了问题torch.autog
加速却甩不掉伤悲·2024-09-08 16:02

PyTorch库学习之nn.ConvTranspose2d(模块)

PyTorch库学习之nn.ConvTranspose2d(模块)一、简介nn.ConvTranspose2d是PyTorch中的一个模块，用于实现二维转置卷积（也称为反卷积或上采样卷积）。
Midsummer-逐梦·2024-09-08 16:01

Pytorch常用乘法函数总结：torch.mul()、*、torch.mm()、torch.bmm()、torch.mv()、torch.dot()、@、torch.matmul()

上一篇博客总结了numpy中常用的乘法函数：numpy常用乘法函数总结：np.dot()、np.multiply()、*、np.matmul()、@、np.prod()、np.outer()-CSDN博客主要是np.dot()、np.multiply()、*、np.matmul()、@五种，其中np.matmul()和@完全等价，np.multiply()和*在输入数据类型为np.array时也完
Cheer-ego·2024-09-08 16:01

向量的叉积、点积、外积

下面对每个运算进行详细介绍，并通过PyTorch示例代码展示其实现。1.点积(DotProduct)点积是两个向量之间的数量积，结果是一个标量。点积用于测量两个向量的平行性或相对角度。
qq_27390023·2024-09-08 16:29

pytorch torch.norm函数介绍

torch.norm函数用于计算张量的范数（norm），可以理解为张量的“长度”或“大小”。根据范数的不同类型，它可以衡量不同的张量性质。该函数可以计算向量和矩阵的多种范数，如L1范数、L2范数、无穷范数等。1.函数签名torch.norm(input,p='fro',dim=None,keepdim=False,dtype=None,out=None)input:需要计算范数的输入张量。p:范数
qq_27390023·2024-09-08 16:29

Pytorch中乘法函数torch.matmul() 的一种用法

主要记录下torch.matmul(A,B)的用法中的一种情况：当A，B有一个是3维以上，另一个是3维或3维以上时，如果想要使用torch.matmul(A,B)，必须同时满足：1.A和B的最后两个维度满足矩阵乘法的要求。例如A的维度是(3,1,3,3)，B是(3,3,2)，此时A的最后2维是(3,3),B是(3,2)，符合条件2.除去最后两个维度，A和B的其他维度要满足可以广播的条件。例如A的维
Coder_Jh·2024-09-08 16:59

绘本讲师训练营【31期】4/21《绘本有什么了不起》读后感

31003许国英今天所读的《绘本有什么了不起》――阅读从想象力开始。图片发自App幼儿时期是想象力最丰富的时期，而想象力是抽象思维的铺垫，通过想象力的发挥，才能让阅读从√图像的外部观看进展伟内在思维与感受的心灵活动。但是每个孩子的想象能力不一样，常常许多孩子有阅读障碍，进入不了感知世界，所以无法从阅读中有所感，更不用说有所得了，因此，从绘本开启想象力，才能体验阅读的畅意自由。1.在孩子们从以下几个
心愿成真·2024-09-08 16:35

大数据技术之Hadoop（一）

Hadoop概述1.1Hadoop是什么Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。
pauls·2024-09-08 16:30

区块链1——区块链基础概念

区块链索引目录一、介绍区块链技术1、什么是区块链区块链是一种基于分布式数据库和加密技术的技术，它的特点包括去中心化、不可篡改、安全可靠等。
风不归Alkaid·2024-09-08 15:52

大数据面试题：说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？

Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS
蓦然_·2024-09-08 15:50

“表演服”之辩

事情是这样的，临近六一儿童节，幼儿园各班开始节目训练。我儿子所在的中二班原计划是表演跆拳道节目，孩子们都为此练习了一段时间，另外，老师通知家长也把孩子们准备要表演的服装买好了。
朝阳如初·2024-09-08 14:43

天猫优惠券怎么用(分享天猫购物券的使用规则)

主打：带货高补贴，深受各位带货团队长喜爱（训练营导师每天出单带货几万单）。注册即可享受高补贴+0撸+捡漏等带货新体验。送万元推广大礼包，教你如何1年做到百万团队。古
高省爱氧惠·2024-09-08 14:36

目标检测-YOLOv4

相比YOLOv3，YOLOv4在框架设计、特征提取、训练策略等方面进行了全面升级。它在保持实时检测的同时，显著提升了检测性能，尤其在复杂场景中的表现尤为出色。
wydxry·2024-09-08 13:11

java 实现前后端分离_详解前后端分离之Java后端

那么问题来了，用户很多时，服务器压力很大，如果采用分布式存储session，又可能会出现不同步问题，那么前后端分离就很好的
bfecoder·2024-09-08 13:08

遗落的光阴

还别说体育委员的小嘴还是挺会说的，竟然说动了体育老师，让他们下课的时候可以去学校的器材室里拿足球训练。一般来说只要体育课结束球都要被收起来的，而他们几个就有两个同学有足
古诗风光·2024-09-08 12:24

6. 深度学习中的正则化技术：防止过拟合

引言过拟合是深度学习模型在训练过程中常遇到的挑战。过拟合会导致模型在训练数据上表现良好，但在新数据上表现不佳。
Network_Engineer·2024-09-08 12:31

ES elasticsearch集群入门

每个分片都会分布式部署在多个不同的节点上进行部署，该分片成为primaryshards。注意：索引的主分片primaryshards定义好后，后面不能
小P聊技术·2024-09-08 12:40

学会写作天地宽：拆书稿

《从这篇拆书稿中，我学到了写作是有骨架的》听刘老师讲经过练习可以4个小时读完一本书，一段时间训练以后可以60分钟读完一本书。
尚灵心·2024-09-08 11:44

多模态大模型：技术原理与实战 ChatGPT的诞生

1.1.3深度学习的崛起1.2自然语言处理的演进1.2.1基于规则的方法1.2.2统计机器学习方法1.2.3深度学习在NLP中的应用1.3大语言模型的出现1.3.1Transformer架构的提出1.3.2预训练语言模型的发展
AI大模型应用之禅·2024-09-08 10:51

深入理解ChatGPT的模型结构和训练流程

本文将深入探讨ChatGPT的模型结构和训练流程。ChatGPT的模型结构1.变换器编码器ChatGPT的模型结构主要分为两个部分，即变换器编码器和自回归解码器。其中，变换器编
计算机小陈·2024-09-08 10:49

ERROR: Could not find a version that satisfies the requirement torch==xxx+cuxxx解决方案

官网的链接：pipinstalltorch==1.10.0+cu111torchvision==0.11.0+cu111torchaudio==0.10.0-fhttps://download.pytorch.org
神奇宝贝威威·2024-09-08 10:17

pytorch torch.sigmoid、torch.nn.Sigmoid和torch.nn.functional.sigmoid的区别

torch.sigmoid：函数torch.sigmoid(input_tensor,out=None)->Tensortorch.nn.Sigmoid：class应该看作网络的一层，而不是简单的函数使用。模型的初始化方法中使用，需要在_init__中定义，然后在使用classModel(torch.nn.Module):def__init__(self):super(Model,self
puspos·2024-09-08 09:43

亲爱的你好

你不会想到一个语文成绩一直都很差的学生，一个从小都没有看过几本书的人，一个没有经过任何文学训练的人，他居然出了他的第一本书。
当下的生活·2024-09-08 09:21

常用torch.nn

目录一、torch.nn和torch.nn.functional二、nn.Linear三、nn.Embedding四、nn.Identity五、Pytorch非线性激活函数六、nn.Conv2d七、nn.Sequential
mm_exploration·2024-09-08 09:41

K近邻法（K-nearest neighbor,K-NN）—有监督学习方法、非概率模型、判别模型、线性模型、参数化模型、批量学习、核方法

定义输入：训练数据集（T={(x1,y1),(x2,y2),…,(xN,yN)}\left\{(x_1,y_1),(x_2,y_2),\dots,(x_N,y_N)\right\}{(x1,y1),(x2
剑海风云·2024-09-08 09:37

python flink_《Flink官方文档》Python 编程指南测试版

操作执行的结果通过数据池以写入数据到(分布式)文件系统或标准输出(例如命令行终端)的形式返回。Flink程序可以运行在不同的环境中，既能够独立运行，也可以嵌入到其他程序中运行。
weixin_39846361·2024-09-08 08:04

TortoiseGit软件与TortoiseSvn

分布式与集中式：Git是一种分布式版本控制系统，每个开发者都有完整的版本库副本，可以在本地进行提交和分支操作。而SVN是一种集中式版本控制系统，版本
汽车软件工程师001·2024-09-08 08:03

mindie与mindspore是什么关系？

MindSpore是一种适用于端边云场景的新型开源深度学习训练/推理框架。从字面理解，MindIE和MindSpore都能做推理，区别在哪？MindIE未开源，MindSpore已开源，原因是啥？
小乐快乐·2024-09-08 07:58

TypeError: list indices must be integers or slices, not list

TypeError:listindicesmustbeintegersorslices,notlist原因：传入参数搞错了计划通过一个下标list，通过rand.shuffle实现训练数据的随机化，结果因为传入的数据是没有
m0_68138877·2024-09-08 07:54

温故知新，知识学与不学都在那里

于是，就决定逼着自己不定期参与一些打卡训练营，来使自己认真的花一些时间去学习和充电。
期待的自己·2024-09-08 07:19

无人机飞手执照：模拟训练技术详解

模拟训练作为执照考取过程中的重要环节，不仅能够降低真实飞行中的风险，还能有效提升飞手的操控技能与应急处理能力。本文将详细解析无人机飞手执照模拟训练的关键技术，涵盖模拟器选择与设置、基本飞行技能练习
无人机技术圈·2024-09-08 06:21

【Python】成功解决TypeError: list indices must be integers or slices, not str

博主档案：广东某985本硕，SCI顶刊一作，深耕深度学习多年，熟练掌握PyTorch框架。
高斯小哥·2024-09-08 06:18

ERROR: No matching distribution found for torch-geometri satisfies the requirement torch-geometric

试了网上的whl下载确保虚拟环境下nvcc和cuda版本一致，还不行遂找淘宝大佬,大佬换了pytorch版本python版本都不行最后根据报错出现的setup安装了pytest-runner，然后pipsearch
zzzzz忠杰·2024-09-08 05:14

徒步写作告诉你：成长没有快车，请一步一个脚印走

本文闲聊四个话题：1、成长与进步、读书与写作是每个人的人生课题2、你确信走了一遭写作训练营，就可以写出爆文实现月入过万吗？
徒步独行·2024-09-08 05:03

ERROR: No matching distribution found for torch==1.12.0+cu113

1.12.0+cu113用pip安装torch时，出现：ERROR:Nomatchingdistributionfoundfortorch==1.12.0+cu113好像不少用清华源的会出现这个问题解决办法pytorch
YungJZ·2024-09-08 05:12

从序言中学到的自我介绍法则

今天又翻《文案训练手册》这本书，带着学习的目的，一是再次学习文案技巧，二是想看下这本书的逻辑框架。
媚眼微文案·2024-09-08 05:25

JAVA - 关于防重复提交探讨

1、前端提交按钮做单次点击2、后端接收判断请求的数据包，生成唯一key存redis，设置几秒的过期时间（缺陷：带时间戳的数据，需要做些逻辑判断）3、后端代码逻辑redis分布式锁（缺陷：redis崩溃后会造成脏数据
Teln_小凯·2024-09-08 05:11

绘本讲师训练营【31期】11/21阅读原创《我们都很爱你》

31006-李美腊今天早上，和小朋友们一起分享故事《我们都爱你》。用好听的声音引导着孩子们一起欣赏图片、阅读故事。引导孩子们知道要和哥哥、姐姐、弟弟、妹妹友好相处，做力所能及的事，体会家人对自己的疼爱！图片发自App这个故事讲述了熊爸爸妈妈出门后，沃乐带着妹妹是怎样度过的一天，沃乐很调皮，带着妹妹做了很多危险的事情，甚至到最后妹妹都感冒了！直到爸爸妈妈回家看到这一情形后大吃一惊，两个人身上全都是泥
木子_e543·2024-09-08 05:50

解决问题：ERROR: No matching distribution found for torch==1.12.1+cu102

conda虚拟环境安装pytorch10.2时出现报错：ERROR:Couldnotfindaversionthatsatisfiestherequirementtorch==1.12.1+cu102(
失合·2024-09-08 05:10

天妈内驱力训练营一阶段

亲子日志0304田青昨天中午睡的太踏实，晚上睡不着，直到3.00，早上6点起床活动一会后头疼觉得继续睡，9.00起床还是头疼！孩子昨晚8.30听数学课就说困了，我以为他找借口就说去休息十分钟，没想到真的睡着了，一觉到今天早上9.00自己醒来，但是没有自己写作业的意思。我就试探的问他，我不提醒你就不愿意自己去听课？他看着我，很奇怪的眼神，然后我继续同样的态度，今天我头疼自己解决听课吧！然后自己去听课
俏丫头悄悄·2024-09-08 04:38

yolov5在windows上傻瓜式训练工具和教程

本工具支持yolov5快速训练，使用者基本无需了解yolov5知识即可开启自己的训练任务，本工具支持yolov5内建的4个框架傻瓜式训练，支持yolov5syolov5myolov5lyolov5x先看看截图使用步骤
踩着代码过河·2024-09-08 04:33

核心4群1组Fj方婕写作22/91之农村交际舞

我不懂交际舞分类，观察下来，运动强度不小于我一个半小时的减重训练。在家生活，真是比我在市区生活强多了。
荷妍·2024-09-08 04:59

2021-04-15

参加训练营的改变：1.疗愈自己。为什么我自我感觉为孩子做了那么多，孩子还是时时跟我对抗呢？
徐晓妮·2024-09-08 04:13
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他