模型训练

一文深度解读模型评估方法

还有一些场景对于模型训练\预测速度（吞吐量）、计算资源耗用量、可解释性等也会有要求，这里不做展开。
算法进阶·2024-01-28 20:21

模型训练trick篇

损失函数分类任务0-1损失函数绝对值损失函数，指数损失函数exponenetialloss，，例如adaboost感知损失函数perceptronloss，，合并损失函数Hingeloss，，例如SVM交叉熵损失函数crossEntropy，也是负的对数似然函数怎么从最大似然推导？“已知输出Y，假设Y的分布，对Y的分布参数进行似然估计”。先写出预测值为y的概率表达式，假设多个样本独立同分布，则最大
Icevivina·2024-01-28 12:53

Deep-Learning-YOLOV4实践：ScaledYOLOv4模型训练自己的数据集调试问题总结

ScaledYOLOv4数据集制作Deep-Learning-YOLOV4实践：ScaledYOLOv4环境配置与demo编译运行Deep-Learning-YOLOV4实践：ScaledYOLOv4模型训练自己的数据集调
时间之里·2024-01-28 08:39

文心一言API调用（python）

最好先实名认证一下，因为后面开通服务会需要实名认证一、点击左上角产品服务，搜索千帆二、点击搜索结果百度智能云千帆大模型平台进入如下界面三、然后点击开通付费进入如下界面四、开通所有服务，包括预制服务和大模型训练服务五
qq_53915944·2024-01-28 00:14

小土堆pytorch学习笔记005 | 完结，✿✿ヽ(°▽°)ノ✿

3、优化器4、现有网络模型的使用及修改例子：5、模型训练保存+读取（1）保存（2）读取6、完整的模型训练：（1）代码【model文件】：【主文件】：（2）运行截图：（3）绘图展示：（4）添加训练正确率的完整代码
柠檬不萌只是酸i·2024-01-28 00:22

用大模型训练实体机器人，谷歌推出机器人代理模型

谷歌DeepMind的研究人员推出了一款，通过视觉语言模型进行场景理解，并使用大语言模型来发出指令控制实体机器人的模型——AutoRTAutoRT可有效地推理自主权和安全性，并扩大实体机器人学习的数据收集规模。在实验中，AutoRT指导超过20个实体机器人执行指令，并通过远程操作和自主机器人策略收集了77,000个真实机器人操作的片段。这充分说明，AutoRT收集的机器人操作数据更加多样化，并且在
RPA中国·2024-01-27 19:01

滴滴基于 Ray 的 XGBoost 大规模分布式训练实践

由于平台历史架构原因，平台XGBoost模型训练仍是开源XGBoostOnSpar
滴滴技术·2024-01-27 17:58

机器学习架构：实现高效的模型训练和部署

1.背景介绍机器学习(MachineLearning)是一种通过从数据中学习泛化规则，而不是预先定义规则的方法，来解决复杂问题的科学和工程实践。在过去的几年里，机器学习技术在各个领域取得了显著的进展，例如自然语言处理、计算机视觉、推荐系统、语音识别等。这些成果的共同点在于它们都依赖于大规模的数据处理和计算能力。然而，随着数据规模和模型复杂性的增加，传统的机器学习方法已经无法满足需求。这就需要一种新
OpenChat·2024-01-27 16:15

人工智能时代：让AIGC成为你的外部智慧源（文末送书）

2.1步骤一：收集数据2.2步骤二：模型训练2.3步骤三：内容生成2.4步骤四：反馈和改进三.AIGC的主要特征3.1文本生成3.2图像生成3.3语音生成3.4视频生成四.AIGC关键技术能力五.AIGC
聆风吟_·2024-01-27 12:30

大模型训练为什么用A100？

大家通常会问，大模型训练为什么一定要用A100，用4090难道不行吗？
深度学习技术前沿·2024-01-27 09:43

记录一次c++ xgboost的简单使用以及分类实现

1.首先跟着这篇文章弄：在Windows中如何安装XGBoost的C++版本进行模型训练和推理-CSDN博客。但是他第5点是我参考了中文文档里面来弄的，也就是cmake..
しろいし·2024-01-27 09:46

平替heygen的开源音频克隆工具—OpenVoice

方案1：采用国内星火大模型训练自己的声音，然后再用下面工具对唇形：大漠/better_wav2lip(gitee.com)方案2：使用开源算法训练声音：openvoice:OpenVoice，这是一种多功能的即时语音克隆方法
civilpy·2024-01-27 04:50

PyTorch项目笔记（三）使用ImageNet预训练ResNet18模型训练图像分类模型

目录1加载ImageNet预训练模型2准备数据集2.1加载数据集2.2使用matplotlib可视化数据集3模型训练函数4使用torchvision微调模型5观察模型预测结果6固定模型参数1加载ImageNet
Xyzz1223·2024-01-26 19:40

展望2024: 中国AI算力能否引爆高性能计算和大模型训练的新革命？

★算力；算法；人工智能；高性能计算；高性能；高互联；生成式人工智能；StableDiffusion；ChatGPT；CoPilot；文本创建；图像生成；代码编写；大语言模型；多模态大模型；预训练；边缘计算；液冷；HPC；冷板式液冷；Bard；AlphaGo；深度学习；AI服务器；GPU服务器；H100；A100；B100；X100；InfiniBand；L40S；PC；AIPC；PC集群；CoWo
高性能服务器·2024-01-26 15:02

【Image captioning】论文阅读七—Efficient Image Captioning for Edge Devices_AAAI2023

EfficientImageCaptioningforEdgeDevices）文章目录1.引言2.相关工作3.方法3.1ModelArchitecture（模型结构）3.2ModelTraining(模型训练
安静到无声·2024-01-26 11:30

LLM-大模型训练-常见错误：RuntimeError: expected scalar type Half but found Float

RuntimeError:expectedscalartypeHalfbutfoundFloat原因一Peft版本不兼容，尝试使用不同版本的Peft原因二1.问题描述  使用GPUV100(32GB)对ChatGLM模型进行lora微调时，分别在训练和预测时均出现了RuntimeError:expectedscalartypeHalfbutfoundFloat的错误提示，如下图所示：  在经过了亲
u013250861·2024-01-26 11:52

机器学习没那么难，Azure AutoML帮你简单3步实现自动化模型训练

使用这种自动化模型训练可以满足以下业务问题的模型训练：1、分类问题：AutoML可
AI普惠大师·2024-01-26 07:55

用大模型训练实体机器人，谷歌推出机器人代理模型

谷歌DeepMind的研究人员推出了一款，通过视觉语言模型进行场景理解，并使用大语言模型来发出指令控制实体机器人的模型——AutoRTAutoRT可有效地推理自主权和安全性，并扩大实体机器人学习的数据收集规模。在实验中，AutoRT指导超过20个实体机器人执行指令，并通过远程操作和自主机器人策略收集了77,000个真实机器人操作的片段。这充分说明，AutoRT收集的机器人操作数据更加多样化，并且在
richerg85·2024-01-26 06:19

Datawhale Task5：模型训练篇

本章学习模型训练第6章模型训练模型训练主要由目标函数和优化算法组成6.1目标函数有三类语言模型的目标函数：只包含解码器的模型（如，GPT-3）：计算单向上下文嵌入（contextualembeddings
AIzealot无·2024-01-26 06:40

60分钟速通LoRA模型训练！

Lora原理分析与其他两种微调模式的区别TexualInversional只微调了文本编辑器Dreambooth等手段微调文本编译器和噪声预测器两部分（噪声预测器微调难度更大，db的高配置要求就是为了同时微调其中的所有参数）训练的意义：让模型的“认知”发生改变，模型里以向量形式存储的像素分布规律发生改变，执行运算的时候，他们会被用来调节算法的运行逻辑从而输出不同的结果--->模型权重在深度学习中，
不安全的安保·2024-01-26 00:44

2分钟教你配置好LoRA模型训练器—Kohya

使用Kohya训练器作为载体（仅作为个载体）安装前置软件Python（3.10.9）GitVisualStudio重启电脑后使用Gitclone进行官方程序的安装安装同时阅读附带文档（windows版），其中包含所有安装所需的脚本命令Kohya训练器安装完整攻略安装Kohya安装好三个前置软件后，找一个空文件夹在搜索框中输入“cmd”进入命令行输入下列命令按回车后，等待一段时间就安装好了gitcl
不安全的安保·2024-01-26 00:44

ubuntu使用YOLOv7训练自己的数据集

目录一、准备深度学习环境二、 准备自己的数据集1、创建数据集 2、转换数据格式 3、配置文件三、模型训练1、下载预训练模型2、训练四、模型测试五、模型推理一、准备深度学习环境下载yolov7代码二、准备自己的数据集一般标注的数据格式是
谷溪m·2024-01-25 18:53

pytorch之批量归一化和残差网络

进行模型训练的进行，当每层中参数更新时，靠近输出层的输出较难出现
多彩海洋·2024-01-25 17:48

基于YOLOv8的摔倒行为检测系统（Python源码+Pyqt6界面+数据集）

本文主要内容:通过实战基于YOLOv8的摔倒行为检测算法，从数据集制作到模型训练，最后设计成为检测UI界面人体行为分析AI算法，是一种利用人工智能技术对人体行为进行检测、跟踪和分析的方法。
AI小怪兽·2024-01-25 14:56

Kube Queue：Kubernetes 任务排队的利器

作者：吴昆批处理作业（BatchJob）常应用于数据处理、仿真计算、科学计算和人工智能等领域，主要用于执行一次数据处理或模型训练任务。
阿里云云原生·2024-01-25 13:30

TensorFlow基础——常用函数（四）

本文主要针对tensorflow的模型训练Training与测试Testing等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系列之四。
weixin_30492601·2024-01-25 08:22

书生·浦语大模型训练营

书生·浦语大模型训练营2InternLM-Chat-7B智能对话Demo本章就是通过transformers载入本地模型进行推理。原始的demo会导致空输入也会进行交互，浪费计算资源。
__y__·2024-01-25 08:57

【机器学习】实验记录工具

它提供了一个简单易用的界面，让用户可以轻松地记录模型训练过程中的指标、超参数和输出结果，并将这些信息可视化展示。
Encarta1993·2024-01-25 07:24

【时间序列篇】基于LSTM的序列分类-Pytorch实现 part3 化为己用

文章目录系列文章目录前言一、模型训练1导入库和自用函数2导入数据集3设备部署4
钟的子期·2024-01-25 07:53

土堆学习笔记——P29完整的模型训练套路（三）

一些细节：在训练前有一个tudui.train()的作用：如果网络里有dropout/batchnorm等层，就需要用到tudui.train()，也就是没有这些层的话，tudui.train()没用调用不调用都行在测试前有一个tudui.eval()的作用：同上整个训练逻辑：准备数据dataloader加载数据集创建网络模型（看注释a）定义损失函数、优化器设置训练网络的一些参数，如训练的次数、测
Whalawhala·2024-01-24 23:36

土堆学习笔记——P28完整的模型训练套路（二）

怎么知道模型有没有训练好？有没有达到想要的需求？解决方法：在每轮训练之后加一个测试，在测试数据集上看效果（看损失之类的）。注意：在测试时候不调优，仅为看效果。下面的都在某一轮训练里例如，他们都在foriinrange(epoch):里面，具体看上一节代码#测试步骤开始total_test_loss=0withtorch.no_grad():#取消梯度，不调优fordataintes_dataloa
Whalawhala·2024-01-24 23:35

土堆学习笔记——P27完整的模型训练套路（一）

步骤1：准备数据集并看下数据的多少train_data=torchvision.datasets.CIFAR10("./神经网络",train=True,transform=torchvision.transforms.ToTensor(),download=True)test_data=torchvision.datasets.CIFAR10("./神经网络",train=False,trans
Whalawhala·2024-01-24 23:05

【YOLOv8新玩法】姿态评估寻找链接切割点

前言Hello大家好，今天给大家分享一下如何基于深度学习模型训练实现工件切割点位置预测，主要是通过对YOLOv8姿态评估模型在自定义的数据集上训练，生成一个工件切割分离点预测模型制作数据集本人从网络上随便找到了个工业工件
gloomyfish·2024-01-24 22:06

【实战OBB】自定义旋转对象检测

数据集部分图像显示如下：模型训练准备好数据集以后，直接按下面的命令行运行即可
gloomyfish·2024-01-24 22:06

【守护工地安全】YOLOv8实现安全帽检测

模型训练准备好数据集以后，直接按下面的命令行运行即可：yolotrainmodel=yolov8s.ptdata=hat_dataset.yamlepochs=50imgsz=640b
gloomyfish·2024-01-24 22:05

模型训练速度 配置 （Speed Problem）

训练模型时遇到速度过慢时的深思GPU占用CPU占用内存占用查看内存使用情况查看硬盘使用情况查看具体某个文件或者文件夹的大小查看文件夹下所有文件的大小，可以使用*：占用率GPU占用并行运算高性能运算nvidia-smi表格中会显示显卡的一些信息：第一行是版本信息第二行是标题栏第三行就是具体的显卡信息如果有多个显卡，会有多行，每一行的信息值对应标题栏对应位置的信息GPU：编号Fan：风扇转速，在0到1
Cmy_CTO·2024-01-24 18:02

机器学习实验2——线性回归求解加州房价问题

文章目录实验内容数据预处理代码缺失值处理特征探索相关性分析文本数据标签编码数值型数据标准化划分数据集线性回归闭合形式参数求解原理梯度下降参数求解原理代码运行结果总结实验内容基于CaliforniaHousingPrices数据集，完成关于房价预测的线性回归模型训练
在半岛铁盒里·2024-01-24 16:26

datawhale 大模型学习 第五章-模型训练

一、目标函数今天要讨论的是以下三种模型结构：Decoder-only模型：例如，GPT-3，单向上下文嵌入，在生成文本时一次生成一个tokenEncoder-only模型:例如，BERT,利用双向上下文注意力生成embedingEncoder-decoder模型：例如，T5,利用双向上下文编码，利用单向上下文生成文本最终结果就是将token序列映射为一个Embedding向量其中：L:代表文本长度
fan_fan_feng·2024-01-24 16:20

大模型理论基础初步学习笔记——第六章 模型训练篇

大模型理论基础初步学习笔记——第六章模型训练篇第6章模型训练6.1目标函数6.1.1Decoder-only模型注释6.1.1.1最大似然注释6.1.1.2最似然估计知识点6.1.2Encoder-only
panda_dbdx·2024-01-24 16:19

GLM国产大模型训练加速

在深度学习领域，大模型训练已成为推动人工智能进步的关键驱动力。然而，随着模型规模的增大，训练和推理的成本也随之增长。
百度_开发者中心·2024-01-24 16:43

【Pytorch】神经网络分类手写数字识别

【Pytorch】神经网络分类手写数字识别Mnist数据集介绍一、下载数据集二、数据集预处理四、模型训练五、模型保存和加载六、测试模型效果Mnist数据集介绍该数据集由50000张训练图片和10000张测试图片组成
Teacher.Hu·2024-01-24 10:17

LSTM的多变量时间序列预测（北京PM2.5预测）

参考博客文章目录LSTM简介数据集简介数据预处理多元LSTM预测模型数据准备：定义和拟合模型评估模型训练多个滞后时间步LSTM简介LSTM（LongShort-TermMemory）是一种特殊类型的循环神经网络
heibut不相信眼泪·2024-01-24 08:31

深度学习技巧应用33-零门槛实现模型在多个GPU的分布式流水线训练的应用技巧

的分布式流水线训练的应用技巧，本文将帮助大家零门槛的实现模型在多个GPU的并行训练，如果你手头上没有GPU资源，根据本文的介绍也可实现模型的并行，让大家了解模型的并行是怎么实现的，揭开模型分布式训练的神秘面纱，提升自己的模型训练水平
微学AI·2024-01-24 08:56

机器学习实验4——CNN卷积神经网络分类Minst数据集

文章目录实验内容原理CNN实现分类Minst代码数据预处理：设置基本参数：实验内容基于手写minst数据集，完成关于卷积网络CNN的模型训练、测试与评估。
在半岛铁盒里·2024-01-24 01:01

机器学习实验3——支持向量机分类鸢尾花

文章目录实验内容数据预处理代码认识数据相关性分析径向可视化各个特征之间的关系图支持向量机SVM求解直觉理解：数学推导代码运行结果总结实验内容基于鸢尾花数据集，完成关于支持向量机的分类模型训练、测试与评估
在半岛铁盒里·2024-01-24 01:00

AI新工具(20240122)Whisper Speech-开源文本转语音系统；Stable LM 2 1.6B-1.6亿参数稳定语言模型；OpenRouter-开源路由器,连接各种AI模型

WhisperSpeech采用了Collabora的资助进行代码开发和模型训练，LAION提供了社
go2coding·2024-01-23 23:40

每天五分钟计算机视觉：掌握迁移学习使用技巧

本文重点随着深度学习的发展，迁移学习已成为一种流行的机器学习方法，它能够将预训练模型应用于各种任务，从而实现快速模型训练和优化。然而，要想充分利用迁移学习的优势，我们需要掌握一些关键技巧。
幻风_huanfeng·2024-01-23 07:24

AI大模型开发架构设计（4）——人人需要掌握的大模型微调

2LoRA原理浅析代码准备生成新模型训练模型数据集dataset看看输出人人需要掌握的大模型微调1大模型Fine-tuning（微调）需要具备三个方面的能力PromptEngineer（提示词工程）LangChai
讲文明的喜羊羊拒绝pua·2024-01-23 04:59

掌握大模型这些优化技术，优雅地进行大模型的训练和推理！

ChatGPT于2022年12月初发布，震惊轰动了全世界，发布后的这段时间里，一系列国内外的大模型训练开源项目接踵而至，例如Alpaca、BOOLM、LLaMA、ChatGLM、DeepSpeedChat
机器学习社区·2024-01-23 01:02

大模型的高效训练和部署技术卷出新高度

01大模型训练的挑战1.大模型发展现状及问题上图中展示了大模型的发展历程，其中纵坐标是AI模型的参数量。在过去几年间，AI大模型的参数量飞速增长，大约每18个月时间就会增长40倍。
AI知识图谱大本营·2024-01-22 22:20
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他