深度学习----Deep 第3页

Deepspeed 结合huggingface Trainer实现多机分布式训练

目前工作中只使用了单机多卡做微调训练，为了提升训练效率，特实验多机多卡分布式训练。一、环境准备本试验使用两台机器（manager，worker），操作系统ubuntu22.4，每台机器有4个GPU为了使安装配置统一，使用docker容器，docker的安装这里不做介绍。1.网络配置-创建overlay共享网络初始化集群，在manager机器上运行:dockerswarminit#输出结果:Swar

ningzhao·2024-09-10 17:38

大模型多机多卡脚本实例 - 增量预训练 -accelerate和deepspeed命令多机多卡训练有什么不同

第一步，同步权重ls-l/data/xxx/gpu008/MoeRemake/train/etuning/LLaMA-Factory2/models/xxx-Base-10B-200k-Llama第二步，同步环境：./scp_batch.sh"/data/xxx/miniconda3/envs/etuning4/""/data/vayu/miniconda3/envs/etuning4/"gpu0

AI生成曾小健·2024-09-10 16:33

【PyTorch】使用容器(Containers)进行网络层管理(Module)

文章目录前言一、Sequential二、ModuleList三、ModuleDict四、ParameterList&ParameterDict总结前言当深度学习模型逐渐变得复杂，在编写代码时便会遇到诸多麻烦

遥感小萌新·2024-09-10 16:32

深度学习之sigmoid函数介绍

1.基本概念Sigmoid函数，也称为Logistic函数，是一种常用的数学函数，其数学表达式为：其中，e是自然对数的底数，Zj是输入变量。Sigmoid函数曲线如下所示：计算示例：原始输出结果Zj：[-0.6,1.4,2.5]使用Sigmoid函数后输出为：[0.35,0.8,0.92]2.Sigmoid函数特点Sigmoid函数具有以下特点：值域限定在(0,1)之间：Sigmoid函数的输出范

yueguang8·2024-09-10 16:02

Deep learning for Computer Vision with Python（1）从零开始入门计算机视觉

2.实践阶段实践阶段：深入学习深度学习，理解先进技术，发现最佳实践方式。3.图像网络阶段完成计算机视觉领域的经验积累。使用大规模数据集和真实图片案例作为数据集，包括年龄和性别预测，交通工具模型识别。

Hazelyu27·2024-09-10 16:59

七十二五·2024-09-10 15:21

DeepSeek缓存命中技术，成本降低10倍

DeepSeek系列升级：DeepSeek发布最新的缓存命中技术，有效降低成本至0.1元/百万tokens，适用于文件读取和固定提示词。

智匠MindCraft Al·2024-09-10 14:20

深度学习目标检测入门COCO数据集

常见数据集类型：COCO数据集：Pytorch加载COCO数据集：COCO数据集的读取COCO_dataset=torchvision.datasets.CocoDetection(root="./dataset/val2017",annFile="./instances_val2017/instances_val2017.json")root(strorpathlib.Path)–Rootdir

日暮途远z·2024-09-10 13:45

【数据获取与读取】JSON & CSV

数据分析流程获取数据-读取数据-评估数据-清洗数据-整理数据-分析数据-可视化数据公开数据集飞桨（百度旗下深度学习平台）数据集：https:/aistudio.baidu.com/aistudio/datasetoverview

yogurt=b·2024-09-10 13:14

DL参考资源（二）

antkillerfarm·2024-09-10 13:13

COI实验室技能：图像到图像的深度学习开发框架（pytorch版）

Basicdeeplearningframeworkforimage-to-image这个开发框架旨在帮助科研人员快速地实现图像到图像之间的模型开发。

山颠海涯·2024-09-10 11:33

大模型面试通关指南：常见问题与答案解析史上最全超详细收藏我这一篇就够了

回答：大模型通常指的是参数数量巨大的深度学习模型，如GPT系列。它们与传统模型的主要区别在于规模：大模型拥有更多的参数和更复杂的结构，从而能够处理更复杂、更广泛的任务。

程序员辣条·2024-09-10 09:49

auto encoder

Deepauto-encoder与受限玻尔兹曼机有点像，都可以进行信息的压缩，都可以用作pre-trainning.区别在于受限玻尔兹曼机是无向图模型，而Deepauto-encoder是一种神经网络,

war3gu·2024-09-10 06:58

自动编码器 - Autoencoder

几种常见编码器1.堆栈自动编码器2.欠完备自编码器3.正则自编码器4.噪自编码器（denoisingautoencoder,DAE）参考链接一、自编码器（Autoencoder）简单模型介绍暂且不谈神经网络、深度学习等

hellozhxy·2024-09-10 05:53

Autoencoder

SparseAutoencoder降噪自编码器DenoisingAutoencoder堆叠自编码器StackedAutoencoder本博客是从梁斌博士的博客上面复制过来的，本人利用Tensorflow重新实现了博客中的代码深度学习有一个重要的概念叫

chuange6363·2024-09-10 05:22

关于深度森林的一点理解

2017年年初，南京大学周志华老师上传了一篇名为：DeepForest：TowardsAnAlternativetoDeepNeuralNetworks的论文，一石激起千层浪，各大媒体纷纷讨论着，这似乎意味着机器学习的天色要变

Y.G Bingo·2024-09-10 03:10

深度学习部署：Triton（Triton inference server）【旧称：TensorRT serving，专门针对TensorRT设计的服务器框架，后来变为Triton，支持其他推理后端】

triton作为一个NVIDIA开源的商用级别的服务框架，个人认为很好用而且很稳定，API接口的变化也不大，我从2020年的20.06切换到2022年的22.06，两个大版本切换，一些涉及到代码的工程变动很少，稍微修改修改就可以直接复用，很方便。本系列讲解的版本也是基于22.06。本系列讲解重点是结合实际的应用场景以及源码分析，以及写一些triton周边的插件、集成等。非速成，适合同样喜欢深入的小

u013250861·2024-09-10 03:09

微积分在神经架构搜索中的应用

微积分在神经架构搜索中的应用1.背景介绍随着深度学习技术的飞速发展,神经网络模型的复杂度也在不断提高,从最初的简单全连接网络,到如今的卷积神经网络、循环神经网络、注意力机制等各种复杂的神经网络架构。

光剑书架上的书·2024-09-10 03:34

【vue使用Sass报错】启动项目报错 Syntax Error: SassError: expected selector

出现的问题新项目启动的时候，提示：SyntaxError:SassError:expectedselector看了一下发现是sass使用样式穿透/deep/报的错/deep/其实是已经过期的写法，某个版本之后就不支持了但是我同事并没有出现同样的问题

lxx-sissi·2024-09-10 02:00

浅谈lua拷贝

lua中对象的拷贝分为2种：浅拷贝（ShallowCopy）和深拷贝（DeepCopy）。浅拷贝简单来说只是对一些基本的类型进行复制，而像table这样的类型则直接引用。

coding·life·2024-09-10 00:07

理性拥抱机器学习热潮：ML祖师爷Tom Mitchell最新洞见

此次主题为"AI生万物，谐音爱生万物，科学技术要有人文的温度，机器有爱，真芯英雄"的大会上，全球人工智能领袖汇聚全球业界顶尖领袖，探讨在基础硬件、大数据与开源平台、深度学习为代表的算法等人工智能领域的最新洞见

「已注销」·2024-09-10 00:33

当NAS遭遇鲁棒性：寻找对抗攻击的坚固架构

当NAS遭遇鲁棒性：寻找对抗攻击的坚固架构RobNets项目地址:https://gitcode.com/gh_mirrors/ro/RobNets在当今深度学习的浪潮中，模型的安全性和鲁棒性日益成为研究的热点

甄如冰Lea·2024-09-09 23:30

深度学习速通系列:鲁棒性和稳定性

在机器学习中，鲁棒性和稳定性是评估模型性能的两个关键指标，它们对于确保模型在实际应用中的可靠性至关重要。鲁棒性（Robustness）定义：鲁棒性指的是模型对于输入数据的扰动、噪声、异常值或对抗性攻击的抵抗能力。一个鲁棒的模型能够在面对这些不利因素时保持其性能。提高鲁棒性的方法：数据增强：通过对训练数据进行变换（如旋转、缩放、裁剪等），使模型能够更好地泛化到未见过的数据。对抗训练：在训练过程中引入

Ven%·2024-09-09 21:21

基于深度学习的对抗样本生成与防御

基于深度学习的对抗样本生成与防御是当前人工智能安全领域的关键研究方向。对抗样本是通过对输入数据进行微小扰动而产生的，能够导致深度学习模型做出错误预测。

SEU-WYL·2024-09-09 21:49

深度学习思考

神经网络如果能了解每一层输出的意义，就可以避免end－to－end的黑箱理论，对理论话深度学习很有意义，一个思路是经验值，将每一层在特定任务下都有输出，对结果作经验总结，比方说浅层输出低层次的几何轮廓特征

夜雪朝歌·2024-09-09 19:45

基于实时深度学习的推荐系统架构设计和技术演进

简介：整理自5月29日阿里云开发者大会，秦江杰和刘童璇的分享，内容包括实时推荐系统的原理以及什么是实时推荐系统、整体系统的架构及如何在阿里云上面实现，以及关于深度学习的细节介绍本文整理自5月29日阿里云开发者大会

阿里云云栖号·2024-09-09 19:03

目标检测-YOLOv1

YOLOv1介绍YOLOv1（YouOnlyLookOnceversion1）是一种用于目标检测的深度学习算法，由JosephRedmon等人于2016年提出。

wydxry·2024-09-09 15:06

深度学习框架人工智能操作系统训练&前向推理 PyTorch Tensorflow MindSpore caffe 张量加速引擎TBE 深度学习编译器多面体 polyhedral AI集群框架

深度学习框架人工智能操作系统训练&前向推理深度学习框架发展到今天，目前在架构上大体已经基本上成熟并且逐渐趋同。

EwenWanW·2024-09-09 13:54

基于深度学习的结构优化与生成

基于深度学习的结构优化与生成技术应用于多种领域，例如建筑设计、机械工程、材料科学等。

SEU-WYL·2024-09-09 13:51

深度学习回归任务训练代码模版

深度学习回归任务训练代码模版文章目录深度学习回归任务训练代码模版参数设置功能函数数据加载自定义数据集加载类特征选择（可选）数据读取定义模型训练模型训练迭代＋验证迭代使用`tensorboard`输出模型训练过程和指标可视化

槐月初叁·2024-09-09 13:17

深度学习与遗传算法的碰撞——利用遗传算法优化深度学习网络结构（详解与实现）

self.model.add(layers.Dense(10,activation=‘relu’))self.model.build(input_shape=(4,28*28))self.model.summary()self.model.compile(optimizer=optimizers.Adam(lr=0.01),loss=losses.CategoricalCrossentropy(f

2401_84003733·2024-09-09 12:42

Python实用技巧: 获取后缀名(扩展名) 或文件名

)或文件名个人主页：高斯小哥高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程希望得到您的订阅和支持~创作高质量博文，分享更多关于深度学习

高斯小哥·2024-09-09 12:41

吐血整理 ChatGPT 3.5/4.0 新手使用手册~ 【2024.09.04 更新】

其实使用很简单，可以选通义、智谱、Deepseek

aiwisland·2024-09-09 09:53

YOLOv9独家原创改进|使用可改变核卷积AKConv改进RepNCSPELAN4

专栏介绍：YOLOv9改进系列|包含深度学习最新创新，主力高效涨点！！！一、改进点介绍AKConv是一种具有任意数量的参数和任意采样形状的可变卷积核，对不规则特征有更好的提取效果。

今天炼丹了吗·2024-09-09 04:48

基于深度学习的动态场景理解

基于深度学习的动态场景理解是一种通过计算机视觉技术自动分析和解释动态环境中物体、事件和交互的能力。

SEU-WYL·2024-09-09 03:14

《学习共同体走向深度学习》促进学生深度学习的课堂变革方案11--18

深度学习是一种高度沉浸，不断持续深化、不断拓展延伸的学习方式。1.课堂愿景的确立：保证每一位学生都能投入高品质的深度学习让每一个学生都拥有真实的、高品质的学习权利。

吉林付巍巍·2024-09-09 02:48

HALCON 错误代码 #7709

前言最近在研究halcon的深度学习，在环境配置上花了不少的功夫搞定，结果正要开始训练分类的第二个train文件就出现了一个错误，报7709，折腾了三天才解决。

聪明不喝牛奶·2024-09-08 23:41

python项目实战之基于深度学习的电影评论情感分析系统

基于深度学习的电影评论情感分析系统能够自动分类评论的情感倾向，如正面、负面或中性，为电影制片人、营销人员和观众提供有价值的见解。二、技术栈和框架前端HTML/CSS:用于构建静态

什么任性·2024-09-08 21:32

【DeepSpeed 教程翻译】三，在 DeepSpeed 中使用 PyTorch Profiler做性能调试和Flops Profiler教程翻译

文章目录0x0.前言0x1.在DeepSpeed中使用PyTorchProfiler做性能调试Profile模型训练的循环标记任意代码范围ProfileCPU/GPU的活动Profile内存消耗0x2.

just_sort·2024-09-08 17:39

Transformer、BERT、GPT、T5、LLM（大语言模型），以及它们在实际行业中的运用

1.Transformer框架Transformer是一种基础的深度学习模型架构，由Google于2017年提出。它引入了注意力机制（Self-Attention）

Funhpc_huachen·2024-09-08 17:38

OpenCV项目实战-深度学习去阴影-图像去阴影

阿利同学·2024-09-08 17:07

深度学习特征提取魔改版太强了！发文香饽饽！

再加上近几年深度学习兴起，用深度学习做特征提取逐渐成了主流，比传统算法无论是性能、准确性还是效率都更胜一筹。

深度之眼·2024-09-08 17:03

工信教考 | AI智能体应用工程师（模拟试题）

这些题目旨在考察应试者在人工智能、机器学习、深度学习、算法设计、系统开发等方面的能力。一、选择题无监督学习常用于哪些任务？

人工智能-猫猫·2024-09-08 16:57

AI智能电销机器人的优势是什么，有什么特点？

机器学习、大数据、深度学习、云计算等的发展和应用，机器人完成复杂专业任务的能力越来越强。

VO_794632978·2024-09-08 15:54

详解python中的pandas.read_csv()函数

同时欢迎大家关注其他专栏，我将分享Web前后端开发、人工智能、机器学习、深度学习从0到1系列文章。

程序员洲洲·2024-09-08 15:24

深度学习中的正则化技术：防止过拟合

引言过拟合是深度学习模型在训练过程中常遇到的挑战。过拟合会导致模型在训练数据上表现良好，但在新数据上表现不佳。

Network_Engineer·2024-09-08 12:31

7. 深度强化学习：智能体的学习与决策

引言深度强化学习结合了强化学习与深度学习的优势，通过智能体与环境的交互，使得智能体能够学习最优的决策策略。深度强化学习在自动驾驶、游戏AI、机器人控制等领域表现出色，推动了人工智能的快速发展。

Network_Engineer·2024-09-08 12:58

机器学习-神经网络：循环神经网络（RNN）详解

引言在当今人工智能（AI）和深度学习（DL）领域，循环神经网络（RNN）作为一种专门处理序列数据的模型，具有不可忽视的重要性。

刷刷刷粉刷匠·2024-09-08 11:54

探索POSTECH-CVLab的Point Transformer: 重塑3D点云处理的新篇章

探索POSTECH-CVLab的PointTransformer:重塑3D点云处理的新篇章在计算机视觉和深度学习领域中，3D点云处理是一个至关重要的环节，因为它能够帮助我们理解复杂环境中的三维结构。

尤琦珺Bess·2024-09-08 11:23

多模态大模型：技术原理与实战 ChatGPT的诞生

多模态大模型：技术原理与实战ChatGPT的诞生作者：禅与计算机程序设计艺术1.背景介绍1.1人工智能的发展历程1.1.1早期人工智能1.1.2机器学习时代1.1.3深度学习的崛起1.2自然语言处理的演进

AI大模型应用之禅·2024-09-08 10:51

推荐频道

深度学习----Deep