深度学习transformer

Transformer模型整体构建的实现

编码器-解码器结构classEncoderDecoder(nn.Module):def__init__(self,encoder,decoder,source_embedding,target_embedding,generator):"""初始化函数中有5个参数,分别是编码器对象,解码器对象,源数据嵌入函数,目标数据嵌入函数,以及输出部分的类别生成器对象"""super(EncoderDecod
好好学习Py·2024-08-30 22:14

Bert中文预训练模型（Bert-base-chinese）

使用importtorchfromtransformersimportBertTokenizer,BertModel#第一步：离线下载#fromtran
好好学习Py·2024-08-30 22:14

Langchain-Chatchat本地部署的解决方案

对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。  
herosunly·2024-08-30 22:13

深度学习100问23:什么是前馈型神经网络

嘿，前馈型神经网络就像一个神奇的小工厂哟！一、定义及原理这个小工厂呀，有个特别的工作方式。数据就像是原材料，从输入层这个“大门”进入工厂。然后呢，这些数据一路向前，经过一个又一个隐藏层，就好像经过不同的加工车间。每个车间都对数据进行一番特别的处理和改造。最后，数据到达输出层这个“成品出口”，变成了我们想要的结果。在这个过程中，数据只能一个劲儿地往前跑，可不能绕回来，就像一条单行道。比如说，如果我们
不断持续学习ing·2024-08-30 19:57

python 数据挖掘与机器学习

同时，伴随着深度学习的快速发展，人工智能技术在各个领域中的应用越来越广泛。
科研的力量·2024-08-30 19:57

大模型是如何炼成的：揭秘深度学习训练的秘密与优化技巧

本文将通过具体案例，带你走进深度学习训练的世界，一探究竟，并分享一些大模型训练过程中的优化技巧。一、数据收集与预处理数据收集：大模型的训练需要海量的数据。
AI大模型_学习君·2024-08-30 19:25

做大模型 千万别买苹果笔记本电脑

以下是一些主要原因：1.GPU不适合深度学习AppleSiliconGPU限制：Apple自家芯片（如M1和M2）的GPU架构与传统的NVIDIAGPU（通常是深度学习和大模型训练的首选）不同。
路人与大师·2024-08-30 16:06

AI中的核心概念解读：深度学习、机器学习、神经网络与自然语言处理

然而，对于刚接触AI的初学者或非专业人士来说，理解其中的核心概念，特别是深度学习、机器学习、神经网络与自然语言处理之间的区别，可能显得有些复杂。
wypdao·2024-08-30 16:31

昇思25天学习打卡

@[TOC]《昇思25天学习打卡营第02天|lulul》张量Tensor张量tensor是在机器学习和深度学习中广泛应用的数据概念，张量是多维数组的泛化，能够表示标量（0维张量）、向量（1维张量）、矩阵
十分钟ll·2024-08-30 15:28

基于yolov8的脑肿瘤检测系统python源码+onnx模型+评估指标曲线+精美GUI界面

在脑肿瘤检测中，YOLOv8通过深度学习技术，自动从脑部图像中提取特征，并学习目标的特征表示和位置信息。系统采用模块化设
FL1623863129·2024-08-30 15:57

深度学习赋能数据分析，联蔚盘云引领业务革新

一、引言随着大数据时代的到来，深度学习技术正逐渐成为企业数据分析的新引擎。联蔚盘云凭借其在深度学习领域的深厚积累，为企业提供高效、精准的数据分析解决方案，助力企业实现业务革新与增长。
联蔚盘云·2024-08-30 14:20

动手学深度学习（pytorch）学习记录20-自定义层[学习记录]

在深度学习中，自定义层是指开发者根据特定需求编写的神经网络层，而不是使用深度学习框架（如PyTorch、TensorFlow等）提供的现成层。自定义层可以让模型更加灵活，以适应特定的任务或数据集。
walfar·2024-08-30 13:13

动手学深度学习（pytorch）学习记录21-读写文件(模型与参数)[学习记录]

目录加载和保存张量加载和保存模型参数保存模型的好处众多，涵盖了从开发到部署的整个机器学习生命周期。节省资源：训练模型可能需要大量的时间和计算资源。保存模型可以避免重复训练，从而节省时间和计算资源。快速部署：一旦模型被训练并保存，它可以迅速部署到生产环境中，加速产品上市时间。版本控制：保存不同版本的模型有助于跟踪模型的迭代过程，便于比较和回滚到之前的版本。离线使用：保存的模型可以在没有网络连接的情况
walfar·2024-08-30 12:42

PyTorch深度学习实战（26）—— PyTorch与Multi-GPU

当拥有多块GPU时，可以利用分布式计算（DistributedComputation）与并行计算（ParallelComputation）的方式加速网络的训练过程。在这里，分布式是指有多个GPU在多台服务器上，并行指一台服务器上的多个GPU。在工作环境中，使用这两种方式加速模型训练是非常重要的技能。本文将介绍PyTorch中分布式与并行的常见方法，读者需要注意这二者的区别，并关注它们在使用时的注意
shangjg3·2024-08-30 12:10

《深度学习走向核心素养小学数学》读书第四期

逻辑推理：让学生学会“用数学的思维想”义务教育数学课程标准的核心词还提到运算能力和推理能力，这都属于逻辑推理。数学内部的发展依赖的就是逻辑推理。逻辑推理是指从一些事实和命题出发，依据规则推出其他命题的思维过程。它主要包括两类：一类是从特殊到一般的推理，推理形式主要有归纳、类比；一类是从一般到特殊的推理，推理形式主要有演绎。演绎推理是从大范围内成立的命题推断小范围内命题也成立，只能用来验证知识，不能
Lethe不迷糊·2024-08-30 12:52

自然语言处理（NLP）与机器学习：深度探索两者的关系

（NLP）与机器学习：深度探索两者的关系1.自然语言处理(NLP)的概述NLP的主要任务包括：2.机器学习(ML)的概述机器学习的主要类型包括：3.NLP与机器学习的关系1.机器学习驱动NLP任务2.深度学习与
听忆.·2024-08-30 10:51

【深度学习】embedding的简单理解

文章目录一、简单理解二、其他通俗理解一、简单理解特征嵌入，将数据转换（降维）为固定大小的特征表示（矢量），以便于处理和计算（如求距离）。例如，针对用于说话者识别的语音信号训练的模型可以允许您将语音片段转换为数字向量，使得来自相同说话者的另一片段与原始向量具有小的距离（例如，欧几里德距离）。embedding的主要目的是对（稀疏）特征进行降维，它降维的方式可以类比为一个全连接层（没有激活函数），通过
旅途中的宽~·2024-08-30 09:47

Datawhale X 李宏毅苹果书AI夏令营深度学习详解进阶Task02

目录一、自适应学习率二、学习率调度三、优化总结四、分类五、问题与解答本文了解到梯度下降是深度学习中最为基础的优化算法，其核心思想是沿着损失函数的梯度方向更新模型参数，以最小化损失值。
z are·2024-08-30 08:14

深度学习中Embedding的理解

在深度学习领域，Embedding一般用于代表某个类目的全部相关信息，表现形式为一个向量。
普通攻击往后拉·2024-08-30 08:44

深度学习速通系列:贝叶思&SVM

贝叶斯（Bayesian）方法和支持向量机（SVM，SupportVectorMachine）是两种不同的机器学习算法，它们在解决分类和回归问题时有着不同的原理和应用场景贝叶斯方法：贝叶斯方法基于贝叶斯定理，这是一种利用已知信息（先验概率）来预测未知事件（后验概率）的概率方法。它通常用于分类问题，特别是当数据集较小或存在类别不平衡时。贝叶斯方法可以处理不确定性，并且可以通过增加新的数据来更新先验概
Ven%·2024-08-30 08:13

机器学习和深度学习·贝叶斯优化和optuna

贝叶斯优化贝叶斯优化的思想先验：取点似然：假设分布取了n个点之后…后验：近似取得极值贝叶斯优化的数学过程在贝叶斯优化的数学过程当中，我们主要执行以下几个步骤：1定义需要估计的f(x)f(x)f(x)以及xxx的定义域2取出有限的n个xxx上的值，求解出这些xxx对应的f(x)f(x)f(x)（求解观测值）3根据有限的观测值，对函数分布进行假设（该假设被称为贝叶斯优化中的先验知识），得出该假设分布上
0xMayL·2024-08-30 08:39

【ShuQiHere】《机器学习的进化史『下』：从神经网络到深度学习的飞跃》

【ShuQiHere】引言：神经网络与深度学习的兴起在上篇文章中，我们回顾了机器学习的起源与传统模型的发展历程，如线性回归、逻辑回归和支持向量机（SVM）。
ShuQiHere·2024-08-30 07:07

PyTorch深度学习实战（27）—— PyTorch分布式训练

本节将详细介绍如何进行神经网络的分布式训练。其中1.1将结合MPI介绍分布式训练的基本流程，1.2与1.3将分别介绍如何使用torch.distributed以及Horovod进行神经网络的分布式训练。1PyTorch分布式训练1.1使用MPI进行分布式训练下面讲解如何利用MPI进行PyTorch的分布式训练。这里主要介绍的是数据并行的分布式方法：每一块GPU都有同一个模型的副本，仅加载不同的数据
shangjg3·2024-08-30 07:37

PyTorch Geometric（torch_geometric）简介

图网络是深度学习领域的一种强大工具，它能够处理结构化数据，如社交网络、分子结构、交通网络等。
小桥流水---人工智能·2024-08-30 06:32

深入理解PyTorch中的`torch.topk`函数！！！（个人总结，为了方便我自己复习，要是同时也能帮助到大家就更好了）

`torch.topk`函数概述函数签名返回值2.基本用法示例1：找到一维张量的最大值示例2：在二维张量的指定维度上操作3.高级应用4.结论深入理解PyTorch中的torch.topk函数在深度学习和数据处理中
小桥流水---人工智能·2024-08-30 06:32

在 PyTorch 中，`permute` 方法是一个强大的工具，用于重排张量的维度。

这在深度学习中非常有用，尤其是在处理具有多维数据（如图像、视频或复杂数组）的神经网络时。
小桥流水---人工智能·2024-08-30 06:32

PyTorch概述

它广泛用于深度学习和神经网络的研究和开发。PyTorch以其动态计算图、灵活性和简单易用的接口而闻名，深受研究人员和开发者的喜爱。
fydw_715·2024-08-30 06:01

[Scene Graph] 图神经网络的核心方法——Message Passing

深度学习方法的兴起是从计算图像处理（ComputerVision）领域开始的。以卷积神经网络（CNN）为代表的方法会从邻近的像素中获取信息。
风中摇曳的小萝卜·2024-08-30 06:01

Prompt Engineering Concepts

Introduction,ConceptsTextgenerationmodelsgenerationpre-trainedtransformers,GPTforshort.所以呢，前置知识是TransformerAssistants
初梦语雪·2024-08-30 06:59

基于深度学习的分子生成

基于深度学习的分子生成是一项结合化学、计算科学与人工智能的新兴领域，旨在利用深度学习模型来生成具有特定性质的分子结构。该技术在药物发现、材料科学和合成化学等领域具有广泛的应用前景。
SEU-WYL·2024-08-30 06:29

大模型训练优化方法

本文主要参考HF上的一篇文章：https://huggingface.co/docs/transformers/perf_train_gpu_one，以及笔者在实际训练中的一些经验，给出一些比较实用的方法
少喝冰美式·2024-08-30 05:28

大模型训练和推理

文章目录一、NLP基础1.Tokenizer2.positionencoding3.注意力机制与transformer架构二、大模型训练1.SFT训练2.RLHF训练3.分布式并行训练技术（1）模型并行
李明朔·2024-08-30 01:27

基于深度学习的人类行为模仿

基于深度学习的人类行为模仿是指利用深度学习技术构建模型，使计算机系统能够学习、理解、并模仿人类的行为。
SEU-WYL·2024-08-30 01:26

HuggingFace - linux环境 修改下载默认缓存路径

_使用huggingface下载bert保存在哪里怎么看-CSDN博客Howtochangehuggingfacetransformersdefaultcachedirectory-StackOverflowlinux
如果曾经拥有·2024-08-30 01:53

爆改yolov8|利用BSAM改进YOLOv8，高效涨点

BSAM（BiLevelSpatialAttentionModule）是一个用于提升深度学习模型在空间特征处理中的能力的模块。它主要通过双层注意力机制来增强模型对重要空间信息的关注，从而提升任务性能。
不想敲代码！！！·2024-08-29 22:37

【多变量输入超前多步预测】基于Transformer的光伏功率预测研究（Matlab代码实现）

本文目录如下：目录⛳️赠与读者1概述一、Transformer模型概述二、多变量输入三、超前多步预测四、实现步骤五、优势与挑战优势：挑战：六、结论与展望2运行结果3参考文献4Matlab代码、数据⛳️赠与读者‍做科研
科研_G.E.M.·2024-08-29 21:58

基于yolov8的8种人脸表情检测系统python源码+onnx模型+评估指标曲线+精美GUI界面

【算法介绍】基于YOLOv8的人脸表情检测系统是一个结合了先进目标检测算法（YOLOv8）与深度学习技术的项目，旨在实时或离线地识别并分类人脸表情（如快乐、悲伤、愤怒、惊讶、恐惧、厌恶、中立等）。
FL1623863129·2024-08-29 15:52

AI如何创造情绪价值

AI技术通过模拟人类神经网络的工作方式，对复杂的数据进行深度学习和理解，逐渐具备了处理人类情感的能力。在客户服务领域，情绪识
学客汇·2024-08-29 14:14

深度学习：探索人工智能的无限可能

而在AI领域，深度学习是近年来发展最为迅速的一个分支。本文将深入探讨深度学习及其相关领域，包括计算机视觉、自然语言处理、神经网络和强化学习。
木小梦(๑• . •๑)·2024-08-29 12:29

深度学习100问7-向量降维的算法有那些

一、主成分分析（PCA）PCA就像你整理一堆考试成绩单。假如成绩单上有好多科目成绩，这就像一个高维向量。但有些科目成绩关系很紧密，比如数学好的同学一般物理也不错，化学也还行。那PCA就会找这些成绩单里最主要的特点，把关系近的科目合成几个新的“大科目”。这样就把原来很多科目的高维向量变成几个“大科目”的低维向量啦。二、奇异值分解（SVD）SVD呢，就好比你有一本很厚的书。书的每一页上的字可以看成一个
不断持续学习ing·2024-08-29 11:54

基于yolov8的绝缘子缺陷检测系统python源码+onnx模型+评估指标曲线+精美GUI界面

【算法介绍】基于YOLOv8的绝缘子缺陷检测系统是一种利用先进深度学习技术的高效解决方案，旨在提升电力行业中输电线路的维护和监控水平。
FL1623863129·2024-08-29 10:16

机器学习和深度学习中常见损失函数，包括损失函数的数学公式、推导及其在不同场景中的应用

目录引言什么是损失函数？常见损失函数介绍3.1均方误差（MeanSquaredError,MSE）3.2交叉熵损失（Cross-EntropyLoss）3.3平滑L1损失（SmoothL1Loss）3.4HingeLoss（合页损失）3.5二进制交叉熵损失（BinaryCross-EntropyLoss）3.6KL散度（KLDivergence）3.7Huber损失（HuberLoss）3.8对比
早起星人·2024-08-29 09:44

Python在神经网络中优化激活函数选择使用详解

如果没有激活函数，神经网络仅仅是线性模型的堆叠，无法胜任深度学习中的各种任务。
Rocky006·2024-08-29 09:39

增强语音对车载语音质量测试的挑战

语音合成采用了混合单元选择系统，结合了单元选择和参数合成的优势，并通过深度学习进一步提升了语音质量。这种技术的应用，使得语音助手能够在车内环境中提供流畅自然且易于理解的语音交互体验。2
众乐认证·2024-08-29 08:05

TensorFlow和它的弟弟们

TensorFlow、TensorFlowLite、TensorFlowLiteMicro是Google在深度学习领域推出的三个不同产品，它们各自有着不同的设计目标和适用场景。
活蹦乱跳酸菜鱼·2024-08-29 08:31

Datawhale AI夏令营-task03

DatawhaleAI夏令营-task03笔记来源：DatawhaleAI夏令营数据增强基础数据增强是一种在机器学习和深度学习领域常用的技术，尤其是在处理图像和视频数据时。
ghost_him·2024-08-29 06:50

释放GPU潜能：PyTorch中torch.nn.DataParallel的数据并行实践

释放GPU潜能：PyTorch中torch.nn.DataParallel的数据并行实践在深度学习模型的训练过程中，计算资源的需求往往随着模型复杂度的提升而增加。
2401_85762266·2024-08-29 05:45

每天一个数据分析题（五百零五）- 提升方法

A.AdaboostB.GBDTC.XGBOOSTD.随机森林数据分析认证考试介绍：点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python，SQL，统计学，数据分析理论，深度学习
跟着紫枫学姐学CDA·2024-08-29 05:43

每天一个数据分析题（五百零六）- 装袋方法

A.AdaboostB.GBDTC.XGBOOSTD.随机森林数据分析认证考试介绍：点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python，SQL，统计学，数据分析理论，深度学习
跟着紫枫学姐学CDA·2024-08-29 05:43

[从0开始AIGC][LLM]：Pre-Norm or Post-Norm？训练效率还是训练效果？

Pre-NormorPost-NormPre-NormorPost-Norm1.什么是Pre-Norm和Post-Norm2.为什么Pre-Norm比Post-Norm易于训练2.1Transformer
Way_X·2024-08-29 05:42
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他