TRANSFORMER

【深度学习】Transformer简介

近年来，Transformer模型在自然语言处理（NLP）领域中横扫千军，以BERT、GPT为代表的模型屡屡屠榜，目前已经成为了该领域的标准模型。
TwcatL_tree·2023-12-05 00:19

ClipCap【用到Prefix Tuning】

方法ClipCap使用CLIP的imageencoder（冻结）将图片转换为embedding；将embedding和学习得到的常量输入到mappingnetwork（轻量，基于transformer）
电车上那个cll呀·2023-12-04 23:12

YOLOv8改进 | 2023 | 给YOLOv8换个RT-DETR的检测头（重塑目标检测前沿技术）

RT-DETR号称是打败YOLO的检测模型，其作为一种基于Transformer的检测方法，相较于传统的基于卷积的检测方法，提供了更为全面和深入的特征理解，将RT-DETR检测头融入YOLOv8，我们可以结合
Snu77·2023-12-04 21:47

初学者如何入门Generative AI：看两篇综述，玩几个应用感受一下先！超多高清大图，沉浸式体验

文章大纲综述与简介从神经网络到Transformer不同种类的深度神经网络transformer原理与解析BERTGPTTransformer结构演化与应用历史transformer在视觉上的应用AIGC
shiter·2023-12-04 15:46

[RoFormer]论文实现：ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING

绝对位置编码2.3相对位置编码2.4旋转位置编码Long-termdecayAdaptionforlinearattention2.5模型效果三、过程实现四、整体总结论文：ROFORMER:ENHANCEDTRANSFORMERWITHROTARYPOSITIONEMBEDDING
Bigcrab__·2023-12-04 13:07

第29期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。
云起无垠·2023-12-04 13:07

[Bert]论文实现：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

架构层2.4输出层NSPCLS2.5BERT微调三、过程实现3.1导包3.2数据准备3.3模型建立3.4模型训练四、整体总结论文：BERT:Pre-trainingofDeepBidirectionalTransformersf
Bigcrab__·2023-12-04 13:06

[Transformer-XL]论文实现：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

文章目录一、完整代码二、论文解读2.1Transformer-XL的介绍2.2Transformer-XL的架构2.3相对位置编码2.4分段递归模型三、过程实现四、整体总结论文：Transformer-XL
Bigcrab__·2023-12-04 13:06

（pytorch进阶之路）Informer

论文：Informer:BeyondEfficientTransformerforLongSequenceTime-SeriesForecasting(AAAI’21BestPaper)看了一下以前的论文学习学习
likeGhee·2023-12-04 10:47

掌握大型语言模型（LLM）技术：推理优化

堆叠Transformer层以创建大型模型可以获得更好的准确性、few-shot学习能力，甚至在各种语言任务中具有接近人类的涌现能力。
IT挂壁青年·2023-12-04 06:33

动手制作个人电脑对话机器人transformers+DialoGPT

简介：DialoGPT是一个对话模型，由微软基于GPT-2训练。由于DialoGPT在对话数据上进行了预训练，所以它比原始的GPT-2更擅长生成类似对话的文本。DialoGPT的主要目标是生成自然且连贯的对话，而不是在所有情况下都提供事实上的正确答案。此外，由于模型的预训练数据主要是英文，因此它可能无法很好地处理中文输入。在运行代码之前，请确保已经安装了HuggingFace的Transforme
玩转测试开发·2023-12-04 06:29

Elasticsearch：什么是大语言模型（LLM）？

大型语言模型使用Transformer模型，并使用大量数据集进行训练——因此规模很大。这使他们能够识别、翻译、预测或生成文本或其他内容。
Elastic 中国社区官方博客·2023-12-04 05:29

二. BEV感知算法基础模块讲解

转换模块2.1LSS(Lift,SplatandShoot)2.2PseudoLiDAR3.从3D到2D转换模块3.1ExplicitMapping3.2ImplicitMapping4.BEV感知中的Transformer4.1
爱听歌的周童鞋·2023-12-04 03:32

SETR

RethinkingSemanticSegmentationfromaSequence-to-SequencePerspectivewithTransformershttps://arxiv.org/abs
Valar_Morghulis·2023-12-04 00:47

脑电信号的注意机制:基于ViT的情绪识别:论文精读

论文题目：IntroducingAttentionMechanismforEEGSignals:EmotionRecognitionwithVisionTransformersAbstract—Theaccurateemotionalassessmentofhumanscanprovebeneficialinhealthcare
风清扬，夏邑·2023-12-04 00:05

CFPNet--FPN系列新作，关注层内特征规则

尽管一些方法试图在注意力机制或视觉transformer的帮助下学习紧凑的层内特征表示，但它们忽略了对密集预测任务很重要的被忽略的角区域。创新点：提出了一种
勤劳节俭阿美莉卡·2023-12-03 21:15

通义千问 模型学习 和 SDK试用

Qwen-14B是基于Transformer的大语言模型,在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。
wangqiaowq·2023-12-03 21:00

Transformer的一点理解，附一个简单例子理解attention中的QKV

Transformer用于目标检测的开山之作DETR，论文作者在附录最后放了一段简单的代码便于理解DETR模型。
河北一帆·2023-12-03 16:22

Google Colab 现已支持直接使用 transformers 库

GoogleColab，全称Colaboratory，是GoogleResearch团队开发的一款产品。在Colab中，任何人都可以通过浏览器编写和执行任意Python代码。它尤其适合机器学习、数据分析和教育目的。从技术上来说，Colab是一种托管式Jupyter笔记本服务。用户无需设置，就可以直接使用，同时还能获得GPU等计算资源的免费使用权限。通过与Colab团队的共同努力，Colab托管的运
Hugging Face·2023-12-03 16:50

HuggingFace学习笔记--Trainer的使用

Trainer可以快速进行模型训练的配置，一般需要设置训练的模型以及训练相关参数等；1-1--简单Demo代码importevaluatefromdatasetsimportload_datasetfromtransformersimportAutoTokenizer
晓晓纳兰容若·2023-12-03 15:42

HuggingFace学习笔记--BitFit高效微调

BitFit，全称是bias-termfine-tuning，其高效微调只去微调带有bias的参数，其余参数全部固定；2--实例代码fromdatasetsimportload_from_diskfromtransformersimportAutoTokenizer
晓晓纳兰容若·2023-12-03 15:39

使用pytorch从零开始实现迷你GPT

生成式建模知识回顾:[1]生成式建模概述[2]TransformerI，TransformerII[3]变分自编码器[4]生成对抗网络，高级生成对抗网络I，高级生成对抗网络II[5]自回归模型[6]归一化流模型
Garry1248·2023-12-03 15:03

【动手学习pytorch笔记】36.Transformer实现

Transformer实现把前面几节的内容拼起来，muti-headAttention、positionalencoding…importmathimportpandasaspdimporttorchfromtorchimportnnfromd2limporttorchasd2l
YMK_0·2023-12-03 14:07

Hugging “Hugging Face“

后来他们为Google的BERT模型做了一个pytorch版的开源实现，得到了社区的广泛认可，并由此逐步开发出了Transformers库。
colorknight·2023-12-03 14:05

Chat-GPT原理

GPT原理核心是基于Transformer架构英文原文：Transformersarebasedonthe“attentionmechanism,”whichallowsthemodeltopaymoreattentiontosomeinputsthanothers
笑口常开的小丸子·2023-12-03 13:54

huggingface使用预训练模型入门

huggingface使用预训练模型入门huggingface的官方文档的地址：https://huggingface.co/docs/transformers/quicktour。
wenjurongyu·2023-12-03 13:47

深度学习回顾：七种网络

一、说明本文揭开CNN、Seq2Seq、FasterR-CNN和PPO，以及transformer和humg-face—编码和创新之路。对于此类编程的短小示例，用于对照观察，或做学习实验。
无水先生·2023-12-03 12:25

[论文阅读]VoxSet——Voxel Set Transformer

VoxSetVoxelSetTransformer:ASet-to-SetApproachto3DObjectDetectionfromPointClouds论文网址：VoxSet论文代码：VoxSet
一朵小红花HH·2023-12-03 09:47

【GNN论文精读】A Gentle Introduction to Graph Neural Networks

论文地址：AGentleIntroductiontoGraphNeuralNetworks作者：谷歌的三位大佬时间：2021年参考李沐老师的论文讲解课而做的笔记Transformer论文逐段精读【论文精读
HiLittleBoat·2023-12-03 07:42

【模型报错记录】‘PromptForGeneration‘ object has no attribute ‘can_generate‘

·GitHub的问题描述：在使用model.generate()的时候报错：'PromptForGeneration'objecthasnoattribute'can_generate'解决方法：更换transformer
HiLittleBoat·2023-12-03 07:08

Transformer 的注意力头越多越好么

每个头区分度越大，相当于视角越多，这样的话按道理Transformer对目标可以进行更好的拟合。但注意力头真的是越多越好么？（不考虑过拟合和硬件条件的情况下）问题的关键是
孙庚辛·2023-12-03 04:14

使用Pytorch从零开始实现CLIP

生成式建模知识回顾:[1]生成式建模概述[2]TransformerI，TransformerII[3]变分自编码器[4]生成对抗网络，高级生成对抗网络I，高级生成对抗网络II[5]自回归模型[6]归一化流模型
Garry1248·2023-12-03 01:48

使用Pytorch从零开始实现BERT

生成式建模知识回顾:[1]生成式建模概述[2]TransformerI，TransformerII[3]变分自编码器[4]生成对抗网络，高级生成对抗网络I，高级生成对抗网络II[5]自回归模型[6]归一化流模型
Garry1248·2023-12-03 01:16

图神经网络处理 图片数据

其实与CNN把一张图片看成一个网格、Transformer把图片拉直成一个序列相比，图方法更适合学习不规则和复杂物体的特征。
mingqian_chu·2023-12-02 20:35

大模型的实践应用11-“书生”通用大模型的搭建与模型代码详细介绍，以及快速使用方法

InternLM-7B模型主要是基于transformers架构中的解码器开发改造的，架构中运用RMSNorm归一化方法、RotaryEmbed
微学AI·2023-12-02 20:32

transformer入门例子

简单模型和推理例子importtimeimportnumpyasnpimporttorchfromtorchimportnn#定义Transformer模型classTimeSeriesTransformer
AI视觉网奇·2023-12-02 17:34

初学者如何入门深度学习：以手写数字字符识别为例看AI 的学习路径，一图胜千言！

卷积池化以手写字符识别为例讲述深度学习的分类问题MNIST数据集简介初学者入门：生成式AI--generative-ai-for-beginners从神经网络到Transformer参考文献与学习路径深度神经网络
shiter·2023-12-02 12:17

深度学习今年来经典模型优缺点总结，包括卷积、循环卷积、Transformer、LSTM、GANs等

文章目录1、卷积神经网络（ConvolutionalNeuralNetworks，CNN）1.1优点1.2缺点1.3应用场景1.4网络图2、循环神经网络（RecurrentNeuralNetworks，RNNs）2.1优点2.2缺点2.3应用场景2.4网络图3、长短时记忆网络（LongShort-TermMemory，LSTM）3.1优点3.2缺点3.3应用场景3.4网络图4、门控循环单元（Gat
JJxiao24·2023-12-02 10:39

手撕transformer-基于numpy实现

Attentionisallyouneed在Transformer模型中，输入首先通过一个嵌入层，得到每个词的嵌入表示，然后再加上位置编码（PositionalEncoding）得到每个词的最终表示。
AlgorithmWillBeFine·2023-12-02 10:36

[AI] 在 huggingface transformers新增自定义token

为什么要向词汇表添加token？在大多数情况下，您不会从头开始训练一个大型语言模型，而是在新数据上微调现有模型。通常，新数据集和自然语言任务使用新的或不同的领域特定词汇。例如，法律或医疗文件。虽然目前模型一起使用的子词tokenizers能够处理基本上任意的token，但这并不是最优的。这些tokenizers一般是透过切分更小的subtoken来处理未知的新词。这样可以处理文本，但以这种方式一些
AlgorithmWillBeFine·2023-12-02 10:35

基于 Llama2 和 OpenVINO™ 打造聊天机器人

作者：武卓博士英特尔OpenVINO布道师,杨亦诚英特尔AI软件工程师Llama2是Meta发布了其最新的大型语言模型，Llama2是基于Transformer的人工神经网络，以一系列单词作为输入，递归地预测下一个单词来生成文本
英特尔开发人员专区·2023-12-02 10:32

用上这个工具包，大模型推理性能加速达40倍

英特尔®ExtensionforTransformer创新工具包中的LLMRuntime为诸多模型显著降低时延，且首个token和下一个token的推理速度分别提升多达40倍和2.68倍，还能满足更多场景应用需求
QbitAl·2023-12-02 10:29

[AI]如何让语言模型LLMs流式输出：HuggingFace Transformers实现

HugginFaceTransforms是一个非常方便的库，集成了非常多SOTA的模型，包含：LLAMA,GPT,ChatGLMMoss，等。目前基本上主流的方案都是基于HugginFaceTransforms这个框架实现的。以前如果要流式输出需要自己去改模型底层的推理逻辑。如ChatGLM，自己实现的流式输出如下：#chatglm-6bmodel/modeling_chatglm.py@torc
AlgorithmWillBeFine·2023-12-02 10:58

对 Vision Transformers 及其基于 CNN-Transformer 的变体的综述

AsurveyoftheVisionTransformersanditsCNN-TransformerbasedVariants摘要1、介绍2、vit的基本概念2.1patch嵌入2.2位置嵌入2.2.1
毕竟是shy哥·2023-12-02 09:27

让EntityManager的Query返回Map对象

参考：1、让JPA的Query返回Map对象2、setResultTransformer(Transformers.ALIAS_TO_ENTITY_MAP)在JPA2.0中我们可以使用entityManager.createNativeQuery
justsosomm·2023-12-02 06:22

人工智能基础创新的第二增长曲线

“Transformer网络架构、‘语言’模型（Next-TokenPrediction，或自回归模
微软技术栈·2023-12-02 05:06

在Transformer模型中， Positional Encoding的破坏性分析

在Transformer模型中，WordEmbedding被加上一个PositionalEncoding，是否会破坏原来的WordEmbedding的含义SinusoidalPositionalEncoding
子燕若水·2023-12-02 03:54

Error: Cannot run with sound null safety, because the following dependencies，由于不兼容null safety模式

becausethefollowingdependenciesdon'tsupportnullsafety:-package:loading_indicator_view-package:flutter_swiper-package:flutter_page_indicator-package:transformer_page
GalenWu·2023-12-02 03:30

Transformer：中英文翻译

2.2位置编码2.3残差连接和层归一化2.4注意力机制2.5前馈神经网络三、过程实现3.1安装包和导包3.2数据准备3.3词嵌入和位置编码3.4注意力机制3.5前馈神经网络3.6编码器3.7解码器3.8Transformer3.9
Bigcrab__·2023-12-02 02:45

[transformer]论文实现：Attention Is All You Need

2.2位置编码2.3残差连接和层归一化2.4注意力机制2.5前馈神经网络三、过程实现3.1安装包和导包3.2数据准备3.3词嵌入和位置编码3.4注意力机制3.5前馈神经网络3.6编码器3.7解码器3.8Transformer3.9
Bigcrab__·2023-12-02 02:45
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他