Transformer】第8页

经典论文介绍：GPT的由来，Improving Language Understanding by Generative Pre-Training

ImprovingLanguageUnderstandingbyGenerativePre-Training》是谷歌AI研究团队在2018年提出的一篇论文，作者提出了一种新的基于生成式预训练的自然语言处理方法（GenerativePre-trainingTransformer

才能我浪费·2024-02-05 15:47

Transformer的PyTorch实现之若干问题探讨（一）

《Transformer的PyTorch实现》这篇博文以一个机器翻译任务非常优雅简介的阐述了Transformer结构。在阅读时存在一些小困惑，此处权当一个记录。

微凉的衣柜·2024-02-05 13:24

使用deepspeed继续训练LLAMA

目录1.数据训练配置2.模型载入3.优化器设置4.DeepSpeed设置5.DeepSpeed初始化6.模型训练LLAMA模型子结构：1.数据训练配置利用PyTorch和Transformers库创建数据加载器

samoyan·2024-02-05 13:58

LLaMA 模型中的Transformer架构变化

目录1.前置层归一化（Pre-normalization）2.RMSNorm归一化函数3.SwiGLU激活函数4.旋转位置嵌入（RoPE）5.注意力机制优化6.GroupQueryAttention7.模型规模和训练超参数8.分布式模型训练前置归一化与后置归一化的区别前置归一化（Pre-normalization）后置归一化（Post-normalization）结论1.前置层归一化（Pre-no

samoyan·2024-02-05 13:57

Hugging face

常见的功能如下：transformer结构图像特征提取参考文献：HuggingFace–TheAIcommunitybuildingthefuture.

hzhj·2024-02-05 13:51

Python 处理小样本数据的文档分类问题

#导入必要的库fromtransformersimportBertTokenizer,BertForSequenceClassificationim

田猿笔记·2024-02-05 11:50

PyTorch 2.2 中文官方教程（十七）

（Beta）使用缩放点积注意力（SDPA）实现高性能Transformer原文：pytorch.org/tutorials/intermediate/scaled_dot_product_attention_tutorial.html

绝不原创的飞龙·2024-02-05 08:04

【CVPR 2023的AIGC应用汇总一】图像转换/翻译，基于GAN生成对抗/diffusion扩散模型方法...

1、MaskedandAdaptiveTransformerforExemplarBasedImageTranslation提出了一个基于样本的图像转换新方法。

机器学习与AI生成创作·2024-02-05 06:23

基于动作合成视频、线免费使用不需要注册，支持多种视频任务：图像生成视频、文本生成视频、视频修改、视频风格化、用Transformer构建世界模型

基于动作合成视频、线免费使用不需要注册，支持多种视频任务：图像生成视频、文本生成视频、视频修改、视频风格化、用Transformer构建世界模型。

代码讲故事·2024-02-05 06:12

大模型增量预训练新技巧：解决灾难性遗忘

今天给大家带来一篇增量预训练方法-Llama-Pro，对LLMs进行Transformer块扩

深度学习算法与自然语言处理·2024-02-05 05:14

TypeScript实战——ChatGPT前端自适应手机端，PC端

它是GPT（GenerativePre-trainedTransformer）模型的一个变种，通过在大规模的互联网文本数据上进行预训练，学习到了丰富的语言知识和语义理解能力。ChatGPT可

GPT助手·2024-02-04 23:19

Ai 算法之Transformer 模型的实现: 一、Input Embedding模块和Positional Embedding模块的实现

一文章生成模型简介比较常见的文章生成模型有以下几种：RNN：循环神经网络。可以处理长度变化的序列数据，比如自然语言文本。RNN通过隐藏层中的循环结构来传递时间序列中的信息，从而使当前的计算可以参照之前的信息。但这种模型有梯度爆炸和梯度消失的风险，所以只能做简单的生成任务。LSTM：长短记忆网络。通过引入门控制机制来控制信息传递。有效避免了梯度消失和梯度保障的问题。LSTM可以做些复杂的生成任务。T

千年奇葩·2024-02-04 21:38

Nestjs 管道验证DTO

一、创建验证管道pipe1、创建p模块nestgresp2、创建验证管道nestgpip二、安装验证器npmi--saveclass-validatorclass-transformer代码：import

炉火纯青-旺·2024-02-04 18:23

Word2Vec ——gensim实战教程

最近斯坦福的CS224N开课了，看了下课程介绍,去年google发表的Transformer以及最近特别火的ContextualWordEmbeddings都会在今年的课程中进行介绍。

王同学死磕技术·2024-02-04 14:48

“erfinv_vml_cpu“ not implemented for ‘Half‘

在复现qwen-vl的qlora的时候报错，"erfinv_vml_cpu"notimplementedfor'Half'，具体原因是这个文件里的.cache/huggingface/modules/transformers_modules

wkk15903468980·2024-02-04 12:55

【使用 Python 进行 NLP】第 2 部分 NLTK

它内置了对BERT等多重训练Transformer的支持，以及针对超过1

无水先生·2024-02-04 12:11

vit细粒度图像分类（十）TransFG学习笔记

近年来，视觉变压器(visiontransformer,ViT)在传统的分类任务中表现出了强大的

无妄无望·2024-02-04 09:59

End-to-End Object Detection with Transformers（DETR）

总结：这篇文档介绍了一个基于transformer和双分配匹配损失的新型目标检测系统（DETR）。

TJMtaotao·2024-02-04 07:35

LLM(5) | Encoder 和 Decoder 架构

LLM(5)|Encoder和Decoder架构文章目录LLM(5)|Encoder和Decoder架构0.目的1.概要2.encoder和decoder风格的transformer(Encoder-AndDecoder-StyleTransformers

baiyu33·2024-02-04 07:16

User开源模型ChatGLM3-6B如何使用？

建议使用`transformers`库的`4.30.2`版本，以及`torch`库的`2.0`或更高版本以获得最佳的推理性能【17†source】。2.

qq_20984273·2024-02-04 06:48

python 大模型生成任务中的贪婪解码和集束搜索，贪婪解码和集束搜索和区别，大模型中贪婪解码的实现；用贪婪解码实现机器翻译任务；transformer模型源码；LLMs的贪婪解码

1.贪婪解码和集束搜索贪婪解码和集束搜索都是用于生成文本的解码算法。它们在效果和计算复杂度上有所区别。贪婪解码是一种简单直接的方法，每次选择具有最高概率的下一个字符或单词作为输出。它的优点是计算效率高，因为只需进行一次预测，而不需要考虑其他可能的路径。然而，贪婪解码可能会导致输出不够流畅和连贯，因为它只关注当前步骤的最佳选择，而忽略了整体的序列优化。相比之下，集束搜索考虑了多个可能的路径。它维护一

医学小达人·2024-02-04 03:45

LLM大模型

LLM模型采用了Transformer架构，它由多个编码器层和解码器层组成。在预训练阶段，LLM模型通过无监督学习从大规模的文本数据中学习语言的统计特征和语义信息。

程序小勇·2024-02-03 22:05

【文本到上下文 #8】NLP中的变形金刚：解码游戏规则改变者

在本期中，我们将重点介绍一项重塑NLP格局的突破性创新：Transformers。

无水先生·2024-02-03 20:22

Transformer在GNN的前沿综述

本文约4500字，建议阅读10+分钟本文介绍了Graphormer，一种基于标准Transformer架构的图表示学习方法。

数据派THU·2024-02-03 19:46

（2021|NIPS，VQ-VAE，精度瓶颈松弛，三明治层归一化，CapLoss）CogView：通过转换器掌握文本到图像的生成

CogView:MasteringText-to-ImageGenerationviaTransformers公众号：EDPJ（添加VX：CV_EDPJ或直接进Q交流群：922230617获取资料）目录

EDPJ·2024-02-03 19:18

CogView：通过Transformers完成文本到图像的生成

1TitleCogView:MasteringText-to-ImageGenerationviaTransformers（MingDing,ZhuoyiYang,WenyiHong,WendiZheng

umbrellazg·2024-02-03 19:47

PyTrch深度学习简明实战33 - Transformer特征提取实现文本分类

pipinstalltorchdataimportnumpyasnpimporttorch.nnasnnimporttorch.nn.functionalasFfromtorch.utilsimportdatafromtorch.nnimportTransformerEncoder

薛东弗斯·2024-02-03 17:03

ChatGPT: 人工智能技术的崭新应用

而ChatGPT（GenerativePre-trainedTransformer）则是一种基于自然语言处理和深度学习技术的聊天机器人，它已经成为了人工智能技术领域的热门话题。本文将

久邦科技·2024-02-03 17:39

政安晨的AI笔记——示例演绎OpenAI的ChatGPT与DALL·E提示词总原则（并融合创作一副敦煌飞天仙女图）

它建立在GPT（GenerativePre-trainedTransformer）模型的基础上，通过大量的无监督学习和生成式任务训练来学习语言的概念和模式。

政安晨·2024-02-03 15:32

大模型LORA微调总结

source和target构建input_ids和labels标签补齐构建训练器LORA模型推理模型加载多batch推理构建lora微调推理合并模型权重大模型微调总结模型加载使用deepspeedmodel=transformers.AutoModelForCausalLM

江小皮不皮·2024-02-03 15:48

mini版语言模型，逐行精讲

毕竟在信息爆炸的今天，读者的attention是如此宝贵，这可是Transformer教给我们的人生哲理!（bushi）这篇博客的内容为作者本人参照油管大佬的视频实现的一个mini版语言模型。

zhangbihan999·2024-02-03 12:54

【史上最本质】序列模型：RNN、双向 RNN、LSTM、GRU、Seq-to-Seq、束搜索、Transformer、Bert

序列模型：RNN、双向RNN、LSTM、GRU、Seq-to-Seq、束搜索、Transformer、Bert序列模型是啥RNN结构双向RNN长短期记忆递归神经网络LSTM门控循环单元GRU编码器-解码器

Debroon·2024-02-03 11:32

ChatGPT 4.0 升级指南, ChatGPT Plus（GPT 4.0）有何优势？

ChatGPT是由OpenAI开发的一种基于人工智能的聊天机器人，它基于强大的语言处理模型GPT（GenerativePre-trainedTransformer）构建。

xiaokangstudy·2024-02-03 10:29

探索ChatGPT：AI技术的新篇章与人类的共舞

ChatGPT，全称为GenerativePre-trainedTransformer，即生成式预训练变换模型，通过预训练的方式掌握了广泛的语言能力。它能

赵闪闪168·2024-02-03 09:19

【论文阅读笔记】Taming Transformers for High-Resolution Image Synthesis

TamingTransformersforHigh-ResolutionImageSynthesis记录前置知识AbstractIntroductionRelatedWorkMethodLearninganEffectiveCodebookofImageConstituentsforUseinTransformersLearningtheCompositionofImageswithTransfo

LuH1124·2024-02-03 09:45

AI预测-注意力机制/多头注意力机制及其tensorflow实现

写代码的中青年·2024-02-03 09:02

AI预测-Transformer模型及Paddle实现

写代码的中青年·2024-02-03 09:01

AI预测-迁移学习在时序预测任务上的tensoflow2.0实现

写代码的中青年·2024-02-03 09:01

ConvFormer: Plug-and-Play CNN-StyleTransformers for Improving Medical ImageSegmentation

ConvFormer:改进医学图像分割的即插即用CNN风格转换器摘要：Transformer在医学图像分割中被广泛研究，以建立成对的长程依赖关系（像素之间的长程依赖关系）。

我在努力学习分割（禁止说我水平差）·2024-02-03 08:03

MedSegDiff-V2: Diffusion based Medical Image Segmentation with Transformer

MedSegDiff-V2:基于变压器的扩散医学图像分割摘要扩散概率模型(DiffusionProbabilisticModel,DPM)最近在计算机视觉领域获得了广泛的应用，这要归功于它的图像生成应用，如Imagen、LatentDiffusionModels和StableDiffusion，这些应用已经展示了令人印象深刻的能力，并在社区内引发了许多讨论。最近的研究进一步揭示了DPM在医学图像分

我在努力学习分割（禁止说我水平差）·2024-02-03 08:03

基于FFT + CNN -Transformer时域、频域特征融合的电能质量扰动识别模型

目录往期精彩内容：模型整体结构1快速傅里叶变换FFT原理介绍第一步，导入部分数据，扰动信号可视化第二·步，扰动·信号经过FFT可视化2电能质量扰动数据的预处理2.1导入数据2.2制作数据集3基于FFT+CNN-Transformer

建模先锋·2024-02-03 07:52

LSTR: 基于Transformer的车道形状预测

LSTR:基于Transformer的车道形状预测项目背景与意义LSTR的特性和功能最新更新即将推出的功能模型资源库数据准备设置环境训练和评估引用许可证贡献致谢在计算机视觉领域，车道检测是自动驾驶和智能交通系统中的关键技术之一

OverlordDuke·2024-02-03 07:51

CountVectorizer与TfidfVectorizer

导入fromskleran.feature_extraction.textimportCountVectorizer,TfidfTransformerfromsklearn.feature_extraction.textimportTfidfVectorizerCountVectorizer

卷心菜呀·2024-02-03 06:53

京东广告算法架构体系建设--高性能计算方案最佳实践 | 京东零售广告技术团队

但随着广告模型效果优化进入深水区，基于Transformer用户行为序列和Attention的建模逐渐成为主流，这个阶段模型的特点是参数的体量、网络结构复杂度呈指数级增长，算法建模的创新工作往往由于吞吐和耗时的性能算力问题

京东云技术团队·2024-02-03 02:28

OpenAI开放新功能，可通过@一键调用任意GPTs

作为人工智能领域的重要成果之一，OpenAI的GPT（GenerativePre-trainedTransformer）模型在自然语言处理方面取得了巨大的突破。

庄泽峰·2024-02-02 22:13

语义分割：从早期探索到深度学习的突破

聚类方法深度学习的兴起：CNN革命2012年AlexNet的突破全卷积网络（FCN）U-Net的创新设计深度学习卷积网络技术不断创新发展里程碑：端到端学习端到端全卷积网络（FCN）MaskR-CNN的多任务学习Transformer

kadog·2024-02-02 21:08

【工程记录】ChatGLM3-6B 部署的详细教程（Windows）

1.环境配置Github地址：ChatGLM3作者注释：transformers库版本推荐为4.30.2，torch推荐使用2.0及以上的版本，以获得最佳的推理性能。为了防止依赖之间的版本冲突，

LZXCyrus·2024-02-02 20:30

新手在消费级GPU上本地部署chatGLM-6B

ChatGLM-6B是一种基于Transformer架构的对话生成模型，由清华大学开发的一款强大的语言生成模型，它融合了最先进的深度学习技术与海量中文语料的训练成果。

韬小志·2024-02-02 20:34

基于Transformer结构的扩散模型综述

个人主页：https://zhangxiaoshu.blog.csdn.net欢迎大家：关注+点赞+评论+收藏⭐️，如有错误敬请指正!未来很长，值得我们全力奔赴更美好的生活！前言近年来，计算机科学领域的生成式扩散模型迅猛发展，成为人工智能领域的热门研究方向。这一类模型，如GPT系列，以其强大的语言理解和生成能力，成功地应用于自然语言处理、文本生成、机器翻译等多个领域。扩散模型通常使用一个基于卷积的

张小殊.·2024-02-02 17:14

榜单！高阶智驾冲刺10%搭载率，哪些玩家占据自研感知「高地」

尤其是过去几年时间，基于机器学习和深度学习，Transformer+BEV技术进一步提高对异常行为的预测准确性，为实现最终的端到端自动驾驶落地，奠定了坚实的基础。

高工智能汽车·2024-02-02 15:25

推荐频道

Transformer】