TRANSFORMER 第24页

【Python机器学习系列】一文搞懂机器学习中的转换器和估计器（附案例）

一、引言表格数据一套完整的机器学习建模流程如下：在机器学习中，转换器（Transformer）和估计器（Estimator）是两个重要的概念，转换器和估计器在机器学习中扮演不同的角色，但它们通常可以结合在一起构建一个完整的机器学习流程

数据杂坛·2023-12-24 20:38

Transformer 模型设计的灵感

Transformer模型的设计确实是通过深刻理解序列处理和注意力机制的基础上，结合了并行计算的优势，取得了显著的性能提升。

科学禅道·2023-12-24 17:50

【大语言模型】Transformer原理以及运行机制

目录参考资料Transformer是一种序列到序列（Sequence-to-Sequence）的模型，用于处理自然语言处理任务。

后端研发Marion·2023-12-24 17:18

【域适应十三】2023-CVPR Patch-Mix Transformer for Unsupervised Domain Adaptation: A GamePerspective

1.motivation最近，很多工作致力于利用视觉转换器(ViT)来完成具有挑战性的无监督域适应(UDA)任务。它们通常采用ViT中的CrossAttention进行直接的域对齐（CDTrans）。然而，由于CrossAttention的性能高度依赖于目标样本的伪标签质量，当域间隙较大时，域对齐的效果就会降低。为了解决这一问题，本文从博弈的角度，提出了一个被称为PMTrans的模型，用一个中间域

羊驼不驼a·2023-12-24 16:13

CV算法面试题学习

CV算法面试题学习1点在多边形内（pointinpolygon）2高斯滤波器3ViTPatchEmbeddingPositionEmbeddingTransformerEncoder完整的ViT模型4SE

电子系的小欣·2023-12-24 15:14

【BBuf的CUDA笔记】十，Linear Attention的cuda kernel实现解析

0x0.问题引入LinearAttention的论文如下：TransformersareRNNs:FastAutoregressiveTransformerswithLinearAttention：https

just_sort·2023-12-24 15:02

神经网络也能像人类利用外围视觉一样观察图像

本篇分享论文『PeripheralVisionTransformer』，POSTECH&MSRA&中科大提出PerViT，让神经网络也能关注图片中的重点信息！

FightingCV·2023-12-24 14:07

【CVPR2023】可持续检测的Transformer用于增量对象检测

在这个背景下，论文提出了一种创新性的方法，称为ContinuaLDEtectionTRansformer（CL-DETR），它基于Tran

陈子迩·2023-12-24 14:41

【llm使用】ChatGLM3-6B Transformers部署调用

文章目录环境准备模型下载代码准备部署说明：本文转自国内开源组织datawhale的repo：self-llm环境准备在autodl平台中租一个3090等24G显存的显卡机器，如下图所示镜像选择PyTorch–>2.0.0–>3.8(ubuntu20.04)–>11.8接下来打开刚刚租用服务器的JupyterLab，并且打开其中的终端开始环境配置、模型下载和运行demo。pip换源和安装依赖包#升级

自律版光追·2023-12-24 11:47

论文复现 | Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy

“Anomalytransformer:Timeseriesanomalydetectionwithassociationdiscrepancy.”arXivpreprintarXiv:2110.02642

一条独龙·2023-12-24 09:26

深度学习（七）：bert理解之输入形式

为了解决这些问题，一种新的预训练方法随即被提出，即BERT（BidirectionalEncoderRepresentationsfromTransformers）。

从零开始的奋豆·2023-12-24 09:55

【Stable Diffusion Inpainting】环境配置

name:ldmdependencies:-pip:--egit+https:或者pipinstall-egit+https://github.com/CompVis/taming-transformers.git

prinTao·2023-12-24 08:54

深度学习（八）：bert理解之transformer

1.主要结构transformer是一种深度学习模型，主要用于处理序列数据，如自然语言处理任务。它在2017年由Vaswani等人在论文“AttentionisAllYouNeed”中提出。

从零开始的奋豆·2023-12-24 06:53

UFO论文笔记

1TitleAUnifiedTransformerFrameworkforGroup-basedSegmentation:Co-Segmentation,Co-SaliencyDetectionandVideoSalientObjectDetection

umbrellazg·2023-12-24 06:52

轴承故障诊断分类模型全家桶-最全教程

Python轴承故障诊断(三)经验模态分解EMD-CSDN博客Pytorch-LSTM轴承故障一维信号分类(一)-CSDN博客Pytorch-CNN轴承故障一维信号分类(二)-CSDN博客Pytorch-Transformer

建模先锋·2023-12-24 05:45

Long-Context下LLM模型架构全面介绍

深度学习自然语言处理原创作者：cola随着ChatGPT的快速发展，基于Transformer的大型语言模型(LLM)为人工通用智能(AGI)铺平了一条革命性的道路，并已应用于知识库、人机界面和动态代理等不同领域

大数据AI人工智能培训专家培训讲师叶梓·2023-12-24 01:31

LLaMA开源大模型源码分析！

Datawhale干货作者：宋志学，Datawhale成员花了一晚上照着transformers仓库的LLaMA源码，把张量并行和梯度保存的代码删掉，只留下模型基础结构，梳理了一遍LLaMA的模型结构。

Datawhale·2023-12-23 16:17

再见卷积神经网络，使用 Transformers 创建计算机视觉模型

本文旨在介绍/更新Transformers背后的主要思想，并介绍在计算机视觉应用中使用这些模型的最新进展。读完这篇文章，你会知道……为什么Transformers在NLP任务中的表现优于SOTA模型。

AAI机器之心·2023-12-23 14:13

图像融合论文阅读笔记：SwinFusion: Cross-domain Long-range Learning for General Image Fusion via Swin Transforme

article{ma2022swinfusion,title={SwinFusion:Cross-domainlong-rangelearningforgeneralimagefusionviaswintransformer

qiang42·2023-12-23 13:24

基于ChatGLM搭建专业领域问答机器人的思路

下面提出一个专业医学问题交于ChatGLM回答，代码如下：fromtransformer

新知图书·2023-12-23 12:52

HW4 Speaker classification-SIMPLE (TRANSFORMER)

TaskdescriptionClassifythespeakersofgivenfeatures.Maingoal:Learnhowtousetransformer.Baselines:Easy:R

闪闪发亮的小星星·2023-12-23 10:20

LLM之RAG实战（六）| 高级RAG 02：选择最佳embedding和重排序模型

我们有多种embedding模型可供选择，包括OpenAI、CohereAI和开源sentencetransformers。

wshzd·2023-12-23 09:27

huggingface报错记录

1.OSError:Unabletoloadweightsfrompytorchcheckpointfilefor'/mnt/workspace/wzf/transformer/model/vit-gpt2

小趴菜日记·2023-12-23 07:49

大语言模型的三种主要架构 Decoder-Only、Encoder-Only、Encoder-Decoder

现代大型语言模型（LLM）的演变进化树，如下图：https://arxiv.org/pdf/2304.13712.pdf基于Transformer模型以非灰色显示：decoder-only模型在蓝色分支

Charles_yy·2023-12-23 06:35

transformer系列之空间复杂度

一、加载阶段该阶段是指将模型加载进GPU的状态；该阶段仅仅需要计算模型的参数量足以；transformer模型由lll个相同的层组成，每个层分为两部分：self-attention块和MLP块，如图所示

Takoony·2023-12-23 04:47

一个小例子搞懂transformer中的label smoothing(标签平滑)

我们知道transformer中的正则化除了使用常见的dropout，还使用了labelsmoothing，也就是标签平滑。

前行的zhu·2023-12-23 02:51

image caption 必看论文，模型整理

基础模型transformers-attentionisallyouneed细节笔记论文笔记几个重点1.架构图2.attention原理attention机制中的query,key,value的概念解释

MIngo的成长·2023-12-23 01:16

vit-transfomers 逐段精读

VisionTransformerExplained|PapersWithCode有趣的特性在cnn中处理的不太好，但是在transformers都能处理的很好的例子。

MIngo的成长·2023-12-23 01:16

DETR 【目标检测里程碑的任务】

paperwithcode-DETR标题End-to-EndObjectDetectionwithTransformersend-to-end意味着去掉了NMS的操作（生成很多的预测框，nms去掉冗余的预测框

MIngo的成长·2023-12-23 01:44

看过的最棒的一篇对Transformer的理解，适合基础少的小白

引言如今爆火的大模型，GPT-3，BERT等，通过大量的参数和数据，为我们提供了前所未有的自然语言处理能力，使得机器能够更好地理解和生成人类的语言。而注意力机制无疑是重要的基石之一，作为一种新的神经网络结构，使得模型能够更好地捕捉序列中的长距离依赖关系，从而大大提高了模型的性能。本文将从通俗和学术两个角度，详细介绍大模型和注意力机制的基础知识。无论你是对人工智能感兴趣的初学者，还是寻求深入理解的开

没有竹蜻蜓的小叮当·2023-12-23 00:09

24、DHFormer :残差模块+Transformer，用了之后[腰不酸腿不疼了]，世界一下子变得清晰了！

论文：《DHFormer:AVisionTransformer-BasedAttentionModuleforImageDehazing》本文由昌迪加尔大学于2023年12月15日发表于arXiv的《ComputerScience

是馒头阿·2023-12-22 17:19

16、佛罗里达理工学院提出：seUNet:自动化医学图像分割领域极致的个人英雄主义

三位作者鉴于自动化医学图像分割诊断对现代临床医学的实践变得愈发的重要，也鉴于目前机器学习算法的进步，共同提出seUNet：一种简单而有效的医学图像分割UNet-Transformer模型。

是馒头阿·2023-12-22 17:48

TypeScript实战——ChatGPT前端自适应手机端，PC端

它是GPT（GenerativePre-trainedTransformer）模型的一个变种，通过在大规模的互联网文本数据上进行预训练，学习到了丰富的语言知识和语义理解能力。ChatGPT可

雪碧有白泡泡·2023-12-22 15:41

Baichuan2大模型启动时，所依赖的三方包版本都有哪些

如下：pipinstalltriton==2.0.0pipinstalltorch==2.0.1pipinstalltransformers==4.33.3pipins

危险、·2023-12-22 13:25

启动百川大模型错误解决：ModuleNotFoundError: No module named ‘bitsandbytes‘

1.错误信息Traceback(mostrecentcalllast):File"/root/.cache/huggingface/modules/transformers_modules/Baichuan2

危险、·2023-12-22 13:25

【Python】傻瓜式玩转创意：用Python和GPT打造微头条AI写作

微头条是短文本内容平台，而GPT（GenerativePre-trainedTransformer）是一种强大的自然语言处理模型。

半抹灯芯·2023-12-22 13:11

谁会成为第一个MoE大模型基座呢？重磅！Mixtral MoE 8x7B！！！

前言由Transformer衍生的

BRUCE_WUANG·2023-12-22 11:55

LLM推理优化综述

1摘要自OpenAI发布ChatGPT以来，基于Transformer架构的大语言模型(LLM)在全球范围内引发了深度的技术关注，并取得了令人瞩目的成就。

Linux基金会AI&Data基金会·2023-12-22 10:08

vLLM 实战

1.整体介绍根据公开文档中的实验结果，vLLM吞吐量比HuggingFaceTransformers高出24倍，比TGI高出

Linux基金会AI&Data基金会·2023-12-22 10:38

GPTs | 如何构建私人AI助理

1GPTs简介GPTs是OpenAI推出的自定义GPT（GenerativePre-trainedTransformers），允许用户构建自定义ChatGPT完成特定的个人和专业任务，用户能快速创建自己专用版本的

远见阁·2023-12-22 08:13

2024 年 8 个顶级开源 LLM（大语言模型）

LLM基于transformers（一种强大的神经架构）是用于建模和处理人类语言的AI系统。它们之所以被称为“大”，是因为它们有数亿甚至数十亿个参数，这些参数是使用大量文本数据语料库预先训练的。

yule.yang·2023-12-22 07:28

Transformer引领AI领域：从模型到平台，全方位探索与实践

清图·2023-12-22 02:32

【Deformable DETR】

最近学习CV中的Transformer有感而发，网上关于DeformableDETR通俗的帖子不是很多，因此想分享一下最近学习的内容。第一次发帖经验不足，文章内可能有许多错误或不恰之处欢迎批评指正。

别致的SmallSix·2023-12-22 01:22

react中使用react-konva实现画板框选内容

文章目录一、前言1.1、`API`文档1.2、`Github`仓库二、图形2.1、拖拽`draggable`2.2、图片`Image`2.3、变形`Transformer`三、实现3.1、依赖3.2、源码

小马甲丫·2023-12-22 00:35

【论文阅读笔记】MMMViT: Multiscale multimodal vision transformer for brain tumor segmentation with missing m

QiuC,SongY,LiuY,etal.MMMViT:Multiscalemultimodalvisiontransformerforbraintumorsegmentationwithmissingmodalities

cskywit·2023-12-21 20:28

【论文阅读笔记】BTS-ST: Swin transformer network for segmentation and classification of multimodality breast

IqbalA,SharifM.BTS-ST:Swintransformernetworkforsegmentationandclassificationofmultimodalitybreastcancerimages