Transformer

phpy ：PHP 与 Python 互调用库，为 PHP 引入 Python 生态，PHP 也可以写 AI 了

包括当下非常流行的PyTorch、transformers、TensorFlow等AI库，以及Numpy、Pandas、Scikit等科学计算库，还可以使用PyQt、wxPython等图形界面库。
·2024-02-11 17:07

DL-Paper精读：DeiT

Trainingdata-efficientimagetransformersa&distillationthroughattentionhttps://arxiv.org/abs/2012.12877BackgroundTransformer
星月野1·2024-02-11 16:50

【论文精读】GPT1

本文提出一种无监督预训练和有监督微调的组合的半监督方法，具体为：采用两阶段训练过程，首先使用语言建模目标在大量未标注数据上学习模型的初始参数，随后使用有监督目标微调预训练模型以适应目标任务模型架构使用Transformer
None-D·2024-02-11 15:42

【论文精读】Swin Transformer

摘要ViT的缺点：Transformer在语言处理中的基本元素是wordtoken，其特点是语义信息比较密集。
None-D·2024-02-11 15:12

【论文精读】ViT-Adapter

摘要视觉transformer类的模型可以分为普通ViT和视觉transformer变体两类。
None-D·2024-02-11 15:12

【论文精读】 Vision Transformer（ViT）

摘要验证了当拥有足够多的数据进行预训练的时候，ViT的表现就会超过CNN，突破transformer缺少归纳偏置的限制，可以在下游任务中获得较好的迁移效果。
None-D·2024-02-11 15:11

【论文精读】RetNet

摘要Transformer是大型语言模型的主流架构。然而，transformer的训练并行性是以低效的推理为代价，这使得transformer对部署不友好。
None-D·2024-02-11 15:11

【论文精读】Transformer

故本文提出Transformer，一种非递归式的模型架构，完全依靠注意力机制来获取序列输入和输出之间的全局依赖关系，且Transformer允许并行化计算。
None-D·2024-02-11 15:40

DALLE3.0结合ChatGPT生成专属prompt（健身版）

倚仗先进的Transformer架构所赋予的强大自然语言理解能力，DALL-E3能够深度领会用户的设计意图，并以令人惊叹的准确
yueqingll·2024-02-11 14:45

DALLE3.0结合ChatGPT生成prompt（表情四拼版）

倚仗先进的Transformer架构所赋予的强大自然语言理解能力，DALL-E3能够深度领会用户的设计意图，并以令人惊叹的准确
yueqingll·2024-02-11 14:44

DALLE3.0结合ChatGPT生成专属prompt（甜美版）

倚仗先进的Transformer架构所赋予的强大自然语言理解能力，DALL-E3能够深度领会用户的设计意图，并以令人惊叹的准确度将其细腻地转化为视觉艺术作品。2.创作体
yueqingll·2024-02-11 14:14

DALLE3.0结合ChatGPT生成专属prompt（杂志版）

倚仗先进的Transformer架构所赋予的强大自然语言理解能力，DALL-E3能够深度领会用户的设计意图，并以令人惊叹的准确
yueqingll·2024-02-11 14:14

DALLE3.0结合ChatGPT生成专属prompt（汽车版）

倚仗先进的Transformer架构所赋予的强大自然语言理解能力，DALL-E3能够深度领会用户的设计意图，并以令人惊叹的准确
yueqingll·2024-02-11 14:14

Bert与ChatGPT

1.Bert模型BERT（BidirectionalEncoderRepresentationsfromTransformers）是一种预训练语言表示的方法，由GoogleAI在2018年提出。
ALGORITHM LOL·2024-02-11 07:24

《零基础实践深度学习》实践导学 01

如：模型算法方面：新增CV、NLP和推荐领域经典模型和算法介绍，以及相应的代码实现，如Transformer、BERT等。产业应用方面：新增AI产业应用方法论和使用工具介
软工菜鸡·2024-02-11 07:15

使用Transformer编码器进行序列数据分类（上）

使用Transformer编码器进行序列数据分类（上）搭建EncoderClassimportnumpyasnpimporttorchimporttorch.nnasnnimporttorch.nn.functionalasFlen_traj
hhy_csdn·2024-02-11 06:30

Behind chatGPT

2023-02-16whatischarGPT,chatGPTisachatbotusingGenerativePre-trainedTransformer.whatisTransformer?
joytrue·2024-02-11 01:52

大模型基础架构的变革：剖析Transformer的挑战者（上）

随着大模型在应用层面的发展，支撑大模型的底层架构模型Transformer所存在的各种问题也逐渐显现，业内一直都在寻找Transformer框架的替代方法。
深度人工智能·2024-02-10 15:09

大模型基础架构的变革：剖析Transformer的挑战者（中）

上一篇文章中，我们介绍了RetNet、RWKV、Mamba等有可能会替代Transformer的模型架构，这一篇文章我们将要介绍另外三个有可能会替代Transformer的模型架构，它们分别是UniRepLKNet
深度人工智能·2024-02-10 15:38

大模型基础架构的变革：剖析Transformer的挑战者（下）

上一篇文章中，我们介绍了UniRepLKNet、StripedHyena、PanGu-π等有可能会替代Transformer的模型架构，这一篇文章我们将要介绍另外三个有可能会替代Transformer的模型架构
深度人工智能·2024-02-10 15:08

transformers之agent

HuggingFace发布了TransformersAgent，一种利用自然语言从精选工具集合中选择工具并完成各种任务的代理。
月疯·2024-02-10 13:07

Pipeline是如何运行

以第一个情感分析pipeline为例，我们运行下面的代码fromtransformersimportpipelineclassifier=pipeline("sentiment-analysis")result
月疯·2024-02-10 13:06

transformers重要组件（模型与分词器）

1、模型：fromtransformersimportAutoModelcheckpoint="distilbert-base-uncased-finetuned-sst-2-english"model
月疯·2024-02-10 13:06

【读点论文】A Survey on Vision Transformer,2022年华为诺亚最新综述研究，从发展到任务，整体到局部。ViT有研究价值在于有很多问题还没有解决，真理是阶段性的产物

ASurveyonVisionTransformerAbstracttransformer最早应用于自然语言处理领域，是一种主要基于自注意机制的深度神经网络。
羞儿·2024-02-10 13:02

Transformer的PyTorch实现之若干问题探讨（二）

在《Transformer的PyTorch实现之若干问题探讨（一）》中探讨了Transformer的训练整体流程，本文进一步探讨Transformer训练过程中teacherforcing的实现原理。
微凉的衣柜·2024-02-10 13:30

AI助力农作物自动采摘，基于DETR(DEtection TRansformer)开发构建作物生产场景下番茄采摘检测计数分析系统

去年十一那会无意间刷到一个视频展示的就是德国机械收割机非常高效自动化地24小时不间断地在超广阔的土地上采摘各种作物，专家设计出来了很多用于采摘不同农作物的大型机械，看着非常震撼，但是我们国内农业的发展还是相对比较滞后的，小的时候拔草是一个人一列蹲在地里就在那埋头拔草，不知道什么时候才能走到地的尽头，小块的分散的土地太多基本上都是只能人工手工来取收割，大点的连片的土地可以用收割机来收割，不过收割机基
Together_CZ·2024-02-10 12:52

AI助力农作物自动采摘，基于DETR(DEtection TRansformer)开发构建番茄采摘场景下番茄成熟度检测识别计数分析系统

去年十一那会无意间刷到一个视频展示的就是德国机械收割机非常高效自动化地24小时不间断地在超广阔的土地上采摘各种作物，专家设计出来了很多用于采摘不同农作物的大型机械，看着非常震撼，但是我们国内农业的发展还是相对比较滞后的，小的时候拔草是一个人一列蹲在地里就在那埋头拔草，不知道什么时候才能走到地的尽头，小块的分散的土地太多基本上都是只能人工手工来取收割，大点的连片的土地可以用收割机来收割，不过收割机基
Together_CZ·2024-02-10 12:21

NLP之transformer -Task01

这段文本的情感倾向是正向的，“我在学习transformer”和“如何学习transformer”这两段文本是相似的。序列标注：对文本序列中的token、字或者词进行分类
曼曼668·2024-02-10 11:55

【大模型】大语言模型前沿技术系列讲座-学习笔记1：人工智能发展史

最近参加了深蓝学院举办的《大型语言模型前沿技术系列分享》，该系列分享以大模型(LLM)为背景，以科普、启发为目的，从最基本的Transformer开始讲起，逐步涉及一些更高阶更深入的课题，涵盖大模型基础
不雨_亦潇潇·2024-02-10 09:22

深度学习自然语言处理（NLP）模型BERT：从理论到Pytorch实战

文章目录深度学习自然语言处理（NLP）模型BERT：从理论到Pytorch实战一、引言传统NLP技术概览规则和模式匹配基于统计的方法词嵌入和分布式表示循环神经网络（RNN）与长短时记忆网络（LSTM）Transformer
星川皆无恙·2024-02-10 07:43

Self-Attention 和 Multi-Head Attention 的区别——附最通俗理解！！

文章目录前言一、简要介绍二、工作流程三、两者对比四、通俗理解前言随着Transformer模型的迅速普及，Self-Attention（自注意力机制）和Multi-HeadAttention（多头注意力机制
JOYCE_Leo16·2024-02-10 06:13

星辰AI大模型TeleChat-7B评测

TeleChat-7B是由中电信AI科技有限公司发的第一个千亿级别大模型，基于transformerdecoder架构和清洗后的1TB高质量数据训练而成，取得了相同参数量级别的SOTA性能，并且将推理代码和清洗后的训练数据都进行了开源
just_sort·2024-02-10 04:25

Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting

摘要多步（尺度）预测通常包含一个复杂的输入组合——包括静态（即时不变）协变量、已知的未来输入，以及其他仅在过去观察到的外生时间序列——没有任何关于它们如何与目标相互作用的先验信息。几种深度学习方法已经被提出，但它们通常是“黑盒”模型，并不能阐明它们如何使用实际场景中出现的全部输入。在本文中，我们介绍了时间融合变压器(TFT)——一种新的基于注意的架构，它结合了高性能的多步预测和对时间动态的可解释的
AyyB·2024-02-09 23:30

大模型时代，图像描述生成（image caption）怎么走？

主流结构：Transformer为了实现图像描述的任务，常见的方法是采用编码器-解码器（encoder-decoder）的
Only_one_road·2024-02-09 21:17

【Transformer-Hugging Face 05/10】 使用 AutoClass 加载预训练实例

目录一、说明二、自动分词器三、自动图像处理器四、自动特征提取器五、自动处理器六、自动模型七、在TensorFlow中八、自动骨干网一、说明  由于有如此多不同的Transformer架构，为您的检查点创建一个架构可能具有挑战性
无水先生·2024-02-09 20:26

遥感基础模型汇总

文章目录一、引言二、单一模态2.1基础模型RingMo:ARemoteSensingFoundationModelWithMaskedImageModelingAdvancingPlainVisionTransformerTowardsRemoteSensingFoundationModelSatMAE
Magic@·2024-02-09 17:08

用35行代码开发一个自己的AI对话机器人

之前也写了好几篇关于ChatGPT的文章了，领略到了与深入优化的GPT-3（GenerativePre-trainedTransformer）对话过程中的各种惊喜。
也鱼实验室·2024-02-09 17:43

ValueError: PEFT backend is required for this method.

ifnotUSE_PEFT_BACKEND:raiseValueError("PEFTbackendisrequiredforthismethod.")找到定义此变量文件，PEFT>=0.6andtransformers
半度、·2024-02-09 15:44

Transformer实战-系列教程14：DETR 源码解读1

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读1、项目配置主要环境installPyTorch1.5
机器学习杨卓越·2024-02-09 14:17

Transformer实战-系列教程13：DETR 算法解读

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码1、物体检测说到目标检测你能想到什么faster-rcnn
机器学习杨卓越·2024-02-09 14:16

数解 transformer 之 self attention transformer 公式整理

句子长度为n；比如2048，或1024，即，一句话最多可以是1024个单词。1,位置编码可知，E是由n个列向量组成的矩阵，每个列向量表示该列号的位置编码向量。2,输入向量加入本句话第一个单词的词嵌入向量是,第二个单词是,以此类推，最多是.如果句子长度不足n个单词，则后面没有单词对应的令为句子的词嵌入编码矩阵表示，为了让单词携带位置信息，直接将每个单词的词嵌入向量上加位置编码向量：矩阵表示为：作为第
Eloudy·2024-02-09 14:26

【人工智能】聊聊Transformer，深度学习的一股清流(13)

今天我们来聊一聊深度学习领域的一位“大明星”——Transformer模型。这个模型的提出可不得了，让自然语言处理领域焕发了新生。
魔道不误砍柴功·2024-02-09 09:09

LLaMA 入门指南

LLaMA入门指南LLaMA入门指南LLaMA的简介LLaMA模型的主要结构Transformer架构多层自注意力层前馈神经网络LayerNormalization和残差连接LLaMA模型的变体Base
kadog·2024-02-09 08:06

时间序列异常检测论文TranAD: Deep Transformer Networks for Anomaly Detection in Multivariate Time Series Data

关于论文的内容介绍，可以参考：【VLDB】融合transformer和对抗学习的多变量时间序列异常检测算法TranAD论文和代码解读-知乎说得比较清楚了，我就不重复了。
蛐蛐蛐·2024-02-09 01:56

Python报No such file or directory: ‘science‘的解决方法

接上一篇博文：时间序列异常检测论文TranAD:DeepTransformerNetworksforAnomalyDetectioninMultivariateTimeSeriesData-CSDN博客还是想看看这篇论文的可视化结果
蛐蛐蛐·2024-02-09 01:55

一、OpenAI API介绍

文本生成创造助理嵌入数据语音转化图片生成图片输入1.核心概念1.1TextgenerationmodelsOpenAI的文本生成模型(通常被称为generativepre-trainedtransformers
挑大梁·2024-02-08 21:32

Elasticsearch：通过 ingest pipeline 对大型文档进行分块

这个交互式笔记本将：将模型sentence-transformers__all-minilm-
Elastic 中国社区官方博客·2024-02-08 11:11

Elasticsearch：使用 LangChain 文档拆分器进行文档分块

使用Elasticsearch嵌套密集向量支持这个交互式笔记本将：将模型“sentence-transformers__all-minilm-l6-v2”从HuggingFace加载到ElasticsearchMLNode
Elastic 中国社区官方博客·2024-02-08 11:38

Transformer实战-系列教程10：SwinTransformer 源码解读3（SwinTransformerBlock类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码SwinTransformer算法原理SwinTransformer
机器学习杨卓越·2024-02-08 09:09

Transformer实战-系列教程12：SwinTransformer 源码解读5（Mlp类/PatchMerging类/SwinTransformer模型参数）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码SwinTransformer算法原理SwinTransformer
机器学习杨卓越·2024-02-08 09:09
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他