E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Transformer论文学习
论文学习
1----理解深度学习需要重新思考泛化Understanding deep learning requires rethinking generalization
——论文地址:Understandingdeeplearningrequiresrethinkinggeneralization1、有关新闻1.1新闻一:参考1:机器之心尽管深度人工神经网络规模庞大,但它们的训练表现和测试表现之间可以表现出非常小的差异。传统的思考是将小的泛化误差要么归结为模型族的特性,要么就认为与训练过程中的正则化技术有关。通过广泛的系统性实验,我们表明这些传统的方法并不能解释大
夏洛的网
·
2024-02-11 18:02
机器学习
深度学习
论文
深度学习
神经网络
phpy :PHP 与 Python 互调用库,为 PHP 引入 Python 生态,PHP 也可以写 AI 了
包括当下非常流行的PyTorch、
transformer
s、TensorFlow等AI库,以及Numpy、Pandas、Scikit等科学计算库,还可以使用PyQt、wxPython等图形界面库。
·
2024-02-11 17:07
phppythonai开发
DL-Paper精读:DeiT
Trainingdata-efficientimage
transformer
sa&distillationthroughattentionhttps://arxiv.org/abs/2012.12877Background
Transformer
星月野1
·
2024-02-11 16:50
【论文精读】GPT1
本文提出一种无监督预训练和有监督微调的组合的半监督方法,具体为:采用两阶段训练过程,首先使用语言建模目标在大量未标注数据上学习模型的初始参数,随后使用有监督目标微调预训练模型以适应目标任务模型架构使用
Transformer
None-D
·
2024-02-11 15:42
文本生成
深度学习
人工智能
nlp
算法
gpt
chatgpt
【论文精读】Swin
Transformer
摘要ViT的缺点:
Transformer
在语言处理中的基本元素是wordtoken,其特点是语义信息比较密集。
None-D
·
2024-02-11 15:12
BackBones
深度学习
人工智能
计算机视觉
算法
机器学习
【论文精读】ViT-Adapter
摘要视觉
transformer
类的模型可以分为普通ViT和视觉
transformer
变体两类。
None-D
·
2024-02-11 15:12
BackBones
计算机视觉
深度学习
人工智能
transformer
机器学习
【论文精读】 Vision
Transformer
(ViT)
摘要验证了当拥有足够多的数据进行预训练的时候,ViT的表现就会超过CNN,突破
transformer
缺少归纳偏置的限制,可以在下游任务中获得较好的迁移效果。
None-D
·
2024-02-11 15:11
BackBones
深度学习
人工智能
计算机视觉
【论文精读】RetNet
摘要
Transformer
是大型语言模型的主流架构。然而,
transformer
的训练并行性是以低效的推理为代价,这使得
transformer
对部署不友好。
None-D
·
2024-02-11 15:11
BackBones
深度学习
人工智能
nlp
算法
【论文精读】
Transformer
故本文提出
Transformer
,一种非递归式的模型架构,完全依靠注意力机制来获取序列输入和输出之间的全局依赖关系,且
Transformer
允许并行化计算。
None-D
·
2024-02-11 15:40
BackBones
transformer
深度学习
人工智能
半监督语义分割
论文学习
记录
Semi-SupervisedSemanticSegmentationwithCross-ConsistencyTraining1.1motivation一致性训练的目的是在应用于输入的小扰动上增强模型预测的不变性。因此,学习的模型将对这样的小变化具有鲁棒性。一致性训练的有效性在很大程度上取决于数据分布的行为,即集群假设,其中类必须由低密度区域分隔。在语义分割中,在输入中,我们没有观察到低密度区域
西瓜真的很皮啊
·
2024-02-11 14:19
半监督语义分割
深度学习
机器学习
人工智能
DALLE3.0结合ChatGPT生成专属prompt(健身版)
倚仗先进的
Transformer
架构所赋予的强大自然语言理解能力,DALL-E3能够深度领会用户的设计意图,并以令人惊叹的准确
yueqingll
·
2024-02-11 14:45
chatgpt
prompt
DALLE3.0结合ChatGPT生成prompt(表情四拼版)
倚仗先进的
Transformer
架构所赋予的强大自然语言理解能力,DALL-E3能够深度领会用户的设计意图,并以令人惊叹的准确
yueqingll
·
2024-02-11 14:44
chatgpt
prompt
DALLE3.0结合ChatGPT生成专属prompt(甜美版)
倚仗先进的
Transformer
架构所赋予的强大自然语言理解能力,DALL-E3能够深度领会用户的设计意图,并以令人惊叹的准确度将其细腻地转化为视觉艺术作品。2.创作体
yueqingll
·
2024-02-11 14:14
chatgpt
prompt
DALLE3.0结合ChatGPT生成专属prompt(杂志版)
倚仗先进的
Transformer
架构所赋予的强大自然语言理解能力,DALL-E3能够深度领会用户的设计意图,并以令人惊叹的准确
yueqingll
·
2024-02-11 14:14
chatgpt
prompt
DALLE3.0结合ChatGPT生成专属prompt(汽车版)
倚仗先进的
Transformer
架构所赋予的强大自然语言理解能力,DALL-E3能够深度领会用户的设计意图,并以令人惊叹的准确
yueqingll
·
2024-02-11 14:14
chatgpt
prompt
汽车
Bert与ChatGPT
1.Bert模型BERT(BidirectionalEncoderRepresentationsfrom
Transformer
s)是一种预训练语言表示的方法,由GoogleAI在2018年提出。
ALGORITHM LOL
·
2024-02-11 07:24
bert
chatgpt
人工智能
《零基础实践深度学习》实践导学 01
如:模型算法方面:新增CV、NLP和推荐领域经典模型和算法介绍,以及相应的代码实现,如
Transformer
、BERT等。产业应用方面:新增AI产业应用方法论和使用工具介
软工菜鸡
·
2024-02-11 07:15
《零基础实践深度学习》
百度飞桨
深度学习
机器学习
AI
人工智能
paddle
使用
Transformer
编码器进行序列数据分类(上)
使用
Transformer
编码器进行序列数据分类(上)搭建EncoderClassimportnumpyasnpimporttorchimporttorch.nnasnnimporttorch.nn.functionalasFlen_traj
hhy_csdn
·
2024-02-11 06:30
机器学习
transformer
分类
深度学习
序列数据
Behind chatGPT
2023-02-16whatischarGPT,chatGPTisachatbotusingGenerativePre-trained
Transformer
.whatis
Transformer
?
joytrue
·
2024-02-11 01:52
大模型基础架构的变革:剖析
Transformer
的挑战者(上)
随着大模型在应用层面的发展,支撑大模型的底层架构模型
Transformer
所存在的各种问题也逐渐显现,业内一直都在寻找
Transformer
框架的替代方法。
深度人工智能
·
2024-02-10 15:09
技术趋势
科技畅想
语言模型
transformer
深度学习
人工智能
大模型基础架构的变革:剖析
Transformer
的挑战者(中)
上一篇文章中,我们介绍了RetNet、RWKV、Mamba等有可能会替代
Transformer
的模型架构,这一篇文章我们将要介绍另外三个有可能会替代
Transformer
的模型架构,它们分别是UniRepLKNet
深度人工智能
·
2024-02-10 15:38
技术趋势
论文速递
AIGC
transformer
深度学习
人工智能
语言模型
大模型基础架构的变革:剖析
Transformer
的挑战者(下)
上一篇文章中,我们介绍了UniRepLKNet、StripedHyena、PanGu-π等有可能会替代
Transformer
的模型架构,这一篇文章我们将要介绍另外三个有可能会替代
Transformer
的模型架构
深度人工智能
·
2024-02-10 15:08
技术趋势
论文速递
AIGC
transformer
深度学习
人工智能
transformer
s之agent
HuggingFace发布了
Transformer
sAgent,一种利用自然语言从精选工具集合中选择工具并完成各种任务的代理。
月疯
·
2024-02-10 13:07
【NLP】
深度学习
Pipeline是如何运行
以第一个情感分析pipeline为例,我们运行下面的代码from
transformer
simportpipelineclassifier=pipeline("sentiment-analysis")result
月疯
·
2024-02-10 13:06
【NLP】
python
开发语言
transformer
s重要组件(模型与分词器)
1、模型:from
transformer
simportAutoModelcheckpoint="distilbert-base-uncased-finetuned-sst-2-english"model
月疯
·
2024-02-10 13:06
【NLP】
人工智能
【读点论文】A Survey on Vision
Transformer
,2022年华为诺亚最新综述研究,从发展到任务,整体到局部。ViT有研究价值在于有很多问题还没有解决,真理是阶段性的产物
ASurveyonVision
Transformer
Abstract
transformer
最早应用于自然语言处理领域,是一种主要基于自注意机制的深度神经网络。
羞儿
·
2024-02-10 13:02
论文笔记
深度学习
人工智能
ViT
网络模型
研究方向
Transformer
的PyTorch实现之若干问题探讨(二)
在《
Transformer
的PyTorch实现之若干问题探讨(一)》中探讨了
Transformer
的训练整体流程,本文进一步探讨
Transformer
训练过程中teacherforcing的实现原理。
微凉的衣柜
·
2024-02-10 13:30
深度学习
transformer
pytorch
深度学习
AI助力农作物自动采摘,基于DETR(DEtection
TRansformer
)开发构建作物生产场景下番茄采摘检测计数分析系统
去年十一那会无意间刷到一个视频展示的就是德国机械收割机非常高效自动化地24小时不间断地在超广阔的土地上采摘各种作物,专家设计出来了很多用于采摘不同农作物的大型机械,看着非常震撼,但是我们国内农业的发展还是相对比较滞后的,小的时候拔草是一个人一列蹲在地里就在那埋头拔草,不知道什么时候才能走到地的尽头,小块的分散的土地太多基本上都是只能人工手工来取收割,大点的连片的土地可以用收割机来收割,不过收割机基
Together_CZ
·
2024-02-10 12:52
人工智能
YOLO
AI助力农作物自动采摘,基于DETR(DEtection
TRansformer
)开发构建番茄采摘场景下番茄成熟度检测识别计数分析系统
去年十一那会无意间刷到一个视频展示的就是德国机械收割机非常高效自动化地24小时不间断地在超广阔的土地上采摘各种作物,专家设计出来了很多用于采摘不同农作物的大型机械,看着非常震撼,但是我们国内农业的发展还是相对比较滞后的,小的时候拔草是一个人一列蹲在地里就在那埋头拔草,不知道什么时候才能走到地的尽头,小块的分散的土地太多基本上都是只能人工手工来取收割,大点的连片的土地可以用收割机来收割,不过收割机基
Together_CZ
·
2024-02-10 12:21
人工智能
NLP之
transformer
-Task01
这段文本的情感倾向是正向的,“我在学习
transformer
”和“如何学习
transformer
”这两段文本是相似的。序列标注:对文本序列中的token、字或者词进行分类
曼曼668
·
2024-02-10 11:55
【大模型】大语言模型前沿技术系列讲座-学习笔记1:人工智能发展史
最近参加了深蓝学院举办的《大型语言模型前沿技术系列分享》,该系列分享以大模型(LLM)为背景,以科普、启发为目的,从最基本的
Transformer
开始讲起,逐步涉及一些更高阶更深入的课题,涵盖大模型基础
不雨_亦潇潇
·
2024-02-10 09:22
人工智能AI
#
自然语言处理NLP
#
大模型
人工智能
语言模型
自然语言处理
NLP
AI
ChatGPT
LLM
深度学习自然语言处理(NLP)模型BERT:从理论到Pytorch实战
文章目录深度学习自然语言处理(NLP)模型BERT:从理论到Pytorch实战一、引言传统NLP技术概览规则和模式匹配基于统计的方法词嵌入和分布式表示循环神经网络(RNN)与长短时记忆网络(LSTM)
Transformer
星川皆无恙
·
2024-02-10 07:43
机器学习与深度学习
自然语言处理
大数据人工智能
深度学习
自然语言处理
bert
大数据
pytorch
人工智能
算法
Self-Attention 和 Multi-Head Attention 的区别——附最通俗理解!!
文章目录前言一、简要介绍二、工作流程三、两者对比四、通俗理解前言随着
Transformer
模型的迅速普及,Self-Attention(自注意力机制)和Multi-HeadAttention(多头注意力机制
JOYCE_Leo16
·
2024-02-10 06:13
Transformer
深度学习
神经网络
自注意力机制
多头注意力机制
transformer
星辰AI大模型TeleChat-7B评测
TeleChat-7B是由中电信AI科技有限公司发的第一个千亿级别大模型,基于
transformer
decoder架构和清洗后的1TB高质量数据训练而成,取得了相同参数量级别的SOTA性能,并且将推理代码和清洗后的训练数据都进行了开源
just_sort
·
2024-02-10 04:25
人工智能
Temporal Fusion
Transformer
s for Interpretable Multi-horizon Time Series Forecasting
摘要多步(尺度)预测通常包含一个复杂的输入组合——包括静态(即时不变)协变量、已知的未来输入,以及其他仅在过去观察到的外生时间序列——没有任何关于它们如何与目标相互作用的先验信息。几种深度学习方法已经被提出,但它们通常是“黑盒”模型,并不能阐明它们如何使用实际场景中出现的全部输入。在本文中,我们介绍了时间融合变压器(TFT)——一种新的基于注意的架构,它结合了高性能的多步预测和对时间动态的可解释的
AyyB
·
2024-02-09 23:30
大模型时代,图像描述生成(image caption)怎么走?
主流结构:
Transformer
为了实现图像描述的任务,常见的方法是采用编码器-解码器(encoder-decoder)的
Only_one_road
·
2024-02-09 21:17
博闻强识
自然语言处理
人工智能
图像处理
计算机视觉
视觉检测
【
Transformer
-Hugging Face 05/10】 使用 AutoClass 加载预训练实例
目录一、说明二、自动分词器三、自动图像处理器四、自动特征提取器五、自动处理器六、自动模型七、在TensorFlow中八、自动骨干网一、说明 由于有如此多不同的
Transformer
架构,为您的检查点创建一个架构可能具有挑战性
无水先生
·
2024-02-09 20:26
NLP高级和ChatGPT
人工智能
transformer
深度学习
人工智能
遥感基础模型汇总
文章目录一、引言二、单一模态2.1基础模型RingMo:ARemoteSensingFoundationModelWithMaskedImageModelingAdvancingPlainVision
Transformer
TowardsRemoteSensingFoundationModelSatMAE
Magic@
·
2024-02-09 17:08
深度学习
人工智能
用35行代码开发一个自己的AI对话机器人
之前也写了好几篇关于ChatGPT的文章了,领略到了与深入优化的GPT-3(GenerativePre-trained
Transformer
)对话过程中的各种惊喜。
也鱼实验室
·
2024-02-09 17:43
ValueError: PEFT backend is required for this method.
ifnotUSE_PEFT_BACKEND:raiseValueError("PEFTbackendisrequiredforthismethod.")找到定义此变量文件,PEFT>=0.6and
transformer
s
半度、
·
2024-02-09 15:44
机器学习
Transformer
实战-系列教程14:DETR 源码解读1
Transformer
实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读1、项目配置主要环境installPyTorch1.5
机器学习杨卓越
·
2024-02-09 14:17
Transformer实战
transformer
pytorch
深度学习
计算机视觉
DETR
物体检测
Transformer
实战-系列教程13:DETR 算法解读
Transformer
实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码1、物体检测说到目标检测你能想到什么faster-rcnn
机器学习杨卓越
·
2024-02-09 14:16
Transformer实战
transformer
深度学习
DETR
物体检测
数解
transformer
之 self attention
transformer
公式整理
句子长度为n;比如2048,或1024,即,一句话最多可以是1024个单词。1,位置编码可知,E是由n个列向量组成的矩阵,每个列向量表示该列号的位置编码向量。2,输入向量加入本句话第一个单词的词嵌入向量是,第二个单词是,以此类推,最多是.如果句子长度不足n个单词,则后面没有单词对应的令为句子的词嵌入编码矩阵表示,为了让单词携带位置信息,直接将每个单词的词嵌入向量上加位置编码向量:矩阵表示为:作为第
Eloudy
·
2024-02-09 14:26
transformer
深度学习
人工智能
【人工智能】聊聊
Transformer
,深度学习的一股清流(13)
今天我们来聊一聊深度学习领域的一位“大明星”——
Transformer
模型。这个模型的提出可不得了,让自然语言处理领域焕发了新生。
魔道不误砍柴功
·
2024-02-09 09:09
AI
大模型
人工智能
深度学习
transformer
LLaMA 入门指南
LLaMA入门指南LLaMA入门指南LLaMA的简介LLaMA模型的主要结构
Transformer
架构多层自注意力层前馈神经网络LayerNormalization和残差连接LLaMA模型的变体Base
kadog
·
2024-02-09 08:06
By
GPT
llama
人工智能
深度学习
自然语言处理
pytorch
2019-1-27晨间日记
习惯养成:早睡早起,饮食清淡周目标·完成进度开始读
论文学习
·信息·阅读阅读健康·饮食·锻炼饮食清淡,多锻炼人际·家人·朋友多联系工作·思考怎么把自己的工作做得更好最美
紫薇忘了水葫芦
·
2024-02-09 03:35
时间序列异常检测论文TranAD: Deep
Transformer
Networks for Anomaly Detection in Multivariate Time Series Data
关于论文的内容介绍,可以参考:【VLDB】融合
transformer
和对抗学习的多变量时间序列异常检测算法TranAD论文和代码解读-知乎说得比较清楚了,我就不重复了。
蛐蛐蛐
·
2024-02-09 01:56
transformer
深度学习
人工智能
Python报No such file or directory: ‘science‘的解决方法
接上一篇博文:时间序列异常检测论文TranAD:Deep
Transformer
NetworksforAnomalyDetectioninMultivariateTimeSeriesData-CSDN博客还是想看看这篇论文的可视化结果
蛐蛐蛐
·
2024-02-09 01:55
Python技巧
论文点评
python
开发语言
一、OpenAI API介绍
文本生成创造助理嵌入数据语音转化图片生成图片输入1.核心概念1.1TextgenerationmodelsOpenAI的文本生成模型(通常被称为generativepre-trained
transformer
s
挑大梁
·
2024-02-08 21:32
#
大模型入门
语音识别
人工智能
Elasticsearch:通过 ingest pipeline 对大型文档进行分块
这个交互式笔记本将:将模型sentence-
transformer
s__all-minilm-
Elastic 中国社区官方博客
·
2024-02-08 11:11
Elasticsearch
AI
Elastic
elasticsearch
大数据
搜索引擎
全文检索
python
人工智能
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他