PaperWeekly

让天下没有难Tuning的大模型：PEFT技术简介

©作者|风飏单位|阿里巴巴研究方向|AIOps/NLP来自|PaperWeekly进NLP群—>加入NLP交流群最近，深度学习的研究中出现了许多大型预训练模型，例如GPT-3、BERT等，这些模型可以在多种自然语言处理任务中取得优异的性能表现
zenRRan·2023-06-20 12:27

为什么现在的大语言模型（LLM）都是Decoder-only的架构？

©PaperWeekly原创·作者|苏剑林单位|追一科技研究方向|NLP、神经网络LLM是“LargeLanguageModel”的简写，目前一般指百亿参数以上的语言模型，主要面向文本生成任务。
PaperWeekly·2023-06-20 03:05

论文笔记 --《Enhanced LSTM for Natural Language Inference》

标签：Jd_Paperweekly时间：2020.11.18来源：ACL2017关键词：文本匹配，Alignmentlayer1.背景及问题描述文本匹配（TextMatching）是自然语言处理领域最经典的问题之一
ColdCoder·2023-06-19 10:14

ACL 2023 | 利用思维链（CoT）推理隐式情感，狂涨50%

©PaperWeekly原创·作者|费豪单位|新加坡国立大学题目：ReasoningImplicitSentimentwithChain-of-ThoughtPrompting作者：费豪¹，李波波²，刘乾
PaperWeekly·2023-06-17 16:04

AAAI 2022：通过验证嵌入的外源特征防止模型窃取丨AI Drive

「AIDrive」是由biendata和PaperWeekly共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新
数据实战派·2023-06-15 11:40

谁说学生模型就得小？稀疏化DAN模型推理可提速600倍

©PaperWeekly原创·作者|BNDSBilly研究方向|自然语言处理Abstract有效提升模型推理速度的方式是对SOTA的Transformer模型进行压缩，然而当前的推理速度仍然有待提高。
PaperWeekly·2023-06-11 23:23

一文详解支持向量机（SVM）

©PaperWeekly原创·作者｜王东伟单位｜Cubiz研究方向｜深度学习本文介绍支持向量机（SupportVectorMachine，SVM）。
PaperWeekly·2023-04-21 19:11

CVPR 2023 | DisWOT：给老师找个好学生？KD和NAS的高效组合

©Paperweekly原创·作者|An.单位|中科院自动化所研究方向|计算机视觉、模型压缩动机&背景知识蒸馏（KnowledgeDistillation,KD）可以用大模型指导小模型学习，但大小模型之间的容量差距阻碍了知识的传递
PaperWeekly·2023-04-20 19:55

Visual Instruction Tuning: 用LLaVA近似多模态GPT-4

©Paperweekly原创·作者|ChunyuanLi使用GPT-4进行视觉指令学习！VisualInstructionTuningwithGPT-4!
PaperWeekly·2023-04-20 19:52

NLP领域最近比较火的Prompt，能否借鉴到多模态领域？一文跟进最新进展

©PaperWeekly原创·作者|杨浩研究方向|自然语言处理#01.VL-T5论文标题：UnifyingVision-and-LanguageTasksviaTextGeneration收录会议：ICML2021
PaperWeekly·2023-04-17 01:57

聚焦视频文本检索：一文概览视频文本检索任务最新研究进展

©PaperWeekly原创·作者|小马单位|FightingCV公众号运营者研究方向|计算机视觉写在前面近几年，随着抖音、快手等短视频平台，以及哔哩哔哩、优酷等视频平台的出现，网络中出现了大量的视频媒体
PaperWeekly·2023-04-17 01:27

如何将因果干预用于提升模型公平性？

©PaperWeekly原创·作者|张一帆学校|中科院自动化所博士生研究方向|计算机视觉近期因果推理相关研究荣获诺贝尔经济学奖，本文通过三篇文章简单介绍一下CausalAlgorithmicRecourse
PaperWeekly·2023-04-15 16:50

浅谈 CTR 预估模型发展史

©PaperWeekly原创·作者｜Zhang学校｜上海交通大学硕士生研究方向｜深度学习、自然语言处理背景介绍ClickThroughRate(CTR)Prediction是一项非常重要的工业任务，例如计算广告中
PaperWeekly·2023-04-15 03:11

AAAI 2022：通过验证嵌入的外源特征防止模型窃取丨AI Drive

「AIDrive」是由biendata和PaperWeekly共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新
AI_Drive·2023-04-12 09:57

多篇顶会看个体因果推断（ITE）的前世今生

©PaperWeekly原创·作者|张一帆学校|中科院自动化所博士生研究方向|计算机视觉Background预测行动间的因果关系是一个非常重要的研究课题。例如，医生判断哪种药物会对病人产生更好的效果。
PaperWeekly·2023-04-09 18:55

图表示学习极简教程

©PaperWeekly原创·作者｜陈凌灏单位｜西安电子科技大学本科生研究方向｜数据挖掘Introduction随着DeepLearning的爆火，图数据挖掘和CV、NLP等领域一样，存在着“爆发式”发展的趋势
PaperWeekly·2023-04-07 09:08

最新综述：用于文本分类的数据增强方法

©PaperWeekly原创·作者|王馨月学校|四川大学本科生研究方向|自然语言处理概要数据增强，即通过转换为机器学习人工创建训练数据，是跨机器学习学科广泛研究的研究领域。
PaperWeekly·2023-04-05 12:54

大语言模型也是知识库：基于知识的对话大模型综述

©PaperWeekly原创·作者|缥缈孤鸿影引言ChatGPT的横空出世，在整个自然语言处理乃至人工智能领域均掀起波澜。
PaperWeekly·2023-04-04 12:44

论文笔记 --《CoLAKE: Contextualized Language and Knowledge Embedding》

标签：Jd_Paperweekly时间：2020.11.05来源：COLING2020关键词：预训练模型，knowledge-EnhancedNLP,KnowledgeEmbedding，GNN1.背景及问题描述之前的一些
ColdCoder·2023-03-23 10:09

对话大模型中的事实错误：ChatGPT 的缺陷

©PaperWeekly原创·作者|愁云引言随着ChatGPT的横空出世，智能对话大模型俨然已成为AI发展的焦点，更是在整个自然语言处理(NLP)领域掀起了一阵海啸。
PaperWeekly·2023-03-16 18:50

测试阶段模型自适应方法总结

©PaperWeekly原创·作者|张一帆单位|中科院自动化所博士生研究方向|计算机视觉DomainGeneralization（DG：域泛化）一直以来都是各大顶会的热门研究方向。
PaperWeekly·2023-03-16 16:13

ChatGPT三问：是什么、从哪来、去往哪？

©PaperWeekly原创·作者|张燚钧单位|中国移动云能力中心研究方向|预训练大模型ChatGPT热潮已经持续月余，目前热度依然不减。根据最新的消息，ChatGPT的升级版GPT-4也已蓄势待发。
PaperWeekly·2023-03-16 15:03

ControlNet如何为扩散模型添加额外模态的引导信息？

©PaperWeekly原创·作者|中森单位|IDEA研究院研究方向|条件受控文本生成这篇文章主要讨论以下三篇论文：1.Sketch-GuidedText-to-ImageDiffusionModels2
PaperWeekly·2023-03-16 15:33

直播预告 | AAAI 2022：一种基于能量的主动域自适应学习方法

「AIDrive」是由biendata和PaperWeekly共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。
AI_Drive·2023-02-22 16:10

基于深度学习的多目标跟踪算法（上）：端到端的数据关联

©PaperWeekly原创·作者｜黄飘学校｜华中科技大学硕士生研究方向｜多目标跟踪最近基于深度学习的多目标跟踪算法越来越多，有用于特征提取的，有改进单目标跟踪器的，也有提升数据关联的。
PaperWeekly·2023-02-22 13:56

全新混合架构iFormer！将卷积和最大池化灵活移植到Transformer

©PaperWeekly原创·作者|Jason研究方向|计算机视觉摘要最近的研究表明，Transformer具有很强的构建远程相关性的能力，但在捕获传递局部信息的高频信息方面表现较差。
PaperWeekly·2023-02-17 12:03

一文通俗讲解元学习（Meta-Learning）

©PaperWeekly原创·作者|孙裕道学校|北京邮电大学博士生研究方向|GAN图像生成、情绪对抗样本生成元学习（meta-learning）是过去几年最火爆的学习方法之一，各式各样的paper都是基于元学习展开的
PaperWeekly·2023-02-17 07:21

COLING'22 | CogBERT：脑认知指导的预训练语言模型

©作者|陈薄文单位|哈尔滨工业大学来源|哈工大SCIR来自|PaperWeekly论文标题：CogBERT：Cognition-GuidedPre-trainedLanguageModel论文作者：丁效
zenRRan·2023-02-07 08:20

深层高斯过程最新综述：全面阐述高斯过程的核心动机、数学公式和局限性

©PaperWeekly原创·作者|王馨月学校|四川大学本科生研究方向|自然语言处理摘要高斯过程是贝叶斯学习的主要方法之一。尽管该方法已应用于许多问题并取得成功，但它还是有一些基本的局限性。
PaperWeekly·2023-02-05 11:47

ICLR 2023 | 环境标签平滑，一行代码提升对抗学习稳定性/泛化性

©PaperWeekly原创·作者|张一帆单位|中科院自动化所博士生研究方向|计算机视觉Domainadaptation（DA:域自适应），Domaingeneralization（DG:域泛化）一直以来都是各大顶会的热门研究方向
PaperWeekly·2023-02-04 14:08

AAAI 2023 | 双域风格图像和谐化

©PaperWeekly原创·作者|曹俊燕单位|上海交通大学BCMI实验室图像合成（ImageComposition）是指将前景从一张图片上剪切下来，然后粘贴到另一张图片上，生成一张合成图片的技术。
PaperWeekly·2023-02-01 09:44

如何用正则化防止模型过拟合？

©作者|Poll来自|PaperWeekly在总结正则化（Regularization）之前，我们先谈一谈正则化是什么，为什么要正则化。
zenRRan·2023-02-01 09:58

从4篇论文看Transformer的局部信息建模

©PaperWeekly原创·作者｜张一帆学校｜华南理工大学本科生研究方向｜CV，Causality本文根据时间线整理了几篇transformer相关的文章，如何更好地建模超长距离依赖以及其他优化问题。
PaperWeekly·2023-01-31 13:44

Transformer升级之路：长度外推性与局部注意力

©PaperWeekly原创·作者|苏剑林单位|追一科技研究方向|NLP、神经网络对于Transformer模型来说，其长度的外推性是我们一直在追求的良好性质，它是指我们在短序列上训练的模型，能否不用微调地用到长序列上并依然保持不错的效果
PaperWeekly·2023-01-31 13:14

HuggingFace BERT源码详解：基本模型组件实现

©PaperWeekly原创·作者|李泺秋学校|浙江大学硕士生研究方向|自然语言处理、知识图谱本文记录一下对HuggingFace开源的Transformers项目代码的理解。
PaperWeekly·2023-01-30 21:55

直播 | KDD 2021论文解读：基于协同对比学习的自监督异质图神经网络

「AIDrive」是由PaperWeekly和biendata共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。
PaperWeekly·2023-01-30 08:52

ICLR 2022 | 基于积分梯度的迁移对抗攻击

©PaperWeekly原创·作者|鬼谷子引言该论文是关于黑盒对抗攻击的工作。论文中作者提出了一种基于积分梯度的可迁移性攻击算法（TAIG），该算法可以生成高可迁移性的对抗样本。
PaperWeekly·2023-01-29 21:18

直播预告 | CVPR 2022论文解读：基于多面注意力机制的人群计数

对本期主题感兴趣的小伙伴，5月24日（本周二）晚7点，我们准时相约PaperWeekly直播间。直播信息本次讲座将主要汇报我们CVPR2022的一篇文章。
PaperWeekly·2023-01-28 09:35

直播预告 | CVPR’22：基于多面注意力机制的人群计数

「AIDrive」是由biendata和PaperWeekly共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。
AI_Drive·2023-01-28 09:35

Transformer升级之路：博采众长的旋转式位置编码

©PaperWeekly原创·作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络上一篇文章中，我们对原始的Sinusoidal位置编码做了较为详细的推导和理解，总的感觉是Sinusoidal位置编码是一种
PaperWeekly·2023-01-28 08:43

Transformer升级之路：二维位置的旋转式位置编码

©PaperWeekly原创·作者|苏剑林单位|追一科技研究方向|NLP、神经网络在之前的文章Transformer升级之路：博采众长的旋转式位置编码中我们提出了旋转式位置编码RoPE以及对应的Transformer
PaperWeekly·2023-01-28 08:12

RoFormerV2：自然语言理解的极限探索

©PaperWeekly原创·作者|苏剑林单位|追一科技研究方向|NLP、神经网络大概在1年前，我们提出了旋转位置编码（RoPE），并发布了对应的预训练模型RoFormer[1]。
PaperWeekly·2023-01-28 08:12

万字因果推断入门：为什么要做因果推断？

来源：PaperWeekly1、为什么需要因果推断1.1辛普森悖论首先，考虑一个与现实情况很相关的例子：针对某种新冠病毒COVID-27，假设有两种疗法：方案A和方案B，B比A更稀缺（耗费的医疗资源更多
人工智能学家·2023-01-24 13:21

归一化原来这么重要！深入浅出详解Transformer中的Normalization

©PaperWeekly原创·作者|李国趸单位|浙江大学研究方向|少样本学习为了讲清楚Transformer中的归一化细节，我们首先需要了解下，什么是归一化，以及为什么要归一化。
PaperWeekly·2023-01-24 10:03

再谈对比学习：更好的对比样本选择，更好的对比效果

©PaperWeekly原创·作者|张琨学校|中国科学技术大学博士生研究方向|自然语言处理在之前的介绍中，我们对自监督学习（SSL）中的对比学习（CL）进行了简单介绍，然后针对对比学习中的采样方式进行详细的分析
PaperWeekly·2023-01-24 07:23

FlatNCE：小批次对比学习效果差的原因竟是浮点误差？

©PaperWeekly原创·作者|苏剑林单位|追一科技研究方向|NLP、神经网络自SimCLR[1]在视觉无监督学习大放异彩以来，对比学习逐渐在CV乃至NLP中流行了起来，相关研究和工作越来越多。
PaperWeekly·2023-01-24 07:53

CVPR 2022 | ELP：简单间断线性探针即可提升各种分类性能

©PaperWeekly原创·作者|梁远智单位|悉尼科技大学博士生研究方向|多模态与表示学习自序分类是CV经典任务。
PaperWeekly·2023-01-20 14:14

AAAI 2022有哪些值得读的NLP相关论文？

©PaperWeekly原创·作者|王馨月单位|四川大学研究方向|自然语言处理新任务1.1NAREOR论文标题：NAREOR:TheNarrativeReorderingProblem论文链接：https
PaperWeekly·2023-01-20 13:03

SIGIR 2021 | 推荐系统中的自监督图表征学习

©PaperWeekly原创·作者|吴剑灿学校|中国科学技术大学博士生研究方向|信息检索摘要推荐系统中用户-物品交互图上的表征学习（RepresentationLearning）已经从使用单个ID或历史交互行为发展到利用交互图上的高阶邻域信息
PaperWeekly·2023-01-17 19:08

ECCV 2022 | 港中文MMLab：基于Transformer的光流

©PaperWeekly原创·作者|ZhaoyangHuang单位|香港中文大学MMLab研究方向|视觉关联性学习Transformer今年在图像领域展现出了很好地性能，相比于CNN，它们的优势之一是基于注意力机制的长程建模能力
PaperWeekly·2023-01-17 15:18
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他