PLMs

从零开始大模型开发与微调：有趣的词嵌入

ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来自然语言处理（NLP）领域近年来取得了飞速发展，尤其是在预训练语言模型（Pre-trainedLanguageModels，简称PLMs
AGI通用人工智能之禅·2024-08-26 08:33

Hugging Face PEFT文档指南 - 第一章：开始使用

原文:PEFT文档指南-第一章：开始使用https://huggingface.co/docs/peft/indexPEFTPEFT（参数高效微调）是一个库，用于有效地将预训练的语言模型（PLMs）适应各种下游应用
Tim_Van·2024-02-20 13:28

如何提高少样本学习中的参数有效性以及数据有效性

康德链接：https://arxiv.org/abs/2110.06274Github:https://github.com/microsoft/LiST本文提出一种在少样本学习情况下对大型预训练语言模型(PLMs
NLP论文解读·2024-02-09 03:23

Transformer and Pretrain Language Models3-1

contenttransformerattentionmechanismtransformerstructurepretrainedlanguagemodelslanguagemodelingpre-trainedlanguemodels(PLMs
ringthebell·2024-01-22 10:27

[学习笔记]刘知远团队大模型技术与交叉应用L3-Transformer_and_PLMs

RNN存在信息瓶颈的问题。注意力机制的核心就是在decoder的每一步，都把encoder的所有向量提供给decoder模型。具体的例子先获得encoder隐向量的一个注意力分数。注意力机制的各种变体一：直接点积二：中间乘以一个矩阵三：Additiveattention：使用一层前馈神经网络来获得注意力分数…Transformer概述输入层BPE（BytePairEncoding)BPE提出主要是
N刻后告诉你·2024-01-22 04:09

[学习笔记]刘知远团队大模型技术与交叉应用L1-NLP&Big Model Basics

语言模型如何从N-gram发展成预训练语言模型PLMs。然后介绍了大模型在NLP任务上的表现，以及它遵循的基本范式。最后介绍了本课程需要用到的编程环境和GPU服务器。
N刻后告诉你·2024-01-14 21:50

DUET: Cross-Modal Semantic Grounding for Contrastive Zero-Shot Learning论文阅读

v.s.DUET学习范式DUET模型总览属性级别对比学习==正负样本解释：==3.结果分析VIT-basedvisiontransformerencoder.消融研究消融研究解释4.结论与启示结论总结启发PLMs
GCTTTTTT·2024-01-10 09:37

Stable Diffusion 源码解析（1）

参考2：https://zhuanlan.zhihu.com/p/6133373421.StableDiffusion基本原理1.1UNetModel、FrozenCLIP模型1.2DDPM、DDIM、PLMS
Yuezero_·2023-12-15 05:15

【知识增强】A Survey of Knowledge-Enhanced Pre-trained LM 论文笔记

LiqiangNie,SeniorMember,IEEEandJuanziLi2023年8月的一篇关于知识增强预训练模型的文献综述论文思维导图思维导图网页上看不清的话，可以存储到本地再看大纲笔记摘要:预训练语言模型(PLMs
辰阳星宇·2023-11-16 06:37

Dense Text Retrieval based on Pretrained Language Models: A Survey 上

预训练语言模型(PretrainedLanguageModels，PLMs)最近的成功为利用PLMs的优秀建模能力开发更
不喜欢科研的fw·2023-11-12 19:46

超全总结！大模型算法面试指南（含答案）

近些年，在大规模语料库上预训练Transformer模型产生了预训练语言模型（PLMs），并在解决各类NLP任务上展现出了强大的能力。有趣的是，当参数规模超过一定水平时，这个更大的语言模
机器学习社区·2023-11-10 15:07

Pre-trained Language Models Can be Fully Zero-Shot Learners

预训练语言模型可以是完全零样本的学习者摘要1引言2相关工作3背景：PLMs基于提示的调整4提出的方法：NPPrompt5实验6讨论7结论局限性摘要在没有标记或额外的未标记数据的情况下，我们如何将预先训练的模型扩展到许多语言理解任务
UnknownBody·2023-10-21 16:08

Pruning Pre-trained Language Models Without Fine-Tuning

修剪未微调的预训练语言模型摘要1引言2相关工作3背景4静态模型剪枝5实验6分析7结论8局限性摘要为了克服预训练语言模型(PLMs)中的过度参数化问题，剪枝作为一种简单直接的压缩方法被广泛使用，它直接去除不重要的权重
UnknownBody·2023-10-17 00:26

ACL'22丨预训练语言模型能否像人一样解释明喻

如今，大规模预训练语言模型(Pre-trainedLanguageModels,PLMs)在各类自然语言处理任务上得到突出的表现效果。那预训练语言模型是否能像人一样解释明喻呢?
zenRRan·2023-10-09 18:04

论文浅尝 | 基于预训练语言模型的简单问题知识图谱问答

然而，对于不同PLMs在KGQA中
开放知识图谱·2023-09-22 15:29

A Survey of Knowledge-Enhanced Pre-trained Language Models

知识增强的预训练语言模型综述摘要1引言2背景3KE-PLMs用于NLU4KE-PLMs用于NLG5未来的方向5.1整合来自同质和异质来源的知识5.2探索多模态知识5.3提供可解释性证据5.4持续学习知识
UnknownBody·2023-09-06 19:35

论文浅尝 | 利用对抗攻击策略缓解预训练语言模型中的命名实体情感偏差问题...

笔记整理：田家琛，天津大学博士，研究方向为文本分类链接：https://ojs.aaai.org/index.php/AAAI/article/view/26599动机近年来，随着预训练语言模型（PLMs
开放知识图谱·2023-09-04 00:53

论文阅读 A Survey of Large Language Models 1

资源公开可用的模型检查点或API具有数十亿个参数的模型具有数千亿个参数的模型LLM公开API常用语料库书籍CommonCrawlReddit链接维基百科代码其他库资源摘要讨论了机器语言智能的发展，特别是大规模预训练语言模型（PLMs
赫凯·2023-04-12 05:31

Stable Diffusion 原理介绍与源码分析（二、DDPM、DDIM、PLMS算法分析）

StableDiffusion原理介绍与源码分析（二、DDPM、DDIM、PLMS）文章目录StableDiffusion原理介绍与源码分析（二、DDPM、DDIM、PLMS）系列文章前言（与正文无关，
珍妮的选择·2023-04-04 08:02

知识增强预训练语言模型|KEPLER: A Unified Model for Knowledge Embedding and Pre-trained Language Representation

1.介绍预训练的语言表征模型(PLMs)ELMoBERTXLNet从大规模的非结构和未标记的库中学习有效的语言表征通常缺乏事实世界知识->利用大规模知识库的实体嵌入为plm提供外部知识他们使用了通过单独的知识嵌入
日长永昼·2023-02-03 11:07

从最新的ACL、NAACL和EMNLP中详解知识增强的语言预训练模型

来自：复旦DISC作者：王思远引言随着预训练语言模型（PLMs）的不断发展，各种NLP任务设置上都取得了不俗的性能。
zenRRan·2023-02-03 11:32

论文速递 && EMNLP2022 | 接受论文抢先看！！！（内含下载列表）

其中共计26篇，整理24篇，主要涉及：多模态讽刺检测、PLMs事实知识校准、分类中的长尾问题、关联知识学习、域适应增强Prompt调优、开放领域QA阅读器性
AINLPer·2023-01-02 08:05

【论文翻译】KLMo: Knowledge Graph Enhanced Pretrained Language Model with Fine-Grained Relationships

然而，现有的知识增强型预训练语言模型（PLMS）只关注实体信息，而忽略了实体之间的细粒度关系。
歆布·2022-12-24 07:02

一文了解预训练模型 Prompt 调优（比较详细）

编辑:ShuYini校稿:ShuYini时间:2022-10-12引言最近看了很多关于NLP的文章，发现一些预训练模型(PLMs)调优都用到了Prompt。
AINLPer·2022-12-22 09:18

预训练语言模型（PLMs）综述

预训练语言模型（PLMs）内容来自AACL2022Tutorial：https://d223302.github.io/AACL2022-Pretrain-Language-Model-Tutorial
marasimc·2022-12-22 09:40

OpenPrompt：An Open-Source Framework for Prompt-learning

AnOpen-SourceFrameworkforPrompt-Learning.OverviewPrompt-learningisthelatestparadigmtoadaptpre-trainedlanguagemodels(PLMs
夜空霓虹·2022-12-21 05:56

如何提高少样本学习中的参数有效性以及数据有效性

康德链接：https://arxiv.org/abs/2110.06274Github:https://github.com/microsoft/LiST本文提出一种在少样本学习情况下对大型预训练语言模型(PLMs
NLP论文解读·2022-12-20 19:02

PKGC Do Pre-trained Models Benefit Knowledge Graph Completion?A Reliable Evaluation and

摘要近年来，预训练语言模型(PLMs)已被证明可以从大量文本中捕获事实知识，这鼓励了基于PLM的知识图完成(KGC)模型的建议。然而，这些模型在性能方面仍然远远落后于SOTAKGC模型。
小蜗子·2022-12-10 15:50

PAIE-提示学习用于事件抽取领域

一方面，PAIE模型利用对提取目标的提示信息来充分利用PLMs的优势。两个片段选择器，根据提示从每个角色的输入文本开始、结束标记另一方面，通过多角色提示捕获论元
LY_123456_·2022-12-10 14:28

KG-BERT for Knowledge Graph Completion 笔记

BERT来补全知识图谱2、将知识图谱中的三元组视为文本序列，并提出新框架KG-BERT3、方法：用三元组的实体描述和关系描述作为输入，利用KG-BERT语言模型计算三元组的评分函数资料查阅:预训练语言模型PLMs
Student_Hc·2022-12-08 04:48

KEPLER: A unified model for knowledge embedding and pre-trainedlanguage representation

摘要预先训练的语言表示模型(PLMs)不能很好地从文本中获取事实知识。相比之下，知识嵌入方法可以通过信息实体嵌入有效地表示知识图中的关系事实，但传统的知识嵌入模型不能充分利用丰富的文本信息。
小蜗子·2022-12-07 20:53

【21.09-21.10】近日Paper Quichthrough汇总

文本分类1.PTR:PromptTuningwithRulesforTextClassificationPaperUrl摘要：经过微调的预先训练的语言模型(PLMs)在几乎所有的NLP任务中都取得了令人惊叹的表现
SUFEHeisenberg·2022-12-01 11:31

【ACL 2022】NoisyTune：来点噪声帮你更好地微调预训练语言模型

文章目录1.前言2.模型3.实验4.总结1.前言BERT自2018年横空出世以来，使得pretrain+finetune成为处理NLP任务的标配，如何有效的微调预训练语言模型（PLMs）对下游任务来说至关重要
馨歌·2022-11-24 14:48

预训练语言模型入门

LanguageModelingPre-trainedLanguageModels(PLMs)Feature-basedFine-tuningFine-tuningBasedPLMsPLMsafterBERTApplicationsofMaskedLMFrontiersofPLMs
CSU迦叶·2022-11-23 10:50

BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification

UsingBERTIntermediateLayerstoAugmentGCNforAspect-basedSentimentClassification摘要：基于图的基于方面的情感分类(ABSC)方法已经取得了最先进的结果，特别是当使用了从训练前语言模型(PLMs
misaki_min·2022-11-21 13:18

NoisyTune: A Little Noise Can Help You Finetune Pretrained Language Models Better论文研读

o(*￣▽￣*)ブ目录一、摘要二、模型三、实验一、摘要有效地微调预训练语言模型（PLMs）对于其在下游任务中的成功至关重要。
冲冲冲鸭鸭鸭~·2022-06-26 07:20

如何提高少样本学习中的参数有效性以及数据有效性

康德链接：https://arxiv.org/abs/2110.06274Github:https://github.com/microsoft/LiST本文提出一种在少样本学习情况下对大型预训练语言模型(PLMs
NLP论文解读·2022-02-04 20:00

AI Open 专刊征稿|预训练语言模型

2018年，ELMo、BERT和GPT的发布，表明了预训练语言模型(PLMs)的成功，进而给自然语言理解和生成方面带来了重大突破。我们想要探索更有效的培训前架构，目前为止已经做了很多工作。
AITIME论道·2020-12-22 17:51

【NLP】2020深度文本匹配最新进展：精度、速度我都要！

然鹅，模型虽非常有效，尤其是基于PLMs的排序模型更是增加了几个数量级的计算成本。
风度78·2020-09-14 03:28

2020深度文本匹配最新进展：精度、速度我都要！

然鹅，模型虽非常有效，尤其是基于PLMs的排序模型更是增加了几个数量级的计算成本。
夕小瑶·2020-09-12 21:25

ORACLE_SID、实例名（SID) 、数据库名区别

ORACLE_SID、实例名（SID)、数据库名区别ORACLE_SID--->实例名（SID)------>数据库名eg:spfilePLMS.ora中的db_name='PLMS'Instance_name
lesline·2020-07-16 05:14

linux基本命令

234cmd:dssh172.29.1.221sudosu-cd/直接进入根目录日志目录：cdlog/plms/plms_urge安装包目录：cdapp/plms-urge删除文件rm-f文件名上传文件
young5201314·2019-05-14 14:51
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他