N-gram语言模型第63页

Meta Semantic Template for Evaluation of Large Language Models

大型语言模型评估的元语义模板摘要1引言2相关工作3方法4实验5结论摘要大型语言模型(llm)是否真正理解语言的语义，或者只是记住训练数据?

UnknownBody·2023-10-10 17:27

datawhale课程《transformers入门》笔记2：BERT入门

2BERT基础原理2.1MaskedLM(带mask的单词级别语言模型训练)2.1.2为何引入mask机制**2.1.3MaskedLM训练过程2.1.4为什么选[CLS]表示整句话语义？

神洛华·2023-10-10 15:22

轻量化微调 Parameter-Efficient Fine-Tuning

对预先训练好的语言模型进行微调是目前自然语言处理任务中的普遍范式，在许多下游任务上表现出了极好的性能。全参数微调，即对模型的所有参数进行训练，是目前将预训练模型应用到下游任务的最通用方法。

还卿一钵无情泪·2023-10-10 12:26

ConPET: Continual Parameter-Efficient Tuning for Large Language Models

ConPET:大型语言模型的连续参数高效调优摘要1引言2相关工作3提出的方法4实验5结论与未来工作摘要持续学习需要不断调整模型以适应新出现的任务，同时尽量减少对旧任务的灾难性遗忘。

UnknownBody·2023-10-10 12:14

Bias and Fairness in Large Language Models: A Survey

大型语言模型中的偏见与公平性研究摘要1引言2LLM偏见与公平的形式化3偏见评价指标的分类4偏见评价数据集的分类5缓解偏见的技术分类6开放问题和挑战7结论摘要大型语言模型(llm)的快速发展使得处理、理解和生成类人文本成为可能

UnknownBody·2023-10-10 12:14

预训练语言模型fine-tuning近期进展概述

©作者｜AIBox来源｜RUCAIBox近年来，迁移学习改变了自然语言处理领域的范式，对预训练语言模型（PLM）进行微调（fine-tuning）已经成为了新的范式。

PaperWeekly·2023-10-10 12:44

LONGLORA: EFFICIENT FINE-TUNING OF LONGCONTEXT LARGE LANGUAGE MODELS

Longlora:长上下文大型语言模型的高效微调摘要1引言2相关工作3LongLoRA4实验5结论摘要我们提出了LongLoRA，一种有效的微调方法，以有限的计算成本扩展预训练的大型语言模型(llm)的上下文大小

UnknownBody·2023-10-10 12:35

在 Amazon SageMaker 上使用 ESMFold 语言模型加速蛋白质结构预测

蛋白质驱动着许多生物过程，如酶活性、分子输运和细胞支持。通过蛋白质的三维结构，可以深入了解蛋白质的功能以及蛋白质如何与其他生物分子相互作用。测定蛋白质结构的实验方法（如X射线晶体学和核磁共振波谱学）既昂贵又耗时。相比之下，最近开发的几种计算方法能够根据蛋白质的氨基酸序列快速准确地预测蛋白质的结构。这些方法对于难以通过实验研究的蛋白质至关重要，例如膜蛋白，它是许多药物的靶标。在这些方法中，一个众所周

亚马逊云开发者·2023-10-10 09:44

仅用61行代码，你也能从零训练大模型

本文并非基于微调训练模型，而是从头开始训练出一个全新的大语言模型的硬核教程。看完本篇，你将了解训练出一个大模型的环境准备、数据准备，生成分词，模型训练、测试模型等环节分别需要做什么。

Python算法实战·2023-10-10 05:08

REASONING ON GRAPHS: FAITHFUL AND INTERPRETABLE LARGE LANGUAGE MODEL REASONING

图上推理:忠实的和可解释的大语言模型推理摘要1引言2相关工作3前言4方法5实验6结论摘要大型语言模型(llm)在复杂任务中表现出令人印象深刻的推理能力。

UnknownBody·2023-10-10 01:29

吴恩达《微调大型语言模型》笔记

微调（fine-tuning）就是利用特有数据和技巧将通用模型转换为能执行具体任务的一种方式。例如，将GPT-3这种通用模型转换为诸如ChatGPT这样的专门用于聊天的模型。或者将GPT-4转换为诸如GitHubCoplot这样的专门用于写代码的模型。这里的微调特指生成式任务上的微调。在这种方式中，需要更新整个模型的权重，而不是像其他模型一样只更新部分权重微调的训练目标与预训练时的目标相同，目的是

小小白2333·2023-10-10 01:24

大语言模型应用研发中利用向量数据库增强提示词

本期视频由亚马逊云科技GCRCrossSpecialistSA李元博带来分享，主题为“大语言模型应用研发中利用向量数据库增强提示词”。

亚马逊云开发者·2023-10-10 00:20

招聘 | 百度-文心一言-核心算法岗位-大语言模型-校招/社招

进NLP群—>加入NLP交流群文心一言算法岗位招聘工作职责大语言模型能力优化算法设计和技术研发大语言模型内容安全算法设计和技术研发大语言模型知识增强算法设计和技术研发大语言模型训练、推理和效果分析岗位要求具备自然语言大模型研发经验

zenRRan·2023-10-09 21:53

ChatRule: Mining Logical Rules with Large Language Models for Knowledge Graph Reasoning

ChatRule:利用大型语言模型挖掘知识图谱推理的逻辑规则摘要引言相关工作前言和问题定义方法实验结论摘要逻辑规则对于揭示关系之间的逻辑联系至关重要，它可以提高推理性能并提供知识图谱上可解释的结果。

UnknownBody·2023-10-09 20:33

QA-LORA: QUANTIZATION-AWARE LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

Qa-lora:大型语言模型的量化感知低秩自适应摘要1引言2相关工作3提出的方法4实验5结论摘要近年来，大型语言模型(llm)得到了迅速的发展。

UnknownBody·2023-10-09 20:33

Explainability for Large Language Models: A Survey

大型语言模型的可解释性:综述摘要1引言2LLM的训练范式3传统微调范式的解释4提示范式的解释5评估的解释6研究挑战7结论摘要大型语言模型(llm)在自然语言处理方面已经展示了令人印象深刻的能力。

UnknownBody·2023-10-09 20:02

Can Large Language Models Understand Real-World Complex Instructions?

大型语言模型能理解现实世界的复杂指令吗?摘要引言相关工作CELLO基准实验结论摘要大型语言模型(llm)可以理解人类指令，显示出它们在传统NLP任务之外的实用应用潜力。

UnknownBody·2023-10-09 20:59

使用anaconda 安装torchtext_Pytorch学习记录-更深的TorchText学习01

1practical-torchtext教程2pytorch-sentiment-analysis1.practical-torchtext简介有效使用torchtext的教程，包括两个部分文本分类词级别的语言模型

weixin_39776991·2023-10-09 19:08

[大语言模型应用于推荐系统]Large Language Models are Competitive Near Cold-start Recommenders for Language- and I

wenyisir·2023-10-09 18:07

ACL'22丨预训练语言模型能否像人一样解释明喻

如今，大规模预训练语言模型(Pre-trainedLanguageModels,PLMs)在各类自然语言处理任务上得到突出的表现效果。那预训练语言模型是否能像人一样解释明喻呢?

zenRRan·2023-10-09 18:04

LLMs Python解释器程序辅助语言模型（PAL）Program-aided language models (PAL)

正如您在本课程早期看到的，LLM执行算术和其他数学运算的能力是有限的。虽然您可以尝试使用链式思维提示来克服这一问题，但它只能帮助您走得更远。即使模型正确地通过了问题的推理，对于较大的数字或复杂的运算，它仍可能在个别数学操作上出错。这是您早些时候看到的一个示例，其中LLM试图像计算器一样工作，但得到了错误的答案。请记住，这个模型实际上没有进行任何真正的数学运算。它只是尝试预测完成提示的最有可能的标记

AI架构师易筋·2023-10-09 18:59

如何让 Llama2、通义千问开源大语言模型快速跑在函数计算上？

作者：寒斜阿里云智能技术专家「本文是“在Serverless平台上构建AIGC应用”系列文章的第一篇文章。」前言随着ChatGPT以及StableDiffusion，Midjourney这些新生代AIGC应用的兴起，围绕AIGC应用的相关开发变得越来越广泛，有呈井喷之势，从长远看这波应用的爆发不仅仅是停留在形式之上，更是在各个领域产生实际的生产力价值，比如办公领域有copilotsystem365

阿里云云原生·2023-10-09 17:55

GPT系列论文解读：GPT-3

GPT系列GPT（GenerativePre-trainedTransformer）是一系列基于Transformer架构的预训练语言模型，由OpenAI开发。

青云遮夜雨·2023-10-09 14:57

人工智能辅导程序 Mr. Ranedeer AI Tutor

Mr.RanedeerAITutor是一个开源的人工智能辅导程序，使用OpenAI的GPT-4语言模型来提供个性化的学习体验。该程序具有以下功能和特点：可以根据用户的需要和兴趣提供个性化的学习内容。

winfredzhang·2023-10-09 13:16

麻省理工学院与Meta AI共同开发StreamingLLM框架，实现语言模型无限处理长度

AI新闻麻省理工学院与MetaAI共同开发StreamingLLM框架，实现语言模型无限处理长度摘要：麻省理工学院与MetaAI的研究人员联合研发了一款名为StreamingLLM的框架，解决了大语言模型在

go2coding·2023-10-09 12:26

NLP-预训练模型-2019-NLU：XLNet【在Transformer-XL的基础上：①“排列组合LM”取代Bert中的“掩码LM”解决其弊端；②使用“双流注意力机制”解决位置信息】

预训练模型(Pretrainedmodel)：一般情况下预训练模型都是大型模型，具备复杂的网络结构，众多的参数量，以及在足够大的数据集下进行训练而产生的模型.在NLP领域，预训练模型往往是语言模型，因为语言模型的训练是无监督的

u013250861·2023-10-09 12:24

都在喂大规模互联网文本，有人把著名的 C4 语料库“读”透了

大规模语言模型使得许多下游自然语言处理任务取得了值得注意的进展，研究人员倾向于使用更大的文本语料库来训练更强力的语言模型。

数据派THU·2023-10-09 12:53

知识图谱和大语言模型的共存之道

源自：开放知识图谱“人工智能技术与咨询”发布导读01知识图谱和大语言模型的历史图1图2图3图4图502知识图谱和大语言模型作为知识库的优缺点图6图7表1表2图8图903知识图谱和大语言模型双知识平台融合图

龙腾亚太·2023-10-09 05:03

知识增强语言模型提示零样本知识图谱问答10.8

知识增强语言模型提示零样本知识图谱问答摘要介绍相关工作方法零样本QA的LM提示知识增强的LM提示与知识问题相关的知识检索摘要大型语言模型（LLM）能够执行零样本closed-book问答任务，依靠其在预训练期间存储在参数中的内部知识

露葵025·2023-10-09 00:33

知识工作者如何面对ChatGPT的竞争？

特点是可以通过大型语言模型进行强化学习训练，对话模式非常接近人类自然对话。——维基百科ChatGPT能做什么？ChatGPT能做的不仅仅是更好的聊天，还可以切实的输出一些我们想要的知识成果。

ChatGPT4.0·2023-10-08 23:58

预训练模型之BERT、Transformer-XL、XL-Net等

《ScalingTransformerto1MtokensandbeyondwithRMT》2.《》预训练模型（Pre-trainedModels,PTMs）前置知识一、语言模型（LanguageM

Iron_lyk·2023-10-08 20:33

ChatGPT 背后包含了哪些技术？

ChatGPT是由OpenAI开发的一款基于GPT-3（GenerativePre-trainedTransformer3）的人工智能语言模型。这个模型是使用多种编程语言和技术组合编写的。

ChatGPT研究院·2023-10-08 20:54

同CHATGPT相似应用

文章目录前言一，ChatGPT的URL万能聊天类NLP算法类创意写作类图像生成类GPT+应用类音频助手类---转载没了解过视频生成类---转载没了解过搭建网站前言当今的ChatGPT是一个强大的语言模型

天池小天·2023-10-08 20:19

QA-GNN: Reasoning with Language Models and Knowledge Graphsfor Question Answering

题目：QA-GNN：使用语言模型和知识图进行问答推理作者：MichihiroYasunaga、HongyuRen、AntoineBosselut、PercyLiang、JureLeskovec发布地方：

SU_ZCS·2023-10-08 19:24

LLM+KGs综述：Unifying Large Language Models and Knowledeg Graphs: A Roadmap

统一大语言模型和知识图谱综述UnifyingLargeLanguageModelsandKnowledegGraphs:ARoadmapgithb：https://github.com/zjukg/KG-LLM-Papers

不李姐这些东西·2023-10-08 19:24

EVALUATING HALLUCINATIONS IN CHINESE LARGE LANGUAGE MODELS

中文大语言模型的幻觉评价摘要1引言2HALLUQA基准3实验4讨论5相关工作6结论摘要在本文中，我们建立了一个名为HalluQA(ChineseHallucinationquestion-answers

UnknownBody·2023-10-08 18:17

Large Language Models Meet Knowledge Graphs to Answer Factoid Questions

大型语言模型与知识图谱相遇，回答虚假问题摘要1引言2相关工作3提出的方法4实验设计5结果与讨论6结论摘要最近，有研究表明，将结构化知识整合到大型语言模型中可以显著提高各种NLP任务的结果。

UnknownBody·2023-10-08 18:15

《2023 ChatGPT for Robotics:Design Principles and Model Abilities》阅读笔记

1Introduction自然语言处理(NLP)的快速发展导致了大型语言模型(LLMs)的发展，如BERT[2]、GPT-3[3]和Codex[4]，这些模型正在对广泛的应用程序进行革命。

初篱·2023-10-08 15:37

揭秘ChatGPT的流式返回

107.揭秘ChatGPT的流式返回ChatGPT是一种强大的语言模型，可以生成自然语言响应。在传统的请求/响应模型中，客户端发送请求，服务器处理请求后返回响应。

前端每日三省·2023-10-08 14:24

大语言模型学到什么

背景：这篇文章是对《LANGUAGEMODELSREPRESENTSPACEANDTIME》论文的翻译加解读。之所以选这篇文章是因为最近在研究大模型的可解释性，以及基于可解释性对大模型的下游任务适配做训练级别可控性增强研究。其实总结成两句话就是：1.大模型到底学到什么了2.是否能够在训练时候通过辅助probe来控制训练，增强模型能力这篇文章正好有部分的回答了上面的两个问题，所以把这篇文章的工作做了

远洋之帆·2023-10-08 10:48

ChatGPT社交时代降临！Meta在三大平台，集成28个生成式AI！

RPA中国·2023-10-08 07:37

LongLoRA：超长上下文，大语言模型高效微调方法

麻省理工学院和香港中文大学联合发布了LongLoRA，这是一种全新的微调方法，可以增强大语言模型的上下文能力，而无需消耗大量算力资源。通常，想增加大语言模型的上下文处理能力，需要更多的算力支持。

RPA中国·2023-10-08 07:28

Generative AI 新世界 | 扩散模型原理的代码实践之采样篇

在上一期的文章中，探讨了在AmazonSageMakerStudio上使用QLoRA等量化技术微调Falcon40B大语言模型。

亚马逊云开发者·2023-10-07 22:20

大语言模型之十六-基于LongLoRA的长文本上下文微调Llama-2

增加LLM上下文长度可以提升大语言模型在一些任务上的表现，这包括多轮长对话、长文本摘要、视觉-语言Transformer模型的高分辨4k模型的理解力以及代码生成、图像以及音频生成等。

shichaog·2023-10-07 22:41

Langchain-Chatchat项目：1.2-Baichuan2项目整体介绍

由百川智能推出的新一代开源大语言模型，采用2.6万亿Tokens的高质量语料训练，在多个权威的中文、英文和多语言的通用、领域benchmark上取得同尺寸最佳的效果，发布包含有7B、13B的Base

NLP工程化·2023-10-07 17:52

大语言模型黑盒被打破；Meta 元宇宙硬件亏损可能高于市场共识丨 RTE 开发者日报 Vol.60

开发者朋友们大家好：这里是「RTE开发者日报」，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享RTE（RealTimeEngagement）领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」，但内容仅代表编辑的个人观点，欢迎大家留言、跟帖、讨论。本期编辑：@Asui，@CY，@墨镜01有话题的新闻1、雷军王小川牵手，小米大模型投资布局首次曝光

声网·2023-10-07 15:56

OpenAI重大更新！为ChatGPT推出语音和图像交互功能

这标志着生成式人工智能运动的一个显著演进，OpenAI将基于语音助手与其强大的大型语言模型（LLMs）融为一体。自从大约九个月前首次推出以来，这款广受欢迎的生成式人工智能助手一直是近年来最成功的

BFT白芙堂·2023-10-07 11:57

知识图谱和大语言模型的共存之道

源自：开放知识图谱“人工智能技术与咨询”发布导读01知识图谱和大语言模型的历史图1图2图3图4图502知识图谱和大语言模型作为知识库的优缺点图6图7表1表2图8图903知识图谱和大语言模型双知识平台融合图

renhongxia1·2023-10-07 11:37

基于深度学习的聊天机器人

项目前期知识准备文章目录基于深度学习的聊天机器人-项目前期知识准备一、TensorFlow框架简介二、NLP基础1.常用的神经网络模型2.词法分析3.贝叶斯和朴素贝叶斯4.隐马尔科夫模型5.语料相关6.语言模型

Chiancc·2023-10-07 10:12

Prompt-Tuning（一)

一、预训练语言模型的发展过程第一阶段的模型主要是基于自监督学习的训练目标，其中常见的目标包括掩码语言模型（MLM）和下一句预测（NSP）。

余生有烟火·2023-10-07 04:27

推荐频道

N-gram语言模型

Meta Semantic Template for Evaluation of Large Language Models

datawhale课程《transformers入门》笔记2：BERT入门

轻量化微调 Parameter-Efficient Fine-Tuning

ConPET: Continual Parameter-Efficient Tuning for Large Language Models

Bias and Fairness in Large Language Models: A Survey

预训练语言模型fine-tuning近期进展概述

LONGLORA: EFFICIENT FINE-TUNING OF LONGCONTEXT LARGE LANGUAGE MODELS

在 Amazon SageMaker 上使用 ESMFold 语言模型加速蛋白质结构预测

仅用61行代码，你也能从零训练大模型

REASONING ON GRAPHS: FAITHFUL AND INTERPRETABLE LARGE LANGUAGE MODEL REASONING

吴恩达《微调大型语言模型》笔记

大语言模型应用研发中利用向量数据库增强提示词

招聘 | 百度-文心一言-核心算法岗位-大语言模型-校招/社招

ChatRule: Mining Logical Rules with Large Language Models for Knowledge Graph Reasoning

QA-LORA: QUANTIZATION-AWARE LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

Explainability for Large Language Models: A Survey

Can Large Language Models Understand Real-World Complex Instructions?

使用anaconda 安装torchtext_Pytorch学习记录-更深的TorchText学习01

[大语言模型应用于推荐系统]Large Language Models are Competitive Near Cold-start Recommenders for Language- and I

ACL'22丨预训练语言模型能否像人一样解释明喻

LLMs Python解释器程序辅助语言模型（PAL）Program-aided language models (PAL)

如何让 Llama2、通义千问开源大语言模型快速跑在函数计算上？

GPT系列论文解读：GPT-3

人工智能辅导程序 Mr. Ranedeer AI Tutor

麻省理工学院与Meta AI共同开发StreamingLLM框架，实现语言模型无限处理长度

NLP-预训练模型-2019-NLU：XLNet【 在Transformer-XL的基础上：①“排列组合LM”取代Bert中的“掩码LM”解决其弊端；②使用“双流注意力机制”解决位置信息】

都在喂大规模互联网文本，有人把著名的 C4 语料库“读”透了

知识图谱和大语言模型的共存之道

知识增强语言模型提示 零样本知识图谱问答10.8

知识工作者如何面对ChatGPT的竞争？

预训练模型之BERT、Transformer-XL、XL-Net等

ChatGPT 背后包含了哪些技术？

同CHATGPT相似应用

QA-GNN: Reasoning with Language Models and Knowledge Graphsfor Question Answering

LLM+KGs综述：Unifying Large Language Models and Knowledeg Graphs: A Roadmap

EVALUATING HALLUCINATIONS IN CHINESE LARGE LANGUAGE MODELS

Large Language Models Meet Knowledge Graphs to Answer Factoid Questions

《2023 ChatGPT for Robotics:Design Principles and Model Abilities》阅读笔记

揭秘ChatGPT的流式返回

大语言模型学到什么

ChatGPT社交时代降临！Meta在三大平台，集成28个生成式AI！

LongLoRA：超长上下文，大语言模型高效微调方法

Generative AI 新世界 | 扩散模型原理的代码实践之采样篇

大语言模型之十六-基于LongLoRA的长文本上下文微调Llama-2

Langchain-Chatchat项目：1.2-Baichuan2项目整体介绍

大语言模型黑盒被打破；Meta 元宇宙硬件亏损可能高于市场共识丨 RTE 开发者日报 Vol.60

OpenAI重大更新！为ChatGPT推出语音和图像交互功能

知识图谱和大语言模型的共存之道

基于深度学习的聊天机器人

Prompt-Tuning（一)

NLP-预训练模型-2019-NLU：XLNet【在Transformer-XL的基础上：①“排列组合LM”取代Bert中的“掩码LM”解决其弊端；②使用“双流注意力机制”解决位置信息】

知识增强语言模型提示零样本知识图谱问答10.8