语料库第8页

【LLM系列之GPT】GPT（Generative Pre-trained Transformer）生成式预训练模型

GPT（GenerativePre-trainedTransformer）是由OpenAI公司开发的一系列自然语言处理模型，采用多层Transformer结构来预测下一个单词的概率分布，通过在大型文本语料库中学习到的语言模式来生成自然语言文本

致Great·2023-06-22 20:26

NeurIPS 2022｜DeepMind最新研究：大模型背后的ICL可能与数据分布密切相关

NeurIPS2022｜DeepMind最新研究：大模型背后的ICL可能与数据分布密切相关大模型自然语言处理机器学习传统的文本语言模型倾向于两阶段的训练模式，即首先在大规模语料库上进行预训练，然后在目标下游任务上进行微调

AI生成曾小健·2023-06-21 13:55

魅色·2023-06-21 12:19

研究生常用工具推荐，可根据需求选择

文档翻译:唐帕翻译，一些专业文件，翻译还是挺精准的，这个和它的底层逻辑有关，因为它是基于庞大的行业术语语料库，以保证翻译的精准度，所以专业术语类的翻译准确率特别高。文档翻译-pdf

魅色·2023-06-21 12:45

翻译之深入注释俄罗斯民间故事的语料库，以实现对俄罗斯形式主义理论的机器学习

概述用计算技术成功解决人文主义问题需要在几个不同阶段进行形式化。最经常讨论的阶段是最后一个阶段，在此阶段，将计算学习算法或计算机实现的统计技术应用于（人文主义）数据，从而产生紧迫问题的结果。然而，正如许多数字人文主义者所知，准备数据（即将数据转换为适合计算分析的形式）通常是工作的主要部分，并带来了许多理论上的假设和隐含的偏见。数据准备工作通常也很少处理，在我们对所描述工作的理解上存在很大差距。在这

南荣相如谈编程·2023-06-21 03:27

A Survey of Large Language Models

大语言模型综述摘要1引言2概述2.1LLM的背景2.2GPT系列模型的技术演化3LLMs的资源3.1公开可用的模型检查点或APIs3.2常用的语料库3.3库资源4预训练4.1数据收集4.1.1数据源4.1.2

UnknownBody·2023-06-21 00:16

Pytorch常用的函数(二)pytorch中nn.Embedding原理及使用

以一个只有10个不同词的语料库为例（这里只是举

undo_try·2023-06-20 23:54

chatGPT是什么？chatGPT有哪些应用场景

GPT模型采用了Transformer架构，可以从大规模语料库中无监督学习，具有强大的语言理解和生成能力。ChatGPT将GPT模型应用于对话生成，可以进行自然流畅的对话，具有

chatGPT教程·2023-06-20 19:19

机器学习与深度学习——基于潜在语义分析（LSA）的文档相似度计算

下面是LDA模型的详细描述：收集语料库：首先需要收集一个包含大量文本数据的语料库。这些文本可以是任何类型的，例如新闻文章、博客、论文等等。构建词汇表：然后从语料库中提取所有不同的单词，并构建

星川皆无恙·2023-06-20 08:11

Elasticsearch：实用 BM25 - 第 3 部分：在 Elasticsearch 中选择 b 和 k1 的注意事项

b=0.75和k1=1.2的默认值适用于大多数语料库，因此你可能对默认值没有意见。更有可能的是，你

Elastic 中国社区官方博客·2023-06-18 13:26

微信无人托管智能客服系统

通过训练大量的语料库，大语言模型可以理解客户的问题，并给出准确的答案。这样可以大大提高客户的满意度，减少客户等待时间，提高客户忠诚度。智能客服可以与垂直化

慕斯先生·2023-06-17 18:29

放弃RLHF吧！无需手动训练模型价值观，达特茅斯学院发布全新对齐算法

相比人类通过「社交互动」获得价值判断共识，当下语言模型更多的是孤立地从训练语料库中学习价值观，导致在陌生环境中泛化性能很差，容易受到对抗性攻击。

PaperWeekly·2023-06-17 16:05

自然语言处理

语料库语料库(corpus)：指收集和整理的一组文本数据，用于训练和评估自然语言处理模型，就是存放语言材料的仓库(语言数据库)语料库类型：异质的、同质的、系统的、专用的知识库：指存储和组织的结构化知识数据

银晗·2023-06-17 06:38

大型语言模型综述（一）

文章目录摘要1、简介2、概述2.1LLM的背景2.2GPT系列模型的技术演进3LLMs资源3.1公开可用的模型检查点或api3.2常用语料库3.3算法库资源4预训练4.1数据收集4.1.1数据源4.1.2

静静AI学堂·2023-06-16 21:32

中文Word2Vec训练

通常使用jieba分词工具库来对语料库进行处理。下面来看一些简单例子：importos#jieba分词库importjiebaimportjieb

Eureka丶·2023-06-16 17:29

自然语言处理: 第二章Word2Vec

一.理论基础维度很高(与语料库有关)，计算复杂稀疏性，浪费计算效率，只有一个元素是1其他都是0缺乏语义信息，无法衡量语义相似度无法处理未知单词而在One-Hot的基础上，Word2Vec是一种分布式表达字

曼城周杰伦·2023-06-15 23:07

删除深蓝词库转换后txt文件中的重复行

项目场景：在使用深蓝词库转换并且将所有txt文件拼接在一起后，最终的txt文件会出现许多重复的内容，在这里我们要把重复的内容删除（还不清楚有重复内容构成的语料库是否会对最后的结果产生影响）。

库博酱·2023-06-15 20:13

《论文阅读》在跨语料库上利用集成提示完成零样本的文本情感分类 COLING2022

《论文阅读》在跨语料库上利用集成提示完成零样本的文本情感分类COLING2022前言相关知识hubnessproblem零样本学习灵感来源验证点零样本情感分类的自然语言推理情感提示情感集成自我总结问题前言你是否也对于理解论文存在困惑

365JHWZGo·2023-06-15 13:16

是时候给你的产品配一个AI问答助手了！

本文由云+社区发表|导语问答系统是信息检索的一种高级形式，能够更加准确地理解用户用自然语言提出的问题，并通过检索语料库、知识图谱或问答知识库返回简洁、准确的匹配答案。

·2023-06-15 10:25

人工智能的预训练基础模型的分类

预训练基础模型预训练基础模型是指在大规模语料库上进行预训练的通用人工智能模型。

·2023-06-14 18:15

5分钟NLP：快速实现NER的3个预训练库总结

NER模型的作用是识别文本语料库中的命名实体例如人名、组织、位置、语言等。NER模型可以用来理解一个文本句子/短语的意思。

·2023-06-14 10:21

与AI相遇 | 在ChatGPT中输入“情人节”，我们会得到......？

OpenAI新推出的一种人工智能技术驱动的自然语言处理工具，使用了Transformer神经网络架构，也是GPT-3.5架构，这是一种用于处理序列数据的模型，拥有语言理解和文本生成能力，尤其是它会通过连接大量的语料库来训练模型

Jericho2022·2023-06-14 06:05

从 ChatGPT 爆火回溯 NLP 技术

GPT模型是一种NLP模型，使用多层变换器（Transformer）来预测下一个单词的概率分布，通过训练在大型文本语料库上学习到的语言模式来生成自然语言文本。

Jericho2022·2023-06-14 06:05

【NLP模型】文本建模（2）TF-IDF关键词提取原理

一般地开发NLP将包含三个层次单元：最大数据单元是语料库、语料库中有若干文章、文章中有若干词语。

无水先生·2023-06-13 21:30

骆旺达·2023-06-13 19:37

NLP语料库学习

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言中文语料库前言提示：这里可以添加本文要记录的大概内容：语料库有的是标记过的（annotated），意味着文本或文档已经标记出监督学习算法的正确响应

欢桑·2023-06-13 08:14

死命男友把我吓坏了！

在字典和语料库中寻找解释和例句。tofreaksomeoneout.让人处于极度兴奋中。所以，你既有可能是被吓坏了，也有可能是收到小礼物时的喜出望外。

正儿八经逻辑·2023-06-13 05:15

摘要：语料库语言学自问世以来一直备受关注，其发展十分迅速。语料库语言学除了学科自身发展之外，还成为语言研究和语言教学研究的新工具。而语料库在语言测试方面的研究则以Alderson发表的《语料库在语言

语言学研究本栏目责任编辑：谢媛媛OverseasEnglish海外英语2018年6月语料库在语言测试开发和设计中的应用苏恒（西南政法大学，重庆401120）摘要：语料库语言学自问世以来一直备受关注，其发展十分迅速

m0_51919640·2023-06-12 20:32

Linux、windows系统中nltk库安装详解

NLTK支持众多自然语言处理任务，例如文本分类、语法分析、词性标注、文本语料库处理等。

IT之一小佬·2023-06-12 14:51

ChatGPT对未来教育的影响：教师学生需要掌握这个新能力

诞生过程02.背后的技术03.颠覆的行业04.对教育的未来变化01.诞生过程2018年6月，拥有1.17亿参数的GPT1启动，以往的人工智能机器学习要对学习内容事先要做标记，但GPT1可以对未标记文本的不同语料库进行语言模型的生成性预训练

Do1twell·2023-06-12 10:33

文本分析系列——词语权重算法：TF-IDF算法

简介TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。

做工程师的IT猫·2023-06-11 18:47

数据不足，如何监督学习？全面梳理半监督方法

一般而言，当监督学习任务面临标签数据不足问题时，可以考虑以下四种解决办法：1.预训练+微调：首先在一个大规模无监督数据语料库上对一个强大的任务无关模型进行预训练（例如通过自监督学习在自由文本上对语言模型进行预训练

机器学习与AI生成创作·2023-06-11 00:18

GPT聊天功能，逐字返回数据

如下是直接返回前端数据的api``甚至可以返回图片`2.模拟GPT的接口前言我们在和GPT交流的时候发现GPT总是逐字的显示，因为GPT是一种基于神经网络的自然语言处理模型，它的训练数据是从大量的文本语料库中获取的

哀莫离裳·2023-06-10 16:27

通过python进行nlp操作

安装Spacy和NLTKpip3installnltk有些时候的nltk代码需要语料库才能运行，运行下面的python代

专职·2023-06-09 20:10

(GPT3)Language Models are Few-Shot Learners论文阅读

论文地址：https://arxiv.org/pdf/2005.14165v4.pdf摘要最近的工作表明，通过对大量文本语料库进行预训练，然后对特定任务进行微调，许多NLP任务和基准测试取得了实质性进展

茫茫人海一粒沙·2023-06-09 09:57

解读大模型的微调

1.上下文学习与索引自从GPT-2和GPT-3出现以来，可以发现在预训练的通用文本语料库上的生成式大型语言模型（LLM）具备了上下文学习

半吊子全栈工匠·2023-06-09 05:18

只见新人笑，不见旧人哭 ChatGPT淘汰了多少产品？快来了解！

ChatGPT作为目前世界上最先进的人工智能聊天工具，其GPT模型就是一种自然语言处理（NLP）模型，使用多层变换器（Transformer）来预测下一个单词的概率分布，通过训练在大型文本语料库上学习到的语言模式来生成自然语言文本

shshshhhhh·2023-06-09 02:43

十个国内可用的智能AI模型

其基于大量已有的语料库进行训练，建立出一个能够理解自然语言规律和特征的语言模型。对于输入的文本、任务和目标，AI语言模型可以快速生成对应的结果。

QQVQQ...·2023-06-08 22:07

TensorFlow Similarity 学习笔记1

SidXu28·2023-06-08 05:44

可免费下载的最新人民日报分词语料库(NEPD)发布(转载)

上海添力·2023-06-08 01:18

新时代人民日报分词语料库(NEPD)向学术界免费开放(转载)

语料库是由人工或机器标注好的真实语言材料组成的数据集，是开展与自然语言有关研究的有效工具和手段，在当前同时也是人工智能算法的训练集，直接决定了机器学习的运算效果。

上海添力·2023-06-08 01:48

[Python爬虫] Selenium获取百度百科旅游景点的InfoBox消息盒

获取维基百科的消息盒，同样可以通过Spider获取网站内容，最近学习了Selenium+Phantomjs后，准备利用它们获取百度百科的旅游景点消息盒（InfoBox），这也是毕业设计实体对齐和属性的对齐的语料库前期准备工作

Eastmount·2023-06-07 21:08

如何使用 ChatGPT 作为多语言翻译工具

ChatGPT经过数十种语言的大型文本语料库的培训，并部署在对话界面上，在翻译方面提供了无与伦比的灵活性，远远超过传统翻译工具所能提供的灵活性。

知否AI问答·2023-06-07 18:43

58506fd3fbed·2023-06-07 12:44

自学大语言模型之Bert和GPT的区别

该模型是在大量文本语料库上结合无监督和监督学习进行训练的。BERT的目标是创建一种语言模型，可以理解句子中单词的上下文和含义，同时考虑到它前后出现的单词。

深度学习的学习僧·2023-06-07 10:33

自学大语言模型之BERT

它是一种双向变换器，使用掩码语言建模目标和对包含多伦多图书语料库和维基百科的大型语料库的下一句预测的组合进行预训练。BERT旨

深度学习的学习僧·2023-06-07 10:22

实现LDA主题模型分析网购满意度数据|附代码数据

研究人员对各大电商平台海量用户的评价数据进行分析，得出智能门锁剁手攻略语义透镜顾客满意度和关注点我们对于评价数据进行LDA建模，就是从语料库中挖掘出不同主题并进行分析，换言之，LDA提供了一种较为方便地量化研究主题的机器学习方法

·2023-06-06 22:23

通俗易懂的ChatGPT的原理简介

其基本原理是通过训练大规模语料库中的数据，生成模型，从而实现自然语言处理的任务。本文着重介绍了ChatGPT的训练方法和应用场景，并提到了一些面临的挑战和问题。

qq_41771998·2023-06-06 21:34

企业不会用、不敢用AIGC+ 服务怎么办，不妨试一下它？

AIGC是指人工智能通用语言模型(ArtificialGeneralLanguageModel),是一种具有极高自然语言理解能力的人工智能模型,其通过大规模语料库训练,能够像人类一样自然地理解和生成语言

洋葱1702·2023-04-21 05:43

【博学谷学习记录】超强总结，用心分享丨人工智能 AI项目统计语言模型之HMM初步学习总结

目录语法模型二元语法模型HMM（隐马尔可夫模型）概率计算引入概念初始概率向量状态转移概率矩阵观测概率矩阵（也称发射概率矩阵）语法模型语料库文本：研究生命起源研究生命题大纲研究生招生信息网计算3个句子的概率

鹏晓星·2023-04-20 20:32

推荐频道

语料库