语料

【笔记】自然语言处理NLP---概论

自然语言处理概论1.1自然语言处理研究的意义、历史与现状1.1.1自然语言的特点1.1.2自然语言处理研究的意义1.1.3国外研究现状1.2NLP的方法、特点和规律1.2.1理性主义与经验主义1.2.2语料库语言学

xhanZ·2024-09-12 17:10

大模型书籍推荐：从头开始构建一个大型语言模型（含PDF免费）《Build a Large Language Model (From Scratch)》

你将从最初的设计和创建到通用语料库的预训练，一直到特定任

AI女王·2024-09-12 15:58

【拥抱AI】浅谈Prompt的书写规范及要点

Prompt的工作原理是通过建立相应的语料库和语义解析模型，将自然语言转换为机器可识别的指令。在大模型时代，Prompt的使用尤为重要，因为它可以帮助模型更好地理解用户的意图并

奔跑草-·2024-09-12 13:19

基于Langchain的大模型RAG技术介绍（附示例代码）

这些模型在大小和性能上各有所长，但大多数都是在通用语料库上进行训练的，因此它们只具备通用知识，对于专业领域的知识了解较少。

赵放-AI·2024-09-11 19:16

LLM系列 | 36：Google最新开源大模型：Gemma 2介绍及其微调(下篇)

JasonLiu1919·2024-09-08 18:10

RAFT: Adapting Language Model to Domain Specific RAG

RAFT：使语言模型适应特定领域的RAG摘要1引言2LLM用于开卷考试3RAFT4评估5RAFT推广到Top-KRAG6相关工作7结论摘要在文本数据的大型语料库上预训练大型语言模型（LLM）现在是一种标准范式

UnknownBody·2024-09-07 21:43

【大模型系列篇】预训练模型：BERT & GPT

该模型是在大量文本语料库上结合无监督和监督学习进行训练的。BERT的目标是创建一种语言模型，可以理解句子中单词的上下文和含义，同时考虑到它前后出现的单词。

木亦汐丫·2024-09-06 18:13

NLP从零开始------17.文本中阶处理之序列到序列模型（2）

3.学习序列到序列模型可以看成一种条件语言模型，以源句x为条件计算目标句的条件概率该条件概率通过概率乘法公式分解为从左到右每个词的条件概率之积：序列到序列模型的监督学习需要使用平行语料，其中每个数据点都包含一对源句和目标句

人生百态，人生如梦·2024-09-04 22:20

graphrag论文精读

然而，RAG方法在处理涉及整个文本语料库的全局问题时效果不佳，比如“数据集中主要的主题是什么？”这些问题本质上是一个面向查询的总结任

Ramos_zl·2024-08-30 09:48

FrameNet介绍——从同义词语义知识库到框架语义知识库

FrameNet是一个为期三年的项目，获得了NSF（美国国家科学基金会）的支持，专注于基于语料库的计算词典编纂。

禾风wyh·2024-08-30 07:35

热爱分享的博士僧·2024-08-29 23:11

自然语言处理系列四十二》新词发现与短语提取》新词发现》代码实战

人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列四十二新词发现》代码实战短语提取算法原理总结自然语言处理系列四十二新词发现》代码实战新词发现是NLP的基础任务之一，通过对已有语料进行挖掘

陈敬雷-充电了么-CEO兼CTO·2024-08-29 20:24

常见的NLP处理框架介绍！

它提供了丰富的资源，包括文本处理、语料库、分类、标记、解析、语义推理

weixin_54503231·2024-08-27 09:21

真全！GitHub上出现了一个353种语言资源的汇总

7000+种语言，超过四百种濒临灭绝全世界平均每两个星期就有一门语言彻底消失……于是，有人看不下去了他们在GitHub上开发了一个项目专门对353种语言信息做了汇总及科普并整理了20个可免费下载的平行语料资源库他们说

一只小哞哞·2024-08-23 17:34

百度Ernie大模型是什么？

它由百度研发，旨在通过整合大规模语料和知识图谱来增强模型的语言理解和生成能力。它通过整合大规模语料和知识图谱，采用多任务学习和分层预训练策略，在多个自然语言处理任务上取得了显著的性能提升。

会飞的岛格酱·2024-08-21 21:01

ChatGPT：智能论文写作指南，让您成为写作高手

通过训练大量的语料库

AI臻蚌·2024-03-27 01:48

[Python人工智能] 四十二.命名实体识别 (3)基于Bert+BiLSTM-CRF的中文实体识别万字详解（异常解决中）

这篇文章将继续以中文语料为主，介绍融合Bert的实体识别研究，使用bert4keras和kears包来构建Bert+BiLSTM-CRF模型。

Eastmount·2024-03-06 13:07

真快！几分钟就把视频语音识别为文本了，不到10行代码

听说有的公司为了抓取训练数据，已经把抖音、快手这些短视频平台上的视频扒了个遍，然后将其中的音频提取成文本，用作大数据模型的训练语料

诗者才子酒中仙·2024-03-05 23:19

Mil_Pasos·2024-02-27 14:15

《论文阅读》e-CARE：探索可解释因果推理的新数据集 ACL2022

《论文阅读》e-CARE：探索可解释因果推理的新数据集ACL2022前言简介数据集优势数据集语料级别的统计数据集示例评分标准前言今天为大家带来的是《e-CARE:aNewDatasetforExploringExplainableCausalReasoning

365JHWZGo·2024-02-26 17:31

认知篇-剖析LLM基座

在众多PLM中，基于大规模语料库的预训练语言模型（LargeLanguageModel，LLM）以其强大的语言生成和理解能力，受到了广泛的关注。本文将深入探讨L

·2024-02-20 18:29

【经验分享】自然语言处理技术有哪些局限性和挑战？

个人认为，主要是两个难点：1.语料，通常的语料很好解决，用爬虫从互联网上就可以采集和标注训练。但是我们接触很多项目和客户需求都是专业性很强的，例如：航天材料、电气设备、地理信息、化学试剂等等。

思通数科x·2024-02-20 17:20

openai公司的chatgpt-3.5参数库内还未增加sora的语料信息

openai公司的chatgpt-3.5参数库内还未增加sora的语料信息！我想通过openai公司的chatgpt3.5来了解一下关于sora的技术信息，结果呢，它竟然回答不知道sora是什么。

yrldjsbk·2024-02-20 17:46

python语料处理_Python中文语料批量预处理手记

手记实用系列文章：语料预处理封装类：#coding=utf-8importosimportjiebaimportsysimportreimporttimeimportjieba.possegaspsegsys.path.append

weixin_39588445·2024-02-20 16:44

【摸鱼分享】2021年度网络用语大盘点！里面有你今年的关键词吗？

收录方法“2021年度十大网络用语”是基于国家语言资源监测语料库（网络媒体部分），采用“以智能信息处理技术为主，兼顾领域专家意见和相关站点收录情况”的方式获得的。

摸鱼人日历·2024-02-20 03:55

今日arXiv最热NLP大模型论文：上海AI Lab联合清华发布十项全能数学大模型InternLM-Math

这些模型的构建需要在数学语料上进行预训练，并在数学问

夕小瑶·2024-02-19 16:56

基于 InternLM 和 LangChain 搭建你的知识库(三)

这些模型通常在大型文本语料库上训练，以学习语言的广泛特征和结构。特定任务的数据：接着，收集和准备针对特

骆驼穿针眼·2024-02-19 12:41

[Python人工智能] 四十一.命名实体识别 (2)基于BiGRU-CRF的中文实体识别万字详解

这篇文章将以中文语料为主，介绍中文命名实体识别研究，并构建BiGRU-CRF模型实现。基础性文章，希望对您有帮助，如果存在错误或不足之处，还请海涵。且看且珍惜！由于上一篇文章详细讲解ATT

Eastmount·2024-02-19 11:53

如何处理我们的文本数据成构建词表

我们拿到在拿到一堆语料数据，或者是在网络中爬取下来的文本数据如何处理成为模型能够训练的数据呢？

liaolaa·2024-02-15 08:14

2018.4.18张克中（江苏省高中教研员）评任海林和刘宏业的讲课

图片发自App图片发自App对三新作文的理解:思想是写作的灵魂，探索语文人的专利一、都体现新思想，新探索今后的语文课一定是有真实情境下的语文实践活动新的语料:内容新材料新，有最新社会问题二、都在写作教学中放在了写作思维的训练

田慧萍·2024-02-14 20:53

深度学习在知识图谱问答中的革新与挑战

2.1谓词匹配2.2问句解析2.3逐步生成查询图3基于深度学习的端到端模型3.1端到端框架3.2简单嵌入技术4优势4.1深入的问题表示4.2实体关系表示深挖4.3候选答案排序效果好5挑战5.1依赖大量训练语料

cooldream2009·2024-02-14 08:40

《人民日报》公考申论面试热点素材选编14（2022年8月22日）

参考语料绿色低碳发展，是大势所趋，也是一场具有变革意义的同台竞技。我们必须抓住机遇，迎接挑战，下好先手棋，打好主动仗。只要坚持不懈努力，狠抓绿色低碳技术攻关

47fed7735c2d·2024-02-13 15:39

知识图谱与语言预训练_biji

(ACL2019),Wikipedia作为文本语料输入，WikiData作为知识图谱输入。底层模型对于文本进行建模，高层模型对于知识信息进行整合。

wang2008start·2024-02-13 14:04

知识增广的预训练语言模型K-BERT：将知识图谱作为训练语料

©原创作者|杨健论文标题：K-BERT:EnablingLanguageRepresentationwithKnowledgeGraph收录会议：AAAI论文链接：https://ojs.aaai.org/index.php/AAAI/article/view/5681项目地址：https://github.com/autoliuweijie/K-BERT01背景论述笔者在前面的论文解读中提到过E

NLP论文解读·2024-02-13 14:03

gpt4国内怎么用 gpt4和chatGPT的区别是什么

GPT的工作原理是通过先前的大规模语料库进行训练，从而使模型能够理解语言的结构和上下文。这使得GPT能够以人类般的方式生成自然语言文本，回答问题，进行对话等。大家好，我

氧惠佣金真的高·2024-02-13 07:24

DL4J中文文档/DataVec/读取器

除了数据集中的单个条目之外，阅读器的用处包括：如果想要在语料库上训练文本生成器，或是以编程方式将两个条目组合在一起形成新的记录的时候该怎么办？读取器实现对于复杂的文件类型或分布式存储机制是有用的。

hello风一样的男子·2024-02-12 22:18

神经语言程式(NLP)项目的15 个开源训练数据集

用于聊天机器人训练的问答数据集问题-答案数据集：该语料库包括维基百科文章、从中手动生成的事实问题以及这些问题的手动生成的答案，用于学术研

suoge223·2024-02-12 09:54

适合多种语言的BPE（Byte-Pair Encoding）编码

文章目录前言BPE参考前言因为最近在看T5，里面讲到一些分词的方法如BEP，因为现在都是在玩大模型，那么语料也就都很大，而且还需要适配不同的语言，而不同的语言又不一定像英文那样按空格切分就行，例如咱们的中文

Icy Hunter·2024-02-11 16:23

LLM之RAG实战（二十五）| 使用LlamaIndex和BM25重排序实践

1.1检索组件：目的：检索组件的主要功能是响应查询或提示，从大型数据库或语料库中提取相关文档或信

wshzd·2024-02-11 06:03

python使用nltk进行中文语料库的词频分布统计

文章目录问题描述构建语料库统计字数统计词频分布问题描述根据给定的语料库，统计其中共包含多少字、平均每个词使用了多少次以及常用词的分布以及累计分布情况。

Love _YourSelf_CS·2024-02-09 02:19

python nltk中文_NLTK中文词性标注

比如标注功能,它自身提供了带标注的中文语库(繁体语料库sinica_treebank).下面来看看怎样通过数据训练来实现中文词性自动标注.可以利用它来标注中本，也可

weixin_39560064·2024-02-09 02:49

讲讲GPT-4模型中13万亿个token的故事

那么海量语料中的文字序列，就可以转化为海量的代币，用来训练我们的模型。这样我们就能够理解“用于GPT-4训练的token数量大约为13万亿个”这句话的意思了。

科学禅道·2024-02-08 13:25

Gensim详细介绍和使用：一个Python文本建模库

Gensim=“GenerateSimilar”一、安装二、文本预处理2.1中文语料处理2.2英文语料处理2.3BOW语料建立三、模型使用3.1word2vecThealgorithmsinGensim

Bigcrab__·2024-02-08 11:17

Python与自然语言处理库Gensim实战

它能够自动化训练出一个文本语料库，然后用该语料库来训练出一个词向量模型。在语料库中，每个语料库都是由一个个文档组成，每个文档则是由若干个单词组成。

心梓知识·2024-02-08 11:17

使用ChatGpt和文心一言辅助文章创作

在使用过程中，感觉文心的中文能力更强一些，主要体现在：1语料库更大，比如对水浒传了解的更多2对中文的理解更细致一些。所以大部分都是使用文心一言进行辅助文章创作。

skywalk8163·2024-02-08 11:46

NLP_Seq2Seq编码器-解码器架构

文章目录Seq2Seq架构构建简单Seq2Seq架构1.构建实验语料库和词汇表2.生成Seq2Seq训练数据3.定义编码器和解码器类4.定义Seq2Seq架构5.训练Seq2Seq架构6.测试Seq2Seq

you_are_my_sunshine*·2024-02-08 09:53

《人民日报》评论热点话题金句38| 结构化面试考点 | 申论规范化表达词 | 公考国考省考申论素材积累（2022年9月15日）

参考语料异宠问题导致的社会治理成本可能极其高昂，需要花费巨大人力财力物力去治理，所以如何规范行业市场已成当务之急。有效应对异宠带来的潜在风

47fed7735c2d·2024-02-07 15:10

NLP_神经概率语言模型(NPLM)

文章目录NPLM的起源NPLM的实现1.构建实验语料库2.生成NPLM训练数据3.定义NPLM4.实例化NPLM5.训练NPLM6.用NPLM预测新词NPLM小结NPLM的起源在NPLM之前，传统的语言模型主要依赖于最基本的

you_are_my_sunshine*·2024-02-07 13:20

大语言模型训练数据集（1）

CLUECorpusSmallCLUECorpusSmall包含新闻、社区互动、维基百科、评论语料。

三更科技公社·2024-02-07 10:14

NLP_Bag-Of-Words(词袋模型)

文章目录词袋模型用词袋模型计算文本相似度1.构建实验语料库2.给句子分词3.创建词汇表4.生成词袋表示5.计算余弦相似度6.可视化余弦相似度词袋模型小结词袋模型词袋模型是一种简单的文本表示方法，也是自然语言处理的一个经典模型

you_are_my_sunshine*·2024-02-06 10:48

推荐频道

语料