语料

深度学习在知识图谱问答中的革新与挑战

2.1谓词匹配2.2问句解析2.3逐步生成查询图3基于深度学习的端到端模型3.1端到端框架3.2简单嵌入技术4优势4.1深入的问题表示4.2实体关系表示深挖4.3候选答案排序效果好5挑战5.1依赖大量训练语料
cooldream2009·2024-02-14 08:40

《人民日报》公考申论面试热点素材选编14（2022年8月22日）

参考语料绿色低碳发展，是大势所趋，也是一场具有变革意义的同台竞技。我们必须抓住机遇，迎接挑战，下好先手棋，打好主动仗。只要坚持不懈努力，狠抓绿色低碳技术攻关
47fed7735c2d·2024-02-13 15:39

知识图谱与语言预训练_biji

(ACL2019),Wikipedia作为文本语料输入，WikiData作为知识图谱输入。底层模型对于文本进行建模，高层模型对于知识信息进行整合。
wang2008start·2024-02-13 14:04

知识增广的预训练语言模型K-BERT：将知识图谱作为训练语料

©原创作者|杨健论文标题：K-BERT:EnablingLanguageRepresentationwithKnowledgeGraph收录会议：AAAI论文链接：https://ojs.aaai.org/index.php/AAAI/article/view/5681项目地址：https://github.com/autoliuweijie/K-BERT01背景论述笔者在前面的论文解读中提到过E
NLP论文解读·2024-02-13 14:03

gpt4国内怎么用 gpt4和chatGPT的区别是什么

GPT的工作原理是通过先前的大规模语料库进行训练，从而使模型能够理解语言的结构和上下文。这使得GPT能够以人类般的方式生成自然语言文本，回答问题，进行对话等。大家好，我
氧惠佣金真的高·2024-02-13 07:24

DL4J中文文档/DataVec/读取器

除了数据集中的单个条目之外，阅读器的用处包括：如果想要在语料库上训练文本生成器，或是以编程方式将两个条目组合在一起形成新的记录的时候该怎么办？读取器实现对于复杂的文件类型或分布式存储机制是有用的。
hello风一样的男子·2024-02-12 22:18

神经语言程式(NLP)项目的15 个开源训练数据集

用于聊天机器人训练的问答数据集问题-答案数据集：该语料库包括维基百科文章、从中手动生成的事实问题以及这些问题的手动生成的答案，用于学术研
suoge223·2024-02-12 09:54

适合多种语言的BPE（Byte-Pair Encoding）编码

文章目录前言BPE参考前言因为最近在看T5，里面讲到一些分词的方法如BEP，因为现在都是在玩大模型，那么语料也就都很大，而且还需要适配不同的语言，而不同的语言又不一定像英文那样按空格切分就行，例如咱们的中文
Icy Hunter·2024-02-11 16:23

LLM之RAG实战（二十五）| 使用LlamaIndex和BM25重排序实践

1.1检索组件：目的：检索组件的主要功能是响应查询或提示，从大型数据库或语料库中提取相关文档或信
wshzd·2024-02-11 06:03

python使用nltk进行中文语料库的词频分布统计

文章目录问题描述构建语料库统计字数统计词频分布问题描述根据给定的语料库，统计其中共包含多少字、平均每个词使用了多少次以及常用词的分布以及累计分布情况。
Love _YourSelf_CS·2024-02-09 02:19

python nltk中文_NLTK中文词性标注

比如标注功能,它自身提供了带标注的中文语库(繁体语料库sinica_treebank).下面来看看怎样通过数据训练来实现中文词性自动标注.可以利用它来标注中本，也可
weixin_39560064·2024-02-09 02:49

讲讲GPT-4模型中13万亿个token的故事

那么海量语料中的文字序列，就可以转化为海量的代币，用来训练我们的模型。这样我们就能够理解“用于GPT-4训练的token数量大约为13万亿个”这句话的意思了。
科学禅道·2024-02-08 13:25

Gensim详细介绍和使用：一个Python文本建模库

Gensim=“GenerateSimilar”一、安装二、文本预处理2.1中文语料处理2.2英文语料处理2.3BOW语料建立三、模型使用3.1word2vecThealgorithmsinGensim
Bigcrab__·2024-02-08 11:17

Python与自然语言处理库Gensim实战

它能够自动化训练出一个文本语料库，然后用该语料库来训练出一个词向量模型。在语料库中，每个语料库都是由一个个文档组成，每个文档则是由若干个单词组成。
心梓知识·2024-02-08 11:17

使用ChatGpt和文心一言辅助文章创作

在使用过程中，感觉文心的中文能力更强一些，主要体现在：1语料库更大，比如对水浒传了解的更多2对中文的理解更细致一些。所以大部分都是使用文心一言进行辅助文章创作。
skywalk8163·2024-02-08 11:46

NLP_Seq2Seq编码器-解码器架构

文章目录Seq2Seq架构构建简单Seq2Seq架构1.构建实验语料库和词汇表2.生成Seq2Seq训练数据3.定义编码器和解码器类4.定义Seq2Seq架构5.训练Seq2Seq架构6.测试Seq2Seq
you_are_my_sunshine*·2024-02-08 09:53

《人民日报》评论热点话题金句38| 结构化面试考点 | 申论规范化表达词 | 公考国考省考申论素材积累（2022年9月15日）

参考语料异宠问题导致的社会治理成本可能极其高昂，需要花费巨大人力财力物力去治理，所以如何规范行业市场已成当务之急。有效应对异宠带来的潜在风
47fed7735c2d·2024-02-07 15:10

NLP_神经概率语言模型(NPLM)

文章目录NPLM的起源NPLM的实现1.构建实验语料库2.生成NPLM训练数据3.定义NPLM4.实例化NPLM5.训练NPLM6.用NPLM预测新词NPLM小结NPLM的起源在NPLM之前，传统的语言模型主要依赖于最基本的
you_are_my_sunshine*·2024-02-07 13:20

大语言模型训练数据集（1）

CLUECorpusSmallCLUECorpusSmall包含新闻、社区互动、维基百科、评论语料。
三更科技公社·2024-02-07 10:14

NLP_Bag-Of-Words(词袋模型)

文章目录词袋模型用词袋模型计算文本相似度1.构建实验语料库2.给句子分词3.创建词汇表4.生成词袋表示5.计算余弦相似度6.可视化余弦相似度词袋模型小结词袋模型词袋模型是一种简单的文本表示方法，也是自然语言处理的一个经典模型
you_are_my_sunshine*·2024-02-06 10:48

NLP_词的向量表示Word2Vec 和 Embedding

我们把语料库中的词和某些上下文信息，都“嵌入”了向量表示中。将词映射到向量空间时，会将这个词和它周围的一些词语一起学习，这就
you_are_my_sunshine*·2024-02-06 10:10

GPT-1, GPT-2, GPT-3, GPT-3.5, GPT-4论文内容解读

1.1whatischatGPT1.2HowdoesChatGPTwork1.3TheapplicationsofChatGPT1.3ThelimitationsofChatGPT2算法原理2.1GPT-12.1.1Unsupervisedpre-training2.1.2Supervisedfine-tuning2.1.3语料
BGoodHabit·2024-02-06 06:36

GPT原始论文：Improving Language Understanding by Generative Pre-Training论文翻译

尽管大量未标注的文本语料库很丰富，但用于学习这些特定任务的标注数据却很稀缺，这使得基于区分性训练的模型难以充分发挥作用。
iKang_dlut·2024-02-05 15:15

NLTK：一个先进的用来处理自然语言数据的Python程序。

它提供了易于使用的接口，通过这些接口可以访问超过50个语料库和词汇资源（如WordNet），还有一套用于分类、标记化、词干标记、解析和语义推理的文本处理库，以及工业级NLP库的封装器和一个活跃的讨论论坛
遗忘_eea2·2024-02-05 13:36

文本挖掘HW3

importosimportos.pathimportcodecsimportpandasaspdimportnumpyasnpfilePaths=[]fileContents=[]a=os.walk("C:/Users/dell/Desktop/datamining/2.1+语料库
在做算法的巨巨·2024-02-05 11:55

用Stanford corenlp进行词性标注时遇到的问题

因为毕业设计的需要，得对中英文双语语料进行词性标注了，中文我就用了jieba，英文的没找到别的工具，用了Stanfordcorenlp了，首先用一片短文试运行了一下，运行没问题，但是用我自己的语料（十万行
20c5bd2d61e1·2024-02-05 11:12

调用Gensim库训练Word2Vec模型

一、前期工作：1.安装Gensim库pipinstallgensim2.安装chardet库pipinstallchardet3.对原始语料分词选择《人民的名义》的小说原文作为语料，先采用jieba进行分词
风筝超冷·2024-02-05 02:56

【使用 Python 进行 NLP】 第 2 部分 NLTK

它内置了50多个文本语料库和词汇资源。它支持文本标记化、词性标记、词干提取、词形还原、命名实体提取、分割、分类、语义推理。
无水先生·2024-02-04 12:11

一些概念

1.一个文本集合称为语料库（Corpus），当有几个这样的文本集合的时候，我们称之为语料库集合(Corpora)。2.中文汉语有搜狗语料、人民日报语料。
半大人·2024-02-04 11:01

2021-04-12

#11-自然语言与编程语言的比较)-[1.2自然语言处理的层次](#12-自然语言处理的层次)-[1.3自然语言处理的流派](#13-自然语言处理的流派)-[1.4机器学习](#14-机器学习)-[1.5语料库
零一安·2024-02-03 20:43

自然语言处理——5.2 语言模型（参数估计）

两个重要概念：训练语料(trainingdata)：用于建立模型，确定模型参数的已知语料。最大似然估计(maximumlikelihoodEvaluation,MLE):用相对频率计算概率的方法。
SpareNoEfforts·2024-02-03 13:28

汉语言处理包 HanLP v1.3.5，新功能、优化与维护

CharacterBasedGenerativeModelSegment自定义词典支持热更新：#563，ngram模型支持热加载：#580新增一个提高用户词典优先级的开关：#633支持98年人民日报的复合词语料格式
lanlantian123·2024-02-03 02:04

新手在消费级GPU上本地部署chatGLM-6B

ChatGLM-6B是一种基于Transformer架构的对话生成模型，由清华大学开发的一款强大的语言生成模型，它融合了最先进的深度学习技术与海量中文语料的训练成果。
韬小志·2024-02-02 20:34

语音采集录音赚钱APP下载

录音挣钱app有哪些呢，现在很多软件app都需要语音，只要你声音好听，就可以用你的录音来赚钱，一般都是按照要求录制文章朗读或者唱歌，获得通过就有钱拿，没有任何投资风险，这里为大家带来有米录音，豆豆语音，叮当语料
配音新手圈·2024-02-02 16:24

2018-7-28 托福基础写作

Corpus:BNCCOCA百度搜索语料库的用法，用处特别多TheRightWordOrganization组织统一第一段：直接支持第二段：直接支持用用加粗字体表示间接支持为正常字体递进1.段与段之间过渡词
L7_526d·2024-02-02 05:04

YAYI-UIE: 一个用于通用信息提取的聊天增强的指令微调框架

3、主要方法：两步指令微调：第一步：在构建的对话语料库上对基础LLM进行微调，以获得可以聊天的LLM：Ddialogue=instruct
Ly大可爱·2024-02-01 11:53

基于多种CNN模型在清华新闻语料分类效果上的对比

该实验项目目录如图：1、模型1.1.TextCNN#coding:UTF-8importtorchimporttorch.nnasnnimporttorch.nn.functionalasFimportnumpyasnpclassConfig(object):"""配置参数"""def__init__(self,dataset,embedding):self.model_name='TextCNN
伪_装·2024-01-31 18:22

sklearn 计算 tfidf 得到每个词分数

fromsklearn.feature_extraction.textimportTfidfVectorizer#语料库可以换为其它同样形式的单词corpus=[list(range(-5,5)),list
小何才露尖尖角·2024-01-31 16:58

基于BiLSTM-CRF对清华语料文本进行分类

安装TorchCRF!pipinstallTorchCRF==1.0.6构建BiLSTM-CRF#encoding:utf-8importtorchimporttorch.nnasnnfromTorchCRFimportCRFfromtorch.utils.dataimportDatasetfromsklearn.model_selectionimporttrain_test_splitimpor
伪_装·2024-01-31 07:49

TensorFlow2实战-系列教程10：RNN文本分类2

TensorFlow2实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在JupyterNotebook中进行本篇文章配套的代码资源已经上传4、构建语料表构建语料表，基于词频来进行统计
机器学习杨卓越·2024-01-31 07:18

从零训练模型：BERT模型【任务：①MLM（掩码语言模型）、②NSP（下一句预测）】

想要继续训练BERT的话首先需要弄懂NSP和MLM这两个预训练任务的原理，然后再根据这两个任务来通过自己的语料从头训练一个BERT模型或者是以开源的模型参数为基础进行追加训练。
u013250861·2024-01-31 07:38

《人民日报》申论面试热点金句积累19 #20220827

参考语料历史文化是城市的灵魂。每一座城市都有自己的发展历史，都蕴含着丰富的历史记忆。城市的历史文化风貌，不仅蕴藏在一条条老街道、一幢幢老建筑之中，
47fed7735c2d·2024-01-31 01:00

机器学习算法实现刑事案件文本分类

因此，通过收集法律与犯罪领域文本，构建起司法领域语料库，使用自然语言处理技术进行挖掘，实现文本分类，并利用机器学习等技术实现对法律案件的预测具有重要意义。
deleteeee·2024-01-30 08:23

DB-GPT: Empowering Database Interactions with Private Large Language Models 导读

其核心创新在于采用了私有化的LLM技术，在特定领域的语料库上进行微调，以确保用户隐私和数据安全的同时，获得最先进的LLM的好处。DB-GPT的架构包括一个新颖的知识
一只特蕉·2024-01-30 06:04

TF-IDF 找出文章关键词

一个词在文章中出现的次数词频标准化1：按占比处理TF=某个词在文章中出现的次数/文章的总词数词频标准化2：按最大值处理TF=某个词在文章中出现的次数/该文出现次数最多的词的出现次数IDF（反文档频率）：log(语料库的文档总数
Logan_addoil·2024-01-29 20:57

基于BERT的文本分类——附-简单的示例代码

BERT通过在大规模文本语料上进行预训练，学习了深层次的语言表示，然后可以通过微调用于各种下游任务，包括文本分类。文本分类是一个常见的自然语言处理任务，它涉及将文本分为不同的类别或标签。
技术宅学长·2024-01-29 18:54

datawhale 大模型学习 第六章-大模型之Adaptation

一、为什么需要Adaptation1.1简介从语言模型的训练方式来说，例如GPT-3，训练语料通常是海量的，各种领域的，不针对任何特定任务的文本信息。
fan_fan_feng·2024-01-29 18:25

Byte Pair Encoding（BPE）算法及代码笔记

BytePairEncoding（BPE）算法BPE算法是Transformer中构建词表的方法，大致分为如下几个步骤：将语料中的文本切分为字符统计高频共现二元组将共现频率最高的二元组合并加入词表重复上述第二和第三直到词表规模达到预先设置的数量
等风来随风飘·2024-01-29 13:50

全球大模型陷入高质量语料荒？

Gemini自我介绍提问测试截图当前谷歌团队已修复了该错误，但大模型“胡言乱语”现象也带出了另一个问题——互联网语料污染。知乎、微博、小红书等内容平台
海睿思·2024-01-29 13:42

NLP学习------HanLP使用实验

我跟据词向量的作者[6]所使用的分词工具来分词，会比不同工具（jieba）的效果要好，因为都是同一模式的分词，分出来的词应该都会存在于大型语料库中。
lanlantian123·2024-01-28 06:51
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他