199801语料库第11页

自然语言处理NLP——中文抽取式自动文摘（包括中文语料库处理、三种方法实现自动文摘、Rouge评价方法对自动文摘进行打分）

利用三种方法实现抽取式自动摘要，并给摘要结果打分（一、textrank二、word2vec+textrank三、MMR四、Rouge评测）具体代码我上传到了Github上，其中有45篇小论文（包括三种摘要方法生成的摘要、标准摘要和各摘要方法生成的摘要的p、r、f值），地址如下：https://github.com/God-Fish-X/Extractable-automatic-Text网上有很多

_神仙鱼_·2023-02-07 10:07

自然语言处理入门的第一个代码：最大正向匹配算法

最大正向匹配算法原理：从右到左依次匹配语料库中的词语步骤：1、找出语料库中最长的词语长度max_lenth2、将max_lenth与需要划分的句子进行比较，选较小值作为句子的划分长度3、根据划分长度划分句子

啊啊啊啊_ef7b·2023-02-07 06:38

论文答辩

teachers.iamfromchuanshancollege.mydissertationiscopus-basedstudyonthetranslationofCLWinbusinessnews.即基于语料库商务英语中

张大宝_537d·2023-02-06 19:34

为Tesseract适配多语言模型

人们的努力集中于实现通用的多语种操作，以至于一种新的语言除了提供文本语料库之外，还需要进行微不足道的定制。尽管需要对各个模块进行更改，包括物理布局分析和语言后处理，但字符分类器不需要更改几个限制。

zhugeheihei·2023-02-06 10:21

Word2Vec------skip-gram、CBOW、负采样、的一些理解

1.WindowbasedCo-occurrenceMatrix简单来说就是统计语料库中，在确定window长度的情况下，统计word的出现频率，基于词频得到关联矩阵，例如：然后，利用SVD奇异值分解，

不爱学习的木易·2023-02-05 11:02

语料

那么某词(如many)在某语料库中出现频数为100次说明什么呢?这个词在另一个语料库中出现频数为105次,是否可以说many在第二个语料库中更常用呢?

静_静_·2023-02-05 08:49

翻译利器：语料库（入门篇）

从事笔译工作越久，越意识到语料库的重要。最近想梳理并更新一下自己的语料库知识、技能和资源，清理一下自己的库存，希望直接或间接地有助于提高自己的翻译工作效率和质量。

易渔_·2023-02-05 06:15

自然语言处理（NLP）知识整理及概述（三）

此时每一个单词可以用一个长度为V（语料库中vocabulary的数目）的向量来表示。在此基础上，将一个句子中每个单词的向量相加，就得

JudeArcturus·2023-02-04 17:28

NLTK安装记录

1.输入命令：pipinstallnltk-i2.输入两个命令：importnltknltk.download()报错：方法一：自己下载语料库自己去官网下载语料库GitHub-nltk/nltk_data

甜藕崽·2023-02-03 17:20

从最新的ACL、NAACL和EMNLP中详解知识增强的语言预训练模型

尽管PLMs可以从大量语料库中学习一定的知识，但仍旧存在很多问题，如知识量有限、受训练数据长尾分布影响鲁棒性不好等，在实际应用场景中效果不好。

zenRRan·2023-02-03 11:32

Gensim库的使用——Word2vec模型（二）训练自己的模型与训练参数

训练自己的Word2vec模型为了能够训练自己的Word2vec模型，你需要有一些数据，这里用LeeEvaluation语料库来进行训练。

桉夏与猫·2023-02-02 09:56

NLP：n-gram模型

主要的应用场景：1️⃣人们基于一定的语料库，可以利用N-Gram来预计或者评估一个句子是否合理；2️⃣通过输入的前N个词预言下一个词（常见于输入法，这种类型的LM被称为自回归语言模型(Autoregressio

Dawn_www·2023-02-02 08:09

97. BERT微调、自然语言推理数据集以及代码实现

句子分类3.命名实体识别4.问题回答5.总结即使下游任务各有不同，使用BERT微调时只需要增加输出层但根据任务的不同，输入的表示，和使用的BERT特征也会不一样6.自然语言推理数据集斯坦福自然语言推断语料库

chnyi6_ya·2023-02-01 19:03

NER命名实体识别

目录全文简介NER任务简介NER标注语料库（公开评测集）off-the-shelfNER工具评价指标序列标注标签方案四类NER常用方法基于规则的NER方法基于无监督学习的NER方法

Stansonlee·2023-02-01 08:15

python里的nltk库_Python 自然语言处理——nltk库入门之词性标注

下面列出了nltk库中的一些重要的模块——nltk.corpus————获取语料库。

我来看看就好1123·2023-02-01 08:05

使用python进行字频统计和词频统计

问题描述读取给定的语料库，根据制表符’\t’划分其文本与标签，将获得的文本仅保留汉字部分，并按字划分，保存在列表中，至少使用一种方法，统计所有汉字的出现次数，并按照从高到低的顺序排序；至少使用一种方法，

Love _YourSelf·2023-02-01 08:02

【AI视野·今日NLP 自然语言处理论文速览第二十七期】Thu, 4 Nov 2021

DailyComputationandLanguagePapersHmBlogs:AbiggeneralPersiancorpusAuthorsHamzehMotahariKhansari,MehrnoushShamsfard本文介绍了波斯语的hmBlogs语料库

hitrjj·2023-01-31 23:10

【科研】ET-BERT资料库梳理

作者原repo链接https://github.com/linwhitehat/ET-BERT0.资料总库分为数据+模型+语料库1.数据集包含fine-tuning数据集（cstnet-tls1.3）与公开数据集

勇往直前的力量·2023-01-31 10:54

爆火出圈的chatGPT如何在逆向和恶意软件分析中发挥作用

OpenAI新推出的一种人工智能技术驱动的自然语言处理工具，使用了Transformer神经网络架构，也是GPT-3.5架构，这是一种用于处理序列数据的模型，拥有语言理解和文本生成能力，尤其是它会通过连接大量的语料库来训练模型

seoppg·2023-01-31 08:49

论文阅读：GPT-Improving Language Understanding by Generative Pre-Training

Abstract通过在不同的无标记的文本语料库上生成语言模型的预训练，然后对每个任务进行区分性调整在微调期间使用任务感知的输入转换，同时对模型体系结构进行最小的更改1.INTRODUCTION未标记文本的单词级信息仍旧是一个挑战

咕噜咕噜day·2023-01-30 20:17

论文阅读《Improving Language Understanding by Generative Pre-Training》

目标是从大量未标注语料库学习一种普遍的表征，不要求目标任务与未标注语料库在相同领域。训练分为两个阶段：首先，在未标注数据上使用语言建模来学习神

Diobld·2023-01-30 20:46

95. BERT预训练数据代码

一方面，最初的BERT模型是在两个庞大的图书语料库和英语维基百科的合集上预训练的，但它很难吸引这本书的大多数读者。另一方面，现成的预训练BERT模型可能不适合医学等特定领域的应用。

chnyi6_ya·2023-01-30 18:02

基于重要性采样的期望估计——sampled softmax推导

Lqz72·2023-01-30 12:17

详解mmseg

根据在词典（语料库）中的匹配情况把原文切分成一个个词语2.两种方法为了便于后续介绍，假设要切分的原文是C1C2C3C4C5C6,C表示一个汉字。简单最大匹配：从头依次查找最长的词语，以此切割。

weixin_30549657·2023-01-30 10:28

获取机器学习数据

这些数据集包括人类基因组项目、CommonCrawl网页语料库、维基百科数据和GoogleBooksNgrams。相关信息可参见:http

weixin_30553837·2023-01-29 12:43

语音情感识别技术

情感语料库大致可以通过以下3个方法获的：(1)从我们的现实生活中所采集的真实的自然语料，然后再经过人工挑选获得可以使用的语料；(2)让专业或者非专业人士进行对高兴、愤怒等情感进行模仿并录制语料库；(3)

fpga和matlab·2023-01-29 07:34

python 文本聚类可视化_Python 文本相似度和聚类

考虑一个设计各种不同的概念和想法的文档语料库。人类以这样的方式将它们联系在一起，即使用过去学

weixin_39645249·2023-01-28 14:03

【Eye-tracking】DIDEC: The Dutch Image Description and Eye-tracking Corpus

DIDEC:TheDutchImageDescriptionandEye-trackingCorpusAbstract本文提供了一个荷兰语口语图像描述的语料库，结合两组眼球追踪数据：freeviewing

Vincy_King·2023-01-28 07:44

自然语言处理(一)--关键词提取

TF-IDF是一种统计方法，用来评估一个字词对于一个文件集或语料库中的一份文件的

seeing_Liu·2023-01-28 07:01

2021-08-31 从IPFS中检索出佛藏语料库

从IPFS中检索出佛藏语料库：CID:QmY944bgZiprFx3Kov7Q929GcXYBhKzhi6NKGzUWRi4rkc浏览器访问地址：https://ipfs.io/ipfs/QmY944bgZiprFx3Kov7Q929GcXYBhKzhi6NKGzUWRi4rkc

Pike_Jun·2023-01-27 13:21

Ontonote5.0数据集获取与处理

一、数据获取Ontonote5.0数据集只能在LDC(LinguisticDataConsortium,https://www.ldc.upenn.edu/)获得，LDC语料库包括阿拉伯语、汉语和英语新闻文本

Xuang123·2023-01-26 21:58

attention-seq2seq:实现中英翻译

中文与其他语言不同，不能简单使用空格分割单词建立语料库。

Hilbob·2023-01-26 03:40

基于机器学习的古代汉语切分标注算法及语料库研究（毕业设计包含完整代码+论文+资料ppt）

数据来源及预处理实验所用的数据集为从网络的开放数据库下载的不同年代的古籍。根据古籍所处具体时期的不同，我们从各个时期中选择了部分书籍进行实验。将其分为成了不连续的几个时间段：春秋战国时期、后汉时期、南北朝时期、宋朝时期及明清时期五个时间段并分别使用T1、T2、T3、T4以及T5表示，对应关系如下表所示。表3-1时间标签与年代对应表时间标签年份

甜辣uu·2023-01-26 03:09

2019-06-17雅思备考week2-一周学习总结

王陆《语料库（剑14版）》：建议购买，现在的版本是在手机上听的，比以往用CD方便，同时增加了剑14的新内容，可以购买。

你演·2023-01-25 21:51

【NLP Tool -- NLTK】NLTK进行英文情感分析、分词、分句、词性标注（附代码）

中文文本--关键词提取、自定义词典、分词、词性标注NLP--NLTK英文文本--情感分析、分词、分句、词性标注工具介绍NLTK，NaturalLanguageToolkit是一个Python模块，提供了多种语料库

北村南·2023-01-25 07:39

snownlp 原理_使用snownlp进行情感分析

主要可以进行中文分词(算法是Character-BasedGenerativeModel)、词性标注(原理是TnT、3-gram隐马)、情感分析(官网木有介绍原理，但是指明购物类的评论的准确率较高，其实是因为它的语料库主要是购物方面的

学历小助手王老师·2023-01-24 10:31

被GPT带飞的In-Context Learning发展现状如何？这篇综述梳理明白了

随着语言模型和语料库规模的逐渐扩大，大型语言模型（LLM）展现出更多的潜力。近来一些研究表明，LLM可以使用in-contextlearning（ICL）执行一系列复杂任务，例如解决数学推理问题。

夕小瑶·2023-01-24 07:25

python爬虫知识图谱_知识图谱

不过这篇文章在微博、AINLP微信公众号、知乎专栏推送后，还是有很多同学强烈建议丰富语料库。

weixin_39770311·2023-01-22 18:29

自然语言处理-注意点

一阶逻辑是计算语义的一个不错的选择语料分析指的是技术层面的分析，并不关注语料库的语言学分析。在句法分析中，文法规则被用于确定哪些句子是合法的。

__BC__·2023-01-22 07:56

【自然语言处理】文本表示（一）：One-Hot、BOW、TF-IDF、N-Gram

One-Hot在特征提取上属于词袋模型（Bag-of-Words），假设语料库中有三句话：我爱中国爸爸妈妈爱我

皮皮要HAPPY·2023-01-22 07:49

Python自然语言处理第二章 - 获得文本语料与词汇

一，获取文本语料库1，古腾堡语料库古腾堡语料库主要存储的是免费的电子图书。

潜心修行的研究者·2023-01-21 19:57

特开一贴，用来记录我踩过的坑

1、NLTK语料库nltk.download()安装失败及下载很慢的解决方法_深度学习菜鸟的博客-CSDN博客_nltk.download失败解决nltkdownload(‘punkt‘)连接尝试失败_

致力于成为卷王·2023-01-19 18:08

NER--《人民日报》语料库预处理

NER--《人民日报》语料库预处理转成标准BIEO格式转成标准BIEO格式#-*-coding:utf-8-*-"""CreatedonFriJul3116:16:582020将《人民日报》中的标签转成标准的

chengjinpei·2023-01-19 09:37

谷歌BERT模型--调试MRPC任务--使用pycharm集成环境

MRPC调试心得唐宇迪BERT课程使用Pycharm实现MRPC唐宇迪BERT课程使用Pycharm实现MRPC1.任务介绍MPRC（MicrosoftResearchParaphraseCorpus）语料库中包含一些句子对

chengjinpei·2023-01-19 09:36

RuntimeError:CUDA error:unknown error

考虑原因：A程序在语料库ATIS中运行过，没有发生问题，但是之后运行了另一个程序B时，修改过gpu，如下所示：os.environ["CUDA_VISIBLE_DEVICES"]="0"如今在语料库Snips

想念@思恋·2023-01-18 08:29

一起来学自然语言处理----分类和标注词汇

分类和标注词汇使用词性标注器标注语料库1.表示已标注的标识符2.读取已标注的语料库3.简化的词性标记集使用字典映射词及其属性1.默认字典2.递增的更新字典3.颠倒字典自动标注1.默认标注器2.正则表达式标注器

小陈步吃人·2023-01-17 22:01

LDA详解

向量中的第一个，第二个等，也就是不同文章的不同单词的主题，固定其他，分别重新从计算的概率分布再次抽取主题】LDA是一种非监督机器学习技术，可以用来识别大规模文档集（documentcollection）或语料库

Ona_Soton·2023-01-17 17:08

读书笔记：深度学习进阶-自然语言处理（俗称鱼书二）

文章目录前言一、神经网络的复习二、自然语言和单词的分布式表示2.1什么是自然语言处理2.2同义词词典2.3基于计数的方法2.3.1基于python的语料库的预处理2.3.2单词的分布式表示2.3.3分布式假设

时光轻浅，半夏挽歌·2023-01-17 08:50

【自然语言处理】专业术语汇总（持续更新...）

EmotionRecognition）纠错（Correction）问答系统（QASystem）正则化（normalization）标准化（scale）标记化（tokenization）标记（token）语料库

浪里摸鱼·2023-01-16 06:41

《实战》基于情感词典的文本情感分析与LDA主题分析

review_long_clean中1.4修正情感倾向1.5计算每条评论的情感值1.6查看情感分析效果二、情感分析效果2.1将数据合并2.2结果对比2.3情感词云三、基于LDA模型的主题分析3.1建立词典、语料库

驭风少年君·2023-01-15 13:14

推荐频道

199801语料库