语料第12页

ChatHome: Development and Evaluation of a Domain-Specific Language Model for Home Renovation

ToTensor·2023-08-13 10:43

ACL2023:成分对比学习生成句子嵌入表示

title:Composition-contrastiveLearningforSentenceEmbeddings很多基于对比学习的方法用在无监督语料中，通过最大化对齐同一句子的最小扰动，并且鼓励向量在广泛文本语料中的均匀分布

choose_c·2023-08-12 23:23

勘探开发人工智能技术：机器学习(6)

0提纲7.1循环神经网络RNN7.2LSTM7.3Transformer7.4U-Net1循环神经网络RNN把上一时刻的输出作为下一时刻的输入之一.1.1全连接神经网络的缺点现在的任务是要利用如下语料来给

HenrySmale·2023-08-12 15:16

ERNIE

利用大规模的文本语料库以及KG图，训练得到一个增强的语言表示模型。

吹洞箫饮酒杏花下·2023-08-12 15:47

ACE 2005 语料集事件预处理（英文)

ACE2005语料集注:ACE2005语料集无法免费下载到，需要付费才能获得。事件(英文)事件主要依赖于:tokenizerentityevent所以事件的英文样本处理将上面的主要数据预处理出来。

潘旭·2023-08-12 13:44

分布式环境下的莎士比亚数据集处理

项目要求对莎士比亚语料库处理，输出统计数据：语料库中唯一（或不同）术语的数量语料库中以字母T/t开头的单词数出现少于5次的术语数量整体读取的文件数最常出现的5个术语及其词频实现思路统计唯一词汇数量利用mapper

回炉重造P·2023-08-12 09:08

雅思讲座笔记

背单词复习比背新词更重要理解记忆更深刻与自己的切身利益相关音=意>形定时记忆（有别于定量记忆）逻辑记忆听力把需要反映才能出来的单词，精听跟读50遍，重点放在王陆语料库，大约到90%的程度即可。

Allen的光影天地·2023-08-12 08:33

Co-Occurrence Matrix——共现矩阵原理介绍

文章目录共现和上下文窗口共现矩阵的生成共现矩阵存在的问题及解决方法主成分分析PCA奇异值分解SVD共现和上下文窗口共现（Co-occurrence）——对于给定的语料库，一对单词（如w1和w2）的共现是指它们在上

Cachel wood·2023-08-11 20:43

BERT与知识图谱的结合——ERNIE模型浅析

在nlp领域中，自然语言表征模型由于可以让机器更好地理解人类语言，因此越来越受到人们的关注，其中具有代表性的就是BERT模型，它通过在大量的语料库上进行预训练的方式来实现对于文本语义的理解。

Necther·2023-08-11 13:42

文本分析-使用jieba库实现TF-IDF算法提取关键词

TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一

艾派森·2023-08-11 04:19

【基于众包标注的语文教材句子难易度评估研究论文精读】

基于众包标注的语文教材句子难易度评估研究论文精读信息摘要0引言1相关研究2众包标注方法3语料库构建3.1数据收集3.1基于五点量表的专家标注3.3基于成对比较的众包标注4特征及模型4.1特征抽取4.2模型与实验设计

小白*进阶ing·2023-08-10 22:14

《人民日报》公考申论面试热点素材选编（2022年8月19日）

参考语料我国网民规模已超过10亿，形成了全球最为庞大、生机勃勃的数字社会，数字生活成为人民群众的重

47fed7735c2d·2023-08-10 14:58

2020-07-02博士走过的弯路

为了能写出好的英语句子，自学了利用正则表达式搜索语料数据库。为了能整理文献，自学了Papers和DEVONthink。为了能画思维导图，自学了Scapple和Tind

haoooozi·2023-08-10 11:11

python pandas读取文件夹并把文件夹里面的所有txt文件转为dataframe

数据为酒店评论语料准备要做情感分析有一个名为neg的文件夹里面有neg.0.txt到neg.2999.txt，3000个txt文件，每个txt不一定仅有一行内容，有一个名为pos的文件夹里面有pos.0

铃音.·2023-08-09 20:42

BPF分词算法

构建词典：根据语料库或人工标注的分词结果，构建一个词典，包含一些常见的词以及它们的频率信息。分词：对于给定的文本，从头开始遍历每

diannao720·2023-08-09 06:59

【深度学习】BioBERT文章翻译及个人感悟

但是，由于单词分布从一般领域的语料库转移到生物医学的语料库，直接将NLP的进步应用到生物医学的文本挖掘中通

黑符石·2023-08-08 19:39

Bert详细学习及代码实现详解

在大型语料库（Wikipedia+BookCorpus）上训练一个大型模型（12层到24层Transformer）很长时间（1M更新步骤），这就是BERT。模型的主要创新点都在pre

银晗·2023-08-08 12:26

机器阅读理解之开山鼻祖Teaching Machines to Read and Comprehend

构建了CNN和DailyMail语料库：实体类，答案在原文中。不适用与训练答案推理型的问题。模型架构用两层的LSTM去编码原文和问题AttentiveReader左边对应的

smallBrilliant·2023-08-08 11:13

Llama 2：开放基础和微调聊天模型

自回归变压器在广泛的自监督数据语料库上进行预训练，然后通过强化学习(ReinforcementLearningwithhuma

TD程序员·2023-08-08 10:02

WWW 2017|知识库支持下的归类实体与关系联合抽取

实体以及它们之间关系的抽取对于理解海量文本语料库来说是非常重要的。传统的实体关系抽取系统都依赖于人工标注的训练语料并采用了增量式的处理管道。

LC震荡电路·2023-08-07 14:21

Kaggle关于IMDB情感分类

步骤整合train和test（就是说所有语料库）生成词袋或词向量模型。也可以下载已有的word2vec或是glove词向量模型。生成的词向量模型就是将每一个词向量化，方便后面的计算。

我的昵称违规了·2023-08-07 13:08

Word2Vec模型保存与加载的两种方式

model.save(path)保存：model.save(path)加载：Word2Vec.load(path)模型可继续训练训练时流式的，这意味这句子可以时一个生成器，动态的从磁盘读取输入数据，而无需将整个语料库加载到

在努力的Jie·2023-08-07 08:28

学习笔记-n-gram中的平滑方法

在n-gram语言模型中，一些词语的组合没有在语料中出现过，所以其统计概率会为0，但是这是不合理的。所以需要使用平滑方式调整概率值。

Pluto_wl·2023-08-06 20:15

Python爬虫之诗歌接龙

该项目的思路如下：利用爬虫爬取诗歌，制作诗歌语料库；将诗歌分句，形成字典：键（key）为该句首字的拼音，值（value）为该拼音对应的诗句，并将字典保存为pickle文件；读取pickle文件，编写程序

山阴少年·2023-08-05 21:34

五年内极具含金量的岗位，现在可兼职

是的，含金量最高的技术型兼职机会来了，免费接受系统专业培训，成为中文语料标注工程师（以下简称语料标注工程师），兼职赚报酬还能开启未来。

本识·2023-08-05 20:17

循环神经网络（RNN）

训练集：一个大的文本语料库(textcorpus)。例如，对于这样一个句子：Ca

漂流の少年·2023-08-05 16:46

NLP - ngram - N元语言模型 python 实现

NLP-ngram-N元语言模型python实现一、说明N-GramN元语言模型：N-Gram（有时也称为N元模型）是自然语言处理中一个非常重要的概念，通常在NLP中，人们基于一定的语料库，可以利用N-Gram

草青工作室·2023-08-05 11:52

记忆多义词要一个一个地积累

学习说明：1、有一定基础者注意积累固定搭配和语料，重点练习听力和复述，尝试造句和情景表达。2、零基础学员和初学者重点背单词和搭配、反复听句子，尝试理解，并反复朗读句子增强熟练程度。

虐单词·2023-08-05 07:36

基于text2vec和faiss开发实现文档查询系统初体验

gensim去训练词向量来说，使用预训练模型可能是更高效的方式了，正好有一个想法一直在想能够以什么样的形式间接的实现问答，说白了这里的问答跟我们理解的chatGPT类型的问答是不一样的，这里的考虑是想有一堆知识语料或者是文本文档数据

Together_CZ·2023-08-04 23:12

Matlab统计字符串中共有多少种字符以及每种字符出现次数的功能实现（Matlab R2021a）

所以我需要统计字符串中共有多少种字符以及每种字符出现的次数，其实更优的做法是利用中文语料库进行分词，或直接应用中文词

KeepLearners·2023-08-04 15:12

替换练习

其实用语料库自己找例子也行，同样的用法找出三个句子，都带中文翻译的，然后按照上述方法练习。

CiciWang2009·2023-08-04 12:50

入门NLTK：Python自然语言处理库初级教程

NLTK包括一些有用的工具和资源，如文本语料库、词性标注器、语法分析器等。在这篇初级教程中，我们将了解NLTK的基础功能。一、安装NLTK在开始使用NLTK之前，我们需要确保已经正确安装了它。

青春不朽512·2023-08-04 09:51

自然语言处理学习笔记（二）————语料库与开源工具

目录1.语料库2.语料库建设（1）规范制定（2）人员培训（3）人工标注3.中文处理中的常见语料库（1）中文分词语料库（2）词性标注语料库（3）命名实体识别语料库（4）句法分析语料库（5）文本分类语料库4

阿波拉·2023-08-03 18:19

学习笔记CB001:NLTK库、语料库、词概率、双连词、词典

聊天机器人知识主要是自然语言处理。包括语言分析和理解、语言生成、机器学习、人机对话、信息检索、信息传输与信息存储、文本分类、自动文摘、数学方法、语言资源、系统评测。NLTK库安装，pipinstallnltk。执行python。下载书籍，importnltk，nltk.download()，选择book，点Download。下载完，加载书籍，fromnltk.bookimport*。输入text*

利炳根·2023-08-03 13:57

三种文本特征提取（TF-IDF/Word2Vec/CountVectorizer）及Spark MLlib调用实例（Scala/Java/python）(转)

SparkMLlib提供三种文本特征提取方法，分别为TF-IDF、Word2Vec以及CountVectorizer其各自原理与调用代码整理如下：TF-IDF算法介绍：词语由t表示，文档由d表示，语料库由

逆视角·2023-08-03 10:51

ChatterBot+第三方中文语料库实现在线聊天机器人

设计并实现一个在线聊天机器人案例1、ChatterBotChatterBot是Python自带的基于机器学习的语音对话引擎，可以基于已知的对话库来产生回应。ChatterBot独特的语言设计可以使它可以通过训练来用任何一种语言进行对话。该项目的开源代码链接：https://github.com/gunthercox/ChatterBot2、应用案例描述ChatterBot包含的工具有助于简化训练聊

骑行去看海·2023-08-03 10:20

TF-IDF 算法

智能问答系统是将积累的无序语料信息，进行有序和科学的整理，并建立基于知识的分类模型；这些分类模型可以指导新增加的语料咨询和服务信息，节约人力资源，提高信息处理的自动性，降低网站运行成本。

dreampai·2023-08-03 05:18

Doccano工具安装教程/文本标注工具/文本标注自己的项目/NLP分词器工具/自然语言处理必备工具/如何使用文本标注工具

Token分类/源码解读/代码逐行解读)_会害羞的杨卓越的博客-CSDN博客1、安装说明doccano是docummentanotation的缩写，是一个开源的文本标注工具，我们可以用它为NLP任务的语料库进行打标

会害羞的杨卓越·2023-08-02 13:34

新闻标题文本分类任务

目录知识回顾使用debug调试知识回顾预处理内容文本主要进行清洗、分词/分字ID替换(不希望计算机看到文字，而是ID)，通过语料表来表示，根据频率高低来分配ID号文本的ID映射到文本的一个特征向量，进行词嵌入

醋酸洋红就是我·2023-08-02 11:26

【论文阅读24】Better Few-Shot Text Classification with Pre-trained Language Model

通过从一个大型的训练前语料库中学习一般的语言知识，该语言模型可以在微调阶段以相对少量的标记训练数据来

Alan and fish·2023-08-02 08:06

Python3， 33行代码搞了一个聊天机器人，这下再也不怕没人说话了。

2.4.1创建聊天机器人2.4.2与用户交互3、总结1、引言小屌丝：鱼哥，看这段代码fromchatterbotimportChatBot#创建聊天机器人chatbot=ChatBot('MyBot')#加载语料库

Carl_奕然·2023-07-31 15:59

zore-shot，迁移学习和多模态学习

1.zore-shot定义：在ZSL中，某一类别在训练样本中未出现，但是我们知道这个类别的特征，然后通过语料知识库，便可以将这个类别识别出来。

笑傲江湖2023·2023-07-31 10:19

人虫语料收集17-2

罗爷：今天跟你认识啊，我谈得也高兴。跟你谈谈我们这（zhei去声）古玩行儿里，有仨规矩。第一个规矩，双方看准物件儿，这（zhei去声）价格，不能说多少（连读）钱。那（内）个时候，讲究在袖口里边儿，袖口数乾坤，不能说钱。您出多少（连读）？您要多少？不能提钱字儿。第二个规矩儿，人家拿东西来让您看，您给（ge）人看。是假的，不能说是假的，只能说，不真。不真，其实就是假的或者是赝品啊。第三个规矩，说这件东

禾戈君·2023-07-31 04:40

kaldi数据整理与特征提取

语言数据data/dict目录下utils/prepare_lang.sh：对data/dict文件进行处理，得到data/lang，生成以下文件内容：data/lang目录下备注：发音词典应尽可能覆盖训练语料

你取吃屎吧·2023-07-30 18:55

Python自然语言处理学习笔记

nltk为超过50个语料库和词汇资源(如WordNet)提供易于使用的接口，以及一套用于分类、标记化、词干化、标记、解析和语义推理的文本处理库，用于工业级NLP库的包装器，以及一个活跃的讨论论坛。

creepycool·2023-07-30 15:37

LLaMA模型论文《LLaMA: Open and Efficient Foundation Language Models》阅读笔记

beingstrong·2023-07-30 11:55

1. 中文NLP笔记：中文自然语言处理的一般流程

图片发自App今天开始一起学习中文自然语言处理中文NLP一般流程1.获取语料语料，是NLP任务所研究的内容通常用一个文本集合作为语料库（Corpus）来源：已有语料积累的文档下载语料搜狗语料、人民日报语料抓取语料

不会停的蜗牛·2023-07-29 17:14

基于Hologres向量计算与大模型免费定制专属聊天机器人

使用大模型定制聊天机器人，除了训练大模型的方式外，还可以使用提示词微调（Prompt-tuning）的方法，在提问时提供特定行业的相关语料，结合大模型的阅读理解和信息整合能力，对该垂直行业的问题提供更贴切

阿里云大数据AI技术·2023-07-28 13:43

使用BERT进行fine-tuning

Fine-tuning就是载入预训练好的Bert模型，在自己的语料上再训练一段时间。

Nevrast·2023-07-28 10:07

推荐频道

语料