语料第13页

2020-07-02博士走过的弯路

为了能写出好的英语句子，自学了利用正则表达式搜索语料数据库。为了能整理文献，自学了Papers和DEVONthink。为了能画思维导图，自学了Scapple和Tind

haoooozi·2023-08-10 11:11

python pandas读取文件夹并把文件夹里面的所有txt文件转为dataframe

数据为酒店评论语料准备要做情感分析有一个名为neg的文件夹里面有neg.0.txt到neg.2999.txt，3000个txt文件，每个txt不一定仅有一行内容，有一个名为pos的文件夹里面有pos.0

铃音.·2023-08-09 20:42

BPF分词算法

构建词典：根据语料库或人工标注的分词结果，构建一个词典，包含一些常见的词以及它们的频率信息。分词：对于给定的文本，从头开始遍历每

diannao720·2023-08-09 06:59

【深度学习】BioBERT文章翻译及个人感悟

但是，由于单词分布从一般领域的语料库转移到生物医学的语料库，直接将NLP的进步应用到生物医学的文本挖掘中通

黑符石·2023-08-08 19:39

Bert详细学习及代码实现详解

在大型语料库（Wikipedia+BookCorpus）上训练一个大型模型（12层到24层Transformer）很长时间（1M更新步骤），这就是BERT。模型的主要创新点都在pre

银晗·2023-08-08 12:26

机器阅读理解之开山鼻祖Teaching Machines to Read and Comprehend

构建了CNN和DailyMail语料库：实体类，答案在原文中。不适用与训练答案推理型的问题。模型架构用两层的LSTM去编码原文和问题AttentiveReader左边对应的

smallBrilliant·2023-08-08 11:13

Llama 2：开放基础和微调聊天模型

自回归变压器在广泛的自监督数据语料库上进行预训练，然后通过强化学习(ReinforcementLearningwithhuma

TD程序员·2023-08-08 10:02

WWW 2017|知识库支持下的归类实体与关系联合抽取

实体以及它们之间关系的抽取对于理解海量文本语料库来说是非常重要的。传统的实体关系抽取系统都依赖于人工标注的训练语料并采用了增量式的处理管道。

LC震荡电路·2023-08-07 14:21

Kaggle关于IMDB情感分类

步骤整合train和test（就是说所有语料库）生成词袋或词向量模型。也可以下载已有的word2vec或是glove词向量模型。生成的词向量模型就是将每一个词向量化，方便后面的计算。

我的昵称违规了·2023-08-07 13:08

Word2Vec模型保存与加载的两种方式

model.save(path)保存：model.save(path)加载：Word2Vec.load(path)模型可继续训练训练时流式的，这意味这句子可以时一个生成器，动态的从磁盘读取输入数据，而无需将整个语料库加载到

在努力的Jie·2023-08-07 08:28

学习笔记-n-gram中的平滑方法

在n-gram语言模型中，一些词语的组合没有在语料中出现过，所以其统计概率会为0，但是这是不合理的。所以需要使用平滑方式调整概率值。

Pluto_wl·2023-08-06 20:15

Python爬虫之诗歌接龙

该项目的思路如下：利用爬虫爬取诗歌，制作诗歌语料库；将诗歌分句，形成字典：键（key）为该句首字的拼音，值（value）为该拼音对应的诗句，并将字典保存为pickle文件；读取pickle文件，编写程序

山阴少年·2023-08-05 21:34

五年内极具含金量的岗位，现在可兼职

是的，含金量最高的技术型兼职机会来了，免费接受系统专业培训，成为中文语料标注工程师（以下简称语料标注工程师），兼职赚报酬还能开启未来。

本识·2023-08-05 20:17

循环神经网络（RNN）

训练集：一个大的文本语料库(textcorpus)。例如，对于这样一个句子：Ca

漂流の少年·2023-08-05 16:46

NLP - ngram - N元语言模型 python 实现

NLP-ngram-N元语言模型python实现一、说明N-GramN元语言模型：N-Gram（有时也称为N元模型）是自然语言处理中一个非常重要的概念，通常在NLP中，人们基于一定的语料库，可以利用N-Gram

草青工作室·2023-08-05 11:52

记忆多义词要一个一个地积累

学习说明：1、有一定基础者注意积累固定搭配和语料，重点练习听力和复述，尝试造句和情景表达。2、零基础学员和初学者重点背单词和搭配、反复听句子，尝试理解，并反复朗读句子增强熟练程度。

虐单词·2023-08-05 07:36

基于text2vec和faiss开发实现文档查询系统初体验

gensim去训练词向量来说，使用预训练模型可能是更高效的方式了，正好有一个想法一直在想能够以什么样的形式间接的实现问答，说白了这里的问答跟我们理解的chatGPT类型的问答是不一样的，这里的考虑是想有一堆知识语料或者是文本文档数据

Together_CZ·2023-08-04 23:12

Matlab统计字符串中共有多少种字符以及每种字符出现次数的功能实现（Matlab R2021a）

所以我需要统计字符串中共有多少种字符以及每种字符出现的次数，其实更优的做法是利用中文语料库进行分词，或直接应用中文词

KeepLearners·2023-08-04 15:12

替换练习

其实用语料库自己找例子也行，同样的用法找出三个句子，都带中文翻译的，然后按照上述方法练习。

CiciWang2009·2023-08-04 12:50

入门NLTK：Python自然语言处理库初级教程

NLTK包括一些有用的工具和资源，如文本语料库、词性标注器、语法分析器等。在这篇初级教程中，我们将了解NLTK的基础功能。一、安装NLTK在开始使用NLTK之前，我们需要确保已经正确安装了它。

青春不朽512·2023-08-04 09:51

自然语言处理学习笔记（二）————语料库与开源工具

目录1.语料库2.语料库建设（1）规范制定（2）人员培训（3）人工标注3.中文处理中的常见语料库（1）中文分词语料库（2）词性标注语料库（3）命名实体识别语料库（4）句法分析语料库（5）文本分类语料库4

阿波拉·2023-08-03 18:19

学习笔记CB001:NLTK库、语料库、词概率、双连词、词典

聊天机器人知识主要是自然语言处理。包括语言分析和理解、语言生成、机器学习、人机对话、信息检索、信息传输与信息存储、文本分类、自动文摘、数学方法、语言资源、系统评测。NLTK库安装，pipinstallnltk。执行python。下载书籍，importnltk，nltk.download()，选择book，点Download。下载完，加载书籍，fromnltk.bookimport*。输入text*

利炳根·2023-08-03 13:57

三种文本特征提取（TF-IDF/Word2Vec/CountVectorizer）及Spark MLlib调用实例（Scala/Java/python）(转)

SparkMLlib提供三种文本特征提取方法，分别为TF-IDF、Word2Vec以及CountVectorizer其各自原理与调用代码整理如下：TF-IDF算法介绍：词语由t表示，文档由d表示，语料库由

逆视角·2023-08-03 10:51

ChatterBot+第三方中文语料库实现在线聊天机器人

设计并实现一个在线聊天机器人案例1、ChatterBotChatterBot是Python自带的基于机器学习的语音对话引擎，可以基于已知的对话库来产生回应。ChatterBot独特的语言设计可以使它可以通过训练来用任何一种语言进行对话。该项目的开源代码链接：https://github.com/gunthercox/ChatterBot2、应用案例描述ChatterBot包含的工具有助于简化训练聊

骑行去看海·2023-08-03 10:20

TF-IDF 算法

智能问答系统是将积累的无序语料信息，进行有序和科学的整理，并建立基于知识的分类模型；这些分类模型可以指导新增加的语料咨询和服务信息，节约人力资源，提高信息处理的自动性，降低网站运行成本。

dreampai·2023-08-03 05:18

Doccano工具安装教程/文本标注工具/文本标注自己的项目/NLP分词器工具/自然语言处理必备工具/如何使用文本标注工具

Token分类/源码解读/代码逐行解读)_会害羞的杨卓越的博客-CSDN博客1、安装说明doccano是docummentanotation的缩写，是一个开源的文本标注工具，我们可以用它为NLP任务的语料库进行打标

会害羞的杨卓越·2023-08-02 13:34

新闻标题文本分类任务

目录知识回顾使用debug调试知识回顾预处理内容文本主要进行清洗、分词/分字ID替换(不希望计算机看到文字，而是ID)，通过语料表来表示，根据频率高低来分配ID号文本的ID映射到文本的一个特征向量，进行词嵌入

醋酸洋红就是我·2023-08-02 11:26

【论文阅读24】Better Few-Shot Text Classification with Pre-trained Language Model

通过从一个大型的训练前语料库中学习一般的语言知识，该语言模型可以在微调阶段以相对少量的标记训练数据来

Alan and fish·2023-08-02 08:06

Python3， 33行代码搞了一个聊天机器人，这下再也不怕没人说话了。

2.4.1创建聊天机器人2.4.2与用户交互3、总结1、引言小屌丝：鱼哥，看这段代码fromchatterbotimportChatBot#创建聊天机器人chatbot=ChatBot('MyBot')#加载语料库

Carl_奕然·2023-07-31 15:59

zore-shot，迁移学习和多模态学习

1.zore-shot定义：在ZSL中，某一类别在训练样本中未出现，但是我们知道这个类别的特征，然后通过语料知识库，便可以将这个类别识别出来。

笑傲江湖2023·2023-07-31 10:19

人虫语料收集17-2

罗爷：今天跟你认识啊，我谈得也高兴。跟你谈谈我们这（zhei去声）古玩行儿里，有仨规矩。第一个规矩，双方看准物件儿，这（zhei去声）价格，不能说多少（连读）钱。那（内）个时候，讲究在袖口里边儿，袖口数乾坤，不能说钱。您出多少（连读）？您要多少？不能提钱字儿。第二个规矩儿，人家拿东西来让您看，您给（ge）人看。是假的，不能说是假的，只能说，不真。不真，其实就是假的或者是赝品啊。第三个规矩，说这件东

禾戈君·2023-07-31 04:40

kaldi数据整理与特征提取

语言数据data/dict目录下utils/prepare_lang.sh：对data/dict文件进行处理，得到data/lang，生成以下文件内容：data/lang目录下备注：发音词典应尽可能覆盖训练语料

你取吃屎吧·2023-07-30 18:55

Python自然语言处理学习笔记

nltk为超过50个语料库和词汇资源(如WordNet)提供易于使用的接口，以及一套用于分类、标记化、词干化、标记、解析和语义推理的文本处理库，用于工业级NLP库的包装器，以及一个活跃的讨论论坛。

creepycool·2023-07-30 15:37

LLaMA模型论文《LLaMA: Open and Efficient Foundation Language Models》阅读笔记

beingstrong·2023-07-30 11:55

1. 中文NLP笔记：中文自然语言处理的一般流程

图片发自App今天开始一起学习中文自然语言处理中文NLP一般流程1.获取语料语料，是NLP任务所研究的内容通常用一个文本集合作为语料库（Corpus）来源：已有语料积累的文档下载语料搜狗语料、人民日报语料抓取语料

不会停的蜗牛·2023-07-29 17:14

基于Hologres向量计算与大模型免费定制专属聊天机器人

使用大模型定制聊天机器人，除了训练大模型的方式外，还可以使用提示词微调（Prompt-tuning）的方法，在提问时提供特定行业的相关语料，结合大模型的阅读理解和信息整合能力，对该垂直行业的问题提供更贴切

阿里云大数据AI技术·2023-07-28 13:43

使用BERT进行fine-tuning

Fine-tuning就是载入预训练好的Bert模型，在自己的语料上再训练一段时间。

Nevrast·2023-07-28 10:07

企业数据，大语言模型和矢量数据库

我们可以将私有数据作为微调语料来让大语言模型记住新知识，这种方法虽然可以让

九章云极DataCanvas·2023-07-28 10:48

对gpt的简单认识

GPT模型以无监督学习的方式使用大规模语料库进行预训练，并具有生成文本和理解文本的能力。GPT模型的核心组件是Transformer架构，它由编码器和解码器组成。编码器用于将输入序列转换为隐藏表示

那个雨季·2023-07-28 06:40

i18多语言翻译插件使用

引入import{useTranslation,Trans}from"react-i18next";const{t}=useTranslation();翻译t('')更新语料库package.json中

戈多走了·2023-07-27 21:19

精调训练中文LLaMA模型实战教程，民间羊驼模型

LLaMA模型实战教程，民间羊驼模型博文3：精调训练中文LLaMA模型实战教程，民间羊驼模型（本博客）简介在学习完上篇【博文2：本地训练中文LLaMA模型实战教程，民间羊驼模型】后，我们已经学会了使用无监督的语料预训练

会写代码的孙悟空·2023-07-27 13:45

本地部署中文LLaMA模型实战教程，民间羊驼模型

1：本地部署中文LLaMA模型实战教程，民间羊驼模型（本博客）博文2：本地训练中文LLaMA模型实战教程，民间羊驼模型博文3：精调训练中文LLaMA模型实战教程，民间羊驼模型简介LLaMA大部分是英文语料训练的

会写代码的孙悟空·2023-07-27 13:41

文本预处理——文本数据分析

目录文本数据分析中文酒店评价语料获得训练集和验证集的标签数量分布获取训练集和验证集的句子长度分布获取训练集和验证集的正负样本长度散点分布获得训练集和验证集不同词汇总数统计获得训练集上正负的样本的高频形容词词云获得验证集上正负的样本的形容词词云文本数据分析中文酒店评价语料获得训练集和验证集的标签数量分布获取训练集和验证集的句子长度分布获取训练集和验证集的正负样本长度散点分布获得训练集和验证集不同词汇

醋酸洋红就是我·2023-07-27 09:46

《人民日报》评论热点话题金句32| 结构化面试考点 | 申论规范化表达词 | 公考国考省考申论素材积累（2022年9月9日）

参考语料百年大计，教育为本；教育大计，教师为本。回望过去，教育兴国，教育强国，是一个多世纪以来中国人的愿望和梦想。“教育是一门‘仁

47fed7735c2d·2023-07-27 04:34

LLaMA 2: Open Foundation and Fine-Tuned Chat Models

LLaMA2:OpenFoundationandFine-TunedChatModelsPre-trainingFine-tuningRewardmodelRLHF参考Pre-training数据层面：预训练语料比

HanZee·2023-07-27 02:43

综艺节目奇葩说辩论中的语用预设分析

本文以2019年综艺节目奇葩说第六季十四期的节目内容为语料，主要从事实预设、信念预设、状态预设以及行为预设四类预设视角出发，分析预设在选手进行陈述辩论中的具体应用，以及在论辩中发挥的作用。

Stella98·2023-07-26 18:20

HMM与CRF模型的使用过程有哪些差异？

HMM模型HMM模型表示为:lambda=HMM(A,B,pi),其中A,B,pi都是模型的参数,分别称作:转移概率矩阵,发射概率矩阵和初始概率矩阵.接着,我们开始训练HMM模型,语料就是事先准备好的一定数量的观测序列及

传智教育·2023-07-26 06:49

LIMA：小规模监督数据指令微调

论文标题：LIMA:LessIsMoreforAlignment论文链接：https://arxiv.org/abs/2305.11206论文来源：MetaAI一、概述语言模型在大规模语料上以预测下一个

酷酷的群·2023-07-25 21:52

模板模式

背景我们有一个模型训练平台，当我们训练模型的时候，需要预处理，先检测语料是否满足需要，如果满足发送模型训练消息到训练平台，生

小老头_e6be·2023-07-25 12:53

推荐频道

语料