语料第9页

深入推荐引擎2：YouTube 视频推荐系统

程序媛一枚~·2023-10-16 01:19

语料库应用入门讲座

语料库应用入门讲座引言主要介绍语料库的概念、功能、意义和基础的方法。主要包括：1.什么是语料库？语料库有什么作用？2.语料库的分类有哪些？3.语料库有什么功能？4.常见的语料库工具有哪些？

PythonFun·2023-10-15 18:52

文本(图书)分类比赛学习笔记

其中，图书已经成为人类文本语料的重要来源和组成部分。中国年均出版图书超过50万种，其中新书超过25万种。全球的新出版图书超过百万种。

不懂安全的AI小白·2023-10-15 06:51

2020-02-14：伯禹打卡笔记

伯禹文本预处理课程学习文本预处理一般的文本预处理步骤：分词（中英文不同，中文分词难度大一些，有一些分词工具：spaCy、NLTK、jieba等，还可以在分词之后去除停用词等，根据语料及使用场景决定）词的向量表示

hc2zzcj·2023-10-15 04:38

白嫖来的数据，真的是中小企业需要的吗？

就获取文本数据（中文语料）这一方面，本识科

本识·2023-10-14 12:16

Deepwalk深度游走算法

算法该算法主要分为随机游走和生成表示向量两个部分，首先利用随机游走算法(Randomwalk)从图中提取一些顶点序列，然后借助自然语言处理思路，将生成的顶点序列看作由单词组成的句子，所有的序列可以看作一个大的语料

big_matster·2023-10-14 07:40

chatGLM2-6B模型LoRA微调数据集实现大模型的分类任务

ChatGLM具备以下特点：充分的中英双语预训练：ChatGLM在1:1比例的中英语料上训练了1T的token量，兼具双语能力。优化的模型

三更两点·2023-10-14 04:03

隐马尔可夫(HMM)/感知机/条件随机场(CRF)----词性标注

不同的语料库采用了不同的词性标注集，一般都含有形容词、动词、名词等常见词性。下图就是Han

mantch·2023-10-13 01:55

自然语言处理步骤

1、语料获取语料的来源一般有：(1)大厂公开的已经建立好的开放语料库；(2)利用python等工具从网页上爬取的内容；(3)公司自己的内部数据。

Alina0619·2023-10-12 17:06

DYVAL: GRAPH-INFORMED DYNAMIC EVALUATION OF LARGE LANGUAGE MODELS

然而，对其性能的担忧是由于其大量的训练语料库中潜在的数据污染。此外，当前基准的静态

UnknownBody·2023-10-12 16:29

深度学习DAY3：FFNNLM前馈神经网络语言模型

NNLM的提出文章：自然语言处理中的语言模型预训练方法（ELMo、GPT和BERT）https://www.cnblogs.com/robert-dlut/p/9824346.html语言模型不需要人工标注语料

小白脸cty·2023-10-12 03:36

[源码和文档分享]基于开源Alice的聊天机器人

语料库中的pattern是模式的意思，可理解为问题，而相应的template可理解为回答（而这一对问答被包裹在了category标签里面）。

ggdd5151·2023-10-12 03:49

BERT论文精度笔记

词向量的效果取决于训练语料的大小，很多NLP任务中有限的标注

想变成树袋熊·2023-10-11 23:13

【NLTK系列01】：nltk库介绍

它为50多个语料库和词汇提供了易于使用的界面资源，如WordNet，以及一套用于分类、标记化、词干提取、标记、解析和语义推理的文

无水先生·2023-10-11 00:19

核心素养背景下英语阅读教学设计

语感从大量真实语料里面输入的。图片发自App批判性思维，一个理性思维的能力图片发自App语言能力构成学科基础。文化意识体现价值取向。思维品质是心智特征。学习能力构成发展条件。

OKkatherine·2023-10-10 19:09

NLP项目：维基百科文章爬虫和分类【02】 - 语料库转换管道

其次，一个语料库对象，它处理完整的文章集，允许方便地访问单个文件，并提供全局数据，如单个令牌的数量。二、背景介绍在本文中，我将继续展示如何创建一个NLP项目，以从

无水先生·2023-10-10 17:52

网络语料库减少论文语言错误利器！

利用网络语料库是一个很好的办法，今天查尔斯沃思论文润色将告诉大家如何利用网络语料库自主的解决上述问题。网络语料库突破了时间和空间的限制，利用互联网技术成为极其便利的语言学习和研究资源。

查尔斯沃思英国编辑团队·2023-10-09 22:03

NLP-预训练模型-2019-NLU：XLNet【在Transformer-XL的基础上：①“排列组合LM”取代Bert中的“掩码LM”解决其弊端；②使用“双流注意力机制”解决位置信息】

)：一般情况下预训练模型都是大型模型，具备复杂的网络结构，众多的参数量，以及在足够大的数据集下进行训练而产生的模型.在NLP领域，预训练模型往往是语言模型，因为语言模型的训练是无监督的，可以获得大规模语料

u013250861·2023-10-09 12:24

都在喂大规模互联网文本，有人把著名的 C4 语料库“读”透了

大规模语言模型使得许多下游自然语言处理任务取得了值得注意的进展，研究人员倾向于使用更大的文本语料库来训练更强力的语言模型。

数据派THU·2023-10-09 12:53

第2章构建自定义语料库

与所有机器学习应用程序一样，最主要的挑战是确定噪声中是否存在信号，以及信号具体隐藏在何处。这是通过特征分析过程完成的，确定文本的含义和潜在结构通过编码体现为哪些特征、属性或维度。前一章中，我们看到，尽管自然语言具有复杂性和灵活性，但如果能提取其结构特征和上下文特征，就可以进行建模。后续所有章节的大部分工作将围绕着"特征提取"和"知识工程"展开，包括单独词汇单词的识别、同义词集合、实体间相互关系以及

Triumph19·2023-10-09 12:44

NLP 项目：维基百科文章爬虫和分类【01】 - 语料库阅读器

在接下来的文章中，我将展示如何实现维基百科文章爬虫，如何将文章收集到语料库中，如何应用文本预处理、标记化、编码和矢量

无水先生·2023-10-09 12:40

bert入门

BERT的主要目标是在大规模文本语料库上进行预训练，然后可以通过微调来用于各种NLP任务，例如文本分类、命名实体识别、问答等。BERT的核心思想是在大规模文本语料库上进行预训

李亚松-·2023-10-09 11:40

Langchain-Chatchat项目：1.2-Baichuan2项目整体介绍

由百川智能推出的新一代开源大语言模型，采用2.6万亿Tokens的高质量语料训练，在多个权威的中文、英文和多语言的通用、领域benchmark上取得同尺寸最佳的效果，发布包含有7B、13B的Base

NLP工程化·2023-10-07 17:52

多设备交互研究综述

多设备交互研究综述前言标题摘要CCSConceptsKERWORDS1引言2方法2.1创建相关文献的语料库2.2筛选和筛选标准2.3标记2.4分析2.5统计调查的规模2.6开源数据3研究历史和术语统一3.1

大爱助手·2023-10-07 16:58

基于深度学习的聊天机器人

基于深度学习的聊天机器人-项目前期知识准备文章目录基于深度学习的聊天机器人-项目前期知识准备一、TensorFlow框架简介二、NLP基础1.常用的神经网络模型2.词法分析3.贝叶斯和朴素贝叶斯4.隐马尔科夫模型5.语料相关

Chiancc·2023-10-07 10:12

采访|使用过ChatGPT的同学在与人工智能对话后的体验

ChatGPT拥有从巨大语料库中学习、理解自然语言文本的强大功能。强大的对话、理解能力使得它仅仅用了两个月就有了高达1亿的活跃用户。

Do1twell·2023-10-06 10:09

Windows 上下载并提取 Wikipedia

我其实也用不到这个，但是看见不少人是用来做NLP语料训练的。不过最近我也想尝试一些新的东西（我就是单纯想要这个文本数据），所以就去把它给下载下来了。

CrazyDragon_King·2023-10-06 05:30

NeurIPS 2020|RAG：为知识密集型任务而生

虽然NLP在过去几年中突飞猛进，从为特定任务设计定制化的框架，再到如今各种基于海里语料无监督预训练得到强大的通用模型通过微调即可应对各种不同NLP任务。

JasonLiu1919·2023-10-04 13:49

RAG小结

RAGRAG做知识问答，我们所使用的语料、索引建立方式、训练方式，大致的模型参数，以及满足以上我们对GPU运算资源的需求。

cyz0202·2023-10-04 13:48

《妈妈知道怎么办》16

孩子有一个储存语言的仓库，而我们父母要做的就是在语言发育关键期不断地往仓库里送货，即输送语料。只有当我们把货送足，孩子才有可能往外输出。

江琦团哥圆弟·2023-10-04 04:01

【论文笔记】NLP 预训练模型综述

（不解释基础概念/模型，适合熟悉PTMs的人阅读）先来说说为啥要用预训练模型：在大语料下预训练的模型可以学习到

zenRRan·2023-10-04 01:25

GPT的优势和GPT缺点

GPT技术是目前最为先进的自然语言处理模型之一，拥有数亿个参数和多层的神经网络结构，可以处理超过数十亿级别的语料库数

zmjia111·2023-10-03 21:58

Python的词云图太丑，教你几个小妙招

现在要分析语料数据，画词云图是常规操作。其中用Python的wordcloud库画词云，是最普遍的做法。但是用wordcloud默认的代码画出来的图很丑，比如像图1这样。

科技州与数据州·2023-10-03 16:11

gensim-语料库和向量空间

字符串到向量string=["Humanmachineinterfaceforlababccomputerapplications","Asurveyofuseropinionofcomputersystemresponsetime","TheEPSuserinterfacemanagementsystem","SystemandhumansystemengineeringtestingofEPS

python_run·2023-10-03 15:51

简单走近ChatGPT

基于神经网络的监督学习时期（三）PretrainthenFine-tune时期（四）PromptLearning时期三、预训练介绍（一）预训练方法最重要三要素Transformer架构预训练目标大规模语料

张彦峰ZYF·2023-10-03 01:36

pythonnltk情感分析器_Python 使用 NLTK 实现简单情感分析--Twitter（推特）分析

一、环境搭建1、安装第三方包nltkpipintallnltk==3.4.52、安装nltk_datanltk_data存放了很多语料数据，包括大量的数据集，本文中就是用到了其中的positive_tweets

weixin_39869593·2023-10-02 01:23

预训练语言模型（四）：ELMo模型

从WordEmbedding到BERTELMo也参考了这个：【NLP-13】ELMo模型（EmbeddingsfromLanguageModels）这里提出的一个新的问题是：Word2Vec通过大规模语料对每个单词训练出固定词向量

Dream_Poem·2023-10-01 21:31

LLM之Colossal-LLaMA-2：Colossal-LLaMA-2的简介、安装、使用方法之详细攻略

文章提到利用多种中文和英文数据集构建语料库，然后对语料进行预处理，将其转化为jsonl格

一个处女座的程序猿·2023-09-30 19:49

基于python的自然语言处理NLP详细教程（一）

写在前面——本文关于自然语言处理的内容：1.相关第三包的准备2.获取语料库及停用词信息3.分词4.词频统计5.去停用词6.基于TF-IDF理论、词袋模型等的文本向量化处理7.机器学习、情感分析8.简单可视化一

千家·2023-09-30 19:17

《学术小白学习之路12》进阶-基于Python实现中文文本的DTM主题动态模型构建

《学术小白学习之路》基于Python实现中文文本的DTM主题动态模型构建一、数据选择二、数据预处理三、输入数据ID映射词典构建四、文档加载成构造语料库五、DTM模型构建与结果分析六、结果进行保存七、保存模型一

驭风少年君·2023-09-29 17:20

《学术小白学习之路11》DTM主题动态模型原理与基础构建

结果的输出一、LDA与DTM的区别LDA主题模型主要针对一段段的文档可以得出每个主题，所对应主题词的词语的概率该模型的主题概率的生成是基于文档层面的而BTM是为分析短文本而生，该模型的生成是基于整个的语料库生成词语概率没有文档的层级

驭风少年君·2023-09-29 17:19

大语言模型之十三 LLama2中文推理

在《大语言模型之十二SentencePiece扩充LLama2中文词汇》一文中已经扩充好了中文词汇表，接下来就是使用整理的中文语料对模型进行预训练了。这里先跳过预训练环节。

shichaog·2023-09-29 16:52

编程作为inductive theory formation

那么就需要根据语料总结语法。Debug的本质是在一大堆变量中寻找一

coke_zero·2023-09-29 02:46

NLP 项目：维基百科文章爬虫和分类 - 语料库阅读器

在接下来的文章中，我将展示如何实现维基百科文章爬虫，如何将文章收集到语料库中，如何应用文本预处理、标记化、编码和矢量化，以及最后应用机器学习算法进行聚类和分类。本

无水先生·2023-09-28 11:47

基于TensorFlow实现Skip-Gram模型

理解Word2Vec之Skip-Gram模型Word2Vec是从大量文本语料中以无监督的方式学习语义知识的一种模型，它被大量地用在自然语言处理（NLP）中。

龙耀威·2023-09-27 08:03

FinBERT: 金融领域的预训练语言模型

今天介绍一个使用金融领域语料训练的BERT模型：FinBERT，出自IJCAI2020的论文"FinBERT:APre-trainedFinancialLanguageRepresentationModelforFinancialTextMin

农药兑水·2023-09-26 08:25

LDA算法并提取这份数据集中各个文档的主题

任务描述：现有一份“网易新闻语料”数据集，请尝试用Python或Java实现LDA算法并提取这份数据集中各个文档的主题，并显示出来（可参考下图的输出结果，可网上拷贝代码，但需对算法以及代码有一定的基本了解

wangxiaojie6688·2023-09-24 20:50

（含源码）问答对生成（QAG）| 你竟还在手工梳理问答对！？

这些客服机器人基本都是利用高质量、大量业务场景问答对（QA）作为语料进行训练得到的，但是梳理这些问答对将会耗费大量人力成本。能否做到QA问答对的自动生成呢？答案是肯定的。Pape

Shu灬下雨天·2023-09-24 05:18

NLP（二十四）利用ALBERT实现命名实体识别

data目录下为我们本次讲解所需要的数据，图中只有example开头的数据集，这是人民日报的标注语料，实体为人

山阴少年·2023-09-24 02:33

推荐频道

语料