语料库

TF-IDF算法介绍和基于Python的实现

TF是词频(TermFrequency)，IDF是逆文本频率(InverseDocumentFrequency)  TF-IDF是一种统计方法，用以评估一字词对于一个语料库中的其中一份文件的重要程度。
weiambt·2023-09-13 12:55

听说最近ChatGPT很火？我来整个废话版ChatGPT！

文章目录需求分析项目初始化读取语料库文件实现随机模块生成文章保存文章命令行配置参数命令行交互废话版ChatGPT网页版废话版ChatGPT的功能是能根据语料库的配置和用户输入的规则，随机生成一篇可长可短的文本
萌萌哒の瑞萌萌·2023-09-13 07:14

开放域问答论文-Generator-Retriever-Generator: A Novel Approach to Open-domain Question Answering

4.1数据集4.2文件编号的选择4.3实验设置5结果5.1开放域QA结果消融6结论论文链接：https://arxiv.org/pdf/2307.11278.pdf摘要开放域问答（QA）任务通常需要从大型语料库中检索相关信息以生成准确的答案
无脑敲代码，bug漫天飞·2023-09-12 07:23

tokenizer.texts_to_sequences()

#如果不为不在语料库中的单词创建一个单独的标志，例如"",则可能出现下述情况当seed_text为"Iwenttodublin"时，长度为4；当seed_text为"Lawrencewenttodublin
唐生一·2023-09-10 19:27

自然语言处理NLP：一文了解NLP自然语言处理技术，NLP在生活中的应用，图导加深了解，NLP语料库，NLP开源工具

目录1.自然语言处理NLP1.1NLP中英对照（双份）1.2相关文章2.NLP语料库2.1NLP语料库列举2.2相关文章3.NLP开源工具3.1NLP开源工具列举3.2相关文章4.自然语言文本分类模型代码
Solitary_孤影照惊鸿·2023-09-10 00:04

MathGPT是什么，MathGPT与ChatGPT的区别是什么，MathGPT十大应用场景

与ChatGPT相比，MathGPT主要关注数学领域而非通用性的自然语言理解，因此其训练语料库和预测任务都与数学有关，同时还加入了数学专有的结构和语法规则，以更好地服从数学领域的特点。
『六道』·2023-09-09 22:58

NLP：中科院NLP语料库

中科院NLP语料库是由中国科学院自然语言处理与社会人文计算实验室（CASIA-NLP）研发的中文大规模自然语言处理语料库。该语料库包含了多种不同类型的文本数据，如新闻、论坛、微博、百科、小说等。
Solitary_孤影照惊鸿·2023-09-07 05:06

【ERNIE: Enhanced Language Representation with Informative Entities】

大规模文本语料库和KG来训练增强语言模型ERNIE（充分利用词汇&语法&知识信息）introduction里面前两段说了现有的预训练语言模型好，但没考虑知识，而考虑知识很关键。所以就提出了ERNIE。
唯师默蓝·2023-09-07 03:58

【小沐学NLP】Python使用NLTK库的入门教程

文章目录1、简介2、安装2.1安装nltk库2.2安装nltk语料库3、测试3.1分句分词3.2停用词过滤3.3词干提取3.4词形/词干还原3.5同义词与反义词3.6语义相关性3.7词性标注3.8命名实体识别
爱看书的小沐·2023-09-04 18:15

NLP：生成熟悉NLP开源工具，如NLTK、 HanLP等，并搜寻、下载和熟悉PKU、 CoreNLP, LTP MSR, AS CITYI 等语料库。

它提供了大量已经预处理好的文本数据和语料库，以及一些常用的文本处理算法和NLP工具。例如，NLTK提供了分词、词性标注、命名实体识别、情感分析等功能。
Solitary_孤影照惊鸿·2023-09-03 21:24

ChatGPT和文心一言的优缺点比较

大规模训练：ChatGPT基于大规模语料库进行训练，并且采用了自监督学
BigData_001_Lz·2023-09-02 17:44

雅思备考复习不到一个月首考7.5建议

所以也是有蛮大原因是基础还不错啦）这些是我当时参考的一些复习资料，有需要的就各取所需吧~视频推荐：l听力何琼技巧班l阅读冯涛高分班/刘洪波看视频直接切入真题，做剑桥雅思官方真题，看真题解析分析总结经验：l王陆真题语料库听写单词
一口白·2023-09-02 00:04

大学生毕业设计论文题目大全_kaic

信达雅视角下国内护肤品产品信息的翻译策略研究听说法应用于宁江中学英语听力教学的行动研究目的论视角下亚马逊家居类产品页面翻译策略研究基于单片机的42步进电机闭环控制系统设计疫情防控下广州市从化区沙贝小学开展线上教学策略的研究功能对等视角下的雅诗兰黛广告翻译策略研究基于语料库的广东理工学院大三英语专业四级考试听力理解内容分析任务型教学法在英语教学中的积极作用
开心工作室_kaic·2023-09-01 04:56

ChatGPT是否可以进行情感交流？

由于ChatGPT是在巨大的互联网文本语料库上进行训练的，它可以为用户提供有关情感的信
心似浮云️·2023-09-01 02:30

英语假期开始

五天的语料库循环后进入精听，这个到时候还是要再找一些课来看看，又要费一番功夫，唉。说：我确实上了一阵子口语课，面对外国人也没啥紧张。但是确实也不意味着我对着一个问题侃侃而谈。
稚笔_·2023-08-31 18:25

ChatGPT进阶——如何辅助设计E-R图、流程图和时序图等

OpenAI新推出的一种人工智能技术驱动的自然语言处理工具，使用了Transformer神经网络架构，也是GPT-3.5架构，这是一种用于处理序列数据的模型，拥有语言理解和文本生成能力，尤其是它会通过连接大量的语料库来训练模型
山科智能信息处理实验室·2023-08-31 05:59

自然语言处理(六)：词的相似性和类比任务

实际上，在大型语料库上预先训练的词向量可以应用于下游的自然语言处理任务，为了直观地演示大型语料库中预训练词向量的语义，让我们将预训练词向量应用到词的相似性和类比任务中。
青云遮夜雨·2023-08-31 03:19

In-Context Retrieval-Augmented Language Models

相关工作3我们的框架4实验细节5具有现成检索器的上下文RALM的有效性6用面向LM的重新排序改进上下文RALM7用于开放域问答的上下文RALM8讨论摘要检索增强语言建模（RALM）方法在生成过程中对基础语料库中的相关文档设置语言模型
UnknownBody·2023-08-30 20:53

Transformer系列模型笔记

输入层包括上下出现单词的向量化表示；投影层是把输入层的向量累加求和后做映射；输出层(计算语料库中所有单词的概率，计算量大！)
抓个马尾女孩·2023-08-29 14:46

【整合一切08/8】：用变压器实现语言翻译

二、嵌入层嵌入层为语料库中的每个标记提供相应的矢量表示形式。这是每个序列必须通过的
无水先生·2023-08-29 14:46

7、Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding

简介主页：https://imagen.research.google/文本提示图片生成已经有很多工作了，如DALLE系列、stablediffusion论文经过实验发现：在纯文本语料库上预训练的通用大型语言模型
C--G·2023-08-29 14:21

Elasticsearch实战（二）：Springboot实现Elasticsearch自动汉字、拼音补全，Springboot实现自动拼写纠错

文章目录系列文章索引一、安装ik拼音分词器插件1、下载地址2、下载安装3、属性大全二、自定义语料库1、新增索引映射2、批量新增文档3、查询结果三、产品搜索与汉字、拼音自动补全1、概念2、java实现汉字自动补全
秃了也弱了。·2023-08-28 11:13

自然语言处理NLTK（一）：NLTK和语料库

对于文本的研究，对于语言主要是中文，英文的研究反而会少了很多，主要还是因为应用的问题，而现在对于海外的产品来说，英文的语言处理，会越来越显得重要，其实对英文语言处理资料会比中文的来得多，来得全，很多中文研究的方法是借鉴了英文处理的思想。NLTK是python中研究自然语言的非常优秀的第三方库，里面集中了非常多的自然语言处理方式的算法，不需要自己去编写算法，可以让我们更多的去关系应用本身。NLTK的
go2coding·2023-08-27 11:52

【NLP的python库(01/4) 】： NLTK

它还具有一组丰富的附加功能，例如内置语料库，NLP任务的不同模型以及与SciKitLearn和其他Python库的集成。本文是对NLTK的简要介绍。
无水先生·2023-08-27 11:51

BERT 模型微调实战：使用Transformers微调BERT模型实现问答和文本分类任务

BERT模型的核心是Transformer编码器，它可以在大规模语料库上进行无监督预训练，然后通过微调在各种NLP任务上进行微调。
技术狂潮AI·2023-08-27 08:24

基于LDA模型的主题分析

先看下数据：1、建立词典、语料库fromgensimimportcorpora,models#主题挖掘，提取关键信息#建立词典，去重pos_dict=corpora.Dictionary([[i]foriinword_data_pos.word
桂花很香,旭很美·2023-08-26 14:53

【seaweedfs】3、f4: Facebook’s Warm BLOB Storage System 分布式对象存储的冷热数据

论文地址Facebook的照片、视频和其他需要可靠存储和快速访问的二进制大型对象(BLOB)的语料库非常庞大，而且还在继续增长。
呆呆的猫·2023-08-25 05:56

ChatGPT 教程--生成代码

chatGPT的核心技术是基于GPT（GenerativePre-trainedTransformer）模型，它是一种预训练语言模型，可以通过大规模的语料库进行训练，从而学习到语言的
炭烤毛蛋·2023-08-23 04:50

Adapting Language Models to Compress Contexts

使语言模型适应上下文压缩摘要1引言2相关工作3方法4实验5上下文学习6压缩检索语料库实现高效推理7结论不足摘要1引言2相关工作3方法4实验5上下文学习6压缩检索语料库实现高效推理7结论我们引入了一种训练策略
UnknownBody·2023-08-22 08:31

工作场景下英语学习：方法与路径 （课堂笔记）

现任上海交通大学外国语学院院长，上海交通大学中国形象研究中心主任，兼任第三届全国翻译专业学位研究生教育指导委员会委员、中国翻译协会翻译理论与翻译教学委员会副主任、全国语料库与跨文化研究论坛理事长、中国认知神经语言学研究会副会长等社会职务
ali子迁·2023-08-22 03:08

Python如何把英文句子切分成单词列表

在语料库语言学中，为了得到词表，有时需要把英文切分成列表。这时就需要对字符串中的标点进行处理。本人经过探索发现了几种不错的方法，供大家参考使用。
PythonFun·2023-08-17 11:00

genism word2vec方法

文章目录概述使用示例模型的保存与使用训练参数详解（[原链接](https://blog.csdn.net/weixin_44852067/article/details/130221655)）语料库训练概述
琼06·2023-08-17 10:34

大语言模型LLM的一些点

LLM发展史GPT模型是一种自然语言处理模型，使用Transformer来预测下一个单词的概率分布，通过训练在大型文本语料库上学习到的语言模式来生成自然语言文本。
远洋号·2023-08-16 14:29

大语言模型LLM的一些点

LLM发展史GPT模型是一种自然语言处理模型，使用Transformer来预测下一个单词的概率分布，通过训练在大型文本语料库上学习到的语言模式来生成自然语言文本。
超人汪小建(seaboat)·2023-08-16 00:14

主题模型分析-【LDA】

主题模型能够自动将文本语料库编码为一组具有实质性意义的类别。这些类别称为主题。主题模型分析的典型代表就是本篇文章将要介绍的隐含迪利克雷分布，也就是LDA。
释怀°Believe·2023-08-14 14:12

Python自然语言处理：NLTK入门指南

中的应用3.为什么选择使用Python进行NLP二、NLTK介绍1.NLTK是什么2.NLTK的历史和现状3.NLTK的安装和配置4.NLTK的基本功能分词：词性标注：去除停用词：词干提取：词形归一化：三、语料库和数据预处理
格林希尔·2023-08-14 13:10

ERNIE

利用大规模的文本语料库以及KG图，训练得到一个增强的语言表示模型。
吹洞箫饮酒杏花下·2023-08-12 15:47

分布式环境下的莎士比亚数据集处理

项目要求对莎士比亚语料库处理，输出统计数据：语料库中唯一（或不同）术语的数量语料库中以字母T/t开头的单词数出现少于5次的术语数量整体读取的文件数最常出现的5个术语及其词频实现思路统计唯一词汇数量利用mapper
回炉重造P·2023-08-12 09:08

雅思讲座笔记

背单词复习比背新词更重要理解记忆更深刻与自己的切身利益相关音=意>形定时记忆（有别于定量记忆）逻辑记忆听力把需要反映才能出来的单词，精听跟读50遍，重点放在王陆语料库，大约到90%的程度即可。
Allen的光影天地·2023-08-12 08:33

Co-Occurrence Matrix——共现矩阵原理介绍

文章目录共现和上下文窗口共现矩阵的生成共现矩阵存在的问题及解决方法主成分分析PCA奇异值分解SVD共现和上下文窗口共现（Co-occurrence）——对于给定的语料库，一对单词（如w1和w2）的共现是指它们在上
Cachel wood·2023-08-11 20:43

BERT与知识图谱的结合——ERNIE模型浅析

在nlp领域中，自然语言表征模型由于可以让机器更好地理解人类语言，因此越来越受到人们的关注，其中具有代表性的就是BERT模型，它通过在大量的语料库上进行预训练的方式来实现对于文本语义的理解。
Necther·2023-08-11 13:42

文本分析-使用jieba库实现TF-IDF算法提取关键词

TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一
艾派森·2023-08-11 04:19

【基于众包标注的语文教材句子难易度评估研究 论文精读】

基于众包标注的语文教材句子难易度评估研究论文精读信息摘要0引言1相关研究2众包标注方法3语料库构建3.1数据收集3.1基于五点量表的专家标注3.3基于成对比较的众包标注4特征及模型4.1特征抽取4.2模型与实验设计
小白*进阶ing·2023-08-10 22:14

BPF分词算法

构建词典：根据语料库或人工标注的分词结果，构建一个词典，包含一些常见的词以及它们的频率信息。分词：对于给定的文本，从头开始遍历每
diannao720·2023-08-09 06:59

【深度学习】BioBERT文章翻译及个人感悟

但是，由于单词分布从一般领域的语料库转移到生物医学的语料库，直接将NLP的进步应用到生物医学的文本挖掘中通
黑符石·2023-08-08 19:39

Bert详细学习及代码实现详解

在大型语料库（Wikipedia+BookCorpus）上训练一个大型模型（12层到24层Transformer）很长时间（1M更新步骤），这就是BERT。模型的主要创新点都在pre
银晗·2023-08-08 12:26

机器阅读理解之开山鼻祖Teaching Machines to Read and Comprehend

构建了CNN和DailyMail语料库：实体类，答案在原文中。不适用与训练答案推理型的问题。模型架构用两层的LSTM去编码原文和问题AttentiveReader左边对应的
smallBrilliant·2023-08-08 11:13

Llama 2：开放基础和微调聊天模型

自回归变压器在广泛的自监督数据语料库上进行预训练，然后通过强化学习(ReinforcementLearningwithhuma
TD程序员·2023-08-08 10:02

WWW 2017|知识库支持下的归类实体与关系联合抽取

实体以及它们之间关系的抽取对于理解海量文本语料库来说是非常重要的。传统的实体关系抽取系统都依赖于人工标注的训练语料并采用了增量式的处理管道。
LC震荡电路·2023-08-07 14:21

Kaggle关于IMDB情感分类

步骤整合train和test（就是说所有语料库）生成词袋或词向量模型。也可以下载已有的word2vec或是glove词向量模型。生成的词向量模型就是将每一个词向量化，方便后面的计算。
我的昵称违规了·2023-08-07 13:08
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他