词典

文本分类（2）——取特征词构建词典

001常见特征词提取tf-idfhttp://www.ruanyifeng.com/blog/2013/03/tf-idf.htmlchihttps://blog.csdn.net/hubin232/article/details/81272126【比较新】sklearn里面算的是每个文本的tdidf向量,max_features是对所有词得频率进行降序排序只取前max_features个词。加上
_年_·2023-01-01 13:01

【学习4】LSTM语料词典的生成

参考https://zhuanlan.zhihu.com/p/399181261、首先，必须有一个待处理的文本数据集json_dir=r'.\data'json_file='IUdata_trainval.json'vocab_dir=r'.\data'vocab_file='IUdata_vocab.pkl'json_path=os.path.join(json_dir,json_file)vo
iviyandyssg·2023-01-01 13:30

【英文文本分类实战】之四——词典提取与词向量提取

·请参考本系列目录：【英文文本分类实战】之一——实战项目总览·下载本实战项目资源：神经网络实现英文文本分类.zip（pytorch）[1]提取词典  在这一步，我们需要把训练集train.csv、验证集
征途黯然.·2023-01-01 13:58

关于nn.embedding的理解

None,max_norm=None,norm_type=2,scale_grad_by_freq=False,sparse=False)参数解释num_embeddings(python:int)–词典的大小尺寸
蚌埠先森·2023-01-01 09:05

pytorch nn.Embedding的用法和理解

padding_idx=None,max_norm=None,norm_type=2.0,scale_grad_by_freq=False,sparse=False,_weight=None)其为一个简单的存储固定大小的词典的嵌入向量的查找表
纸短情长的博客·2023-01-01 09:00

Torch.nn.embedding

Torch.nn.embedding相当于一个简单的存储固定大小的词典的嵌入向量的查找表，即，给定一个编号，嵌入层就能返回这个编号对应的嵌入向量，嵌入向量反映了各个编号代表的符号之间的语义关系。
行于交通的喵星侠·2023-01-01 09:27

C++使用map容器实现电子词典

/dict.txt",fstream::in);//实例化一个map容器:词典单词翻译mapdictMap;chars[100];s
谷谷呀～·2022-12-31 20:44

关键词的提取方法

关键词的提取方法主要分为以下四类(1)基于语义的方法在词典的帮助下，通过词法与句法分析进行自动分词、词性标注，使计算机能够理解多种信息片段、词汇间的语义关系，进而通过复杂计算来获得关键词。
风萧萧1999·2022-12-31 20:03

glove模型的简单使用

1.新建一简单的词典2.读取文件中内容np.save('resultFile/wordsList',np.array(list(embeddings_dict.keys())))np.save('resultFile
科研小达人·2022-12-31 15:24

火狐书签收藏夹1

加入进来关于我们书签工具栏添加到此文件夹的书签会被显示到书签工具栏中最常访问新手上路用户认证系统登录界面百度一下，你就知道微软Bing搜索-国内版微软Bing搜索是国际领先的搜索引擎，为中国用户提供网页、图片、视频、词典
y1019992884·2022-12-31 10:30

自然语言处理复习提纲

规则方法规则与程序分离,程序依据规则解释语言.词素英语形态还原汉语分词tokenization/segmentation最大匹配(正向/逆向/双向消歧.)最大最小匹配(发现歧义)全切分/最大可能切分词性标注规则方法(词典
MatrixCancer·2022-12-31 08:12

Android 集成科大讯飞语音并实现语音识别

前言：此博客内容有，集成讯飞语音sdk，实现了语音唤醒，在线语音识别，离线语音识别，更新本地离线语音词典集成讯飞语音SDK注册账号下载SDK百度搜索科大讯飞，打开网站，没有账号的根据操作步骤注册账号，注册完成之后
SpringflowerXu·2022-12-31 00:45

【NLP】在机器学习中开发情感分析器的5种方法

开发或训练情绪分析模型有多种方法，本文中我们将讨论5种不同的方法：定制训练监督模型TextBlob基于词典的模型Bert基于命名实体的情感分析器情绪分析被各种组
风度78·2022-12-30 22:56

【语音识别】基于GMM-HMM的语音识别系统

核心：训练和解码目录：基于孤立词的GMM-HMM语音识别系统a.训练（前向后向训练/Viterbi训练）b.解码基于单音素的GMM-HMM语音识别系统a.音素/词典b.训练c.解码基于三
Algorismus·2022-12-30 15:24

MoCo：Momentum Contrast for Unsupervised Visual Representation Learning 论文笔记

MomentumContrastforUnsupervisedVisualRepresentationLearning论文笔记 1ABSTRACT理论贡献：提出用于无监督视觉表示学习的动量对比度（MoCo），从作为字典查找的对比学习的角度来看，构建了带有队列和移动平均编码器的动态字典，可以动态地构建大型且一致的词典
New WR·2022-12-30 10:33

基于深度学习的恶意代码分类（三）

Word2VecWord2Vec是一个用来计算词向量的框架，可以在百万数量级的词典和上亿的数据集上进行训练，得到词的连续分布向量表示，依据上下文实现对单词的预测。作为一个浅层的神经网络。
秃头选拔赛形象大使·2022-12-30 07:54

【tf-idf】文本转词向量后，词典中单词数量变少

在使用sklearn包中的CountVectorizer来统计文本中的词频时，发现一个很隐蔽的问题，由于文本中有不少单个字的词语，在使用CountVectorizer来进行统计时，发现结果出来的词表单词数量变少了，导致后续计算相似度出现很大问题。原因：CountVectorizer在进行词频统计时，会默认把长度为1的词作为停用词给停掉，导致漏掉很多关键词，纠其原因，是CountVectorizer
'Humz·2022-12-30 01:04

【PaddleNLP学习】PaddleNLP笔记

PaddleNLP笔记一、信息抽取UIE(UniversalInformationExtraction)实体抽取关系抽取事件抽取评论观点抽取情感分类跨任务抽取二、中文分词文档级输入快速模式分词精确模式分词自定义用户词典三
Koma_zhe·2022-12-30 01:01

【英文文本分类实战】之三——数据清洗

·请参考本系列目录：【英文文本分类实战】之一——实战项目总览·下载本实战项目资源：神经网络实现英文文本分类.zip（pytorch）[1]为什么要清洗文本  这里涉及到文本分类任务中：词典、词向量两个概念
征途黯然.·2022-12-29 20:56

transformer在翻译时的实际做法

self-attention，self-attention可参考：图解transformer李宏毅老师的transform一、机器翻译对于机器翻译而言，分为源语言与目的语言（如英文与中文)对源语言建立词典
ssx_go·2022-12-29 15:18

NER实战（数据处理+模型分析（词典匹配，统计ML，DL）+评价标准+模型融合）

0、NER简介多特征：实体识别不是一个特别复杂的任务，不需要太深入的模型，那么就是加特征，特征越多效果越好，所以字特征、词特征、词性特征、句法特征、KG表征等等的就一个个加吧，甚至有些中文NER任务里还加入了拼音特征、笔画特征。。？心有多大，特征就有多多多任务：很多时候做NER的目的并不仅是为了NER，而是服务于一个更大的目标或系统，比如信息抽取、问答系统等等。如果把整个大任务做一个端到端的模型，
DecafTea·2022-12-29 14:36

go语言LeetCode题解720词典中最长的单词

目录一描述二分析三答案四总结一描述720.词典中最长的单词-力扣（LeetCode）(leetcode-cn.com)给出一个字符串数组words组成的一本英语词典。
·2022-12-29 06:47

自己动手实现神经网络分词模型

在尝试使用神经网络来分词之前，我使用过jieba分词，以下是一些感受：分词速度快词典直接影响分词效果，对于特定领域的文本
粥老师·2022-12-28 14:08

【AI案例】（一）NPL文本情感分析

文章目录一、NLP文本情感分析概述二、文本情感分析难点三、具体方法与实现步骤1、情感词典2、高纬向量模型1》概述2》具体步骤如下：1）jieba分词2）Word2Vec介绍（核心：浅层神经网络相关）3）
你别说了多动脑子·2022-12-28 01:04

当下流行的中文分词模块jieba

当前流行的中文分词模块包括Jieba分词：Jieba是用Python实现的开源中文分词库，支持三种分词模式：精确模式、全模式和搜索引擎模式，并且支持自定义词典。
Mr数据杨·2022-12-27 22:51

自然语言处理：有关单词含义理解、word2vec单词分布式表示的总结

目录一、单词含义理解方法：二、分布式假设（相关概念）：三、word2vec一、单词含义理解方法：1基于同义词词典:单词含义相近的归为同一类，最著名的有WordNet2基于计数的方法:使用corpus语料库
菜鸟爱学习@chong·2022-12-27 21:22

python 关键字 yield 用法

python关键字yield用法yield的基本用法yield词典里有两个解释：产出和让步1.produceorprovide(anatural,agricultural,orindustrialproduct
解NEW·2022-12-27 20:30

英文句子改写在线软件_美赛开赛！翻译软件 解题思路都在这

看英文文献需要翻译成中文、写论文需要翻译成英文，一旦摘要中出现几处明显的拼写和语法错误，那基本上就凉凉了~为了帮大家克服这个困难，小编给大家提供三个神器：论文翻译神器、语法检查神器和一个科研人员常用的在线英语词典翻译软件
weixin_39593961·2022-12-27 09:14

ORB_SLAM2逐行解析(2)

System.cc//系统的构造函数，将会启动其他的线程System::System(conststring&strVocFile,//词典文件路径conststring&strSettingsFile
qq_44601476·2022-12-27 07:47

计算机辅助翻译与人工智能,2018年机器翻译行业概述与现状，人工智能让人人实现国际化交流...

一、机器翻译行业概述机器翻译，又称为自动翻译，指计算机程序将一种书写形式或声音形式的自然语言翻译成另一种书写形式或声音形式的自然语言，形式包括机器翻译形式包括词典翻译、计算机辅助翻译和文本或语音的句子以及段落翻译
ftggggc·2022-12-26 13:48

NLP_拼写纠错

jiajikang_jjk/article/details/83716939在这里先放源码，有需求者可以自己访问：https://github.com/aftcool/NLP一、整体概括->本项目采用的是英文词典库
王帅博·2022-12-26 10:05

中文分词基础原则及正向最大匹配法、逆向最大匹配法、双向最大匹配法的分析（转载）...

要求分词结果的颗粒度越大，即单词的字数越多，所能表示的含义越确切，如：“公安局长”可以分为“公安局长”、“公安局长”、“公安局长”都算对，但是要用于语义分析，则“公安局长”的分词结果最好（当然前提是所使用的词典中
sungang1120·2022-12-26 10:33

NLP-拼写纠错（spell correction）实战

NLP-拼写纠错1.词典库2.生成错误单词的候选集合-编辑距离3.读取语料库4.构建语言模型-Bigram5.用户输入该错误单词的概率6.测试文本拼写纠错7.结果1.词典库读取本地文件的词典库，存入集合
呆小呆_·2022-12-26 10:02

拼写纠错

importnumpyasnp#词典库vocab=set([line.rstrip()forlineinopen('.
qq_42819269·2022-12-26 10:02

NLP项目（二）——拼写纠错

testdata.txt二、拼写纠错代码Part0：构建词库Part1：生成所有的候选集合Part2：读取语料库，为构建语言模型准备Part3：构建语言模型，BigramPart4：构建每个单词的错误单词输入概率的词典
ㄣ知冷煖★·2022-12-26 10:00

方面级情感分析（一）

传统方面级情感分析：在ABSA任务上,早期的工作主要基于人工特征工程,通过人工设计、特征选择,如情感词典、依赖信息等,再利用最大熵、支持向量机等传
incrediblel·2022-12-25 08:32

NLP-NMT-Transformer图解及论文笔记：Attention Is All You Need

从早期的词典匹配，到词典结合语言学专家知识的规则翻译，再到基于语料库的统计机器翻译，随着计算机运算能力的提升和多语言信息资源的爆发式增长，机器翻译技术逐渐走出象牙塔，开始为普通用户提供实时便捷的翻译服务
饮冰l·2022-12-25 08:59

面向社会媒体的文本情感分析

文本特征采用：Bagofngramswords+TFIDFBagofngramscharacters+TFIDF1.2基于深度学习方法的句子情感分类发展：RNN（2013）TextCNN（2014）基于情感词典
潜心修行的研究者·2022-12-25 08:26

中文分词工具jieba使用-高频热词提取

首先基于前缀词典进行词图扫描，前缀词典是指词典中的词按照前缀包含的顺序排列，例如词典中出现了“上”，之后以“上”开头的词都会出现在这一部分，
左岸Jason·2022-12-24 20:51

Chapter 3.2 词向量和语言模型（二）

我喜欢机器学习我喜欢NLP我学习NLP课程counts我喜欢机器学习NLP学习课程我020010喜欢201100机器学习010000NLP010011学习100100课程000100存在问题：词向量维度会随着词典大小增长而线性增长
Yif18·2022-12-24 20:20

Chapter 2.2 高频词和关键词提取（二）续

知识点2.2.5基于sklearn的TF-IDF关键词提取基于sklearn的TF-IDF关键词提取的特点：能够使用jieba库分词能够使用自定义词典（新词、停用词）适用于多文本关键词提取（而非单文本）
Yif18·2022-12-24 20:50

【NLP】word2vec负采样

权重矩阵W1（N*D）→2.根据输入单词直接挑出W1矩阵中对应的行向量→3.相加并求平均得一个向量（1*D）→4.和W2矩阵（D*N）相乘得最终预测置信度（1*N）→5.经过softmax得概率（注：N为词典大小
取经小尼姑·2022-12-24 18:50

将字典列表转换为Pandas DataFrame

本文翻译自：ConvertlistofdictionariestoapandasDataFrameIhavealistofdictionarieslikethis:我有这样的词典列表：[{'points
w36680130·2022-12-24 17:55

C语言英文背单词软件,C语言背单词程序

炭英语;};整数点=0;//统计分数诠释COUNT1=0;//添加一些测试无效田家(字的海峡[100]，诠释计数);//函数声明的词汇短语无效叔初(字海峡结构[100]，诠释计数)//函数声明，所有的输出词典中的短语无效
柳溪笙·2022-12-24 10:17

python中文分词：结巴分词

2，支持繁体分词3，支持自定义词典安装1，Pyt
tianbwin2995·2022-12-24 07:00

elastic stack 那些事【2】

倒排索引与正排索引正排索引类似书的目录由书的章节指向章节关键词es中文档id对应的单词倒排索引类似书的索引由内容的关键词指向页数es单词对应文档id倒排索引的使用通过倒排索引获取关键词的文档id通过正排索引查出对应id文档返回文档内容倒排索引由单词词典和倒排列表组成单词词典
·2022-12-23 20:37

8 个令人惊叹的 Python 字典处理技巧

文章目录1.使用联合运算符合并字典2.带星号的字典解包3.使用字典推导式来创建词典4.反转字典的键和值技术提升5.将列表转换为字典6.字典排序7.使用默认字典8.使用计数器结论
Python数据挖掘·2022-12-23 19:49

【NLP】jieba分词

文章目录1.jieba简介2.主要方法2.1切分方法2.2向切分依据的字典中添加、删除词语2.3添加用户自定义词典2.4使用停用词2.5统计切分结果中的词频3.文章关键词提取3.1extract_tags
WarmOrange丨·2022-12-22 15:22

从jieba分词到BERT-wwm——中文自然语言处理（NLP）基础分享系列（7）

就像是把文档里的词汇，放入到以词典作为标签的袋子里。我们可以看到，基于词袋模型的文档表示方法，虽然考虑了词的重要程度，但它只是根据词的统计特性表示一个文档，而没有考虑到词在文中的次序。
moronism189·2022-12-22 13:11

理论：NLP学习路径（三）：NLP中文分词技术

（用得较多）2、规则分词主要是通过维护词典，在切分语句时，将语句的每个字符串与词表中的词进行逐一匹配，找到则切分，否则不予切分。主要方法有：正向最大匹配法；逆向最大匹配法；双向最大匹配法。（1）正向
zmjames2000·2022-12-22 06:03
上一页 44 45 46 47 48 49 50 51 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他