gram

【nlp】1文本预处理总括目录（附各章节链接）

编码2.2.2Word2vec2.2.3WordEmbedding2.3文本语料的数据分析2.3.1标签数量分布2.3.2句子长度分布2.3.3词频统计与关键词词云2.4文本特征处理2.4.1添加n-gram
lys_828·2023-11-13 17:56

01_文本向量表示(one-hot,TF-IDF,Embedding)学习总结(不对的地方欢迎留言指正)

文本表示分为离散表示和分布式表示，离散表示代表有词袋模型，One-hot向量，TF-IDF，n-gram这些都可以看作词袋子模型，分布式表示也叫做词嵌入，经典的模型有word2vec，包括后来的ELMO
竹林风w·2023-11-13 03:52

#最全面# NLP获取词向量的方法（Glove、n-gram、word2vec、fastText、ELMo 对比分析）

文章目录1Glove-基于统计方法1.1实现步骤1.2优点1.3存在的问题2基于语言模型的方法2.1基于n-gram的语言模型2.2基于神经网络的语言模型2.2.1word2vec2.2.2fastText2.2.3ELMo1
energy_百分百·2023-11-13 03:18

用更简单的语言来解释Word2Vec

Word2Vec有两种主要方法：Skip-Gram和CBOW。Skip-Gram：这个方法的目标是用
chunmiao3032·2023-11-13 03:18

ngram模型 java_自然语言处理中的N-Gram模型详解

N-Gram(有时也称为N元模型)是自然语言处理中一个非常重要的概念，通常在NLP中，人们基于一定的语料库，可以利用N-Gram来预计或者评估一个句子是否合理。
Stark Einstein·2023-11-12 22:04

【NLP】N-gram模型及其平滑优化

从chain-rule说起▶语言模型计算词序列出现的概率p(W)=p(w1,w2,w3...wn)p(W)=p(w_1,w_2,w_3...w_n)p(W)=p(w1,w2,w3...wn)给定一个词序列，下一个词出现的概率p(w5｜w4，w3，w2，w1)p(w_5｜w_4，w_3，w_2，w_1)p(w5｜w4，w3，w2，w1)p(W)p(W)p(W)或p(wn∣w1,w2,...,wn−1
samarua·2023-11-12 21:59

自然语言处理——N-gram模型

NLP相关知识理解整理文章目录一、N-gram模型简介二、N-gram模型的问题与思考1.数据稀疏2.思考总结一、N-gram模型简介N-gram模型属于概率语言模型，其要解决的问题其实很简单，那就是从是否符合自然语言的角度评估一个句子的质量
Vii ging·2023-11-12 21:28

n-gram语言模型——句子概率分布计算与平滑

n-gram语言模型——句子概率分布计算与平滑前言语言模型等价假设n元语法句子概率分布计算方式数据平滑Lidstone平滑(1-gram)Laplace平滑(1-gram)附上两种平滑在1-gram下代码
征途黯然.·2023-11-12 21:55

NLP_task4文本表示_CBOW和Skip-gram模型

Word2Vec模型中，主要有Skip-Gram和CBOW两种模型，从直观上理解，Skip-Gram是给定inputword来预测上下文。而CBOW是给定上下文，来预测inputword。
沐漜·2023-11-11 19:20

word2vec常见考点

1、对比Skip-gram和CBOW哪个速度更快(1)训练速度上CBOW应该会更快一点。因为每次会更新context(w)的词向量，而Skip-gram只更新核心词的词向量。
frostjsy·2023-11-11 19:17

文本处理——Word2Vec之 Skip-Gram 模型（三）

原文英文文档请参考链接：-Word2VecTutorial-TheSkip-GramModel-Word2Vec(Part1):NLPWithDeepLearningwithTensorflow(Skip-gram
修炼打怪的小乌龟·2023-11-11 19:16

[深度学习] Word2vec 之 Skip-Gram 模型（训练篇）

这是一个关于Skip-Gram模型的系列教程，依次分为结构、训练和实现三个部分，本文为第二部分：训练篇。第一部分我们了解skip-gram的输入层、隐层、输出层。
1.02^365的成长裂变·2023-11-11 19:16

ZEN-基于N-gram的中文Encoder(从论文到源码)

但是中文的最小单位并不是字，中文的语义和N-gram有很大的关系。
lynne233·2023-11-11 18:12

n-gram语言模型——文本生成源码

n-gram语言模型——文本生成源码n-gram模型的基本原理文本生成的步骤1.准备和分词2.构建n-gram模型3.平滑技术的应用4.生成文本源码  在自然语言处理的领域中，n-gram语言模型是一种基础而强大的工具
征途黯然.·2023-11-11 18:35

主题模型LDA教程：n-gram N元模型和nltk应用

文章目录N-Gram模型原理概率估计nltk使用n-gramN-Gram模型N-Gram（N元模型）是自然语言处理中一个非常重要的概念。N-gram模型也是一种语言模型，是一种生成式模型。
Cachel wood·2023-11-11 15:16

STM32驱动SPI LCD屏幕

该芯片最主核心部分是位于中间的GRAM(GraphicsRAM)，它就是显存。GRAM中每个存储单元都对应着液晶面板的一个像素点。
m0_6509318·2023-11-10 14:28

树莓派4B安装Pytorch, torchvision（附已编译安装包）

torchvisionInstallPytorchRaspberryPi4BLinuxraspberrypi4.19.75-v7l+#1270SMPTueSep2418:51:41BST2019armv7lGNU/Linux2GRAM16GDISK
Tiiktak·2023-11-10 07:53

大语言模型(LLM)综述(七)：大语言模型设计应用与未来方向

结果与分析9APPLICATIONS10CONCLUSIONANDFUTUREDIRECTIONS前言随着人工智能和机器学习领域的迅速发展，语言模型已经从简单的词袋模型（Bag-of-Words）和N-gram
青云遮夜雨·2023-11-09 14:08

高性能网络编程(三)：下一个10年，是时候考虑C10M并发问题了

截至目前，40gpbs、32-cores、256GRAM的X86服务器在Newegg网站上的报价是几千美元。实际上以这样的硬件配置来看，它
小油菜j·2023-11-09 06:52

NLP任务常见评价指标

首先根据n-gram划分一个短语包含单词的数
NLP_victor·2023-11-07 06:04

深度学习-Embedding(词嵌入)

文本向量化是指将原始文本转化为数值张量的过程，有多种实现方式：1.将文本分割为单词，并将每个单词转化为一个向量2.将文本分割为字符，并将每个字符转化为一个向量3.提取单词或字符的n-gram(多个连续的单词或字符
夏都美少年·2023-11-05 06:26

惠普T610 安装黑群晖及其配置

环境准备：惠普T610(6GRAM16Gsata固态1T2.5寸机械硬盘)鼠标键盘工具软件：度盘链接(自行拼接):1ahQQVfZXXWgoV_92-AWs7A提取码:xtaa本文将会介绍使用16Gsata
qq_32126881·2023-11-04 14:30

深度学习【NLP介绍、文本情感分类案例】

`N-gram`表示方法3.向量化3.1one-hot编码3.2wordembedding3.3wordembeddingAPI3.4数据的形状变化二文本情感分类1.案例介绍2.思路分析3.准备数据集3.1
OneTenTwo76·2023-11-03 07:02

ThinkPad S1 2017 Hackintosh记录+教程+完整EFI分享

朋友购买了ThinkPadS12017版本，配置为i5-7200U+hd620+8gram+256gintelssd(NVME)+1080P屏幕。
bugprogrammer·2023-11-03 07:19

基于sentencepiece工具和unicode编码两种编码分词的word2vec（CBOW，Skip-gram）词向量训练，并结合TextCNN模型，替换初始词向量进行文本分类任务

基于sentencepiece工具和unicode编码两种编码分词的word2vec（CBOW，Skip-gram）词向量训练，并结合TextCNN模型，替换初始词向量进行文本分类任务博主这次做的实验很难
Mr Gao·2023-11-02 22:25

学习笔记-简单概念记录

语言模型：衡量一句话是句子的概率假设有句子,根据语言模型计算s的概率为通常还使用n-gram语言模型计算句子概率1-gram语言模型(uni-grammodel):2-gram语言模型(bi-grammodel
Pluto_wl·2023-11-01 07:54

【笔记3-6】CS224N课程笔记 - RNN和语言模型

CS224N（六）RecurrentNeuralNetworksandLanguageModels语言模型语言模型介绍n-gram基于窗口的神经语言模型RNNRNNLossandPerplexityRNN
jessie_weiqing·2023-10-31 23:47

【手撕算法】【NLP】【Embedding】word2vec原理，代码实现

3.3.逐步解释word2vec之CBOW模型3.4.逐步解释word2vec之Skip-gram模型4.代码实现5.总结6.参考资料1.前言⭐️开箱即食，直接复制，懒人传送门：代码实现⭐️本文主要从原理
拾夕er·2023-10-29 14:21

word2vec及其优化

1.算法背景：（1）N-gram：n-1阶的Markov模型，认为一个词出现的概率只与前面n-1个词相关；统计预料中各种词串（实际应用中最多采用n=3的词串长度）的出现次数，并做平滑处理（应对count
码一码码码·2023-10-29 09:03

Word2vec原理+常见优化手段

code.google.com/archive/p/word2vec/论文地址：https://arxiv.org/pdf/1301.3781.pdf我觉得原理讲的比较好的：word2vec原理(一)CBOW与Skip-Gram
薇酱·2023-10-29 09:59

第二讲 三维空间的刚体运动课后题

答案：在了解分解之前，先了解一下Gram-Schmidt正交化：存在可逆矩阵的列向
8416ac9040d9·2023-10-29 01:25

灵魂20问帮你彻底搞定词向量

7.Word2vec的负采样8.W2C模型究竟是如何获得词向量的9.CBOW和skip-gram相较而言，彼此相对适合哪些场景10.Fasttext解读-文
biuHeartBurn·2023-10-28 16:57

Fasttext解读(1)

看了很多文章，有的说是fasttext是CBOW的简单变种，有的说是Skip-gram的变种。究竟哪个是对的？带着这个问题，我们来聊一聊Fasttext。
biuHeartBurn·2023-10-28 16:57

吴恩达深度学习-序列模型 2.7 负采样

这节课学习的同样是一个监督学习嵌入向量的模型，上节课的skip-gram使用的softmax分类器求和带来的计算量太大了，这节课使用的算法可以避免这个问题。这节课名字叫做负采样，那么正采样呢？
prophet__·2023-10-28 10:32

大语言模型(LLM)综述(二)：开发大语言模型的公开可用资源

RESOURCESOFLLMS3.1公开可用的模型CheckPoints或API3.2常用语料库3.3库资源前言随着人工智能和机器学习领域的迅速发展，语言模型已经从简单的词袋模型（Bag-of-Words）和N-gram
青云遮夜雨·2023-10-27 20:33

大语言模型(LLM)综述(一)：大语言模型介绍

INTRODUCTION2.OVERVIEW2.1大语言模型的背景2.2GPT系列模型的技术演变前言随着人工智能和机器学习领域的迅速发展，语言模型已经从简单的词袋模型（Bag-of-Words）和N-gram
青云遮夜雨·2023-10-27 20:02

2022-2023国科大李保滨老师矩阵分析期末大作业

要求完成课堂上讲的关于矩阵分解的LU、QR（Gram-Schmidt）、OrthogonalReduction(Householderreduction和Givensreduction)和URV程序实现
奋斗的叶小白·2023-10-27 04:05

在树莓派计算模块CM4上安装Ubuntu Server 20.04

2.硬件配置CM44GRAM，Lite(无cMMC)，带WiFi模块CM4扩展板扩展板资源这样的配置，大小和Raspberry4B一样，性价比远高于Raspberry4B。
晨之清风·2023-10-26 16:58

利用传统方法（N-gram，HMM等）、神经网络方法（CNN，LSTM等）和预训练方法（Bert等）的中文分词任务实现

自然语言处理中文分词利用传统方法（N-gram，HMM等）、神经网络方法（CNN，LSTM等）和预训练方法（Bert等）的中文分词任务实现【Thewordsegmentationtaskisrealizedbyusingtraditionalmethods
JackHCC·2023-10-25 09:46

【自然语言处理】理解词向量、CBOW与Skip-Gram模型

文章目录一、词向量基础知识1.1One-hot表示1.2Distributed表示二、word2vec基础知识2.1CBOW和Skip-gram三、基于HierarchicalSoftmax的CBOW模型和
酒酿小圆子～·2023-10-25 07:45

联想及华硕笔记本重装Windows10系统过程及难点记录

二、笔记本电脑2022/08/16：用了四年搁置的老电脑，联想ideapad700，RTX960，原64位，16GRAM，500G
国泰民安否·2023-10-23 16:02

4个可以写进简历的京东 NLP 项目实战

文本处理与特征工程|BagofWords模型|从tf-idf到Word2Vec|SkipGram与CBOW|HierarhicalSoftmax与NegativeSampling|FastText|N-gram
Amusi（CVer）·2023-10-23 13:16

NLP：从头开始的文本矢量化方法

这种表示通常称为向量，它可以应用于文本的任何合理单位：单个标记、n-gram、句子、段落，甚至整个文档。在整个语料库的统计NLP中，应用了不同的向量化技术，例如one-hot、计数或频率编码。
无水先生·2023-10-23 08:41

Bag of Tricks for Efficient Text Classification(FastText)阅读笔记

HierarchicalsoftmaxN-gramfeatures实验任务1Sentimentanalysis任务2Tagprediction总结FastTextfastText的核心思想：将整篇文档的词及n-gram
Leokb24·2023-10-22 14:00

NLP：从头开始的文本矢量化方法

这种表示通常称为向量，它可以应用于文本的任何合理单位：单个标记、n-gram、句子、段落，甚至整个文档。在整个语料库的统计NLP中，应用了不同的向量化技术，例如one-hot、计数或频率编码。
无水先生·2023-10-22 07:37

正交矩阵和Gram-Schmidt正交化

在关于投影矩阵的部分,根据Strang的授课内容,我进行简单的归纳总结.知道了投影矩阵是什么,有什么用.这篇文章仍然是关于投影矩阵的一个应用.什么是正交矩阵和Gram-Schmidt正交化,相信学过线性代数的朋友们都知道
小班得瑞·2023-10-21 11:09

【Stanford CS224N 笔记】lecture 7 Recurrent Neural Network

出现的概率的模型，即，一般可用于以下场景：1.判断什么词序出现的可能性更高：p(六点吃饭)>p(六点饭吃)2.判断在上下文中，什么词汇出现的可能性更高：p(七点下班回家)>p(七点下班回公司)1.2n-gram
宇智波艾尼路·2023-10-20 12:31

n-gram语言模型

一、StatisticalLanguageModel在自然语言处理中的一个基本问题：如何计算一段文本序列在某种语言下出现的概率？之所为称其为一个基本问题，是因为它在很多NLP任务中都扮演着重要的角色。例如，"我经常会去图书馆____"，预测该句后面的词。我们会通过已有的语料或上下文，来统计预测这句话可以填某个词的概率。将概率最大的作为预测结果返回。再比如机器翻译中，‘IlikeTomsomuch.
布口袋_天晴了·2023-10-20 02:44

pytorch_神经网络构建4

文章目录循环神经网络LSTM词嵌入skip-Gram模型N-Gram模型词性预测RNN循环神经网络的基础模块实现RNN识别图片RNN时间序列预测词向量模块词向量运用N-Gram模型lstm词性预测循环神经网络这个网络主要用来处理序列信息
lidashent·2023-10-17 08:21

在 Elasticsearch 中实现自动完成功能 2：n-gram

在这篇文章中，我们将讨论n-gram-一种索引时间方法，它在基本标记化后生成额外的分词，以便我们稍后在查询时能够获得更快的前缀匹配。但在此之前，让我们先看看什么是n-gram。
Elastic 中国社区官方博客·2023-10-14 21:12
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他