gram

embedding模型有哪些？如何选择合适的embedding模型？

Skip-Gram：通过中心词预测上下文。GloVe（GlobalVectorsforWordRepresentation）：结合了词频统计和Word2Vec的

行云流水AI笔记·2025-06-28 19:19

《大模型应用开发极简入门》——笔记

2.NLP技术从n-gram到LLM的

孟柯coding·2025-06-18 08:15

基于kolla-ansible在openEuler 22.03 SP4上部署OpenStack-2023.2

测试环境openEuler-22.03-LTS-SP4-x86_64-dvd.isoVirtualBox，4vCPU,8GRAM,50vDisk。安装时删除/home，SWAP分区，全部空间给/目录。

qlau2007·2025-06-14 23:48

BLEU及一些其它的机器翻译评估指标

一、原理基于n-gram的匹配BLEU主要基于n-gram（n元语法）的概念。n-gram是指文本中连续的n个单词的序列。

道风杰韵·2025-06-09 17:34

线性代数：矩阵的QR分解

获取一个列向量之间线性无关的矩阵AAA的标准正交矩阵QQQ，实际上就是对矩阵AAA的列向量执行Gram-Schmidt过程，因为矩阵AAA的列向量之间线性

·2025-06-07 14:44

NLP学习路线图（十八）：Word2Vec (CBOW & Skip-gram)

自然语言处理（NLP）的核心挑战在于让机器“理解”人类语言。传统方法依赖独热编码（One-hotEncoding）表示单词，但它存在严重缺陷：每个单词被视为孤立的符号，无法捕捉词义关联（如“国王”与“王后”的关系），且维度灾难使计算效率低下。词向量（WordEmbedding）革命性地解决了这些问题。它将单词映射为稠密、低维的实数向量（如50-300维），其核心思想是：具有相似上下文（Contex

摸鱼许可证·2025-06-02 16:33

【二自然语言处理基础技术】【2.2 语言模型：n-gram、神经网络语言模型】

一、文字界的算命先生：n-gram模型如果把语言模型比作武侠世界，n-gram就是那套人人都会的太祖长拳。别看现在被深度学习按在地上摩擦，当年可是撑起了

再见孙悟空_·2025-06-02 02:28

萤光云香港机房简单测评

参加萤光云“你搞技术，我出资源”的活动，评测萤光云云服务器可免费置换云服务器以下是基本配置1核CPU2GRAM硬盘IO平均超过了500MB/s是一块性能不错的固态硬盘流媒体解锁情况可以看港区的Netflix

柒柒nb·2025-05-30 17:11

分别用语言模型雏形N-Gram 和文本表示BoW词袋来实现文本情绪分类

语言模型的雏形N-Gram和简单文本表示Bag-of-Words语言表示模型简介(1)Bag-of-Words(BoW)是什么？*定义：将文本表示为词频向量，忽略词序和语法，仅记录每个词的出现次数。

zeroporn·2025-05-23 03:10

高楼万丈平地起：语言模型的雏形NGram和简单文本表示BagofWords

N-Gram,Bag-of-Words,语言模型,文本表示,自然语言处理,机器学习1.背景介绍在信息爆炸的时代，海量文本数据无处不在。如何有效地理解、分析和利用这些文本数据成为了一个重要的研究课题。

AGI大模型与大数据研究院·2025-05-23 03:10

BERT模型原理与代码实战案例讲解

统计语言模型:利用统计方法学习语言模式，例如N-gram模型，但缺乏语义理解能力。深度学习:利用神经网络学习语言的深层特征，例如Word2Vec、RNN、LSTM等，语义理解能力显著提升。

AI大模型应用之禅·2025-05-20 22:58

使用 PyTorch 实现 CBOW 词向量模型

与Skip-gram模型相

进来有惊喜·2025-05-19 14:27

【NLP】 26. 语言模型原理与概率建模方法详解（Language Models）

在本章节中，我们将从基本定义出发，深入讲解语言模型的建模方法（包括n-gram模型、链式法则分解、Markov假设等）、概率计算技巧、数值稳定性对策，以及各类方法的优缺点对比。一

pen-ai·2025-05-09 17:37

VMware安装rustdesk服务器

一、准备首先准备服务器镜像：22.04虚拟机硬件配置选1GRAM20GROM就行二、虚拟机安装过程安装过程中选最小体积安装，并勾选安装SSH安装完成后在SSH工具中连接（步骤可视实际情况跳过）：//需要先连接外网

Shimizu Ryusuke·2025-05-02 00:17

图神经网络实战（3）——基于DeepWalk创建节点表示

图神经网络实战（3）——基于DeepWalk创建节点表示0.前言1.Word2Vec1.1CBOW与skip-gram1.2构建skip-gram模型1.3skip-gram模型1.4实现Word2Vec

盼小辉丶·2025-04-29 12:57

自然语言处理4——统计语言模型

自然语言处理4——统计语言模型文章目录自然语言处理4——统计语言模型概述n-gram模型数据平滑N-pos模型动态、自适应、基于缓存的模型概述理论基础：信源–信道模型，即已知输出，求解最有可能的输入。

河篱·2025-04-25 07:19

大语言模型的技术发展历程，从N-gram到DeepSeek-R1

本文主要从技术角度回顾自然语言处理NLP领域的发展历程，介绍各个模型的思路和创新点，聚焦NLP经典模型和技术突破的理解，不深入数学推导过程前言根据整个自然语言处理NLP领域的技术发展，可以将其分为四个技术阶段：统计语言模型，神经网络模型，预训练语言模型PLM，大型语言模型LLM下文将按照这四个主要发展阶段各自介绍涌现出的经典模型和技术统计语言模型阶段统计语言模型主要依靠统计学方法，通过前文预测后续

TARO_ZERO·2025-04-15 18:18

DeepSeek BLEU和ROUGE（Recall）的计算

一、BLEUScore实现核心逻辑n-gram匹配：计算候选文本和参考文本的n-gram匹配数（截断到参考文本中最大出现次数

taoqick·2025-04-15 05:50

MySQL + ngram 最佳实践：轻量级中文 & 混合内容全文搜索方案

本文将介绍MySQL+ngram的最佳使用方式，包括：✅配置环境✅建立索引✅查询语法✅性能优化✅常见问题一、ngram分词器简介ngram（N-Gram）分词是一种固定长度切词的方式。

silence250·2025-04-09 02:22

查漏补缺之（一）—— fasttext与TextCNN

fastTextfastText的核心思想是：将整篇文档的词及n-gram向量叠加平均得到文档向量，然后使用文档向量做soft

知了爱啃代码·2025-04-06 09:24

NLP：词向量

1.常见方法Word2Vec：Word2Vec是一种流行的词向量生成算法，主要通过两个模型来训练词向量：Skip-gram：输入一个单词，预测其上下文（即周围的单词）。

00&00·2025-03-27 14:19

逐行讲解大模型解码超参数大全（temperature、top-k、top-p等所有参数）

top_ktop_prepetition_penalty重复惩罚不常见的解码超参数min_ptypical解码ϵ采样η采样Classifier-FreeGuidance(CFG)序列偏置干预HammingDiversity编码器重复惩罚n-gram

Gaffey大杂烩·2025-03-23 01:56

理解并使用基于n-gram重叠的示例选择器

本文将介绍如何使用NGramOverlapExampleSelector工具，通过n-gram重叠来筛选和排序示例，从而帮助实现这一目标。

shuoac·2025-03-20 04:52

基于 svm 的金融咨询情感分析

详细代码与代码说明可见我的github：https://github.com/ouprince/svm处理流程：（1）金融咨询处理1.利用7万多条利好/利空语料（已经标注好的，分为1正性，-1负性两类），首先采用B-gram

ouprince·2025-03-16 10:28

文本向量化-词嵌入方法系列1：静态词嵌入(Word2Vec+GloVe)

目录1.Word2Vec1.1CBOW1.2Skip-gram1.3Sen2Vec+

学习ml的小菜鸡·2025-03-10 19:15

Word2Vec向量化语句的计算原理

二、向量化的核心步骤（以Skip-Gram模型为例）示例句子假设句子为：“Theq

堕落年代·2025-03-06 11:38

结构化思考和金字塔结构之：信息检索与知识获取

技术总体架构3.3信息检索的关键技术3.3.1倒排索引和TF-IDF权值3.3.1.1倒排索引3.3.1.2TF-IDF权值3.3.2文档集合模型3.3.3语言模型3.3.3.1词袋模型3.3.3.2n-gram

AI天才研究院·2025-03-06 06:31

Word2Vec的使用，一些思考，含示例——包括使用预训练Word2Vec模型和自训练Word2Vec模型

它有两种模型结构：CBOW（ContinuousBagofWords）和Skip-Gram。CBOW（连续词袋

热爱生活的猴子·2025-03-04 03:13

NLP自然语言处理：文本表示总结 - 上篇word embedding（基于降维、基于聚类、CBOW 、Skip-gram、 NNLM 、TF-ID、GloVe ）

文本表示分类（基于表示方法）离散表示one-hot表示词袋模型与TF-ID分布式表示基于矩阵的表示方法降维的方法聚类的方法基于神经网络的表示方法NNLMCBOWSkip-gramGloVeELMoGPTBERT目录一、文本离散表示1.1文本离散表示：one-hot1.2文本离散表示：词袋模型与TF-IDF1.2.1词袋模型（bagofwords）1.2.2对词袋模型的改进：TF-IDF二、文本分布

陈宸-研究僧·2025-03-03 10:26

哈工大计算机系统lab7——微壳

.-4-X64CPU;1.80GHz;12GRAM;512GHDSSD;-4-1.2.2软件环境...-

awhiteknow0·2025-02-28 05:35

困惑度的估计

经典语言模型：经典语言模型的目标是计算给定一段文本的概率，具体来说，就是计算一个序列中每个token的条件概率，n-gram模型是最基础的经典语言模

转码的小石·2025-02-25 22:06

word2vec（一） CBOW与Skip-Gram模型基础

1.词向量词向量就是用来将语言中的词进行数学化的一种方式，顾名思义，词向量就是把一个词表示成一个向量。这样做的初衷就是机器只认识01符号。所以，词向量是自然语言到机器语言的转换。Word2Vec其实就是通过学习文本来用词向量的方式表征词的语义信息，即通过一个嵌入空间使得语义上相似的单词在该空间内距离很近。Embedding其实就是一个映射，将单词从原先所属的空间映射到新的多维空间中，也就是把原先词

浮汐·2025-02-22 18:24

python自然语言处理—Word2vec模型之Skip-gram

Word2vec模型之Skip-gram（跳字）模型一、skip-gram模型图二、skip-gram模型图示例说明举个例子来说明这个图在干嘛：1、假设我们的文本序列有五个词，["the","man",

诗雨时·2025-02-22 18:53

word2vec之skip-gram算法原理

skip-gram算法原理1.input,output,targetinput的某个单词的one-hot编码（11000词汇量的总数目）output其他所有单词的概率（softmax输出也是11000）

cuixuange·2025-02-22 18:52

《大模型应用开发极简入门》随记

术语：自然语言处理（NLP)人工智能（AI）大预言模型（LLM）机器学习（ML)深度学习（DL)内容LLM概述ML算法被称为人工神经网络DL是ML的一个分支最先开始简单语言模型吗，例如：n-gram模型

hoypte·2025-02-19 08:34

产品经理的人工智能课 02 - 自然语言处理

产品经理的人工智能课02-自然语言处理1自然语言处理是什么2一个NLP算法的例子——n-gram模型3预处理与重要概念3.1分词Token3.2词向量化表示与Word2Vec4与大语言模型的交互过程参考链接大语言模型

平头某·2025-02-07 05:12

大语言模型应用指南：工作记忆与长短期记忆

早期的语言模型，如N-gram，虽然在一定程度上能够捕捉语言的统计规律，但其无法有效处理语言中的长距离依赖性和复杂结构。

AI天才研究院·2025-02-06 00:51

【自然语言处理（NLP）】Word2Vec 原理及模型架构（Skip-Gram、CBOW）

的缺点Word2Vec的应用场景Word2Vec的实现工具总结Word2Vec数学推导过程1.CBOW模型的数学推导（1）输入表示（2）词向量矩阵（3）输出层（4）损失函数（5）参数更新2.Skip-Gram

道友老李·2025-02-02 11:58

NLP模型大对比：Transformer ＞Seq2Seq ＞ LSTM ＞ RNN ＞ n-gram

Transformer大于传统的Seq2Seq大于LSTM大于RNN大于传统的n-gramn-gramVSTransformer我们可以用一个图书馆查询的类比来解释它们的差异：一、核心差异对比维度n-gram

feifeikon·2025-01-31 19:14

基于Python的自然语言处理系列（2）：Word2Vec（负采样）

负采样是一种优化Skip-gram模型训练效率的技术，它能在大规模语料库中显著减少计算复杂度。接下来，我们将通过详细的代码实现和理论讲解，帮助你理解负采样的工作原理及其在Word2Vec中的应用。

会飞的Anthony·2025-01-25 15:51

深入理解GPT底层原理--从n-gram到RNN到LSTM/GRU到Transformer/GPT的进化

1.从n-gram到循环神经网络(RNN)的诞生1.1N-gram模型在深度学习兴起之前,处理序列数据主要依靠统计方法,如n-gram模型。N-gram是一种基于统计的语言模型,它的核心思想是:一

网络安全研发随想·2025-01-22 02:55

知识图谱中的word2vec 技术是做什么的?

Word2Vec的基本原理Word2Vec主要包括两种训练模型：CBOW（ContinuousBagofWords）和Skip-gram。

kcarly·2025-01-21 17:35

TextCNN：文本卷积神经网络模型

通过在文本数据上应用卷积操作来提取局部特征，这些特征可以捕捉到文本中的局部模式，如n-gram（连续的n个单词或字符）。定义TextCNN类importtorch.nnasn

一只天蝎·2024-09-13 07:48

数学基础 -- 线性代数之格拉姆-施密特正交化

格拉姆-施密特正交化格拉姆-施密特正交化（Gram-SchmidtOrthogonalization）是一种将一组线性无关的向量转换为一组两两正交向量的算法。

sz66cm·2024-09-08 20:53

深度学习100问29:rnn语言模型与传统的语言模型有何不同

比如那种n-gram语言模型，它只能记住前面几个词，再多就不行啦，就像脑袋里的小抽屉只能装那么点东西。但RNNLM可不一样，它就像有个超级强大的记忆宝盒。

不断持续学习ing·2024-09-02 01:10

人工智能中的语言模型演变

这些模型通常被称为n-gram模型，通过计算词序列的频率来预测句子中的下一

机器之心AI·2024-08-23 01:27

pg_trgm详细讲解

pg_trgm是PostgreSQL的一个扩展模块，提供了基于trigram（3-gram）相似度的文本搜索功能。它可以通过计算字符串之间的相似度来进行快速、模糊匹配的查询。

Code_Geo·2024-08-22 02:05

Python chardet.detect 字符编码检测

具体来说，chardet.detect使用了一种叫做统计字符n-gram（通常为n=1或n=2）的方法。它会统计字节串中每个字符或字符对出现的频率，并将这些统计结果与预先训练好的字符编码模型进行比较。

in_tsz·2024-03-16 14:50

c# 线性代数克·施密特（Gram Schmidt）

Gram-Schmidt方法是一种用于将线性无关的向量集合转化为一组正交（垂直）的向量集合的数学技术。这个方法是在线性代数中常用的一种技术，用于处理向量空间中的正交化和标准化操作。

csdn_aspnet·2024-02-25 23:36

STM32——OLED（2）

显示屏介绍引脚说明：二、OLED驱动1.基本认识2.OLED驱动原理及过程三、SSD1306工作时序(8080时序）1.8080并口读/写过程2.SSD1306工作时序(8080时序)四、屏幕显示1.GRAM

CXDNW·2024-02-12 08:07

推荐频道