gram

逐行讲解大模型解码超参数大全（temperature、top-k、top-p等所有参数）

top_ktop_prepetition_penalty重复惩罚不常见的解码超参数min_ptypical解码ϵ采样η采样Classifier-FreeGuidance(CFG)序列偏置干预HammingDiversity编码器重复惩罚n-gram

Gaffey大杂烩·2025-03-23 01:56

理解并使用基于n-gram重叠的示例选择器

本文将介绍如何使用NGramOverlapExampleSelector工具，通过n-gram重叠来筛选和排序示例，从而帮助实现这一目标。

shuoac·2025-03-20 04:52

基于 svm 的金融咨询情感分析

详细代码与代码说明可见我的github：https://github.com/ouprince/svm处理流程：（1）金融咨询处理1.利用7万多条利好/利空语料（已经标注好的，分为1正性，-1负性两类），首先采用B-gram

ouprince·2025-03-16 10:28

文本向量化-词嵌入方法系列1：静态词嵌入(Word2Vec+GloVe)

目录1.Word2Vec1.1CBOW1.2Skip-gram1.3Sen2Vec+

学习ml的小菜鸡·2025-03-10 19:15

Word2Vec向量化语句的计算原理

二、向量化的核心步骤（以Skip-Gram模型为例）示例句子假设句子为：“Theq

堕落年代·2025-03-06 11:38

结构化思考和金字塔结构之：信息检索与知识获取

技术总体架构3.3信息检索的关键技术3.3.1倒排索引和TF-IDF权值3.3.1.1倒排索引3.3.1.2TF-IDF权值3.3.2文档集合模型3.3.3语言模型3.3.3.1词袋模型3.3.3.2n-gram

AI天才研究院·2025-03-06 06:31

Word2Vec的使用，一些思考，含示例——包括使用预训练Word2Vec模型和自训练Word2Vec模型

它有两种模型结构：CBOW（ContinuousBagofWords）和Skip-Gram。CBOW（连续词袋

热爱生活的猴子·2025-03-04 03:13

NLP自然语言处理：文本表示总结 - 上篇word embedding（基于降维、基于聚类、CBOW 、Skip-gram、 NNLM 、TF-ID、GloVe ）

文本表示分类（基于表示方法）离散表示one-hot表示词袋模型与TF-ID分布式表示基于矩阵的表示方法降维的方法聚类的方法基于神经网络的表示方法NNLMCBOWSkip-gramGloVeELMoGPTBERT目录一、文本离散表示1.1文本离散表示：one-hot1.2文本离散表示：词袋模型与TF-IDF1.2.1词袋模型（bagofwords）1.2.2对词袋模型的改进：TF-IDF二、文本分布

陈宸-研究僧·2025-03-03 10:26

哈工大计算机系统lab7——微壳

.-4-X64CPU;1.80GHz;12GRAM;512GHDSSD;-4-1.2.2软件环境...-

awhiteknow0·2025-02-28 05:35

困惑度的估计

经典语言模型：经典语言模型的目标是计算给定一段文本的概率，具体来说，就是计算一个序列中每个token的条件概率，n-gram模型是最基础的经典语言模

转码的小石·2025-02-25 22:06

word2vec（一） CBOW与Skip-Gram模型基础

1.词向量词向量就是用来将语言中的词进行数学化的一种方式，顾名思义，词向量就是把一个词表示成一个向量。这样做的初衷就是机器只认识01符号。所以，词向量是自然语言到机器语言的转换。Word2Vec其实就是通过学习文本来用词向量的方式表征词的语义信息，即通过一个嵌入空间使得语义上相似的单词在该空间内距离很近。Embedding其实就是一个映射，将单词从原先所属的空间映射到新的多维空间中，也就是把原先词

浮汐·2025-02-22 18:24

python自然语言处理—Word2vec模型之Skip-gram

Word2vec模型之Skip-gram（跳字）模型一、skip-gram模型图二、skip-gram模型图示例说明举个例子来说明这个图在干嘛：1、假设我们的文本序列有五个词，["the","man",

诗雨时·2025-02-22 18:53

word2vec之skip-gram算法原理

skip-gram算法原理1.input,output,targetinput的某个单词的one-hot编码（11000词汇量的总数目）output其他所有单词的概率（softmax输出也是11000）

cuixuange·2025-02-22 18:52

《大模型应用开发极简入门》随记

术语：自然语言处理（NLP)人工智能（AI）大预言模型（LLM）机器学习（ML)深度学习（DL)内容LLM概述ML算法被称为人工神经网络DL是ML的一个分支最先开始简单语言模型吗，例如：n-gram模型

hoypte·2025-02-19 08:34

产品经理的人工智能课 02 - 自然语言处理

产品经理的人工智能课02-自然语言处理1自然语言处理是什么2一个NLP算法的例子——n-gram模型3预处理与重要概念3.1分词Token3.2词向量化表示与Word2Vec4与大语言模型的交互过程参考链接大语言模型

平头某·2025-02-07 05:12

大语言模型应用指南：工作记忆与长短期记忆

早期的语言模型，如N-gram，虽然在一定程度上能够捕捉语言的统计规律，但其无法有效处理语言中的长距离依赖性和复杂结构。

AI天才研究院·2025-02-06 00:51

【自然语言处理（NLP）】Word2Vec 原理及模型架构（Skip-Gram、CBOW）

的缺点Word2Vec的应用场景Word2Vec的实现工具总结Word2Vec数学推导过程1.CBOW模型的数学推导（1）输入表示（2）词向量矩阵（3）输出层（4）损失函数（5）参数更新2.Skip-Gram

道友老李·2025-02-02 11:58

NLP模型大对比：Transformer ＞Seq2Seq ＞ LSTM ＞ RNN ＞ n-gram

Transformer大于传统的Seq2Seq大于LSTM大于RNN大于传统的n-gramn-gramVSTransformer我们可以用一个图书馆查询的类比来解释它们的差异：一、核心差异对比维度n-gram

feifeikon·2025-01-31 19:14

基于Python的自然语言处理系列（2）：Word2Vec（负采样）

负采样是一种优化Skip-gram模型训练效率的技术，它能在大规模语料库中显著减少计算复杂度。接下来，我们将通过详细的代码实现和理论讲解，帮助你理解负采样的工作原理及其在Word2Vec中的应用。

会飞的Anthony·2025-01-25 15:51

深入理解GPT底层原理--从n-gram到RNN到LSTM/GRU到Transformer/GPT的进化

1.从n-gram到循环神经网络(RNN)的诞生1.1N-gram模型在深度学习兴起之前,处理序列数据主要依靠统计方法,如n-gram模型。N-gram是一种基于统计的语言模型,它的核心思想是:一

网络安全研发随想·2025-01-22 02:55

知识图谱中的word2vec 技术是做什么的?

Word2Vec的基本原理Word2Vec主要包括两种训练模型：CBOW（ContinuousBagofWords）和Skip-gram。

kcarly·2025-01-21 17:35

TextCNN：文本卷积神经网络模型

通过在文本数据上应用卷积操作来提取局部特征，这些特征可以捕捉到文本中的局部模式，如n-gram（连续的n个单词或字符）。定义TextCNN类importtorch.nnasn

一只天蝎·2024-09-13 07:48

数学基础 -- 线性代数之格拉姆-施密特正交化

格拉姆-施密特正交化格拉姆-施密特正交化（Gram-SchmidtOrthogonalization）是一种将一组线性无关的向量转换为一组两两正交向量的算法。

sz66cm·2024-09-08 20:53

深度学习100问29:rnn语言模型与传统的语言模型有何不同

比如那种n-gram语言模型，它只能记住前面几个词，再多就不行啦，就像脑袋里的小抽屉只能装那么点东西。但RNNLM可不一样，它就像有个超级强大的记忆宝盒。

不断持续学习ing·2024-09-02 01:10

人工智能中的语言模型演变

这些模型通常被称为n-gram模型，通过计算词序列的频率来预测句子中的下一

机器之心AI·2024-08-23 01:27

pg_trgm详细讲解

pg_trgm是PostgreSQL的一个扩展模块，提供了基于trigram（3-gram）相似度的文本搜索功能。它可以通过计算字符串之间的相似度来进行快速、模糊匹配的查询。

Code_Geo·2024-08-22 02:05

Python chardet.detect 字符编码检测

具体来说，chardet.detect使用了一种叫做统计字符n-gram（通常为n=1或n=2）的方法。它会统计字节串中每个字符或字符对出现的频率，并将这些统计结果与预先训练好的字符编码模型进行比较。

in_tsz·2024-03-16 14:50

c# 线性代数克·施密特（Gram Schmidt）

Gram-Schmidt方法是一种用于将线性无关的向量集合转化为一组正交（垂直）的向量集合的数学技术。这个方法是在线性代数中常用的一种技术，用于处理向量空间中的正交化和标准化操作。

csdn_aspnet·2024-02-25 23:36

STM32——OLED（2）

显示屏介绍引脚说明：二、OLED驱动1.基本认识2.OLED驱动原理及过程三、SSD1306工作时序(8080时序）1.8080并口读/写过程2.SSD1306工作时序(8080时序)四、屏幕显示1.GRAM

CXDNW·2024-02-12 08:07

SonarQube Ubuntu平台安装指南

以下是sonarqube的工作流程示意:image安装要求1.3GRAM2.250G存储空

散落_a0b3·2024-02-10 03:34

【NLP 自然语言处理(一)---词向量】

文章目录什么是NLP自然语言处理发展历程自然语言处理模型模型能识别单词的方法词向量分词一个向量vector表示一个词词向量的表示-one-hot多维词嵌入wordembeding词向量的训练方法CBOWSkip-gram

y_dd·2024-02-08 09:56

探索NLP中的N-grams：理解，应用与优化

简介n-gram[1]是文本文档中n个连续项目的集合，其中可能包括单词、数字、符号和标点符号。N-gram模型在许多与单词序列相关的文本分析应用中非常有用，例如情感分析、文本分类和文本生成。

冷冻工厂·2024-02-08 09:23

NLP_神经概率语言模型(NPLM)

NPLM的实现1.构建实验语料库2.生成NPLM训练数据3.定义NPLM4.实例化NPLM5.训练NPLM6.用NPLM预测新词NPLM小结NPLM的起源在NPLM之前，传统的语言模型主要依赖于最基本的N-Gram

you_are_my_sunshine*·2024-02-07 13:20

学习知识记录

ANeuralProbabilisticLanguageModel------阅读笔记_hx14301009的博客-CSDN博客2、Word2vec的skipgram模型输入是中心词和背景词NLP之---word2vec算法skip-gram

想努力的人·2024-02-07 08:36

NLP_词的向量表示Word2Vec 和 Embedding

文章目录词向量Word2Vec：CBOW模型和Skip-Gram模型通过nn.Embedding来实现词嵌入Word2Vec小结词向量下面这张图就形象地呈现了词向量的内涵:把词转化为向量，从而捕捉词与词之间的语义和句法关系

you_are_my_sunshine*·2024-02-06 10:10

大模型｜基础_word2vec

文章目录Word2Vec词袋模型CBOWContinuousBag-of-WordsContinuousSkip-Gram存在的问题解决方案其他技巧Word2Vec将词转化为向量后，会发现king和queen

晓源Galois·2024-02-06 07:36

自然语言处理中的深度学习

Word2vec⼯具包含了两个模型：跳字模型（skip-gram）和连续词袋模型（continuousbagofwords，简称CBOW）。跳字模型假设基于中⼼词来⽣成背景词，连续词

qiufeng1ye·2024-02-06 01:37

word2vec

将词表征为实数值向量的高效工具，采用的模型有CBOW(Continuesbag-of-words连续词袋模型)和Skip-Gram两种。

e237262360d2·2024-02-05 19:10

NLP_语言模型的雏形N-Gram

文章目录N-Gram模型1.将给定的文本分割成连续的N个词的组合(N-Gram)2.统计每个N-Gram在文本中出现的次数，也就是词频3.为了得到一个词在给定上下文中出现的概率，我们可以利用条件概率公式计算

you_are_my_sunshine*·2024-02-04 22:52

自然语言处理——5.2 语言模型（参数估计）

最大似然估计求法对于n-gram，参数可由最大似然估计求得：其中，是历史串在给定语料中出现的次数，即,不管是什么。是在给定的条件下出现的相对频度，分子为与同出现的次数。

SpareNoEfforts·2024-02-03 13:28

NLP_统计语言模型的发展历程

其中，词向量表示的学习为语言模型提供了更高质量的输入信息（词向量表示）1948年，著名的N-Gram模型诞生，思路是基于前N-1个项目来预测序列中的第N个项目，所谓的“项目”，就是词或者短语。

you_are_my_sunshine*·2024-02-03 10:58

香蕉派BPI-M7 瑞芯微RK3588 人工智能开源硬件开发板公开发售

香蕉派(BananaPi)BPI-M7瑞芯微K3588开源硬件单板计算机公开销售，支持WiFi6和BT5.2，硬件有3个版本:8GRam+64GeMMC,16GRam+128eMMC和32GRam+128eMMC

Banana Pi开源硬件·2024-02-01 06:56

使用Gensim库对文本进行词袋、TF-IDF和n-gram方法向量化处理

Gensim库简介机器学习算法需要使用向量化后的数据进行预测，对于文本数据来说，因为算法执行的是关于矩形的数学运算，这意味着我们必须将字符串转换为向量。从数学的角度看，向量是具有大小和方向的几何对象，不需过多地关注概念，只需将向量化看作一种将单词映射到数学空间的方法，同时保留其本身蕴含的信息。Gensim是世界上最大的NLP/信息检索Python库之一，兼具内存高效性和可扩展性。Gensim的可扩

Yuki_lsq·2024-01-31 03:02

程序员书单|本月有哪些新书值得关注？

这一本小书，希望从纯技术的角度，为你梳理生成式语言模型的发展脉络，对从N-Gram、Bag-of-Word、Word2Vec、NPLM、RNN、S2S、Atten

人邮异步社区·2024-01-28 14:54

【自然语言处理】【深度学习】NLP中的N-gram理解

N-gram是自然语言处理（NLP）中的一个概念，它描述的是文本中连续的n个项（通常是单词或字符）。这个概念主要用于语言建模和文本分析中。

忘却的旋律dw·2024-01-25 07:55

【自然语言处理】【深度学习】文本向量化、one-hot、word embedding编码

即：把待处理的文档进行分词或者是N-gram处理，然后进行去重得到词典。例：假设我们有一个文档：“深度学习”，那么进行one-hot处理后得到的结果如下to

忘却的旋律dw·2024-01-25 07:47

fastText

这些输入是n-gram向量，这些向量是随机生成的。由于n-gram的量远比word大的多，完全存下所有的n-gram也不现实。Fasttext采用了Has

吹洞箫饮酒杏花下·2024-01-25 01:22

大模型理论基础初步学习笔记——第一章引言

panda_dbdx·2024-01-24 16:48

施密特正交化公式如何理解和记忆

Gram–Schmidtprocess_副本.png以两个线性无关的向量和（红色）为例说明如何实现正交化。令(为绿色，为什么绿色的长度和红色不一样？），观察

解冒号·2024-01-23 00:09

爱学习的羽·2024-01-22 07:35

推荐频道