互信息

【论文阅读笔记】Multi-modal Knowledge Graphs for Recommender Systems

基于内容的方法是针对user-item的历史交互信息进行推荐的，协同过滤利用user-item群体的行为交互数据进行推荐，然而协同过滤会存在数据稀疏和冷启动的问题。
想不出名字就这么着吧·2022-11-26 11:43

[表情识论文]Distract Your Attention: Multi-head Cross Attention Network for Facial Expression Recognition

其次，面部表情通过多个面部区域同时表现出来，识别需要一个通过对局部特征之间的高阶交互信息进行编码来实现整体的方法。为了解决这些问题，提出了具有三个
Izz_happy·2022-11-26 02:46

决策树相关公式

ID3:使用信息增益或者互信息进行特征选择。取值多的属性，能让数据更纯，信息增益更大。
@朱明珠·2022-11-25 13:03

opencv计算图像互信息熵

主要代码如下：//单幅图像信息熵计算doubleEntropy(Matimg){doubletemp[256]={0.0};//计算每个像素的累积值for(intm=0;m(m);for(intn=0;n(m1);constuchar*t2=img2.ptr(m2);for(intn1=0,n2=0;n1
Legend500·2022-11-24 23:51

[信息论与编码]离散信道及信道容量(三）

2021/11/28fromXwhite信道容量及其计算信道容量信道容量的计算离散（准）对称信道的容量计算通法信息传输率信息传输率R：信道中平均每个符号所传输的信息量平均互信息I(X;Y)接收到符号Y后平均获得的关于
Future prospects·2022-11-24 12:26

[信息论与编码]知识点总结

总共分成四个大部分吧信息量与信源熵公式背住，然后套公式，冗余度的概念信道和信道容量概念，互信息的计算，简单信道容量的计算信源编码概念，定长编码，变长编码，哈夫曼编码（应该是必考），香农编码信道编码挺难的
Future prospects·2022-11-24 12:24

特征选择小结：过滤式、包裹式、嵌入式

目录1.过滤式（Filter）1.1方差1.2单变量特征选择1.2.1卡方检验（Chi2）1.2.2Pearson相关系数（PearsonCorrelation）1.2.3互信息和最大信息系数（M
学习机器:·2022-11-24 06:22

排序层-传统模型-2006：矩阵分解（MF）【基于模型的协同过滤ModelCF】【ALS算法】【仅利用用户、物品的交互信息；无法引入用户年龄、性别、商品分类、商品描述、上下文特征等信息，造成信息遗漏】

在构建智能推荐系统时，协同过滤（CollaborativeFiltering，CF）算法是一个常用的技术。本篇文章主要介绍协同过滤算法的基本思想及其应用。一、矩阵分解MF矩阵分解(MatrixFactorization，MF)技术实际上就是把用户-项目评分矩阵分解为若干个部分的组合，它在Netfilx公司举办的推荐系统大赛上得到了广泛的应用，基于矩阵分解的推荐算法本质上是一种基于模型的协同过滤推荐
u013250861·2022-11-24 05:32

决策树的构建算法

信息增益也称作互信息，也就是下图的阴影部分。是用来衡量在已知Y的情况下X不确定性的减少程度or在已知X的情况下Y不确定性的减少程度。也就
一条长直线·2022-11-24 01:31

02、PMI点互信息 & PPMI（Positive PMI）

基于点互信息的词向量表示方式恰好可以解决上述问题。PMI点互信息1.概念和公式点互信息（PointwiseMutualInformation，PMI）是信息轮中用来衡量两个事物之间的相关性的一个指标。
祥祥2020·2022-11-24 01:18

机器学习算法（二十六）：文本表示模型

2.2IDF(InverseDocumentFrequency)2.3TF-IDF2.4用scikit-learn进行TF-IDF预处理3N-gram模型4共现矩阵(Cocurrencematrix)5点互信息
意念回复·2022-11-23 07:14

机器学习特征选择方法

文章目录前言特征选择过滤法Pearson系数卡方检验互信息和最大信息系数距离相关系数方差选择法包装法嵌入法总结前言最近在看吴恩达的深度学习机器学习课程。地址：deeplearningai。
RyanC3·2022-11-23 06:55

图像分割简介

处理：1、限制图像类型；2、引入目标先验知识（轮廓、颜色等）；3、引入人为交互信息；4、多幅图像联合。图像分割方法分类（一）1、基于边缘的
忙什么果·2022-11-22 23:40

什么是网络通信协议？（七层功能介绍）

见词知意，网络通信协议就是所有计算机在网络上的通信需要遵循的协议网络通信协议分为七层应用层：面向用户的应用进程提供服务表示层：提供网络传输的标准格式，将应用层和会话层的数据相互转换会话层：为了用户交互信息建立的连接
一只可爱的小猴子·2022-11-22 13:25

推荐系统2--隐语义模型（LFM）和矩阵分解（MF）

一，背景协同过滤（userCF，itemCF）完全没有用到用户或者物品本身的属性，仅仅利用了用户与物品之间的交互信息就可以实现推荐。
Evey_zhang·2022-11-22 06:10

点互信息（PMI）和正点互信息（PPMI）

PMI的定义PMI（PointwiseMutualInformation）点互信息：这一指标用来衡量两个事物之间的相关性。
Sunny.T·2022-11-22 01:12

机器学习初步了解

机器学习历经70年的曲折发展，以深度学习为代表借鉴人脑的多分层结构、神经元的连接交互信息的逐层分析处理机制，自适应、自学习的强大并行信息处理能力，在很多方面收获了突破性进展，其中最有代表性的是图像识别领域
土豆饼小干·2022-11-22 01:13

常见的六种特征选择方法

1）DF(DocumentFrequency)文档频率DF:统计特征词出现的文档数量，用来衡量某个特征词的重要性2）MI(MutualInformation)互信息法互信息法用于衡量特征词与文档类别直接的信息量
俺 也一样·2022-11-21 21:31

常用文本分类特征选择方法

常见的六种特征选择方法：1）DF(DocumentFrequency)文档频率DF:统计特征词出现的文档数量，用来衡量某个特征词的重要性2）MI(MutualInformation)互信息法互信息法用于衡量特征词与文档类别直接的信息量
Coding.Hui·2022-11-21 21:59

特征选择的几种方法

目录1、过滤法（Filter）1.1方差选择法1.2相关系数法1.3卡方检验1.4互信息法1.5relief算法2、包裹法（Wrapper）2.1递归特征消除法2.2特征干扰法3、嵌入法（Embedded
Rnan-prince·2022-11-21 21:27

PyTorch笔记 - Vision Transformer(ViT)

Encoder和Decoder的交互信息：Memory-baseMulti-HeadCross-Attention注入位置信息PositionEmbedding数据量的要求与归纳偏置(InductiveBias
SpikeKing·2022-11-21 19:32

[Python嗯~机器学习]---贝叶斯网络

贝叶斯网络首先，我们再想一下，相对熵和互信息相对熵是表示两个随机分布之间的距离，也是最大期望算法（EM）的损失函数，是一个大于等于0的值。
鹏鹏哥哥的小红帽·2022-11-21 12:28

【信息论基础】离散信息的度量—自信息和互信息

参考【信息论基础】第2章离散信息的度量—自信息和互信息_哔哩哔哩_bilibili目录一、自信息◼自信息例题◼联合自信息例题◼条件自信息例题例题2◼自信息，联合自信息和条件自信息之间的关系二、互信息◼互信息互信息的性质例题
水w·2022-11-21 08:37

kl散度度量分布_熵(entropy)与KL散度及应用

假设事件A发生的概率是,则事件A的信息量为：2.信息熵(H(X)):定义：3.联合熵（H(X,Y)）4.条件熵（H(Y|X)）可以证明：5.互信息在概率论和信息论中，两个随机变量的互信息或转移信息是变量间相互依赖性的量度
joo haa·2022-11-21 00:42

信息理论相关python包

前言两个python包，可以调用对应函数计算互信息、条件互信息、共信息、双向总信息、残差信息等。附带一些其他信息理论研究文章。
ZzzGo!·2022-11-20 21:56

制造业OEE&R语言数据挖掘之随机森林算法

上一篇文章案例中是用互信息求得与OEE相关性最大的三个变量，这篇案例使用决策树模型中的随机森林算法来找影响OEE的前三个最重要的变量步骤：1、数据准备2、选择算法3、编程建模4、分析结果5、评价目录一、
DATARUSHER·2022-11-19 22:39

词之间的相关性--点互信息PMI算法

1.PMI介绍点互信息算法是为了计算两个词语之间的相关性，公式如下：PMI⁡(word1,word2)=log⁡2[p(word1&word2)p(word1)p(word2)]\operatorname
orangerfun·2022-11-19 11:49

【特征选择】特征选择指标和方法小汇总

一、简介1、对特征选择的指标提供计算方法和代码，包括有：相关系数、互信息、KS、IV、L1正则化、单特征模型评分、特征重要度或系数大小、boruta特征评价、递归特征消除排序。
我叫陈叉叉叉叉·2022-11-16 20:02

【特征选择】特征选择指标和方法小汇总

一、简介1、对部分特征选择的指标提供计算方法和代码，包括有：相关系数、互信息、KS、IV、L1正则化、单特征模型评分、特征重要度或系数大小、boruta特征评价、递归特征消除排序。
我叫陈叉叉叉叉·2022-11-16 20:01

Word2Vec之CBOW&Skip-gram

我们之前介绍过分布假设，主要是通过上下文来构造一个共现矩阵，度量词的相似性或关联性可以在共现矩阵的基础上采用余弦相似度、Jaccard相似度、点互信息等，为了避免低频技术在统计上的不可靠性，可以对共现矩阵胡必须把矩阵奇异分解
Victory_Ego·2022-11-16 17:54

高数篇（四）-- 互信息概述与matlab实现

在概率论和信息论中，两个随机变量的互信息（MutualInformation，简称MI）或转移信息（transinformation）是变量间相互依赖性的量度。
长路漫漫2021·2022-11-16 09:05

深度学习学习——自监督文献综述

Title：基于最大化互信息对比学习的自监督bert？
量化橙同学·2022-11-15 09:25

T检验、F检验、卡方检验、互信息法及机器学习应用

1、T检验目的：主要是为了比较数据样本之间是否具有显著性的差异。主要通过样本均值的差异进行检验，判断差异性。前置条件：样本服从正态分布；各样本间独立。适用：小样本（n3.13；拒绝0假设，相信总体均值之间存在差异\begin{array}{l}2.计算各误差平方差\\组内平方差:\\SSE=\sum_{i=1}^k\sum_{j=1}^{n_i}(x_{ij}-\overline{x_i})\\=
想考个研·2022-11-14 09:09

KDD 2022 | 深度图神经网络中的特征过相关：一个新的视角

过相关和过平滑3.2过相关分析3.2.1传播导致更高的相关性3.2.2变换导致更高的相关性3.3深入讨论3.3.1过相关与过平滑3.3.2以往解决过平滑问题的方法4本文模型4.1显式特征维度去相关4.2互信息最大化
Cyril_KI·2022-11-13 11:24

基于自监督学习的多模态推荐算法

目前的表示学习方法大致分为两类：利用历史交互信息来创建用户和物品的ID嵌入，以及将多模态数据作为物品的辅助信息来丰富其ID嵌入。
机器学习与推荐算法·2022-11-11 10:26

5G无线技术基础自学系列 | 时域资源

移动通信如果要想正常交互信息，就需要发送方在恰当的时间把信息发出去，而接收方也知道在什么时间接收自己的信息，这就需要双方遵循共同
COCOgsta·2022-11-10 11:27

计算两幅图像的相似度（PSNR、SSIM、MSE、余弦相似度、MD5、直方图、互信息、Hash）& 代码实现 与举例

MSE（MeanSquaredError）均方误差MSE公式MSE计算模型的预测Ŷ与真实标签Y的接近程度。公式表示为：对于两个m×n的单通道图像I和K，它们的均方误差可定义为：优点：MSE的函数曲线光滑、连续，处处可导，便于使用梯度下降算法，是一种常用的损失函数。而且，随着误差的减小，梯度也在减小，这有利于收敛，即使使用固定的学习速率，也能较快的收敛到最小值。缺点：当真实值y和预测值f(x)的差值
m0_61899108·2022-11-08 15:28

《深度学习进阶 自然语言处理》学习笔记（1）

目录前言第一章神经网络的复习第二章自然语言和单词的分布式表示预处理背景基于计数的方法共现矩阵（co-occurencematrix）基于计数的方法的改进点互信息降维PTB数据集第三章word2vec基于推理的方法的概要
Lewis_Sean·2022-11-08 09:35

操作系统复习之进程同步与互斥

(1)直接制约关系（同步）当进程的运行需要其他进程相互合作，交互信息时，这些进程之间就是直接制约关系，即若一个
SLY司赖·2022-11-07 15:24

【推荐系统】从协同过滤到深度学习

目录1.CF——*只利用交互信息*2.LR——*多特征融合*3.MF——*引入用户、物品隐变量*4.AutoRec——*结合自编码器*5.NeuralCF——*结合深度学习*6.POLY2——*增加二阶特征
落叶阳光·2022-10-28 10:57

信息论概念详细梳理：信息量、信息熵、条件熵、互信息、交叉熵、KL散度、JS散度

梳理几个信息论相关概念参考：什么是信息量？如何计算信息量？通俗理解条件熵从编码角度直观理解信息熵计算公式浅谈KL散度简单的交叉熵，你真的懂了吗李航《统计学习方法》文章目录0.引入：三门问题1.信息量1.1从“不确定度”角度理解1.2从编码角度理解2.信息熵3.条件熵&信息增益3.1条件熵3.2信息增益4.交叉熵&相对熵（KL散度）4.1交叉熵4.2相对熵（KL散度）4.3交叉熵和相对熵的关系4.4
云端FFF·2022-10-22 07:24

机器学习：详解半朴素贝叶斯分类TAN原理(附Python实现)

目录0写在前面1条件互信息2最大带权生成树3TAN算法原理4Python实现4.1计算条件互信息4.2构造属性最大生成树4.3属性依赖关系可视化4.4预测0写在前面机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用
Mr.Winter`·2022-10-13 14:15

Matlab实现Kmeans聚类，并利用匈牙利算法Kuhn-Munkres实现对聚类标签和真实标签的映射，对结果进行聚类精度Accuracy评价和标准互信息Nmi评价

Matlab实现Kmeans聚类，并利用匈牙利算法Kuhn-Munkres实现对聚类标签和真实标签的映射，对结果进行聚类精度Accuracy评价和标准互信息Nmi评价思路输入数据为经典MNIST数据集利用
进击的小王子·2022-10-07 07:29

备战数学建模50-终结篇(攻坚站15)

目录一、互信息1.1、互信息基本概念1.2、互信息计算与matlab实现二、Mann-Kendall检验2.1、M-K检验的理论知识2.2、M-K检验
nuist__NJUPT·2022-10-06 07:16

机器学习算法之聚类算法拓展：K-Means和Mini Batch K-Means算法效果评估

聚类算法的衡量指标混淆矩阵均一性完整性V-measure调整兰德系数(ARI)调整互信息(AMI)轮廓系数(Silhouette)importtimeimportnumpyasnpimportmatplotlib.pyplotaspltimportmatplotlibasmplfromsklearn.clusterimportMiniBatchKMeans
Mr Robot·2022-10-05 18:05

Conformer阅读笔记

Transformer能够捕获长序列的依赖和基于内容的全局交互信息，CNN则能够有效利用局部特征。因此本文将transformer和cnn结合起来，对音频序
44070509·2022-09-29 07:04

链路聚合实现

链路聚合的模式active(LACP的主动模式)passive(LACP的被动模式)auto(PAgp的主动模式)desirable(PAgP的被动模式)on(以太网通道)基于IEEE的LACP1、交互信息本端和对端系统优先级本端和对端系统
Xian_Yv·2022-09-28 18:44

熵的基础理论（信息熵、交叉熵、霍夫曼编码、条件熵、互信息、KL散度）

文章目录信息量（Information）信息熵（InformationEntropy）熵的性质熵与霍夫曼编码条件熵（ConditionalEntropy）联合熵（JointEntropy）交叉熵（CrossEntropy）RelativeEntropy/KL-DivergenceMutualInformation信息量（Information）信息量用于度量信息的不确定性，信息量与事件发生的概率有
十里清风·2022-09-28 12:51

机器学习强基计划2-1：一文总结熵——交叉熵、相对熵、互信息(附例题分析)

目录0写在前面1宇宙演化的熵增定律2量化信息的熵3最大熵原理4相对熵及其不对称性5交叉熵与条件熵6互信息0写在前面机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。
Mr.Winter`·2022-09-28 12:46

【论文笔记_知识蒸馏_2019】Variational Information Distillation for Knowledge Transfer

我们提出了一个知识转移的信息理论框架，该框架将知识转移表述为教师和学生网络之间相互信息的最大化。
乱搭巴士·2022-09-25 01:56
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他