信息论-熵

[机器学习]决策树

决策树决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一颗熵值下降最快的树，到叶子节点处，熵值为0具有非常好的可解释性、分类速度快的优点，是一种有监督学习最早提及决策树思想的是Quinlan
LBENULL·2024-02-12 11:21

Python概率建模算法和图示

要点Python朴素贝叶斯分类器解释概率学习示例Python概率论，衡量一个或多个变量相互依赖性，从数据中学习概率模型参数，贝叶斯决策论，信息论，线性代数和优化Python线性判别分析分类模型，逻辑回归
亚图跨际·2024-02-12 09:26

希腊字母读音及常用含义

αAlpha角度、系数、角加速度、第一个、电离度、转化率ΑAlpha(大写)βBeta角度、系数、磁通系数ΒBeta(大写)γGamma导电系数、角度、比热容比ΓGamma(大写)δDelta变化量、焓变、熵变
环能jvav大师·2024-02-12 06:33

Python实现熵权法：客观求指标数据的权重

介绍：熵权法（EntropyWeightMethod）是一种常用的多指标权重确定方法，用于评价指标之间的重要程度。
乌漆帅黑·2024-02-11 16:23

熵权法Python代码实现

文章目录前言代码数据熵权法代码结果前言熵权法做实证的好像很爱用，matlab的已经实现过了，但是matlab太大了早就删了，所以搞一搞python实现的，操作空间还比较大代码数据importpandasaspddata
Icy Hunter·2024-02-11 16:22

【论文解读】Document-Level Relation Extraction with Adaptive Focal Loss and Knowledge Distillation

：2现有的Docre方法：3现有的Docre方法存在三个局限性2Methodology1使用轴向注意力模块作为特征提取器：2第二，提出适应性焦距损失3第三用知识蒸馏相关知识类别不平衡问题长尾类分布交叉熵损失和二元交叉熵损失二元交叉熵损失定义为知识蒸馏全文翻译
Queen_sy·2024-02-11 14:19

为什么在半监督中的无监督阶段CE常常配合置信度使用而MSE通常不会

在半监督学习中，结合无监督损失（如交叉熵（CE）损失）和置信度阈值的策略主要用于确保模型从高质量、高置信度的伪标签中学习。
UndefindX·2024-02-11 14:48

deep learning update error loss = nan

对于分类问题，学习率太高会导致模型「顽固」地认为某些数据属于错误的类，而正确的类的概率为0（实际是浮点数下溢），这样用交叉熵就会算出无穷大的损失函数。
xyq_learn·2024-02-11 14:52

Arxiv网络科学论文摘要20篇(2019-10-15)

优化目标节点集用于有向复杂网络的控制能量;管理科学手稿的同行评审效率——编辑观点;原始分辨率货币流动网络;解耦随机的和真实世界的图的可解释的生成性参数;使用向量空间模型分析在线社会网络的用户活动;同行评审期刊提交并接受的论文分布的季节性熵、
ComplexLY·2024-02-11 04:00

2022-11-14

精神熵——无法满足的需要、受挫折的期待、寂寞、沮丧、焦虑、罪恶感。每天早晨起床时，你都应该这样想：“今早醒来真幸运，我还活着，我还拥有珍贵的人生，我不能浪费它。
一点零一_·2024-02-11 03:57

100天搞定机器学习|Day55 最大熵模型

1、熵的定义熵最早是一个物理学概念，由克劳修斯于1854年提出，它是描述事物无序性的参数，跟热力学第二定律的宏观方向性有关：在不加外力的情况下，总是往混乱状态改变。
统计学家·2024-02-11 01:13

熵

你从光明中走来打开门进入无尽的黑暗你在混沌中诞生撕开他创造永恒的秩序你压缩万物化为被禁锢的火焰决裂的星光切割着银河的回响是什么回响在深空生命的轮回残败的叶片你在生命之网上编织自己你在地狱深渊中毁灭他人意识形成之始你程序化地规划一生的路线肉体在你的指引下被奴役只为达到仅有的零熵从而拥有一切的寂静我愿乘者月光在深空中坠落我要站在塔尖在星帘下闪烁我俯视着人间的星火微风扇动着破碎的衣襟在陨星的照耀下寻找你
橙七千·2024-02-10 20:26

基于第一性原理投资

比如熵法则，量子原理，概率统计框架，等。不过从实际效果来看，2013起步的丹华资本，业绩很差。基本上成了反面案例。
曹博士·2024-02-10 17:24

如何通过极大似然估计 MLE Maximum Likelihood Estimation 获得 交叉熵 Cross Entropy 以及 均方损失函数 Mean Square Loss ？

似然函数定义以及极大似然估计MLE(完成)---------------------------------------------------------------------------------------start注意：P(A|B)并不总是等于P(B|A)，原因如下：首先要明白一个事情，什么是似然函数？以下是CHATGPTMathSolver的回答：我自己解释一下，意思就是：观察到一组
shimly123456·2024-02-10 13:43

人工智能大事记-持续更新中

维纳（Wiener）的控制论、香农（Shannon）提出的信息论，以及图灵（Turing）的计算理论等，为人工智能的出现奠定了基础。
城市中迷途小书童·2024-02-10 13:44

知道和会用是两回事

只是成为谈姿，社交货币，知识体系，绝大多数都是混乱的，真正有主线的泰山，生活破局者，生活黑客人情，生活自由，关系网络，时空纬度的影响，及熵的影响
CrazyLiu生活提案·2024-02-10 10:46

机器学习：分类决策树（Python）

一、各种熵的计算entropy_utils.pyimportnumpyasnp#数值计算importmath#标量数据的计算classEntropyUtils:"""决策树中各种熵的计算，包括信息熵、信息增益
捕捉一只Diu·2024-02-10 07:47

向上生长读后感

现在很多人都是出了校门不学习，一年还看不到一本书，我就是其中一个，有时候感觉学习就学不进去，就像书上说的追剧刷抖音，一看一两个小时不知不觉就过去了，而看书是熵减，所以看不进去学习其实就是不停的输入新的知识信息技能
艳琴健康管理教练·2024-02-09 23:09

Visual Studio 2010+C#实现信源编码

可通过用户输入的初始条件然后给出哈夫曼编码以及LZ编码，结果均通过对话框来显示哈夫曼编码结果包含相应的码字，信源熵，平均码长以及编码效率LZ编码结果的形式如下图所示，包括每一个短语，段号，码字以及二进制码
deleteeee·2024-02-09 23:21

统计学习方法笔记之决策树

特征选择信息增益熵和条件熵在了解
Aengus_Sun·2024-02-09 17:51

令人绝望的“熵增定律”：看透人生真谛

如果这世上有一种定律是最让人绝望的，那一定是熵增定律。1943年，物理学家薛定谔在其著作《生命是什么》里提出：“生命以负熵而生，人活着，就是为了对抗熵增定律。”为何“熵增定律”如此之强？
句句情感·2024-02-09 12:58

20200805成就感日志214/365

1.参加拆书活动（2h）最早接触过熵这个概念是通过吴伯凡老师讲日知录，现在已经没有太大印象了。今天重新建立了熵，熵增，耗散结构，负熵，以及彼此的关系，这得益于anson做的学习地图。
kidII·2024-02-09 11:45

熵与信息质素呈负非线性关系 / 每日一读一思：本土临床心理学论丛读书劄记与思考

熵是一个系统混乱程度、或称无组织程度的度量。系统越混乱，熵就越大；系统越有序，熵就越小。健康信息属于非线性系统，信息质素与熵呈负非线性关系。
本土临床心理学论丛·2024-02-09 05:51

新中特复习笔记二——章节整理上（上海交通大学）

pps：上课视频过长且信息熵感觉有点低，这次就不分享了哈以及感谢大家的厚爱，i人非常感动也非常惶恐题目类型：单选，10个，20分多选，10个，
懒总不想学习想睡觉·2024-02-09 00:19

新中特复习笔记三——章节整理下（上海交通大学）

pps：上课视频过长且信息熵感觉有点低，这次就不分享了哈以及感谢大家的厚爱，i人非常感动也非常惶恐题目类型：单选，10个，20分多选，10个，
懒总不想学习想睡觉·2024-02-09 00:19

新中特复习笔记一——论述题（上海交通大学）

pps：上课视频过长且信息熵感觉有点低，这次就不分享了哈以及感谢大家的厚爱，i人非常感动也非常惶恐题目类型：单选，10个，20分多选，10个，
懒总不想学习想睡觉·2024-02-09 00:48

熵：信息熵、交叉熵、相对熵

信息熵信息熵H(X)可以看做，对X中的样本进行编码所需要的编码长度的期望值。交叉熵交叉熵可以理解为，现在有两个分布，真实分布p和非真实分布q，我们的样本来自真实分布p。
Reore·2024-02-08 20:02

CDA二级建模分析师考试记录

题目来说有点翻来覆去，比如计算信息熵，一口气考了四道题，每个1分。其实考试更多是考内容理解，计算同类型考这么多没啥意义。虽说不公布真题，官
啾啾二一·2024-02-08 18:22

09-06读书笔记《心流》

今天对幸福、意识、乐趣、精神熵，内在秩序都有了一个基础的了解。然后发现还有好多想读的章节，把这份好奇心保持到明天，每天半小时，可以以持续的好奇心和问题继续读下去，体验真的非常好～
Satan__·2024-02-08 16:27

编辑距离算法【莱文斯坦距离、Levenshtein 算法】

文章目录算法概述：应用与其他编辑距离度量的关系问题定义：解析：例题：参考链接：算法概述：在信息论和计算机科学中，莱文斯坦距离是一种两个字符串序列的距离度量。
Mir_小熊同学·2024-02-08 11:25

分类模型的机器学习算法

熵和信息增益衡量原始集合的无序程度就需要计算他们的标签的信息熵，如果标签非常不同熵就高，如果标签相同则熵就低。熵每个标签的概率×标签的logo概率的总和.计
青椒rose炒饭·2024-02-08 06:44

如何构建自己的知识体系？看这一篇就够了！

逆熵增者说：很多人会炫耀自己的印象笔记架构，分门别类排列得非常整齐，类别非常多，还要编各种条码，就像图书的分类索引一样，他们称之为知识体系，其实，很多时候只能称之为资料收集和整理。
米卡写作·2024-02-08 06:29

推荐收藏 | 决策树、随机森林、bagging、boosting、Adaboost、GBDT、XGBoost总结

1.ID3算法：以信息增益为准则来选择最优划分属性信息增益的计算是基于信息熵（度量样本集合纯
Pysamlam·2024-02-07 23:36

2023牛客寒假算法基础集训营4-无HIK

A：清楚姐姐学信息论结论是越靠近e进制效率越高（第一次知道）当时现场推的，证明如下即证x^y>y^x两边同时取对数，移位得lnx/x>lny/y即证lnx/x的单调性求导即可发现是在e处对整数讨论23附近发现是
云深沐子兮·2024-02-07 22:41

MATLAB环境下用于提取冲击信号的几种解卷积方法

所以，卷积模型更符合实际工程问题，利用解卷积思路用于振动、声音信号的信号处理以及齿轮、轴承的故障特征增强的有最小熵解卷积、最大相关峭度解卷
哥廷根数学学派·2024-02-07 20:56

FINN: 使用神经网络对网络流进行指纹识别

文章信息论文题目：FINN:FingerprintingNetworkFlowsusingNeuralNetworks期刊（会议）：AnnualComputerSecurityApplicationsConference
h0l10w·2024-02-07 14:13

c语言求信源的信息熵,第二章-信源与信息熵（三）

接上一节第二章-信源与信息熵(二)2.4连续信源的熵与互信息1.实际中，连续信源a)幅度连续b)时间或频率上也连续2.统计特性a)概率密度函数3.用离散变量来逼近连续变量连续信源熵1.定义连续信源的状态概率用概率密度来表示
UEgood雪姐姐·2024-02-07 09:17

Visual Studio 2010+C#实现信源和信息熵

1.设计要求以图形界面的方式设计一套程序，该程序可以实现以下功能：从输入框输入单个或多个概率，然后使用者可以通过相关按钮的点击求解相应的对数，自信息以及信息熵程序要能够实现马尔可夫信源转移概率矩阵的输入并且可以计算该马尔可夫信源在每一个状态下每输出一个符号的平均信息量
deleteeee·2024-02-07 09:45

【深度学习】Softmax实现手写数字识别

你需要首先实现Softmax函数和交叉熵损失函数的计算。y=softmax(WTx+b)L=CrossEntropy(y,label)y=softm
住在天上的云·2024-02-07 08:04

分类思维：学习其实就是对知识做分类

也许是机缘巧合，写完《熵增定律》，加上之前一直在研究学习这件事，比如存量思维、思维导图、金字塔原理等等，竟突然顿悟，慢慢逼近了学习的本质。这个本质，我将它命名为「分
学习有了方法·2024-02-07 07:08

【深度学习】loss与梯度与交叉熵的关系

问的GPT3.5模型训练时loss与梯度的关系？在深度学习模型训练过程中，loss（损失函数）与梯度（gradient）之间存在密切关系。损失函数衡量模型在给定输入上的预测输出与实际输出之间的差距，而梯度则表示损失函数相对于模型参数的变化率。以下是loss与梯度之间的关系：1.梯度下降：梯度下降是一种优化算法，用于逐步调整模型参数，以最小化损失函数。在每次迭代中，梯度下降根据损失函数的梯度来更新模
sdbhewfoqi·2024-02-06 19:25

分享｜熵增定律:让无数迷途者顿悟的终极定律

如果物理学只能留一条定律，我会留熵增定律。说这句话的人叫吴国盛，清华大学的科学史系主任。
西西弗斯推石头_一念及春·2024-02-06 19:12

计算机设计大赛 深度学习+opencv+python实现昆虫识别 -图像识别 昆虫识别

数据收集和处理3卷积神经网络2.1卷积层2.2池化层2.3激活函数：2.4全连接层2.5使用tensorflow中keras模块实现卷积神经网络4MobileNetV2网络5损失函数softmax交叉熵5.1softmax
iuerfee·2024-02-06 09:17

思文：有序的复杂，就是高级的简单 | 六月主编

熵这个概念。据一位德国物理学家定义，是用以度量一个封闭系统『内在的混乱程度』。不管科学家怎么说，据我粗浅的理解，我们生下来，就默认存在于一个熵增的世界。
文学少女的书单·2024-02-06 05:46

【行动158】生命以负熵为生

今天是20201112星期四，行动计划第158天，天气：晴朗【行动158】生命以负熵为生今日心情：今天不算特别忙碌的一天，日常要做的事情按照时间开展即可，只是时间和精力还没有管理好，需要继续调整和加油。
静以致远啊·2024-02-05 23:01

培训机构外教与国家强盛的关系——日更12日

记得之前看的一本书《熵减——华为活力之源》，里面有一点话让我印象非常深刻，说“德国人对教育的认知也有一句话：一个国家的强盛是
林伶垟·2024-02-05 20:22

一读：《阅读的方法》要素摘思（3）

陈力单《传播学的24个关键词》，简下来，抓住关键词，引人入胜（《文化研究关键词》汪民安主编）熵，19世纪鲁道夫·克劳修斯提出，描述的是一个封闭系统的混乱程度。从未有的角度观察，从平凡的事物中发现惊喜。
难得清明·2024-02-05 19:31

通信基础 4——遍历容量、信道估计、干扰对齐

目录遍历容量/各态历经性容量信道估计干扰对齐无线携能通信遍历容量/各态历经性容量说遍历容量不十分准确，应该叫各态历经性容量（是相对于中断容量说的）首先要理解《信息论》中得香农信道容量，然后结合《随机过程
今天也努力学习的Paul·2024-02-05 18:37

机器学习 --- 指数族分布

一、背景二、高斯分布的指数族形式三、对数配分函数与充分统计量的关系三、极大似然估计与充分统计量四、最大熵角度总结最后数学建模精选资料共享，研究生学长数模指导，建模比赛思路分享，关注我不迷路！
建模君Assistance·2024-02-05 16:42

蓝桥杯典型真题分析详解--编程思维--01串的熵

2023年十四届省赛大学B组真题（共10道题)【问题描述】对于一个长度为n的01串S=x1x2x3...xn.香农信息熵的定义为：其中p(0),p(1)表示在这个01串中0和1出现的占比。
D_nao·2024-02-05 15:58
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他