熵

知道和会用是两回事

只是成为谈姿，社交货币，知识体系，绝大多数都是混乱的，真正有主线的泰山，生活破局者，生活黑客人情，生活自由，关系网络，时空纬度的影响，及熵的影响
CrazyLiu生活提案·2024-02-10 10:46

机器学习：分类决策树（Python）

一、各种熵的计算entropy_utils.pyimportnumpyasnp#数值计算importmath#标量数据的计算classEntropyUtils:"""决策树中各种熵的计算，包括信息熵、信息增益
捕捉一只Diu·2024-02-10 07:47

向上生长读后感

现在很多人都是出了校门不学习，一年还看不到一本书，我就是其中一个，有时候感觉学习就学不进去，就像书上说的追剧刷抖音，一看一两个小时不知不觉就过去了，而看书是熵减，所以看不进去学习其实就是不停的输入新的知识信息技能
艳琴健康管理教练·2024-02-09 23:09

Visual Studio 2010+C#实现信源编码

可通过用户输入的初始条件然后给出哈夫曼编码以及LZ编码，结果均通过对话框来显示哈夫曼编码结果包含相应的码字，信源熵，平均码长以及编码效率LZ编码结果的形式如下图所示，包括每一个短语，段号，码字以及二进制码
deleteeee·2024-02-09 23:21

统计学习方法笔记之决策树

特征选择信息增益熵和条件熵在了解
Aengus_Sun·2024-02-09 17:51

令人绝望的“熵增定律”：看透人生真谛

如果这世上有一种定律是最让人绝望的，那一定是熵增定律。1943年，物理学家薛定谔在其著作《生命是什么》里提出：“生命以负熵而生，人活着，就是为了对抗熵增定律。”为何“熵增定律”如此之强？
句句情感·2024-02-09 12:58

20200805成就感日志214/365

1.参加拆书活动（2h）最早接触过熵这个概念是通过吴伯凡老师讲日知录，现在已经没有太大印象了。今天重新建立了熵，熵增，耗散结构，负熵，以及彼此的关系，这得益于anson做的学习地图。
kidII·2024-02-09 11:45

熵与信息质素呈负非线性关系 / 每日一读一思：本土临床心理学论丛读书劄记与思考

熵是一个系统混乱程度、或称无组织程度的度量。系统越混乱，熵就越大；系统越有序，熵就越小。健康信息属于非线性系统，信息质素与熵呈负非线性关系。
本土临床心理学论丛·2024-02-09 05:51

新中特复习笔记二——章节整理上（上海交通大学）

pps：上课视频过长且信息熵感觉有点低，这次就不分享了哈以及感谢大家的厚爱，i人非常感动也非常惶恐题目类型：单选，10个，20分多选，10个，
懒总不想学习想睡觉·2024-02-09 00:19

新中特复习笔记三——章节整理下（上海交通大学）

pps：上课视频过长且信息熵感觉有点低，这次就不分享了哈以及感谢大家的厚爱，i人非常感动也非常惶恐题目类型：单选，10个，20分多选，10个，
懒总不想学习想睡觉·2024-02-09 00:19

新中特复习笔记一——论述题（上海交通大学）

pps：上课视频过长且信息熵感觉有点低，这次就不分享了哈以及感谢大家的厚爱，i人非常感动也非常惶恐题目类型：单选，10个，20分多选，10个，
懒总不想学习想睡觉·2024-02-09 00:48

熵：信息熵、交叉熵、相对熵

信息熵信息熵H(X)可以看做，对X中的样本进行编码所需要的编码长度的期望值。交叉熵交叉熵可以理解为，现在有两个分布，真实分布p和非真实分布q，我们的样本来自真实分布p。
Reore·2024-02-08 20:02

CDA二级建模分析师考试记录

题目来说有点翻来覆去，比如计算信息熵，一口气考了四道题，每个1分。其实考试更多是考内容理解，计算同类型考这么多没啥意义。虽说不公布真题，官
啾啾二一·2024-02-08 18:22

09-06读书笔记《心流》

今天对幸福、意识、乐趣、精神熵，内在秩序都有了一个基础的了解。然后发现还有好多想读的章节，把这份好奇心保持到明天，每天半小时，可以以持续的好奇心和问题继续读下去，体验真的非常好～
Satan__·2024-02-08 16:27

分类模型的机器学习算法

熵和信息增益衡量原始集合的无序程度就需要计算他们的标签的信息熵，如果标签非常不同熵就高，如果标签相同则熵就低。熵每个标签的概率×标签的logo概率的总和.计
青椒rose炒饭·2024-02-08 06:44

如何构建自己的知识体系？看这一篇就够了！

逆熵增者说：很多人会炫耀自己的印象笔记架构，分门别类排列得非常整齐，类别非常多，还要编各种条码，就像图书的分类索引一样，他们称之为知识体系，其实，很多时候只能称之为资料收集和整理。
米卡写作·2024-02-08 06:29

推荐收藏 | 决策树、随机森林、bagging、boosting、Adaboost、GBDT、XGBoost总结

1.ID3算法：以信息增益为准则来选择最优划分属性信息增益的计算是基于信息熵（度量样本集合纯
Pysamlam·2024-02-07 23:36

MATLAB环境下用于提取冲击信号的几种解卷积方法

所以，卷积模型更符合实际工程问题，利用解卷积思路用于振动、声音信号的信号处理以及齿轮、轴承的故障特征增强的有最小熵解卷积、最大相关峭度解卷
哥廷根数学学派·2024-02-07 20:56

c语言求信源的信息熵,第二章-信源与信息熵（三）

接上一节第二章-信源与信息熵(二)2.4连续信源的熵与互信息1.实际中，连续信源a)幅度连续b)时间或频率上也连续2.统计特性a)概率密度函数3.用离散变量来逼近连续变量连续信源熵1.定义连续信源的状态概率用概率密度来表示
UEgood雪姐姐·2024-02-07 09:17

Visual Studio 2010+C#实现信源和信息熵

1.设计要求以图形界面的方式设计一套程序，该程序可以实现以下功能：从输入框输入单个或多个概率，然后使用者可以通过相关按钮的点击求解相应的对数，自信息以及信息熵程序要能够实现马尔可夫信源转移概率矩阵的输入并且可以计算该马尔可夫信源在每一个状态下每输出一个符号的平均信息量
deleteeee·2024-02-07 09:45

【深度学习】Softmax实现手写数字识别

你需要首先实现Softmax函数和交叉熵损失函数的计算。y=softmax(WTx+b)L=CrossEntropy(y,label)y=softm
住在天上的云·2024-02-07 08:04

分类思维：学习其实就是对知识做分类

也许是机缘巧合，写完《熵增定律》，加上之前一直在研究学习这件事，比如存量思维、思维导图、金字塔原理等等，竟突然顿悟，慢慢逼近了学习的本质。这个本质，我将它命名为「分
学习有了方法·2024-02-07 07:08

【深度学习】loss与梯度与交叉熵的关系

问的GPT3.5模型训练时loss与梯度的关系？在深度学习模型训练过程中，loss（损失函数）与梯度（gradient）之间存在密切关系。损失函数衡量模型在给定输入上的预测输出与实际输出之间的差距，而梯度则表示损失函数相对于模型参数的变化率。以下是loss与梯度之间的关系：1.梯度下降：梯度下降是一种优化算法，用于逐步调整模型参数，以最小化损失函数。在每次迭代中，梯度下降根据损失函数的梯度来更新模
sdbhewfoqi·2024-02-06 19:25

分享｜熵增定律:让无数迷途者顿悟的终极定律

如果物理学只能留一条定律，我会留熵增定律。说这句话的人叫吴国盛，清华大学的科学史系主任。
西西弗斯推石头_一念及春·2024-02-06 19:12

计算机设计大赛 深度学习+opencv+python实现昆虫识别 -图像识别 昆虫识别

数据收集和处理3卷积神经网络2.1卷积层2.2池化层2.3激活函数：2.4全连接层2.5使用tensorflow中keras模块实现卷积神经网络4MobileNetV2网络5损失函数softmax交叉熵5.1softmax
iuerfee·2024-02-06 09:17

思文：有序的复杂，就是高级的简单 | 六月主编

熵这个概念。据一位德国物理学家定义，是用以度量一个封闭系统『内在的混乱程度』。不管科学家怎么说，据我粗浅的理解，我们生下来，就默认存在于一个熵增的世界。
文学少女的书单·2024-02-06 05:46

【行动158】生命以负熵为生

今天是20201112星期四，行动计划第158天，天气：晴朗【行动158】生命以负熵为生今日心情：今天不算特别忙碌的一天，日常要做的事情按照时间开展即可，只是时间和精力还没有管理好，需要继续调整和加油。
静以致远啊·2024-02-05 23:01

培训机构外教与国家强盛的关系——日更12日

记得之前看的一本书《熵减——华为活力之源》，里面有一点话让我印象非常深刻，说“德国人对教育的认知也有一句话：一个国家的强盛是
林伶垟·2024-02-05 20:22

一读：《阅读的方法》要素摘思（3）

陈力单《传播学的24个关键词》，简下来，抓住关键词，引人入胜（《文化研究关键词》汪民安主编）熵，19世纪鲁道夫·克劳修斯提出，描述的是一个封闭系统的混乱程度。从未有的角度观察，从平凡的事物中发现惊喜。
难得清明·2024-02-05 19:31

机器学习 --- 指数族分布

一、背景二、高斯分布的指数族形式三、对数配分函数与充分统计量的关系三、极大似然估计与充分统计量四、最大熵角度总结最后数学建模精选资料共享，研究生学长数模指导，建模比赛思路分享，关注我不迷路！
建模君Assistance·2024-02-05 16:42

蓝桥杯典型真题分析详解--编程思维--01串的熵

2023年十四届省赛大学B组真题（共10道题)【问题描述】对于一个长度为n的01串S=x1x2x3...xn.香农信息熵的定义为：其中p(0),p(1)表示在这个01串中0和1出现的占比。
D_nao·2024-02-05 15:58

《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第6章 逻辑斯谛回归与最大熵模型（2）6.2 最大熵模型

文章目录6.2最大熵模型6.2.1最大熵原理6.2.3最大熵模型的学习6.2.4极大似然估计《统计学习方法：李航》笔记从原理到实现（基于python）--第3章k邻近邻法《统计学习方法：李航》笔记从原理到实现
北方骑马的萝卜·2024-02-05 11:51

（阅读笔记）SecureML: A System for Scalable Privacy-Preserving Machine Learning

基础知识线性回归模型，值连续，损失函数多选择最小欧式距离计算；逻辑回归模型，二分类任务，值离散，损失函数多选择交叉熵计算；神经网络模
你看见的我·2024-02-05 10:27

深度学习入门笔记（6）—— Logistic Regression

线性），而LogisticRegression中的激活函数是Sigmoid函数（非线性）；2、损失函数，Adaline中的损失函数是均方误差，而LogisticRegression中的损失函数则是交叉熵。
cnhwl·2024-02-05 05:55

ASTRAIOS: Parameter-Efficient Instruction Tuning Code Large Language Models

ASTRAIOS：参数高效指令调优代码大型语言模型摘要1引言2ASTRAIOS套机与基准3前言研究：交叉熵4主要结果：任务性能5更进一步分析6讨论7相关工作8结论摘要大型语言模型（LLM）的全参数微调（
UnknownBody·2024-02-04 16:46

2021-06-22 今日反思

最近感觉一天不锻炼身体就不舒服，状态不好；一天不反思，就感觉面目可憎，感觉自己不好的地方在不断放大，就好像自己在不断的熵增，只有反思才能减慢这种熵
来自火星会飞的大象·2024-02-04 13:54

熵的定义

今天看《心流》这本书，书中有一个名词：熵。那么“熵”的定义是什么呢？它有两个含义：第一：熵是指一个系统的混乱程度。越混乱，熵值越高。熵的另一个定义是：指一个系统内不能做功的能量的总数。
秀妮_5519·2024-02-04 08:27

互联网加竞赛 基于深度学习的植物识别算法 - cnn opencv python

文章目录0前言1课题背景2具体实现3数据收集和处理3MobileNetV2网络4损失函数softmax交叉熵4.1softmax函数4.2交叉熵损失函数5优化器SGD6最后0前言优质竞赛项目系列，今天要分享的是
Mr.D学长·2024-02-04 07:55

机器学习：Softmax回归（Python）

logistic_regression_mulclass.pyimportnumpyasnpimportmatplotlib.pyplotaspltclassLogisticRegression_MulClass:"""逻辑回归，采用梯度下降算法+正则化，交叉熵损失函数
捕捉一只Diu·2024-02-04 04:27

思维的层次

一个人的认知系统是非常复杂的，我们脑子里可能存在着各种声音，想法，评判，而外界成千上万的讯息也在不断的涌入我们的大脑，所以有时候我们会下决心做出一些选择，行动，但过不了多久，又会因为内心的无序，精神上的熵增半途而废
李燕_sofia·2024-02-04 00:44

pix2pix图像着色学习记录（pytorch实现）

1、BCELossBCELoss（binary_crossentropy）二分类交叉熵损失函数，用于图片多标签分类，n张图片分m类，会得到n*m的矩阵，经过sigmoid把矩阵数值变换到0~1，然后通过如下公式计算得到
欧拉雅卡·2024-02-03 19:17

启迪之星创投刘博：新能源投资的三个坑，不要过分看重政策红利

然而，有一家鲜有发声的投资机构，已经在这一领域默默耕耘了十二载，在新能源赛道孵化投资了不少早期优质项目：比如海博思创、启迪清源、新源动力、曜能科技、中盛旭鑫、暗流科技、亿氢科技、托尔动力、中熵科技、顺熵科技等
VCTalk投资人说·2024-02-03 17:04

目标检测中的损失函数汇总

分类损失CEloss，交叉熵损失交叉熵损失，二分类损失（binaryCEloss）是它的一种极端情况.在机器学习部分就有介绍它。
senbinyu·2024-02-03 16:29

决策树基础知识点解读

定义：集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D/A)之差。缺点分支过程中偏向取值较多的属性无法处理连续值和缺失值，只能处理离散值对缺失值敏感。C4.5算法定义
futurewq·2024-02-03 13:04

决策树相关知识点以及面试题

文章目录基础知识点熵条件熵联合熵交叉熵信息增益信息增益率Gini指数什么是决策树举例决策树怎么生成的ID3算法C4.5算法和其他模型相比决策树的优点基尼指数（CART算法）决策树的生成最小二乘回归树剪枝一些问题参考基础知识点熵熵是一个物理概念
mym_74·2024-02-03 13:34

决策树系列之决策树知识点

decisiontree）决策树是一种树型结构，其中：每个内部的结点表示在一个属性的测试；每个分支代表一个测试的输出；每个叶节点代表一种类别；决策树是以实例为基础的归纳学习，采取的是自顶向下的递归方法；其基本思想是，以信息熵为度量构建一颗熵值下降最快的树
coffeetea01·2024-02-03 13:33

幸福感

我们怎么才能让精神熵降低呢？如果今天有PPT我会给大家展示一张塔里木河二十年前的照片。塔里木河大家都知道，随着人口增加，中间截留的水越来越多，到下流几乎就干涸了。
六爸啦啦啦·2024-02-03 08:45

1.27CNN（输入层，特征提取（卷积，最大池化），输出），损失函数（KL散度，交叉熵推导），熵（物理、信息熵推导），点积矩阵运算（CPU,GPU,NPU）

CNN损失函数KL散度，交叉熵B部分是训练集的真实实际值，是常数，C部分是训练结果，目的是要让这个损失最小化，与模型参数紧密相关，取出C（带负号），C非负就是更精简的损失函数熵v所谓M个空间，N个小球在其中的排列组合方式为熵对应概率是
CQU_JIAKE·2024-02-03 07:23

机器学习原理

神经网络负梯度方向反向传播局部最小就是全局最小svm支持向量机/核函数降维/对偶利于核函数/软间隔正则化去掉噪声，提升鲁棒性决策树信息增益，熵/剪枝/随机森林随机选取n个数据得到m棵cart树进行bagging
ixtgtg·2024-02-03 07:51

白铁时代 —— （监督学习）原理推导

来自李航《统计学习方法》文章目录-1指标相似度0概论1优化类1.1朴素贝叶斯1.2k近邻-kNN1.3线性判别分析二分类LDA多分类LDA流程LDA和PCA的区别和联系1.4逻辑回归模型&最大熵模型逻辑回归最大熵模型最优化
人生简洁之道·2024-02-03 07:46
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他