熵

熵增世界里的断舍离和非连续性增长

案例研读的确是一种学习的好方式，这周的两个案例，作者研读的本意是解释商业中的如何做“断舍离”，但万变不离其宗，我在这两个案例中依旧能看到了这个世界的基本规律：熵增，和非连续性。
ermus·2023-12-20 09:52

终身学习的新算法 摘要

因为熵定律。熵定律就是自然规律各种物质都是要越来越趋近混乱无序，最后沉寂。我们所做的就是学习，让我们的思想有序，以抵抗自然趋势。2.终身学习学什么？
顽皮的毛毛虫·2023-12-20 02:24

深度学习中的KL散度

1KL散度概述KL散度（Kullback-LeiblerDivergence），也称为相对熵，是信息论中的一个概念，用于衡量两个概率分布间的差异。
智慧医疗探索者·2023-12-20 01:54

逆熵增成长之路--阅读篇

《逆熵增成长之路》的第三章阅读篇，我将用4F复盘法，回顾所学，谈谈自己的所思、所感、所悟以及在未来所用。
甜柠檬_3eed·2023-12-20 00:55

2022-09-14

可好做着一件有意义的事情(写作)，我是不出局的践行者，在逆熵增的读书群学习打卡，还在润阳教育平台学习了润
王桂杰_0099·2023-12-19 20:14

为何世界万物总是惊人的相似？

因为规律一致，所以惊人的相似，那就是万物都符合一个宇宙规律，那就是“熵增理论”。“熵”是描述自然界混乱程度的单位，值越大也就越混乱，比如你的房间长期不打扫就会趋于混乱无序。
范老儿·2023-12-19 14:13

奇迹感恩日记第201天

1、我万分荣幸并深深感恩这几天允许自己懒懒得，慢下来，一点一点从熵增调回熵减。谢谢！谢谢！谢谢！2、我万分荣幸并深深感恩彭彭天使带着礼物来找我
亲爱的玉格格·2023-12-18 22:39

34周复盘‖开心的一周

大家好，欢迎来到“逆熵增成长公司”，把自己比作一个公司，我就是这个公司的CEO，最好的个人成长和思维模式就是把你自己当成一家“公司”去经营。
逆熵增者·2023-12-18 19:29

notes2

机器学习ROC曲线、AUC、PR曲线等决策树，ID3、C4.5、CART决策树，随机森林、Adaboost、GBDT决策树，XGBoost、LightGBM逻辑回归，L1L2正则化熵，KL散度，交叉熵micro-f1
lym94·2023-12-18 14:53

熵增顿悟5

以后不定期将这些灵感汇总起来，组成「熵增顿悟」系列。今天是熵增顿悟的第5期！001我们常常高估了一年的力量，又低估了十年的力量。复杂的事情简单做，简单的事情重复做，重复的事情用心做。
逆熵增者·2023-12-18 12:28

Pytorch：模型的权值初始化与损失函数

目录前期回顾一、权值初始化1.1梯度消失与梯度爆炸1.2Xavier初始化1.3Kaiming初始化1.4十种权重初始化方法二、损失函数2.1损失函数初步介绍2.2交叉熵损失CrossEntropyLossnn.CrossEntropyLoss2.3
碧蓝的天空丶·2023-12-18 08:37

交叉熵在机器学习里做损失的意义

交叉熵是机器学习中常用的损失函数之一，特别适用于分类任务。其背后的核心思想是衡量两个概率分布之间的差异。
何处不逢君·2023-12-18 08:17

机器学习 | 决策树 Decision Tree

——分而治之，逐个击破把特征空间划分区域每个区域拟合简单模型分级分类决策1、核心思想和原理举例：特征选择、节点分类、阈值确定2、信息嫡熵本身代表不确定性，是不确定性的一种度量。
西皮呦·2023-12-18 06:38

像看美女一样进入心流时刻

|最优体验“心流”就这样，米哈里利用精神熵，提出了它的反面概念，“最优体验”，他还用了一个生动的词，称这种体验为“心流”。心流也就是我们讲的这本书的名字。
一闫楠尽·2023-12-18 00:34

对数似然函数 | 交叉熵 | 损失函数

对数似然代价函数（Log-LikelihoodCostFunction）通常用于训练神经网络，特别是在二元分类问题和多类分类问题中。它的数学形式取决于问题的性质，下面我将分别介绍二元分类和多类分类中的对数似然代价函数，并举例说明。二元分类问题中的对数似然代价函数：在二元分类问题中，我们通常有两个类别，标记为0和1。对数似然代价函数的数学形式如下：C=-[Σ(y*log(a)+(1-y)*log(1
Vincent不是文森特·2023-12-18 00:03

好文：信息格局论

原创：许铁物理里有个东西叫熵，名字听起来像个上古神兽，它测量我们对一个物理系统的无知程度，或者说信息的缺失。熵在自然状态下总在增加，也就是说，一切都趋向更未知的状态。
火爆龙·2023-12-18 00:42

逆熵增成长之路--知识管理篇

《逆熵增成长之路》的第四章知识管理篇，本篇读后感主要阐述以下几个问题：❶为什么要构建知识体系？（Why）❷知识体系是什么？（What）❸如何构建自己的知识体系？（How）✅为什么要构建知识体系？
甜柠檬_3eed·2023-12-17 18:28

逻辑回归代价函数

逻辑回归的代价函数通常使用交叉熵损失来定义。这种损失函数非常适合于二元分类问题。本篇来推导一下逻辑回归的代价函数。
ShawnWeasley·2023-12-17 17:14

2018-12-05

随着年纪增长，我越来越深切地感受到熵增趋势的无情进程，一切美好的事物都在无可挽回地逝去。人的肉体变得丑陋，人的精神变得萎靡，所有曾经美好的关系都趋向于解体和消融。
天涯大道·2023-12-17 16:42

熵增

第一次接触"熵增"的概念是在上一份工作，当时对这个词感受还不明显。只知道无序的状态会带来不好的影响。而如今，在一个熵增的组织中真切感受。无序混乱，导致问题频发却又无人去解决。
舒米勒的小花园·2023-12-17 11:52

如何成为生命里优雅的勇者？

试想，如果我们只是在平淡无奇的日子里保持优雅，其实并不能把我们的潜力充分的发挥出来，我们更多的时候，只是选择了舒适、选择了熵、选
forever童·2023-12-17 10:38

53从 0 到 1 实现卷积神经网络--实现卷积神经网络

实现卷积神经网络梯度检验前面两个实验实现交叉熵损失函数、激活函数、线性层时，都是直接对其函数进行求导，在数学上称之为解析梯度Analyticgradient，而在数学上梯度的真正定义是:image.png
Jachin111·2023-12-17 07:57

2021-01-22

地风水天，色空性本，和合自己，熵心气熵，轮生死转，散分开闭，变动缺错，你我阴阳，她他生死，完整间段，行修入出，能量流通，道法上下，凹凸对交，觉秉连接，
牛磊_fc50·2023-12-17 07:31

熵增定律 | 人为什么要学习？

熵增定律其实是热力学第二定律的另一种表述。熵，衡量的是混乱度；熵增，就是混乱度增加；孤立系统的熵永不自动减少，熵在可逆过程中不变，在不可逆过程中增加。
小璇儿的异想世界·2023-12-17 05:55

新闻传播学——信息论

并且由于信息是减少不确定性的度量，所以信息等于负熵。该理论的重点在于探讨信息的测定和传递，而不是信息的意义。它与系统论、控制论一起，为人们观察
哞哞学新传·2023-12-16 22:39

KL散度、CrossEntropy详解

文章目录0.概述1.信息量1.1定义1.2性质1.3例子2.熵Entropy2.1定义2.2公式2.3例子3.交叉熵CrossEntropy3.1定义3.2公式3.3例子4.KL散度（相对熵）4.1公式
@BangBang·2023-12-16 19:06

从这篇拆书稿中，我学到了：原来我学习到的所有东西都是求同尊异

而不管派克先生从事的心理咨询中，基本要求必定是因为拥有爱的力量，就是心灵力量熵减。而世界上唯一越用越多的东西就是：爱！
毛毛宋·2023-12-16 17:04

如何理解《注意力机制真的懂得“集中注意力”吗？》

在文章《从熵不变性看Attention的Scale操作》中，我们就从“集中注意力”的角度考察过Attention机制，当时我们以信息熵作为“集中程度”的度量，熵越低，表明Attention越有可能集中在某个
路人与大师·2023-12-16 14:14

机器学习-KL散度的直观理解+代码

在信息论或概率论中，KL散度（Kullback–Leiblerdivergence），又称为相对熵（relativeentropy），是一种描述两个概率分布P和Q差异的一种方法。
头发没了还会再长·2023-12-16 14:11

GEE机器学习——最大熵分类器案例分析（JavaScript和python代码）

最大熵分类器创建最大熵分类器。Maxent用于使用已知存在位置和大量“背景”位置的环境数据来模拟物种分布概率。
此星光明·2023-12-16 10:48

图像各类评价指标合集--（针对LLIE任务）

文章目录前言一、常见评价指标1、均方误差（MSE）2、峰值信噪比（PSNR）3、结构相似性（SSIM）2、低照度图像评价2.1均值2.2标准差（StandardDeviation，SD）2.3信息熵（InformationEntropy
Vaeeeeeee·2023-12-16 09:48

【深度学习】机器学习概述（一）机器学习三要素——模型、学习准则、优化算法

文章目录一、基本概念二、机器学习的三要素1.模型a.线性模型b.非线性模型2.学习准则==a.损失函数==1.0-1损失函数2.平方损失函数（回归问题）3.交叉熵损失函数（Cross-EntropyLoss
QomolangmaH·2023-12-16 08:10

Course2-Week4-决策树

Course2-Week4-决策树文章目录Course2-Week4-决策树1.决策树的直观理解2.构建单个决策树2.1熵和信息增益2.2构建决策树——二元输入特征2.3构建决策树——多元输入特征2.4
虎慕·2023-12-16 00:28

三种决策树算法

ID3ID3算法在特征选择时，使用的指标是信息增益（InformationGain），信息增益是基于熵（entropy）的概念，熵是用来衡量数据集中的不确定性或纯度的一个指标。
NLP_wendi·2023-12-15 15:14

2020-12-06-《心流》-序一 自造内心秩序之途

阅读：《心流》-序一自造内心秩序之途—郑也夫介绍本书三个核心词：1）幸福2）最优体验——心流3）精神熵熵——无序的度量，一切自发的物理过程，都是熵增加的过程负熵——从无序走向有序的趋势精神熵——资讯对人们意识中的目标和结构的威胁
小月亮06·2023-12-15 09:02

时序分解 | Matlab实现DBO-VMD基于蜣螂优化算法优化VMD变分模态分解时间序列信号分解

Matlab实现DBO-VMD基于蜣螂优化算法优化VMD变分模态分解时间序列信号分解效果一览基本介绍程序设计参考资料效果一览基本介绍1.利用蜣螂优化算法优化VMD中的参数k、a，适应度函数可自由选为包络熵、
机器学习之心·2023-12-14 23:26

逻辑回归的损失函数和目标函数

损失函数逻辑回归通常使用对数损失函数（LogLoss），也称为逻辑损失或交叉熵损失（Cross-EntropyLoss）。
NLP_wendi·2023-12-14 18:34

Softmax回归

目录一、Softmax回归关键思想1、回归问题和分类问题的区别2、Softmax回归模型3、Softmax函数4、交叉熵损失函数二、图像分类数据集1、读取数据集2、读取小批量数据3、整合所有组件三、Softmax
奉系坤阀·2023-12-14 17:07

读书笔记《熵减》

熵，指的是一个封闭的系统的混乱无序的程度，所以熵增定律的意思是一个封闭的系统内部，混乱无序的程度总是在增加的。
XSpectrumX·2023-12-14 15:59

只能列个计划

1，最近无所事事时间长，空想也就多了，思维做着熵的运动，活在记忆混乱的时空，感觉好像事情之前就发生过，遇见了未来？其实并不是，生活在一个固定的地方
华甦·2023-12-07 01:51

经典GAN简明原理：LSGAN

常规GAN默认的判别器设置是sigmoid交叉熵损失函数训练的分类器。但是，在训练学习过程中这种损失函数的使用可能会导致梯度消失。
机器学习与AI生成创作·2023-12-06 23:25

剪枝综述论文阅读：Methods for Pruning Deep Neural Networks

评估二、Magnitudebasedpruning1.权重剪枝2.彩票定理3.特征图和过滤器剪枝（1）基于通道方差的剪枝InboundpruningReduceandReusepruning结论（2）基于熵的通道剪枝结论
李明朔·2023-12-06 18:21

知识蒸馏KL-loss解读

一、KLloss原理hardlabel：训练的学生模型结果与真实标签进行交叉熵loss，类似正常网络训练。
tangjunjun-owen·2023-12-06 18:44

2020-05-30《发现心流》

米哈里借用物理学中熵的概念，创造了一个新词“精神熵”，意思是人不做事时，意识总是会趋于无序和混乱。当人的意识失去秩序后，就会东想西想，心神不宁，很难觉得幸福。
芡实·2023-12-06 16:47

决策树 ID3 算法

ID3算法ID3算法ID3算法最早是由罗斯昆(J.RossQuinlan)于1975年提出的一种决策树构建算法，算法的核心是“信息熵”，期望信息越小，信息熵越大，样本纯度越低。。
小小程序○·2023-12-06 15:53

Pytorch中有哪些损失函数?

**交叉熵损失（Cross-EntropyLoss）：`nn.CrossEntropyLoss`**3.
高山莫衣·2023-12-06 11:35

使用VC++实现锐化处理（使用Sobel算子、Prewitt算子、Isotropic算子）

该工程的其他文章：01-一元熵值、二维熵值02-图像平移变换，图像缩放、图像裁剪、图像对角线镜像以及图像的旋转03-邻域平均平滑算法、中值滤波算法、K近邻均值滤波器04-分段线性变换，直方图均衡化、锐化处理
宁77吖·2023-12-06 09:32

深度学习TensorFlow2基础知识学习前半部分

目录测试TensorFlow是否支持GPU：自动求导：数据预处理之统一数组维度定义变量和常量训练模型的时候设备变量的设置生成随机数据交叉熵损失CE和均方误差函数MSE全连接Dense层维度变换reshape
编程被我拿捏住了·2023-12-06 07:15

2019-12-18-23:36

还有人说到了华为任正非在企业管理中所使用的熵增热力学第二定律。自然界很多的东西都有这个规律而如何去抵抗这样的事情，那其实只有开放
涓涓1016·2023-12-05 23:13

损益盈虚

2，天道为损，为熵。逆天道为益，为熵减。吾辈修行，乃逆流而上，做熵减，改损为益。可见不努力修持，必损不足以奉有余，努力精进，才能损有余而补不足。
禅师太极·2023-12-05 22:23
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他