香农熵

1.决策树

2.2构建决策树的数据算法2.2.1信息熵2.2.2ID3算法2.2.2.1信息的定义2.2.2.2信息增益2.2.2.3ID3算法举例2.2.2.4ID3算法优缺点2.2.3C4.5算法2.2.3.1C4.5
还是那个同伟伟·2023-12-27 18:02

想让生活变得更加美好吗——运用熵增定律

之前耳闻过熵增定律，因为涉及到复杂的物理学知识，没有怎么关注。今天大概的了解了一下，受益匪浅。物理学家薛定谔说，人活着就是对抗熵增，生命以负熵为生。什么是熵增定律？
向明而生·2023-12-27 14:10

共读《起源—万物大历史》第四天：第4章

当然任务清单本身很简单：（1）要保证能够活下去，虽然有熵的趋于无序以及周围环境的不可预测；（2）要能保证实现自我复制，且能时代持续下
姚常春·2023-12-27 08:10

KL散度、JS散度、Wassertein距离

KL散度KL散度又称相对熵，信息散度，信息增益。KL散度是两个概率分布P和Q差别的非对称性的度量。在经典境况下，P表示数据的真实分布，Q表示数据的理论分布，模型分布。
LuDon·2023-12-27 01:29

【网络奇缘】——奈氏准则和香农定理从理论到实践一站式服务|计算机网络

计算机网络|数据结构与算法个人格言:"没有罗马,那就自己创造罗马~"目录失真-信号的变化影响信号失真的因素：编辑失真的一种现象：码间串扰奈氏准则：奈氏准则概念及使用条件:奈氏准则相关例题:奈氏准则的四条结论:香农定理
Aileen_0v0·2023-12-26 16:37

读《意念力》有感（一）

孙岩老师用无私的大爱让我们见识了零熵系统的神奇，让我们明白了人生的各种参数，从一颗棋子上升到一个下棋者，甚至是摆棋盘的人，让我们的思维眼界看的更广，从而打开智慧，把所有的事情变得简单，变得高效。
甜蜜蜜_abf3·2023-12-26 15:33

【机器学习】Boosting算法-梯度提升算法（Gradient Boosting）

梯度提升算法有以下几个特点：梯度提升算法可以用任何可微分的损失函数，如平方误差、绝对误差、交叉熵等，这使得它比其他基于指数损失函数的算法更加灵活
十年一梦实验室·2023-12-26 09:18

王道考研计算机网络——数据链路层

码元和信号变化是一一对应的低通：低于最高频率的可以通过奈氏准则无噪声，香农定理有噪声给出db，利用公式求出S/N放到数字信道上传输就是基带信号，放到模拟信道上传输就是宽带信号把基带信号调制成宽带信号之后
Tandy12356_·2023-12-26 08:11

活得简单才能简单地活着

热力学有个“熵”的概念，现在人们常常将其引申在人文科学上。“熵”是热力学中表征物质状态的参量之一，物理意义是体系混乱程度的度量。
闻香书蠹·2023-12-26 00:37

2020召开的第50周“股东大会”（12.07-12.13）

大家好，欢迎来到“逆熵增者有限责任公司”，我把自己比作一个公司，我就是这个公司的CEO，每周的复盘就相当于召开一次“股东大会”，底下有8位股东，分别是:①投资理财②家庭人际③阅读写作④个人成长⑤工作方面
逆熵增者·2023-12-25 18:54

熵增定律和你有什么关系？ 2020.05.19超有才华第382次百字悟

这让我突然想到熵增定律：熵增定律是克劳修斯提出的热力学定律，克劳修斯引入了熵的概念来描述这种不可逆的过程，即热量从高温物体流向低温物体是不可逆的。
超有才华·2023-12-25 16:14

一切都是最好的安排

文|蓝熵图片发自App阅读《像恋爱一样去跑步》作者：吴栋赛事如人生，起伏在所难免，只需勇往直前便是，而真正的比赛从预备的准备阶段便已经开始，作为一名参赛者，多么谨慎、细致、用心都不为过。
蓝熵·2023-12-25 11:21

2021-01-12

法则复习效率高遗忘曲线高强度练习如何看完一本书倒逼自己输出跟顶尖成功人士学习猫叔采访牛人研究他们成长史链接牛人跨越式成长活学活用指导生活z作芒格毎次提前到，为人处世借完车加满油才还回去不让别人吃亏富兰克林研究方法不满意的点变想成为的点研一:去一个新公司拿别人十倍工资研究别人熵增封闭到流动固定思维成长思维批评
e382aa79440f·2023-12-25 09:32

感恩日记111

如果没有工作、家里的事忙活，我将会走向精神熵，整个人处于一种无序的状态中！
柯晓芃·2023-12-25 00:17

交叉熵损失（Cross Entropy Loss）学习笔记

  在分类任务中，我们通常使用交叉熵作为损失函数，首先给出交叉熵的计算公式：二分类中：L=1N∑iLi=1N∑i−[yilog(pi)+(1−yi)⋅log(1−pi)]\mathcal{L}=\frac1
图学习的小张·2023-12-24 22:40

️麦豆悦读英文绘本讲师训练营【第15期】---7/21--绘本赏析--《No Daivd》

151505曾小翠今天分享的绘本是《No,David》，这个故事是经典图书大卫系列中的一个（另外两个是大卫上学去和大卫惹麻烦），作者大卫-香农凭借这一绘本获得了凯迪克银奖，内容短小却蕴含哲理，字里行间充满了作者的人文关怀和灵光智慧
b5d08777fdee·2023-12-24 21:54

【基础论文笔记一】(2018 NIPS)Conditional Adversarial Domain Adaptation CDAN条件对抗域适应

目录一、CDAN结构二、多线性调整三、熵调整四、总体优化目标前言对抗性学习已被嵌入到深层网络中，用于学习解纠缠和可转移的领域适应表示。
羊驼不驼a·2023-12-24 16:13

看书忘不了的方法

上学时老师常说好记性不如烂笔头，就是这个道理.二，注意力和肌肉一样，有损耗，用多了就累的不行.但注意力和肌肉一样，也可以循序渐进锻炼.三，分清“反自然”情况.看电影打游戏，快乐时间飞逝，这是人性，符合自然现象，但是就会熵增
3年6千里·2023-12-24 09:41

熵的哲学

最近熵的概念突然火了，很多文章都在谈如何用熵的理论去解决国家、企业的问题，其实熵对于我们通信专业的通信来说应该是一个不陌生的概念。1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。
北邮师兄说·2023-12-24 08:58

晨读《熵增定律》第11章

书名：《熵增定律》作者：何圣君王怡来源：微信读书晨读：第11章熵减法则：霍桑效应核心内容：1、梅奥教授定义的所谓霍桑效应，就是当人们一旦意识到自己在“被关注”“被观察”，或者“被看见”的时候，会刻意地改变自己的行为举止
雪糕不是雪·2023-12-24 08:38

评价模型（二）主成分分析、因子分析、二者对比及其对应 PYTHON 实现代码和例题解释

数学建模系列文章：以下是个人在准备数模国赛时候的一些模型算法和代码整理，有空会不断更新内容：评价模型（一）层次分析法（AHP）,熵权法，TOPSIS分析及其对应PYTHON实现代码和例题解释评价模型（二
herry_drj·2023-12-24 07:28

时间简史2022-09-17

3、热力学第二定律：孤立系统的熵总是趋向变大，两个系统合并后，系统的熵大于单个系统的熵的总和。4、柏肯斯坦：事件视界的面积即黑洞熵的量度。5、如果黑洞有熵，必然有向外辐射。
荒原苍狼·2023-12-23 20:07

（14）监督学习-分类问题-决策树

1、ID3特征选择方法：信息增益熵H（X）=-plog(p)求和，g(D,A)=H(D)-H(D,A),g越大，说明某一条件下，减少数据不确定性的程度越大。
顽皮的石头7788121·2023-12-23 19:27

图像融合定量指标分析

①熵/Entropy/EN  熵表示一张图像包含信息的丰富程度。
Change_ZH·2023-12-23 13:53

决策树和随机森林算法 简介

决策树（DecisionTree）是一种基础的分类和回归算法随机森林是由多棵决策树集成在一起的集成学习算法决策树生成过程:特征选择决策树生成决策树剪枝信息熵用来衡量一个节点内信息的不确定性的。
草明·2023-12-23 11:30

决策树相关算法_ID3_C45_信息熵_剪枝

信息增益为了说明信息增益算法，需要先给出熵entropy的定义，熵表示随机变量的不确定性的度量。设XXX是一个取有限个值的离散随机变量，其概率分布
沉住气CD·2023-12-23 11:00

《哀冬》张狂报国志，为尔随雁飞【熵-原创】

图片发自App2010年9月，由于所读专业自己特别无法适应，遂休学一年，调整心态，准备转专业，然而。。。哀冬漫漫人生路，浊浊世俗人。笑看过往史，唯己不饶人。寒柳丝絮飞，学子望月归。张狂报国志，为尔随雁飞。2010年11月书于老家
昨天的熵·2023-12-23 10:16

假借

当我面临未知我曾经的向往我忽视的留恋我来自的远方我之目光长眠混浊但是安详我接受之凝视我清冷之芬芳当我血液坠积静静渗出血管有没有人来嗅我缤纷的欲望我之双目塌陷伸出我的巨舌我之虫衣满脸填补我的表情我之故事腐烂偿还我的智慧离我去之虫群像飞行的衣裳亲人不再纪念宴会即将淡忘我欲言的沉默降低自己的熵万物各有其时我之所见广大我之所思飘渺理解我能理解当我墓碑残破枯骨髐然有形图片发自
思想基因·2023-12-23 06:47

交叉熵数学公式推导（含熵和KL散度数学公式）

第一章熵物理学概念：一个系统的混乱程度，信息熵就是熵的另一种名称。
New___dream·2023-12-23 06:29

《写作到底有什么用》——转自逆熵增者

《写作到底有什么用》写作是“改运”级的武器，写作和不写作的人生，有着极大的不同。（一）写作，能让你想得更明白，大大提升你的思考质量。思考质量提高了，你的行为质量也会跟着提高。（二）如果你经常写作，你会比一般人更容易捕捉到有价值的信息。这些有价值的信息，会让你更容易脱颖而出。（三）公开写作，能帮你连接很多同频的人。这些连接意味着新的可能性，意味着新的机会。（四）写作是打造个人品牌的神器。个人品牌强的
五月以身作则努力成长·2023-12-23 04:41

一个小例子搞懂transformer中的label smoothing(标签平滑)

标签平滑其实就是将硬标签(hardlabel)转化为软标签(softlabel)，也就是将标签的onehot编码中的1转化为比1稍小的数，将0转化为比0稍大的数，这样在计算损失函数时(比如交叉熵损失函数
前行的zhu·2023-12-23 02:51

深度学习——关于adam优化器和交叉熵损失函数介绍

在你的代码中，使用了Adam优化器和交叉熵（categoricalcrossentropy）损失函数，这是常见且在许多情况下表现良好的选择。
没有竹蜻蜓的小叮当·2023-12-23 00:08

掌握4C原则，设计高效的系统架构

hi，我是熵减，见字如面。在软件开发中，设计一个好的架构是非常重要的，好架构能够影响整个系统的质量和可维护性。而要设计出好架构，就需要遵循一些设计原则。
peida·2023-12-22 23:10

关于内耗

其实就是各种无谓念头一直产生摩擦，摩擦后的垃圾——精神熵不仅越积越多，还互相对抗，将人在心理上拖入旷日持久的消耗战中。
是婴宁·2023-12-22 22:44

[ML学习笔记] 决策树与随机森林（Decision Tree&Random Forest）

一棵决策树的组成：根节点、非叶子节点（决策点）、叶子节点、分支算法分为两个步骤：1.训练阶段（建模）2.分类阶段（应用）熵的概念设用P(X)代表X发生的概率，H(X)代表X发生的不确定性，则有：P(X)
weixin_30292843·2023-12-22 22:20

联邦学习-安全树模型SecureBoost之Decision Tree

SecureBoost之DesicionTree文章目录联邦学习-安全树模型SecureBoost之DesicionTree1联邦学习背景2DecisionTree2.1决策树的定义2.2决策树基础2.2.1熵2.2.2
秃顶的码农·2023-12-22 22:49

决策树和回归树(Decision_Tree_and_Regression_Tree)

做的一些对比实验，原文是写在jupyter上的，这里是直接转为.md导过来的，所以格式有些问题，有些东西还待完善…注意几点：连续特征处理，预测问题或者说回归问题（连续性目标特征）决策树（Decisiontree）熵熵表示随机变量不确定性的度量
geter_CS·2023-12-22 22:18

[基本功]决策树

信息增益（ID3）信息熵，可以度量样本集合纯度Ent(D)=−∑k=1∣y∣pklog2pkEnt(D)=-\sum_{k=1}^{|y|}p_klog_2p_kEnt(D)=−k=1∑∣y∣pklog2pk
女青年学习日记·2023-12-22 22:46

下一次的见面让我们在大海与雪山上吧（7.18）

4自然从不飞越，熵增是它的常态，而这些不断坚持，不断突破自我的人，所展示出的自我熵减的过程能够让我们感受到一股强大的生命力。5自然从不飞越，正是认识到了世
胡同学的读书笔记·2023-12-22 20:34

Humpty Dumpty

图片发自App科学家们用HumptyDumpty的故事来演示热力学第二定律（或称“熵增定律”）：在自然过程中，一个孤立系统的总混乱度（即“熵”，entropy）永
阅芽乐园·2023-12-22 19:50

单步跟踪dpdk--（一）写在前面

因为人过25岁，熵就开始增加了，过了45就快速增加。你的任务不是学习，是养活你老婆孩子，送孩子上大学，尽可能长地陪你老婆度过余生。尽管你注定很难领到退休证。
hillstream3·2023-12-22 19:09

API架构的选择，RESTful、GraphQL还是gRPC

hi，我是熵减，见字如面。在现代的软件工程中，微服务或在客户端与服务端之间的信息传递的方式，比较常见的有三种架构设计的风格：RESTful、GraphQL和gRPC。
peida·2023-12-22 14:03

机器学习与人工智能：一场革命性的变革

一场革命性的变革人工智能的概述什么是机器学习定义解释数据集结构机器学习应用场景人工智能的概述1956年8月，在美国汉诺斯小镇宁静的达特茅斯学院中，约翰·麦卡锡（JohnMcCarthy）、马文·闵斯基（MarvinMinsky，人工智能与认知学专家）、克劳德·香农
以山河作礼。·2023-12-22 12:11

python中的r2评分为负值_解决pytorch 交叉熵损失输出为负数的问题

网络训练中，loss曲线非常奇怪交叉熵怎么会有负数。经过排查，交叉熵不是有个负对数吗，当网络输出的概率是0-1时，正数。可当网络输出大于1的数，就有可能变成负数。
weixin_39648492·2023-12-22 08:17

联邦学习（pytorch）的损失值为负值解决办法

:在定义的模型里把self.softmax=nn.Softmax(dim=1)改成self.softmax=nn.LogSoftmax(dim=1)在代码里如下：修改后的执行结果如下：方法二：因为交叉熵有个负对数
沉睡中的主角·2023-12-22 08:15

大创项目推荐 深度学习+opencv+python实现昆虫识别 -图像识别 昆虫识别

数据收集和处理3卷积神经网络2.1卷积层2.2池化层2.3激活函数：2.4全连接层2.5使用tensorflow中keras模块实现卷积神经网络4MobileNetV2网络5损失函数softmax交叉熵5.1softmax
laafeer·2023-12-21 21:51

你有你的计划世界另有计划之一个基于信息论的人生观

信息论的祖师爷，克劳德香农有一个洞见：一个东西信息量
河南王凯凯·2023-12-21 21:36

如何进行本质思考：提升你的逻辑思维

@善用网文：读书提升认知，知识改变命运01“信息论之父”香农说：“你越能触及问题的本质，得到真知灼见的效率就越高。”
水滴识穿·2023-12-21 19:26

随机森林1（了解整体知识架构）

很多人学习或者了解随机森林时，查到的资料都是先讲熵，再讲决策树，然后再讲随机森林，前面坚持不下来或者一个地方没理解透彻，导致后面理解不透彻，而且公式讲解不够清晰，例子不够详细，很难让小白彻底搞清楚到底是怎么回事
-麦_子-·2023-12-21 16:40

计算机网络核心内容整理

计算机网络分层结构2、计算机网络协议、接口、服务等概念3、IS0/OSl参考模型和TCP/IP模型二、物理层(一)通信基础1、信道、信号、带宽、码元、波特、速率、信源与信宿等基本概念2、奈奎斯特定理与香农定理
进击的雷神·2023-12-21 07:52
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他