信息论-熵第12页

【深度学习】机器学习概述（一）机器学习三要素——模型、学习准则、优化算法

文章目录一、基本概念二、机器学习的三要素1.模型a.线性模型b.非线性模型2.学习准则==a.损失函数==1.0-1损失函数2.平方损失函数（回归问题）3.交叉熵损失函数（Cross-EntropyLoss

QomolangmaH·2023-12-16 08:10

Deep Supervised Dual Cycle Adversarial Network for Cross-Modal Retrieval 论文阅读笔记

#1.论文信息论文名称DeepSupervisedDualCycleAdversarialNetworkforCross-ModalRetrieval作者LeiLiao中山大学会议/出版社IEEETransactionsonCircuitsandSystemsforVideoTechnologypdf

wwweiyx·2023-12-16 06:10

clean-label backdoor attacks 论文笔记

#论文笔记#1.论文信息论文名称Clean-LabelBackdoorAttacks作者AlexanderTurner(MIT)会议/出版社ICLR2019pdf本地pdf在线pdf代码trojanzoo-clean-label

wwweiyx·2023-12-16 06:10

Course2-Week4-决策树

Course2-Week4-决策树文章目录Course2-Week4-决策树1.决策树的直观理解2.构建单个决策树2.1熵和信息增益2.2构建决策树——二元输入特征2.3构建决策树——多元输入特征2.4

虎慕·2023-12-16 00:28

什么是信息量大（信息论）

信息说到底是用于降低或是消除不确定性的。如果讲的事情大部分大家都知道，信息量就很少。信息的价值如何衡量？一是信息的重要性很高，这个信息对你很重要，知道了就能帮你解决问题二是信息量大，你暂时不知道这些新信息有什么用，但是给你提供了一些新思路那什么是信息量大呢？对于一条信息，重要的是找出其中有多少信息量，要搞清楚“信息量”，就要对信息进行量化的度量，所以首先要引入一个对信息进行量化的量度单位“比特”“

疾飞·2023-12-15 18:56

三种决策树算法

ID3ID3算法在特征选择时，使用的指标是信息增益（InformationGain），信息增益是基于熵（entropy）的概念，熵是用来衡量数据集中的不确定性或纯度的一个指标。

NLP_wendi·2023-12-15 15:14

2019-08-03

图片发自App【每日清单】964/1000次记录，20190803，雨【今天约定三件事（to-do）】1.[]上医院2.[]脚部休息3.[]信息论27（超时2天）【今天的小确幸】治疗【想说】低估了疼痛期间

伽蓝214·2023-12-15 10:01

2020-12-06-《心流》-序一自造内心秩序之途

阅读：《心流》-序一自造内心秩序之途—郑也夫介绍本书三个核心词：1）幸福2）最优体验——心流3）精神熵熵——无序的度量，一切自发的物理过程，都是熵增加的过程负熵——从无序走向有序的趋势精神熵——资讯对人们意识中的目标和结构的威胁

小月亮06·2023-12-15 09:02

时序分解 | Matlab实现DBO-VMD基于蜣螂优化算法优化VMD变分模态分解时间序列信号分解

Matlab实现DBO-VMD基于蜣螂优化算法优化VMD变分模态分解时间序列信号分解效果一览基本介绍程序设计参考资料效果一览基本介绍1.利用蜣螂优化算法优化VMD中的参数k、a，适应度函数可自由选为包络熵、

机器学习之心·2023-12-14 23:26

逻辑回归的损失函数和目标函数

损失函数逻辑回归通常使用对数损失函数（LogLoss），也称为逻辑损失或交叉熵损失（Cross-EntropyLoss）。

NLP_wendi·2023-12-14 18:34

Softmax回归

目录一、Softmax回归关键思想1、回归问题和分类问题的区别2、Softmax回归模型3、Softmax函数4、交叉熵损失函数二、图像分类数据集1、读取数据集2、读取小批量数据3、整合所有组件三、Softmax

奉系坤阀·2023-12-14 17:07

读书笔记《熵减》

熵，指的是一个封闭的系统的混乱无序的程度，所以熵增定律的意思是一个封闭的系统内部，混乱无序的程度总是在增加的。

XSpectrumX·2023-12-14 15:59

只能列个计划

1，最近无所事事时间长，空想也就多了，思维做着熵的运动，活在记忆混乱的时空，感觉好像事情之前就发生过，遇见了未来？其实并不是，生活在一个固定的地方

华甦·2023-12-07 01:51

经典GAN简明原理：LSGAN

常规GAN默认的判别器设置是sigmoid交叉熵损失函数训练的分类器。但是，在训练学习过程中这种损失函数的使用可能会导致梯度消失。

机器学习与AI生成创作·2023-12-06 23:25

剪枝综述论文阅读：Methods for Pruning Deep Neural Networks

评估二、Magnitudebasedpruning1.权重剪枝2.彩票定理3.特征图和过滤器剪枝（1）基于通道方差的剪枝InboundpruningReduceandReusepruning结论（2）基于熵的通道剪枝结论

李明朔·2023-12-06 18:21

知识蒸馏KL-loss解读

一、KLloss原理hardlabel：训练的学生模型结果与真实标签进行交叉熵loss，类似正常网络训练。

tangjunjun-owen·2023-12-06 18:44

2020-05-30《发现心流》

米哈里借用物理学中熵的概念，创造了一个新词“精神熵”，意思是人不做事时，意识总是会趋于无序和混乱。当人的意识失去秩序后，就会东想西想，心神不宁，很难觉得幸福。

芡实·2023-12-06 16:47

决策树 ID3 算法

ID3算法ID3算法ID3算法最早是由罗斯昆(J.RossQuinlan)于1975年提出的一种决策树构建算法，算法的核心是“信息熵”，期望信息越小，信息熵越大，样本纯度越低。。

小小程序○·2023-12-06 15:53

2019-07-31

图片发自App【每日清单】961/1000次记录，20190731，台风【今天约定三件事（to-do）】1.[]订单查询2.[]副卡流程30%3.[]信息论21（倒计时2天）【今天的小确幸】台灯降温【想说

伽蓝214·2023-12-06 14:13

Pytorch中有哪些损失函数?

**交叉熵损失（Cross-EntropyLoss）：`nn.CrossEntropyLoss`**3.

高山莫衣·2023-12-06 11:35

使用VC++实现锐化处理（使用Sobel算子、Prewitt算子、Isotropic算子）

该工程的其他文章：01-一元熵值、二维熵值02-图像平移变换，图像缩放、图像裁剪、图像对角线镜像以及图像的旋转03-邻域平均平滑算法、中值滤波算法、K近邻均值滤波器04-分段线性变换，直方图均衡化、锐化处理

宁77吖·2023-12-06 09:32

深度学习TensorFlow2基础知识学习前半部分

目录测试TensorFlow是否支持GPU：自动求导：数据预处理之统一数组维度定义变量和常量训练模型的时候设备变量的设置生成随机数据交叉熵损失CE和均方误差函数MSE全连接Dense层维度变换reshape

编程被我拿捏住了·2023-12-06 07:15

2019-12-18-23:36

还有人说到了华为任正非在企业管理中所使用的熵增热力学第二定律。自然界很多的东西都有这个规律而如何去抵抗这样的事情，那其实只有开放

涓涓1016·2023-12-05 23:13

损益盈虚

2，天道为损，为熵。逆天道为益，为熵减。吾辈修行，乃逆流而上，做熵减，改损为益。可见不努力修持，必损不足以奉有余，努力精进，才能损有余而补不足。

禅师太极·2023-12-05 22:23

真正拉开人与人距离的，是认知！六大顶级思维，觉醒你的认知能力

一、反熵增思维“一切事物，都是从有序走向无序，最终走向死亡。”

知行智库·2023-12-05 14:54

[架构之路-256]：目标系统 - 设计方法 - 软件工程 - 软件设计 - 架构设计 - 软件系统不同层次的复用与软件系统向越来越复杂的方向聚合

过程级复用：汇编语言四、函数级复用：C语言五、对象级复用：C++,Java,Python六、组件级复用七、服务级复用八、微服务级复用前言：物质世界的无序向有序的聚合软件系统的无序向有序的聚合皆为设计，用来对抗熵增不同程序员在不同层面

文火冰糖的硅基工坊·2023-12-05 06:03

phonopy快速安装教程

它的主要功能有：计算声子色散谱；计算声子态密度，包括分立态密度；晶体热力学性质，包括自由能，热容量，熵。

DFT计算杂谈·2023-12-05 02:26

050B 基于最大熵模型软件（MaxEnt）和ArcGis地理系统的分布区（适生区）预测教程

课程内容目录（课程标题即课程内容）：050B-1视频附带资料下载和密码：软件-数据-地图-文献下载-持续更新050B-2MaxEnt最大熵分布预测软件的下载安装050B-3ArcGis10.2软件的下载安装和参数设置

生信小窝·2023-12-04 17:19

050B 基于最大熵模型软件（MaxEnt）和ArcGis地理系统的分布区（适生区）预测基础教程更新2022-12

050B-1课程附带资料050B-2最大熵模型软件（MaxEnt）的下载安装和不同打开方式演示（电脑参数配置）050B-3ArcGis10.2软件的下载安装和参数设置-附带软件包050B-4ArcGis10.4

生信小窝·2023-12-04 17:19

050B-基于最大熵Maxent-ArcGis地理分布预测教程更新内容发布-2022-06

050B-31基于3种不同方法划分适生等级的说明及参考资料讲解050B-32基于MTSPS(maximumtestsensitivity)划分适生等级操作方法演示050B-33关于Suitablehabitatindex,SHi参数说明主要更新内容：提供新的适生等级划分方法和最新中英文参考资料，解决因适生等级划分原因被巨的问题。已更新完整内容：050B-1软件-数据-地图-文献下载-持续更新050

生信小窝·2023-12-04 17:18

决策树详解（一）

叶节点四种元素，其代表的含义如下图所示;决策树的工作分为两个阶段：1.训练阶段：给定训练数据集DB，构造出一棵决策树；2.分类阶段：从根开始，按照决策树的分类属性逐层往下划分，直到叶节点，获得分类结果；2.熵原理解读

晓晓晓的打工日记·2023-12-04 15:37

计算机网络的性能指标

计算机网络的性能七个指标：速率当提到网络的速率时，往往指的是额定速率或标称速率，而并非网络实际上运行的速率比特是信息论中使用的信息量单位速率指的是数据的传送速率，它也称为数据率或比特率单位：k=10^3M

Ylovd_·2023-12-04 13:36

TurboDrive技术：突破带宽限制，让数据传输速度提高150%！

它使用基于图像熵的编码来对像素信息进行建模，而不会丢失信息。建模之后每个像素包含更少的数据量，从而使链路上的数据传输更快。

51camera·2023-12-04 10:05

把握原则

但是热力学告诉我们熵减是需要外部能量输入的，而整体还是熵增的。所以生老病死不变是难以实现的！太阳月亮起落不止，万物生生不息，正是因为生物圈的不断运动演变才诞生了我们！

反者道之动也·2023-12-04 04:35

【论文源码解读】（中文拼写检查, CSC）SCOPE：Improving Chinese Spelling Check by Character Pronunciation Prediction

文章目录论文信息论文的贡献与思路模型架构EncoderCharProjectionCSCDecoderCSCTask损失函数L(c)L^{(c)}L(c)PronProjectionCPPDecoderCPPTask

iioSnail·2023-12-03 19:02

中文拼写纠错医疗领域数据集 MCSCSet: A Specialist-annotated Dataset for Medical-domain Chinese Spelling Correction

论文信息论文地址：https://arxiv.org/pdf/2210.11720.pdf（本笔记参考的版本）https://dl.acm.org/doi/pdf/10.1145/3511808.3557636

iioSnail·2023-12-03 19:02

【论文笔记】SDCL: Self-Distillation Contrastive Learning for Chinese Spell Checking

Methodology2.1TheMainModel2.2ContrastiveLoss2.3ImplementationDetails(Hyperparameters)3.Experiments代码实现个人总结值得借鉴的地方论文信息论文地址

iioSnail·2023-12-03 19:59

PyTorch中使用MNIST数据集进行训练和预测

定义损失函数和优化器：选择适当的损失函数（如交叉熵损失）和优化器（如随机梯度下降SGD）。训练模型：使用训练数据集对模型进行训练

赢勾喜欢海·2023-12-03 11:14

《底层逻辑》数学思维

R：吴军老师在得到开设了六门课程，分别是《硅谷来信》《谷歌方法论》《信息论40讲》《科技史纲60讲》《吴军讲5G》以及《数学通识50讲》。

roofchat·2023-12-03 10:25

计算机文化基础—IT概论

信控制论创始人维纳：信息就是信息，既非物质，也非能量；信息论创使人香农：信息是用来消除随机不确定性的东西；钟义信教授：信息是关于事物运动的状态和规律，或者说是关于事物运动的知识；李衍达院士：信息反映的是事物的状态

6个小石头·2023-12-03 09:08

数据分析简单项目总结

Python爬取了1500条阳光热线中关于城乡建设的留言，通过BERT预训练语言模型提取文本的语义向量特征，利用临近传播算法对语义向量特征进行聚类得到127类群众关注问题，定义热度评价指标并利用归一化和熵值法得到评价指标的权重以计算当前群众关注的热点问题

孩纸D·2023-12-03 09:00

熵增之源

理论上，宇宙的正反量子，应当是均匀的，等量的。但事实上白洞与黑洞的距离无限远，造成了白洞射出物质到黑洞吸收的过程中，受空间中微型黑洞和白洞影响，形成了局部区域的富集与真空。于是正反量子的空间分布不均匀导致了局部区域内的数量比不对称。正反量子团互相做非圆周自旋运动，互相湮灭生成中性粒子。直至不对称运动结束，留存的剩余量子溢散，形成辐射。二中性粒子存在概率与量子团核心撞击的可能，使湮灭急剧反应。自发聚

林秉清·2023-12-03 07:16

算法工程师面试八股（搜广推方向）

文章目录机器学习线性和逻辑回归模型逻辑回归二分类和多分类的损失函数二分类为什么用交叉熵损失而不用MSE损失？

贪钱算法还我头发·2023-12-03 03:29

幸福感

我们怎么才能让精神熵降低呢？如果今天有PPT我会给大家展示一张塔里木河二十年前的照片。塔里木河大家都知道，随着人口增加，中间截留的水越来越多，到下流几乎就干涸了。

六爸啦啦啦·2023-12-02 21:23

Softmax与交叉熵：理解神经网络中的重要组成部分

Softmax函数和交叉熵损失函数是神经网络中的重要组成部分，本文将重点介绍和解释Softmax与交叉熵的概念、用途以及它们在神经网络中的作用。

非著名程序员阿强·2023-12-02 19:28

卡尔曼滤波（KF）和扩展卡尔曼滤波（EKF）相应推导

从上个世纪卡尔曼滤波理论被提出，卡尔曼滤波在控制论与信息论的连接上做出了卓越的贡献。

m0_75252232·2023-12-02 19:13

加密的原则 & 应用《吴军信息论》之大道至简

1、信息没有增量即便对方拿到密文，也不会降低不确定性。2、使用一次性密码比如我们在网络上使用的密码，需要结合熟悉和意外，每个都不同。3、让时间值钱为了避免被价格歧视，大量浏览+删除cookie。最重要的，其实是让自己的时间更值钱，买别人的时间来为我们做这些小事。4、反过来想假如我们想要从别人给的海量信息中甄别真伪，又涉及到长久和重大利益，就要多方求证。譬如买股票，不仅看财报（大字小字），有条件的，

牛牛的Annie·2023-12-02 17:27

Lesson5 part5 交叉熵、softmax

交叉熵损失只

不愿透露身份的美凌格·2023-12-02 15:36

那些忧伤的年轻人

霍金：热力学第二定律，在任何闭合系统中无序度或熵总是随时间而增加。换言之，是墨菲定律的一种形式：事情总是趋向于越变越糟。在爱因斯坦的广义相对论里，时间流逝只是一个幻觉，过去和未来的定义取决于观测者。

世相三观·2023-12-02 14:34

推荐频道

信息论-熵