香农第7页

【机器学习】信息量、香农熵、信息增益（增加例子，方便理解）

这节可以搭配【机器学习】Logistic回归（重新整理）信息量（信息）信息量公式的推理过程香农熵信息增益【机器学习】Logistic回归（重新整理）B站视频：“交叉熵”如何做损失函数？

烂尾主教·2023-06-06 21:33

交叉熵(Cross Entropy)

1.信息量香农(Shannon)认为“信息是用来消除随机不确定性的东西”，也就是说衡量一个事件信息量大小就看这个信息消除事件不确定性的程度。

lgdhang·2023-04-21 13:56

绘本讲师训练营【26期】20/21阅读原创《鸭子骑行记》

26006毕慧芳图·文【美】大卫·香农翻译:彭懿今天又看了一本有趣的绘本—鸭子骑行记，鸭子也会骑车太搞笑了，书中的图就算没问题我也能感受到图中动物的萌态。大爱！

sunflower_1404·2023-04-21 12:51

绘本讲师〔12期〕9/12阅读原创《大卫，不可以》--一个让人又爱又恨的捣蛋男孩

作者及绘者大卫.香农以自己5岁时制作的图画书为蓝本，刻画出一个调皮捣蛋的小男孩形象，记录了一件件他

6d3faf2a1726·2023-04-20 22:30

世界上有稳赚不赔的生意吗？

①，在香农之前，人们并不认为信息还能像重量，体积电流一样用什么单位去衡量。人们都是通过信息的内容来对比重要性。

胡勃的观点·2023-04-19 13:14

软件安全第一次作业

香农的信息论指出，信息是用来消除不确定性的东西。信息的存在可以有多种形式，比如打印或者书写在纸上，以电子数据的方式存储，或以胶片形式显示或者通过交谈b表达出来。

萍水间人·2023-04-19 12:37

计算机网络之物理层

计算机网络之物理层1.基本概念2.数据通信基本知识2.1三种通讯方式2.2两种数据传输方式2.3码元2.4波特2.5奈式准则2.6香农定理2.7基带信号和宽带信号2.8编码3.物理层传输介质3.1常见的导向性传输介质

见面吃火锅·2023-04-19 07:53

伴读记D533

大卫.香农的想

元正妈妈·2023-04-18 23:56

熵、贝叶斯、极大似然

熵及熵在机器学习中的作用熵reference：https://blog.csdn.net/tsyccnh/article/details/79163834香农给熵的定义：无损编码事件信息的最小平均编码长度直观理解熵的定义

Jiong-952·2023-04-18 20:46

深度学习基础入门篇[五]:交叉熵损失函数、MSE、CTC损失适用于字识别语音等序列问题、Balanced L1 Loss适用于目标检测

香农将这一概念引入信息论领域，提出了“信息熵”概念，通过对数函数来测量信息的不确定性。交叉熵（crossentropy）是信息论中的重要概念，主要用来度量两个概率分布间的差异。

汀、人工智能·2023-04-18 15:08

如何高效检索信息？

劳德.艾尔伍德.香农（ClaudeElwoodShannon），信息论的创始人，他对信息的定义是：“Informationistheresolutionofun

王双_c261·2023-04-18 08:01

天界之香·元气家奇楠沉香茶（二）

沉香煮饮分为两类一类是香农采

百年郑福星·2023-04-16 19:40

python机器学习课程——决策树全网最详解超详细笔记附代码

简介1.概述2.决策树学习3.典型算法4.基本思想5.构造方法6.基本算法二、ID3决策树1、信息熵2、条件熵3、信息增益4、总结5、决策树进行分类的步骤三、ID3决策树示例1、数据集2、计算经验熵（香农熵

心无旁骛~·2023-04-16 16:29

信息系统项目管理师 15题

1.根据控制论创始人维纳及信息论的奠基者香农对信息的定义，信息是（）。A.一种物质B.一种能量C.事先预测可知的报道D.事物的运动状态和状态变化的自我表述【答案】D。讲义18.1.1信息的定义。

无涯大者·2023-04-16 03:32

【计算机网络】物理层

1.2物理层主要任务2.数据通信的基础知识2.1典型的数据通信模型2.2数据通信相关术语2.3三种通信方式2.4两种数据传输方式2.5速率2.6带宽2.7失真2.8基带信号和宽带信号2.9奈氏准则2.10香农公式

算法真不会·2023-04-15 23:51

绘本讲师培训班16期 14/21阅读原创《大卫上学去》上集

16001林海绿作者:大卫·香农翻译；余治莹图片发自App看着封面感觉好搞笑，标题也很有趣，刚好我儿子今年上一年级，我想看看大卫上学去发生了什么有趣的事情，我和儿子一起阅读时给他先了解学校上课和幼儿园不同

林海绿Grace·2023-04-15 13:35

浅谈游戏中运用到的人工智能

1949年初，密码学家克劳德·香农发现了游戏中的人工智能，从而联想到了电脑上的单人国际象棋游戏。对于人工智能的发展，具有独特而有趣技术的游戏一直是一个重要的关键。

景联文科技·2023-04-14 18:04

读《信息传》总结——决定我们未来发展的方法论

———克劳德·香农（信息论的创始人）70多年前,这个星球上极为聪明和智慧的头脑,时常聚集在细约比克曼酒店,讨论后工业时代层次的科学问题,其中包活冯·诺伊曼.图灵,维纳和香农等人。

男孩李·2023-04-14 13:24

大卫不可以

这本书是作者大卫·香农五岁时的画作，他用画画的方式记录下小时候不被允许做的事情。书中的大卫有着土豆一样的圆脸，三角形的鼻子和尖尖的牙齿，一个捣蛋鬼的形象。冰心奶奶曾说：“顽皮的男孩好，顽皮的女孩巧。”

uu喔·2023-04-14 04:45

从信息熵、相对熵到交叉熵损失函数

信息熵信息熵（Entropy）是衡量信息不确定性的度量，由于这个概念最早是由香农提出的，因此也被称为香农熵。

ZhangTuTu丶·2023-04-13 22:55

计算机网络思维导图，快快收藏学习啦！

第一章（概述）P0-计算机网络第二章（物理层）P1-计算机网络便签中的内容：①香农公式：C=W*Log2(1+S/N)(bit/s)C:极限传输速率W:信道带宽(单位Hz)S:信道内所传信号的平均功率N

GLAB-Mary·2023-04-13 19:41

计算机网络学习笔记——第二章：物理层

目录第二章：物理层2.1通信基础2.1.1物理层基本概念2.1.2数据通信基础知识2.1.3码元、波特、速率、带宽2.1.4奈氏准则和香农定理2.1.5编码与调制2.2物理层传输介质2.3物理层设备2.4

番茄炒蛋不加蛋！·2023-04-13 07:47

扩频通信中的码片

我们从香农公式来理解，它的作用：扩频就是将用户数据符号与其分配到的相应的扩频码相乘，扩频操作将会增加信号带宽，因为信号的带宽在数值上近似等于其码元速率，扩频后的符号速率称为码片速率。

踏乡墨客·2023-04-12 08:47

熵的推导与计算

1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵(Shannonentropy)，信息熵(informationentropy)。本文只讨论信息熵。

小轩爱学习·2023-04-12 07:12

张亚勤：深度学习更近一步，如何突破香农、冯诺依曼和摩尔瓶颈？

2020-11-2014:55:02机器之心发布联想创投2020CEO年会近日，在联想创投2020CEO年会上，清华大学讲席教授、智能产业研究院院长、美国艺术与科学院院士、百度前总裁张亚勤先生带来了《未来科技趋势展望》。张亚勤表示，数字化的3.0时期已经到来，数字化的范围已从内容、社交和企业服务领域向物理和生物世界进行延伸，将我们熟悉的城市、工厂、电网、家庭向智慧交通、工业互联网、智慧医疗等方向进

喜欢打酱油的老鸟·2023-04-11 10:12

一起来了解Python3.11的这些性能提升！简直太牛了

除了著名的“香农计划”外，它还包含哪些与性能相关的优化呢？本文将带你一探究竟！

住隔壁的王叔·2023-04-10 19:51

考点图文详解 - 数据通信基础（第二章）

最常见的考点：尼奎斯特定理、香农定理、PCM编码、E1、海明码（海明码不等式），其中最难的是海明码、CRC校验。二数据通信的基本概念此小节比较少考。通信的目的就是传递信息。

mooddance·2023-04-10 04:06

【系统分析师之路】第五章数据通信与计算机网络

1.数据通信的基本知识：包括曼彻斯特编码，差分曼彻斯特编码，NRZ-I编码，模拟信号编码技术（调频，调幅和调相技术），奈奎斯特定理的内容和应用，香农定理的内容和应用。网络协议

进击的横打·2023-04-10 04:04

软考-中级-网络工程师-笔记-第2章-数据通信基础

软考-中级-网络工程师-笔记-第1章-计算机网络概论第2章数据通信基础2.1数据通信的基础概念模拟信号-连续的数字型号-离散到来奎斯特香农定理2.2信道特性2.2.1信道带宽信道带宽（W）模拟信道：带宽

sinat_34066134·2023-04-09 13:40

第十四届蓝桥杯大赛软件赛省赛-试题 B---01 串的熵解题思路+完整代码

www.ghost-him.com/posts/db23c395/问题描述对于一个长度为n的01串S=x1x2x3...xnS=x_{1}x_{2}x_{3}...x_{n}S=x1x2x3...xn，香农信息熵的定义为

ghost_him·2023-04-09 09:17

灵性产品（修订版）-8.数据驱动

大学主修电子信息工程，关于信息，男神香农（信息理论的奠基人）有一句经典的概括，信息量代表了不确定性。他创造性地用信息熵（entropy）概念来衡量信息量的大小，即为随机不定性程度的减少。

SkySOON·2023-04-09 07:13

实验三-香农编码的MATLAB实现

香农编码仿真实现一、香农编码的原理二、香农编码实例三、程序及流程图四、程序运行结果五、程序自评价一、香农编码的原理香农码严格意义上来说不是最佳码，与基于符号概率进行映射的哈夫曼编码不同的地方在于，香农码基于累积概率的二进制数进行编码

虎慕·2023-04-08 04:48

二、SDN-计算机网络专项（2）

2、信息传输速率（1）香农定理带宽为W（Hz）且有高斯噪音干扰（信噪比S/N）的信道极限信息传输速率为：还有，信噪比（dB）=（2）奈奎斯特定理在带宽慰W（Hz）理想低通信道中，不考虑噪声影响，则码元传输的最高速率为

sliver呀·2023-04-07 09:10

图像处理—霍夫曼编码

本章主要介绍图像压缩编码的基础知识，重点讲解常用的图像压缩编码方法，如霍夫曼编码、香农编码、算术编码、行程编码和预测编码及编码方法的MATLAB实现，最后介绍了静态图像压缩标准JPEG标准。

爱抖腿的小松鼠·2023-04-06 20:12

繁依Fanyi·2023-04-06 17:46

信息化知识-1.1信息化知识

维纳：信息就是信息，既不是物质也不是能量；香农：信息就是能够用来消除不确定性的东西；（第一次阐明信息的功能和用途）2本体论信息概念事物的本体论信息，就是事物的运

葱花香菜多放·2023-04-04 05:14

绘本讲师训练营【第27期】11/21原创阅读《玩具太多了》

[美】大卫•香农著范晓星译爱心树世界杰出绘本选图片发自App《玩具太多了》这个绘本是在上绘本讲师训练营时老师发的，记得当时快速的把书扫了一遍，第一个印象就是“乱”，以至于就没仔细读过。

小雪闹闹·2023-04-02 17:01

1.0 信息化与信息系统

1948年，美国科学家香农(ClaudeE.Shannon)在对通信理论深入研究的基础，上，提出了信息的概念，创立了信息理论(人们通常将香农于1948年10月发表的论文《通信的数学理论》(AMathematicalTheoryofCommunication

908486905·2023-04-02 15:05

2022-02-03《校长如何调适外部环境》（3—4）

在传播学领域，公认的有影响的传播模式有拉斯韦尔的5W模式、香农—韦弗模式和施拉姆模式。拉斯韦尔的5W模式认为，描述传播行为的一个简便的方法就是回答：Who，Sa

沉寂的荒凉·2023-04-02 03:26

无失真信源编码1

信源编码基本概念：什么是信源编码，信源编码的类型香农第一定理：无失真可变长信源编码定理信源编码在数字通信系统所担当的角色，作用是什么？任务是什么？

遨游的laugh哥·2023-04-01 19:12

科普书有感

从自身出发，我们要讲一个有关“自我控制”的新学说，一个基于香农信息论的人生观和一个基于统计数

会飞的石头山·2023-04-01 01:03

一文深度解读音视频行业技术发展历程

从1948年的香农定律，到音视频的今天。IMMENSE、36氪｜作者北京时间2月28日凌晨，FIFA年度颁奖典礼在巴黎举行。

阿里云视频云·2023-03-31 21:39

信息系统项目管理师第一章-信息系统与信息化

1.信息系统与信息化11.信息的基本概念香农指出：信息就是能够用来消除不确定性的东西。

泽克·2023-03-30 19:59

绘本讲师训练营【48期】19/21实践原创《大卫惹麻烦》

48015张宁宁文.图大卫.香农翻译：余治莹我不是故意的!”;当大卫打球时把玻璃和花瓶打碎时说“我没想这样”;当大卫抓小猫尾巴时说“可是小猫喜欢啊!”

669a564452b2·2023-03-30 11:45

从跳频技术聊CDMA/WIFI之母海蒂·拉玛传奇的一生

“WiFi”之母的海蒂·拉玛在中国的知名度，比起克劳德·香农应该也不遑多让。罗永浩还曾在坚果手机发布会上，在“漂亮的不像实力派”环节里提到了她。

周陆军的个人博客·2023-03-30 07:22

数字芯片设计流程

模拟信号通过采样、量化、编码可以转化为数字信号，而在满足香农（ClaudeElwoodShannon）采样定理的条件下，数字信号也可以复原为模拟信号。下图演示将模拟信号转化为数字信号：这

ICer_hao·2023-03-29 11:28

No.036 - 写好读后感的思考与方法论

就拿计算机发展这一分支来说，从信息论的祖师爷香农，到确立计算机可计算范围原理的图灵，再到后来的“计算机之父”冯诺依曼，不禁好奇做出如此大成就的人们实际的一生是什么样子的。

Tim在践行·2023-03-27 00:51

数学之美（六）

1948年香农提出了信息熵的概念，解决了信息的度量问题并量化了信息的作用。1信息熵一条信息的信息量和它的不确定性直接相关。

现在开始发呆·2023-03-26 10:23

熵，信息熵，相对熵（KL散度），交叉熵

信息熵英文：Informationentropy一个叫香农的美国数学家，将熵引入信息论中，并将它命名为：“香农熵”或者“信息熵”。

Wolf 2020·2023-03-23 21:00

第1章信息化和信息系统

（美国科学家香农）信息量的单位为：比特（bit）信息的11个特征：客观性：主观信息和客观信息，主观信息必然要转化成客观信息。

小叶柏杉·2023-03-23 20:13

推荐频道

香农