香农

信息熵是什么

信息熵这一概念由克劳德·香农于1948年提出。香农是美国著名的数学家、信息论创始人，他提出的“信息熵”的概念，为信息论和数字通信奠定了基础。在理解“信息熵”这个词语前，我们应该理解什么是“信息”。
睿科知识云·2022-03-10 10:46

计算机是物理实现是多种多样的

香农的论文正是向我们展示了如何排列继电器来组成能够实现简单布尔运算的逻辑门。其他一些学者很快指出使用真空管可以代替继电器电路。真空管最初被用作无线电电路中的放大器，之后便开始被越
LED生产看板·2022-03-05 15:31

设计的物理实现是多种多样的

香农的论文正是向我们展示了如何排列继电器来组成能够实现简单布尔运算的逻辑门。其他一些学者很快指出使用真空管可以代替继电器电路。真空管最初被用作无线电电路中的放大器，之后便开始被越
小型喷雾干燥机的家·2022-03-05 15:31

计算机数字电路实现

香农的论文正是向我们展示了如何排列继电器来组成能够实现简单布尔运算的逻辑门。其他一些学者很快指出使用真空管可以代替继电器电路。真空管最初被用作无线电电路中的放大器，之后便开始被越
wangyangtao·2022-03-05 15:31

【读书笔记】《人工智能基础——高中版》

【第一章】人工智能：新时代的开启1956年，闵斯基、约翰·麦卡锡、克劳德·香农、纳撒尼尔·罗切斯特在美国组织了达特茅斯会议，会议
Tensor麻麻麻·2022-03-04 17:18

关于编程

这背后充满了人类智慧的闪光：从柏拉图、莱布尼茨、罗素、香农到图灵都试图从数学公式中证明推理的合理性，缔造完美的思维体系。他们是凭天赋制胜，还是鲁莽地大胆一搏？我们准备去探索一场人类数学、
samsim·2022-02-27 22:49

绘本讲师训练营【24期】12/21 阅读原创《大卫上学去》

24006/黄金凤/深圳书名：《大卫上学去》文图：大卫.香农出品：河北教育出版社1、故事概述：大卫是个爱惹麻烦的家伙，这个绘本故事从“不可以”的角度讲述了大卫在学习并遵守学校的规矩。
eba86262d219·2022-02-21 04:32

《糟糕，身上长条纹了》——接纳自己是比关爱他人更为重要的事

今天我们讲的故事是大名鼎鼎的大卫·香农代表作，《糟糕身上长条纹了》，同他的《大卫不可以系列》相比，虽然保持了一贯的儿童立场和色彩明艳的画风，但与《大卫不可以》的写实风格不同，这本书更像是个现代预言，告诫孩子们不接纳自我将会遇到可怕的事情
盛开的楠木花·2022-02-20 23:56

信息论 第一讲

1、香农告诉大家，信息可以衡量，但不是用重要性，而是用信息量，单位是“比特”。—>任何能丈量的事物才能进行有效的评价、比较、综合分析，将信息量单位标准化意味着信息作为人类新一轮的生产工具即将来到。
享受孤独的猫·2022-02-20 18:05

数学之美

香农的信息论半个世纪前就发明了，他把数学和信息系统自觉地联系起来。投资领域有个凯利公式什么的，好像也是香农他们搞出来的。看看这其中可有什么脉络可循?
刘晓_ccdf·2022-02-20 15:45

快速了解区块链

——约翰·惠勒拓展知识比特：香农在《通信的数学原理》引入了一个新的单词-比特（bit），如今比特是衡量信息多少的单位。与米、千克、分钟一样，成为人类生活中最基本的量纲之一。
朝暮间·2022-02-20 02:17

[NCRE](三级)信息安全技术

（一）背景概述信息技术的发展阶段技术时间人物电讯电报1835莫尔斯电话1876贝尔电视1925贝德计算机图灵机1936图灵数字电路1937香农EDVAC1945冯诺依曼ENIAC1946宾法大学互联网ARPAnet1960s
siuLimTau·2022-02-19 12:54

信息论基础——统计自然语言处理基础笔记

在香农的信息论里面，把信息本身看成是一个随机变量，因此要量化信息，自然就是同随机变量的概率以量化。
个革马·2022-02-17 21:19

麦豆悦读英文绘本讲师训练营【第17期中阶】---2/21--绘本赏析--《糟糕，身上长条纹了！》

图片发自App拿到书我自己先看了一遍，真是一本有趣的故事，美国的大卫·香农是本书的作者和绘者，细腻的油画风格，环衬业是青豆的颜色，绘本的英文书名都设计成五彩的条纹颜色，故事的每一页都是五彩的颜色。
麦豆Ada·2022-02-16 08:12

绘本讲师训练营【31期】20/21阅读原创《 大卫上学去 》读后感

《大卫上学去》是大卫·香农出版的以大卫为主角的系列作品。图片发自App《大卫上学去》讲的是大卫在学校学习规矩的状况。这本书的宗旨是要大卫他必须得学会与别人相处，并且尊重学校里的规矩。
9b6933378bbf·2022-02-13 21:06

信息量、熵和交叉熵

香农提出了一个定量衡量信息量的公式：香农信息量公式熵熵是一种对不确定性的方法，对于存在不确定性的系统，熵越大表
JackMeGo·2022-02-13 12:34

大学期末考最惨的15个专业！有你的专业吗？

新闻学一到期末就背书背书背成狗：麦克卢汉贝尔托夫勒米德拉斯韦尔香农韦弗奥斯古德施拉姆德
有趣儿大学生·2022-02-12 13:51

计算机网络复习知识点

-运输层(TCP/UDP)-应用层(FTP/SMTP/HTTP/TELNET...)物理层1.奈氏准则理想低通信道最高码元传输速率=2WBaud（即每赫兹理想低通信道最高码元传输速率每秒2个码元）2.香农定理信道的极
01_小小鱼_01·2022-02-11 20:33

自信息, 信息熵, 互信息和K-L散度

香农-信息论领域的牛顿香农一生发表的文章并不多，但是篇篇都是精品。Amethematicaltheoryofcommunication通信的数学理论第一篇文章中提出了比特（bit）的概念。
武耀文·2022-02-11 18:51

交叉熵损失函数学习笔记

1信息量信息论奠基人香农认为信息是用来消除随机不确定性的东西，也就是说衡量信息量的大小就看信息消除不确定性的程度。“太阳从东边升起”，这条信息没有减少不确定性，因为太阳一直都
healer-c·2022-02-11 07:53

概念力·木马凭什么进城（三）

香农“招供”的情节，可以说是木马计的华彩乐章。从计谋的角度看，一条计策之所以精彩，必然包含谋划的精要和实施的精准这两大方面的成功要素。木马计，正是在这样的意义上值得好好体会。
春江顾道·2022-02-10 23:59

绘本讲师训练营【17期】11/21绘本原创——《大卫，不可以》

17012——林丹《大卫，不可以》文/图：[美]大卫·香农图片发自App捣蛋是每个孩子的天性，那么如何说，孩子才会听。我们每天都冲孩子大呼小叫，有时气急了甚至还会打孩子。
试着幸福·2022-02-10 22:01

书法练字|每天拼写一段话

——香农·米勒20180531
原圆·2022-02-10 10:19

绘本讲师训练营【24期】11/21 阅读原创《大卫惹麻烦》

24006/黄金凤/深圳书名：《大卫惹麻烦》文图：大卫.香农出品：河北教育出版社1、故事概述：大卫是个爱惹麻烦的家伙，他经常把家里搞得乱七八糟、拒绝进食、大声说话、出言不逊等行为。
eba86262d219·2022-02-09 02:10

传播学是什么5-39读书笔记20220208

香农在他的《信息和数字技术通讯》上有说关于信息和传播的内容，奠定了现在传播学的基础。传播者，传播的内容，
ReviewTime·2022-02-08 20:53

每日一书丨浅谈压缩算法的那些事儿

1.1信息学之父聊到这里，不得不提到信息学之父克劳德·艾尔伍德·香农，来简单看下他的履历简介：
每日一书·2022-02-08 09:56

绘本讲师训练营【32期】6/21阅读原创《大卫，上学去》

32022张晓敏《大卫上学去》文/图：【美】大卫·香农翻译：余治莹图片发自App在拿到这书时，书中文字内容不多，但画面现场情景直观有趣，一个调皮捣蛋的小男孩的形象，要怎么才能把这书讲的有意思，让小孩喜欢理解内容
ZXMYKC·2022-02-07 09:21

绘本365之051:《糟糕，身上长条纹了》

2019.2.16图片发自App该书作者是美国大卫·香农，是凯迪克银奖得主。我们读过他的《大卫不可以》，《大卫上学去》，《鸭子骑车记》等。
真实的幸福·2022-02-06 12:06

从 “香农熵” 到 “告警降噪” ，如何提升告警精度？

简介：ARMS智能降噪功能依托于NLP算法和信息熵理论建立模型，从大量历史告警事件中去挖掘这些事件的模式规律。当实时事件触发后，实时为每一条事件打上信息熵值与噪音识别的标签，帮助用户快速识别事件重要性。作者：董善东&白玙对于大部分人来说，信息是一个非常抽象的概念。人们常常说信息很多或信息较少，但却很难说清楚信息到底有多少。比如一份帮助文档或一篇文章到底有多少信息量。直到1948年，C.E.Shan
·2021-12-21 14:19

计网期末重点

计算机网络期末复习题型第一次重点第一章三种交换方式p17时延的计算p22五层协议p31区分什么是协议，什么是服务p34第二章香农公式p46信道复用技术p53第三章数据链路层三个基本问题p71CSMA/CDp85
赛祎·2021-12-06 00:59

计算机网络期末复习笔记（一）

物理层一、通信基础知识基本术语通信方式几种编码方式码元二、信道的极限容量1.信道带宽2.奈氏准则3.香农定理4.二者总结三、信道复用技术1.频分复用（FDM）2.时分复用3.波分复用4.码分复用（CDMA
修服·2021-12-02 23:20

与 Python 之父聊天：更快的 Python

在今年5月的Python语言峰会上，GuidovanRossum作了一场《MakingCPythonFaster》的分享，宣告他加入了激动人心的“香农计划”，旨在4年内提升Python性能至5倍。
爱摸鱼的菜鸟码农·2021-11-12 17:42

AI 芯片：商业项目 GPU 怎么选？

TA的模型是由信息论鼻祖22岁的香农在硕士毕业时发表的一篇论文，名为《开关网络》，就俩种状态，开or关。在这篇论文里，TA解释了一切的逻辑运算如何用开、关实现。
Debroon·2021-11-07 11:30

与 Python 之父聊天：更快的 Python！

Python猫注：在今年5月的Python语言峰会上，GuidovanRossum作了一场《MakingCPythonFaster》的分享（材料在此），宣告他加入了激动人心的“香农计划”，旨在4年内提升
·2021-11-02 11:33

计算机网络——物理层

目录物理层基本概念数据通信基础知识奈式准则香农定理编码与调制物理层传输介质物理层设备物理层基本概念数据通信基础知识典型的数据通信模型数据通信相关术语三种通讯方式名称英文定义需要信道条数单工通信Simplex
龍弟-idea·2021-10-29 09:18

【DataWhale组队学习】吃瓜教程(西瓜书+南瓜书)Task03-香农信息量与信息熵

本次任务是周志华老师《机器学习》第四章决策的内容，该部分在本科也有过简单接触，研一机器学习课上也进行了系统的学习，下面对决策树所涉及的基础知识——香农信息量与信息熵进行整理。
哒卜琉歪歪·2021-10-24 23:40

第二届全国大学生网络安全精英赛初赛错题笔记

（一）1.通信保密阶段主要威胁：搭线窃听和密码分析主要措施：数据加密保护机密性和完整性开始标志：香农的《保密系统的信息理论》2.信息安全的阶段四个阶段：通信安全、计算机安全、信息安全、信息保障3.信息系统安全保障蕴含
rhxznp·2021-10-13 21:50

【机器学习】基于决策树的隐性眼镜选择

3.实验知识点香农熵信息增益4.实验环境python3.6.55.预备知识Python编程基础准备工作  点击屏幕右上方的下载实验数据模块，选择下载decision_tree_glass.tgz到指定目录下
小天才才·2021-10-12 14:58

理解「交叉熵」损失函数（包含自信息、信息熵、KL散度、交叉熵概念整理）

文章目录引言自信息（self-information）信息熵/香农熵（Entropy）KL散度（Kullback-Leibler（KL）divergence）交叉熵（cross-entropy）分类任务中的交叉熵损失
虾米小馄饨·2021-10-09 22:27

第二届全国大学生网络安全精英赛初赛笔记

第二届全国大学生网络安全精英赛初赛笔记模拟题（一）1.通信保密阶段开始于20世纪40年代，其时代标志是1949年香农发表的《保密系统的信息理论》，该理论首次将密码学的研究纳入了科学的轨道。
NaCl鱼呜啦啦·2021-09-27 19:33

信息论基础

控制论-维纳信息论-香农信息系统的特性：目的性可嵌套性稳定性开放性脆弱性鲁棒性信息化从小到大：产品信息化企业信息化产业信息化国民经济信息化社会生活信息化信息化的基本内涵提示我们信息化的主体是全体社会成员手段是先进生产工具
·2021-09-25 22:18

数据通信基础

目录通信基础物理层接口特性数据通信术语三种通信方式数据传输方式同步传输&异步传输同步传输异步传输数据传输速率的表示方法码元传输速率信息传输速率失真奈氏准则香农定理编码&调剂数字数据编码为数字信号非归零编码归零编码反向不归零编码曼彻斯特编码差分曼彻斯特编码
贪睡的蜗牛·2021-09-12 10:54

小记1—基础概念

1.密码发展阶段古典密码现代密码学量子密码2.古典密码代替密码、移位密码、代数密码（比如异或运算）单表代替密码（凯撒密码）多表代替密码（维几利亚密码）3.现代密码学以香农信息论的产生作为标志，密码术进一步演化为密码学
快乐蓝胖子·2021-09-05 23:24

通俗易懂——信息和熵

文章目录1信息熵2条件熵3互信息4相对熵（交叉熵，KL散度）  1948年，香农在著名的论文“通信的数学原理”中首次提出了熵（Entropy）的概念，这也解决了信息的度量问题，并量化了信息的作用。
Weiyaner·2021-08-21 18:41

计算机网络(超详细)NO.2

2.1.1、物理层基本概念2.1.2、数据通信基础1.数据通信相关术语2.三种通信方式3.两种数据传输方式2.1.3、（重点）码元、波特、速率、带宽1.码元2.速率、波特、带宽3.练习题2.1.4奈氏准则、香农定理
潇洒爱编程·2021-08-04 17:48

计算机网络原理（物理层）

物理层的基本概念物理层用途性质数据通信的基础知识相关术语有关信道的几个基本概念基带信号和带通信号基带信号带通信号几种最基本的调制方法常用编码单极性不归零码双极性不归零码双极性归零码曼彻斯特编码差分曼彻斯特编码信道的极限容量奈氏准则香农公式信噪比物理层下面的传输媒体导向传输媒体双绞线同轴电缆非导向传输媒体无线短波通信微波卫星通信物理层设备
*廿一·2021-07-26 18:13

香农定理

在信号处理和信息理论的相关领域中，通过研究信号在经过一段距离后如何衰减以及一个给定信号能加载多少数据后得到了一个著名的公式，叫做香农（Shannon）定理。
powerwind·2021-07-16 13:37

信息熵，条件熵，相对熵，交叉熵

香农提出的信息熵解决了这一问题。当我们需要搞清楚一件非常不确定的事，或者一无所知的事，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，我们就不需要太多的信息就能把它搞清楚。
ltochange·2021-07-12 11:30

001《大卫上学去》阅读原创

《大卫上学去》文/图：大卫•香农翻译：余治莹图片发自App图片发自App今天是糯糯第一天去幼儿园，送去幼儿园后从一开始的新奇，到让做操了，还是哭了。
1784e22615e0·2021-06-26 15:57

交叉熵损失函数（信息量、信息熵、KL散度）_Focal Loss_

FocalLoss的内容可参考我的下一篇博文：https://blog.csdn.net/weixin_42649699/article/details/118255143信息量信息奠基人香农（Shannon
℡ヾNothing-_哥·2021-06-26 15:44
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他