香农信息论第10页

代数角度的不可压缩性

前作已经谈过用整系数多项式作为实数版图灵机的参照标准，在这基础上我们不妨考虑实数版的算法信息论。

十酒三·2023-08-15 00:39

绘本讲师训练营【24期】13/21阅读原创——《大卫惹麻烦》

24011李红梅文/图：【美】大卫·香农译：余治莹《大卫惹麻烦》里的大卫，他玩滑板撞翻了桌子，玩棒球打碎了玻璃，拒绝进食等等，大卫的行为让人头疼不已，是现实生活中孩子们常犯的错误。

浩宇妈小雨·2023-08-14 23:37

python确定指标权重_吴裕雄 python 熵权法确定特征权重

标签：一、熵权法介绍熵最先由申农引入信息论，目前已经在工程技术、社会经济等领域得到了非常广泛的应用。熵权法的基本思路是根据各个特征和它对应的值的变异性的大小来确定客观权重。

黄子衿·2023-08-14 22:53

信息论、推理和机器学习算法之间交叉的经典例子

信息论、推理和机器学习算法之间交叉的经典例子:熵和信息增益在决策树学习中的应用。信息增益利用熵的概念来评估特征的分类能力,从而指导决策树的增长。交叉熵在神经网络训练中的广泛使用。

丁丁猫 Codeye·2023-08-14 21:17

基于信息论的人生观

一个东西真正的信息量在于它克服了多大的不确定性，香农这个说法给我们提供了一种观察世界的眼光，有了这种眼光，你在看身边的很多东西，其实都没什么信息量。

天天向上的claire·2023-08-14 05:23

【计算机网络】物理层

日欢迎关注点赞收藏留言一以贯之的努力不得懈怠的人生目录物理层基本概念数据通信基础知识数据通信相关术语设计数据通信系统要考虑的3个问题码元数字通信系统数据传输速率的两种表示方法思考题1思考题2带宽（Bandwidth）奈氏准则和香农定理失真失真的一种现象

程序喵正在路上·2023-08-13 17:38

数字经济、创业活跃度与高质量发展（面板熵值法代码&数字经济测算原始数据）

熵值法是一种基于信息论的多指标综合评价方法。其基本的思路是：确定各指标的熵值，再根据熵值计算权重，“熵”用来测度信息的不确定性情况，熵越大意味着不确定性越大，于是信息量越小，进而权重越低。

T0620514·2023-08-12 22:14

信息论

信息论最近喜欢跟本学科没有太大关系的书。比如博弈论，才样才能取得长久的合作关系？什么是囚徒困境？虽然不是太懂，还是挺有意思。还有比如信息论。

金凤尾竹·2023-08-12 12:02

计算机网络

（语法，语义，同步）、接口SAP、服务（请求+指示+响应+证实）服务分类：连接，可靠，回复OSI模型，TCP/IP模型，五层（每层单位）比特，帧，数据报，报文段，vs计算机网络和分布式物理层奈奎斯特，香农定理编码

adair-zhang·2023-08-12 11:43

通信原理复习公式整理(自用/持续更新)

目录符号表欧拉公式和差化积公式积化和差公式W和dB转换第一章绪论平均信息量传信率(信息速率)传码率(码元速率)误码率误信率话音信号频率第二章信道平稳随机过程通过线性时不变系统的输出功率谱密度信道容量公式(香农公式

Sol-itude·2023-08-11 15:13

信息与信息化的基本概念

信息与信息化的基本概念信息的定义香农：信息就是不确定性的减少。维纳【控制论】：信息就是信息，既不是物质，也不是能量，但他们之间可以相互转化。

亦风亦尘·2023-08-10 23:35

加速解锁科学智能前沿，昇思MindSpore铸就了一把“全能”钥匙

在物理、数学、工程学等的推动下，才有了蒸汽革命；电气革命，源于电磁学、化学等学科的进步；量子物理、信息论等科学成果，则为半导体、计算机等信息产业打下坚实的基础。

脑极体·2023-08-10 13:46

计算机网络性能指标非性能指标

速率就是发送数据的速度比特（bit）是计算机中数据量的单位，也是信息论中使用的信息量的单位。

富士康质检员张全蛋·2023-08-09 11:05

第一章软件安全概述

1.1.1信息的定义信息论的创始人香农指出：信息是用来消除随机不定性的东西。信息（Information）是物质运动规律总和，信息不是物质，也不是能量。信息的重要特征：价值，即可用来消除不确定性。

777sea·2023-08-09 00:49

《如何读透一本书》——学习收获

——克劳德•香农。3.阅读深度：数据—信息—知识—洞见—智慧—击穿。4.如何深度学习：内化

吴若桐·2023-08-08 06:17

计算机网络-性能指标

性能指标简介速率比特速率带宽吞吐量时延时延计算时延带宽积往返时间网络利用率丢包率总结简介性能指标可以从不同的方面来度量计算机网络的性能常用的计算机网络的性能指标有以下8个速率带宽吞吐量时延时延带宽积往返时间利用率丢包率速率比特计算机中的数据量的单位，也是信息论中的信息量的单位

冰点契约丶·2023-08-07 08:05

计算机网络的八大性能指标，速率、带宽、吞吐量、时延、时延带宽积、往返时间、利用率、丢包率

吞吐量4.时延5.时延带宽积6.往返时间7.利用率8.丢包率计算机网络的性能指标：性能指标可以从不同的方面来度量计算机网络的性能，常用的计算机网络的性能指标有8个：前置概念比特计算机中的数据量的单位，也是信息论中信息量的单位

Hell_potato777·2023-08-06 23:31

注水定理大白话概括原理

这几个字母，是香农老人家最牛逼的成果，指引着通信技术的发展方向。

正仪·2023-08-06 16:50

信息论之从熵、惊奇到交叉熵、KL散度和互信息

一、熵（PRML）考虑将A地观测的一个随机变量x，编码后传输到B地。这个随机变量有8种可能的状态，每个状态都是等可能的。为了把x的值传给接收者，需要传输⼀个3⽐特的消息。注意，这个变量的熵由下式给出:⾮均匀分布⽐均匀分布的熵要⼩。如果概率分布非均匀，同样使用等长编码，那么并不是最优的。相反，可以根据随机变量服从的概率分布构建Huffman树，得到最优的前缀编码。可以利⽤⾮均匀分布这个特点，使⽤更短

woisking2·2023-08-06 10:30

综合｜教育心理学之历史发展1.2

50年代，程序教学和机器教学兴起，同时信息论的思

神隐的时光屋·2023-08-05 12:46

一文搞懂直方图均衡

直方图均衡定义根据维基百科上的定义,直方图均衡(HistogramEqualization)是图像处理领域中利用直方图对对比度进行调整的方法.顾名思义,直方图均衡是将直方图的分布(概率密度)调整为均匀分布.为什么要做直方图均衡根据信息论

yfor·2023-08-05 00:46

【Python机器学习】实验08 决策树

文章目录决策树1创建数据2定义香农信息熵3条件熵4信息增益5计算所有特征的信息增益，选择最优最大信息增益的特征返回6利用ID3算法生成决策树7利用数据构造一颗决策树Scikit-learn实例决策树分类决策树回归

Want595·2023-08-04 14:15

标题：绘本讲师训练营【24期】17/21-阅读原创-《大卫不可以》

24008—魏富菊大卫·香农的大卫系列，孩子们都非常喜欢，首先封面就非常吸引人，大卫站在书上面去够鱼缸，眼看就要摔倒了，小鱼们也非常的害怕，当这一幕被妈妈看到了，妈妈的第一反应是“大卫不可以”。

4fbd5544e4cb·2023-08-03 09:40

绘本讲师训练营【36期】15/21阅读原创《大卫上学去》

36008贺菁华文/图：【美】大卫·香农翻译：余治莹河北出版传媒集团图片发自App歌曲：我爱上幼儿园爸爸妈妈去上班我上幼儿园，我不哭也不闹问声老师好......封面上大卫站在讲台上拿着飞机玩耍。

菁Wendy华·2023-08-02 22:24

【思维导图实战派】训练计划8/100，全脑思维读绘本《大卫不可以》

App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App365每日一画思维导图不间断打卡45/365『大卫，不可以』作者：大卫•香农思维导图

我是简心啊·2023-08-02 20:23

2019-07-02

图片发自App【每日清单】932/1000次记录，20190702，晴x5节日：生日/纪念日：【今天约定三件事（to-do）】1.[]文档改进2.[]13关-50%3.[]信息论11笔记【今天的小确幸】

伽蓝214·2023-08-02 05:25

绘本分享—《大卫, 不可以》

#今天你读书了吗#绘本分享—《大卫，不可以》[美]大卫•香农相信当你看了这个绘本之后，大概会开始包容和理解自家熊孩子的调皮捣蛋行为吧！看，封面这个小男孩的行为，是不是已经开始让人头疼了？

Amber林安柏·2023-08-01 04:20

个人发展共读会体验营

以及香农的话：“知识是：有利于“消除不确定性”的任何信息。”以此来阐述到底什么是知识？简单的两个引用，让我重新认识了知识的定义。以前总认为多看书就获得了知识，也一直在疑惑，为

春光_8350·2023-07-31 21:43

信息论学习

自信息定义I(x)=−lognP(x)\color{red}I(x)=-log_{n}{P(x)}I(x)=−lognP(x)注意：若n=2，叫做bit若n=3，叫做tet若n=e，叫做nat若n=10，叫做hat熵离散定义：H(x)=Ex[I(x)]=−∑i=1n[P(xi)lognP(xi)]\color{blue}H(x)=E_x[I(x)]=-\sum^{n}_{i=1}[P(x_i)lo

satadriver·2023-07-31 20:06

《硅谷之谜》信息时代的方法论

控制论、信息论、系统论就是信息时代思想工具。吴军老师在《硅谷之谜》书中详细阐述了“新三论”对硅谷崛起的影响，正如机械思维推动了英国在工业革命的崛起，卓越的成功背后往往有更先进的方法论支持。

马骋·2023-07-30 08:08

海马先生

艾瑞克.卡尔的绘画风格就是用色大胆独特，什么蓝色的马，紫色的猫，喜欢打破常规，也特别喜欢用冷暖撞色来增加视觉碰撞，而大卫.香农和安东尼.布朗就偏爱暖色调风格。

佩2018·2023-07-30 02:21

信息定义引起的沟通方法论的思考

这是万维钢老师精英日课里的一个概念，他说是来自香农信息论的概念。如果你不知所云，恭喜你，你今天将会得到一个非常深刻的“洞见”。它将影响你一生。我们再思考一下这个定义：信息就是在备选答案中的选择。

小红母鸡·2023-07-29 12:55

“不可以”的爱 ——读大卫·香农《大卫，不可以！》

“不可以”的爱——读大卫·香农《大卫，不可以！》这本书太著名了，很多人就是通过这本书认识的大卫·香农，甚至因这本书走进了绘本的精彩世界。

花火喜珠·2023-07-28 13:07

天下无熵第一部：情熵之熵的源起

熵[shāng]统计物理与信息论术语本词条是多义词，共4个义项展开熵（拼音：shāng，希腊语：εντροπία(entropía)，英语：entropy）泛指某些物质系统状态的一种量度，某些物质系统状态可能出现的程度

贤一学缠书院·2023-07-28 08:02

【计算机网络】2.1——物理层（编码波形、奈氏准则和香农公式计算）

物理层基本概念概念物理层考虑的是怎样才能在连接各种计算机的传输媒体上传输数据比特流为数据链路层屏蔽了各种传输媒体的差异数据链路层只需要考虑如何完成本层的协议和服务，而不必考虑网络具体的传输媒体是什么物理层协议主要任务机械特性指明接口所用接线器的形状、尺寸、引脚数目和排列、固定和锁定装置电气特性指明在接口电缆的各条线上出现的电压的范围功能特性指明某条线上出现的某一电平的电压表示何种意义过程特性指明对

code tea·2023-07-27 20:29

《信息系统项目管理师》第一章信息化发展

数学家香农指出:“信息是用来消除随机不定性的东西”。信息的特征与质量(了解)信息的特征，主要包括客观性、普遍性、无限性、

wenling54321·2023-07-27 14:06

《科技史纲60讲》学习笔记

写在前边吴军老师在得到又出新课了：《信息论40讲》。这一次又果断的决定要买，因为作为计算机相关专业的我来说，这是一门必修课。

辉说区块链·2023-07-27 11:45

任何时候开始都不晚

从自身出发，我们要讲一个有关“自我控制”的新学说，一个基于香农信息论的人生观和一个基于统计数

会飞的石头山·2023-07-27 04:41

读书笔记01：《吴军数学通识50讲》

2019年我阅读过吴军博士的《浪潮之巅》第四版、《全球科技通史》、《信息论40讲》、《数学通识50讲》。我在公众号也多次推荐过他的书籍，比如《智能时代》《态度》《见识》等等。《数学通识50讲》是

飞蓬大将军·2023-07-26 16:02

绘本讲师训练营71期（10/21）阅读原创--《大雨哗啦哗啦下》

作者：[美]大卫.香农译：王林这是一本荣获美国童书作家与插画家协会“金风筝奖”的作品，所以不论是故事情节设计还是绘画插画都是一本佳作，眼睛和心灵的双重的收获！

71015陆陆老师·2023-07-26 16:02

论文中文翻译——kAFL Hardware-Assisted Feedback Fuzzing for OS Kernels

26thUSENIXSecuritySymposium论文中文翻译——kAFLHardware-AssistedFeedbackFuzzingforOSKernels文章目录本论文相关内容前言kAFL：操作系统内核的硬件辅助反馈Fuzzing作者信息论文来源主办方信息摘要

IronmanJay·2023-07-26 10:17

读数据压缩入门笔记11_读后总结与感想兼导读

读薄率18197÷300000≈6.07%1.2.读厚方向数据压缩导论码书：编码与解码的战争信息论与编码理论：剑桥大学真题精解1.3.笔记--章

躺柒·2023-07-26 07:05

Matlab 一种自适应搜索半径的特征提取方法

文章目录一、简介二、实现代码参考资料一、简介在之前的博客（C++ID3决策树）中，提到过一种信息熵的概念，其中它表达的大致意思为：香农认为熵是指“当一件事情有多种可能情况时，这件事情发生某种情况的不确定性

大鱼BIGFISH·2023-07-26 02:37

深度学习中的概率与信息论

主要摘录一些深度学习过程中所需的概率与信息论知识不确定性的三种来源：1、被建模系统内在的随机性2、不完全观测3、不完全建模随机变量（randomvariable）、概率分布（probabilitydistribution

梅八哥·2023-07-26 01:34

【计算机网络】物理层——通信基础

文章目录物理层通信基础基本概念奈奎斯特定理和香农定理奈奎斯特定理香农定理编码与调制数字数据编码为数字信号数字数据调制为模拟信号模拟数据编码为数字信号模拟数据调制为模拟信号电路交换、报文交换与分组交换电路交换报文交换分组交换物理层通信基础基本概念数据

秃头仔仔·2023-07-25 19:51

鲸云效解读如何判断一个软件开发的技术人员的技术做的好

比如类似于信息论描述清楚了信息的数学定义和量化分析，并能推演压缩，纠错等算法可以达到的

优测云服务平台·2023-07-25 19:04

机器学习&&深度学习——softmax回归（下）

正专攻机器学习的保研er上期文章：机器学习&&深度学习——softmax回归（上）订阅专栏：机器学习&&深度学习希望文章对你们有所帮助softmax回归（下）损失函数对数似然softmax及其导数交叉熵损失信息论基础熵信息量重新审视交叉熵模型预测和评估以下的内容有些需要用到信息论基础

布布要成为最负责的男人·2023-07-25 18:33

视频笔记_所长林超跨学科工具箱

认知心理学重要模型学科08：社会网络学重要模型学科09：金融学重要模型学科10：心理学重要模型学科11：语言表达领域重要模型学科12：概率统计学重要模型学科13：社会经济学重要模型学科14：人类学重要模型学科15：信息论重要

Jeankyw·2023-07-25 12:37

【读书总结】2021年二月及三月读书总结

书名：医路向前巍子给中国人的救护指南作者：医路向前巍子(同样有彩蛋，已关注作者的公众号)治愈隐性虐待:从心理虐待中康复的六阶段之旅/(美)香农·托马斯(ShannonThomas)著;高宜译.

Rita_sky·2023-07-25 11:39

信息与通信工程学科面试准备——信息论与编码｜保研推免面试题

目录第一章绪论1信息的概念1.1香农对信息的定义1.2信息与消息之间的关系？

alwaysuzybaiyy·2023-07-25 08:07

推荐频道

香农信息论