香农信息论第8页

计算机网络【王道】

文章目录第一章计算机网络体系结构计算机网络概述计算机网络的概念计算机网络的组成计算机网络的功能计算机网络的分类计算机网络的性能指标计算机网络体系结构与参考模型计算机网络分层结构计算机网络协议、接口、服务的概念ISO/OSI参考模型和TCP/IP模型第二章物理层基本概念数据通信相关术语三种通信方式两种数据传输方式码元&波特&速率&带宽信号失真奈氏准则香农定理区别编码

不依法度·2023-09-28 18:38

计算机网络（非常全，建议收藏）

参考模型各层的功能（掌握）TCP/IP协议6）计算机网络发展历史二.数据通信1）数据通信模型2）信息复用技术3）传输介质：双绞线、光纤的特性及应用4）互联网的接入方式5）信道特征（码元、比特、波特率、香农和

努力奔跑的阿宅·2023-09-27 15:33

人工智能技术概述与入门

一、人工智能概述上世纪50年代，以香农（ClaudeElwoodShannon）为首的科学家共同研究机器模拟的相关问题，形成了人工智能的雏形。”

ANN同学在搬砖·2023-09-27 05:11

信息论基础第一章阅读笔记

信息论解答了通信理论中的两个基本问题：临界数据压缩的值（熵H）临界通信传输速率的值（信道容量C）

Chen_Chance·2023-09-26 22:10

信息论基础第二章阅读笔记

信息很难用一个简单的定义准确把握。对于任何一个概率分布，可以定义一个熵（entropy）的量，它具有许多特性符合度量信息的直观要求。这个概念可以推广到互信息（mutualinformation），互信息是一种测度，用来度量一个随机变量包含另一个随机变量的信息量。熵恰好变成一个随机变量的自信息。相对熵（relativeentropy）是个更广泛的量，它是刻画两个概率分布之间的距离的一种度量，而互信息

Chen_Chance·2023-09-26 22:39

摘录：跳出猴子思维

《跳出猴子思维》作者是珍妮弗·香农美国知名心理治疗师。猴子思维是祖先们血淋淋的教训从基因当中传递下来，令猴子思维生出感知威胁的能力，使人类得以存活。

追梦2021dream·2023-09-26 14:31

Nyquist 尼奎斯特采样定理

1948年信息论的创始人C.E.香农对这一定理加以明确地说明并正式作为定理引用，因此在许多文献中又称为香农采样定理。采样定理的提出者不是Nyquist而

大师兄的小杂铺·2023-09-26 12:16

香农采样定理

原文地址：http://baike.baidu.com/link?url=nhy34easnYIspX7WAoSP76pG8z1VCnYwgvqEeMAtm4-fxVGicrX1GjyJH1uT9AzIgcX3z-ABO7rQQabEFQtyn_#############################################################################

贺二公子·2023-09-26 12:45

简述信息论与采样定理

信息论香农信息论发表于1948/1949年，它由三部分组成：信号采样、信源编码、信道编码；信号采样：采样理论研究在何种条件下对连续信号进行采样，从而得到的离散型号可以可逆地恢复出采样前的连续信号。

姑苏小菜鸡·2023-09-26 12:15

一篇文章彻底搞懂熵、信息熵、KL散度、交叉熵、Softmax和交叉熵损失函数

2.信息熵：一个叫香农的美国数学家将熵引入信息论中，用来衡量信息的不确定性，并将它命名为“香农熵”或者“信息熵”

冒冒菜菜·2023-09-26 10:47

经典腾讯面试题：小白鼠试毒问题

i的i次方·2023-09-26 06:57

论文笔记：Blockchain for AI: Review and Open Research Challenges

一、基本信息论文题目：《BlockchainforAI:ReviewandOpenResearchChallenges》发表时间：IEEEAccess论文作者及单位：二、摘要最近，人工智能（AI）和区块链已成为最流行和最具破坏性的两项技术

塘朗老实人·2023-09-26 06:16

职场老黄牛……牛排几分熟？

从信息论的角度，谈四个要点。我在《远离低水平勤奋，拥抱大体量成就》中明确的提出了计算个人成就的公式，对低水平的勤奋进行了无情的鞭挞。又在《“关注”一文不值，你要找到

凌千夏Albert·2023-09-26 01:31

绘本讲师训练营【32期】9/21 阅读原创《鸭子骑车记》

书名：《鸭子骑车记》文/图：大卫·夏农译者：彭懿出版：南海出版公司出品：爱心树绘本馆《鸭子骑车记》作者大卫·夏农，也译作大卫·香农(DavidShannon)，美国著名绘本作家、著名画家，1959年10

c8d38301a173·2023-09-25 20:08

03-决策树（cart）

但是无论是ID3还是C4.5,都是基于信息论的熵模型的，这里面会涉及大量的对数运算。能不能简化模型同时也不至于完全丢失熵模型的优点呢？有！CART分类树算法使用基尼系数来代替信息增益比，基尼系数

kang_james·2023-09-25 10:55

条件熵认识

条件熵是什么条件熵（ConditionalEntropy）是信息论中的一个概念，用于表示在已知某一条件下，随机事件的不确定性或信息量。

Chen_Chance·2023-09-25 02:21

贝叶斯网专题3：变量独立性的图论分析

目录[toc]1.1信息论基础1.2贝叶斯网基本概念1.3变量独立性的图论分析光具有波粒二象性，可以用概率波描述。

吴智深·2023-09-23 18:15

信息在大数据时代的四个用途

1由于不受到传统的人工智能思想的束,他得以用信息论的思维方式来看待语音识别问题。他认为语音识别是一个通信问题。贾里尼克是这样考虑问题的。

郝文东·2023-09-23 04:53

马云预言：未来最赚钱的新兴商机，将是青年人创业的热点

人工智能，即AI（ArtificialIntelligence），是一门包含计算机、控制论、信息论、神经生理学、心理学、如今是21世纪互联网时代，每个人都想赚钱，没有方向，我帮助了很

睿云创业老板·2023-09-22 07:30

【计算机基础知识】计算机的概念

目录前言1.计算机的概念计算机的发展历程知识拓展：计算机的特点计算机的分类2.计算机的应用计算机的发展趋势知识拓展:总结前言美国数学家香农说过：信息是能够消除不确定性的东西，也就是说信息能消除事物的不确定性

小孩玩什么·2023-09-22 00:38

企业信息化战略与实施（一）

香农（ClaudeE.Shannon）:信息就是不确定性的减少，即是确定性的增加。哲学界:信息就是事物普遍联系的方式。其他:信息是事先不知道的报导。

天界程序员·2023-09-21 21:29

2019-02-21

花馍馍文/黑茶山图片发自App白咯生生馍馍放了二个枣蒸出锅来乍看怎个好妈妈在我小时候年年给我做图片发自App年底，家家蒸年糕木制器皿内堆放一堆，满满当当有些禽鸟类还有羊狗花草面香味飘香农家小院图片发自App

黑茶山_c940·2023-09-21 17:40

深度学习——线性神经网络二

分类问题1.2.网络架构1.3.全连接层的参数开销1.4.softmax运算1.5.小批量样本的向量化1.6.损失函数1.6.1.对数似然1.6.2.softmax及其导数1.6.3.交叉熵损失1.7.信息论基础

星石传说·2023-09-21 08:28

7个常用的网络性能测试指标

比特也是信息论中

点量云实时渲染-小芹·2023-09-21 04:06

大语言模型学习引言

Task01引言目录1.1什么是语言模型1.2语言模型进化史信息论、熵N-gram语言模型Word2VecELMoTransformerBert1.3大语言模型1.1什么是语言模型说到大模型，首先介绍语言模型

Runjavago·2023-09-19 17:35

（2023，域泛化 & 信息论 & 特征解缠）INSURE：信息论启发的域泛化解缠结和纯化模型

INSURE:AnInformationTheoryInspiredDisentanglementandPurificationModelforDomainGeneralization公众号：EDPJ（添加VX：CV_EDPJ进交流群获取资料）目录0.摘要1.简介2.相关工作3.基础（问题设置和定义）4.提议的方法4.A.使用二元掩码解耦类相关和类不相关4.B.z*和z′的充分性4.C.z*的纯化

EDPJ·2023-09-18 22:47

信息论与编码学习辅导及习题详解（高清版）-傅祖芸

信息论与编码学习辅导及习题详解（高清版）-傅祖芸资源来自于网络，仅供学习使用，侵权私信删。对应信息论第四版的课后习题答案，看目录结构，看目录结构，看目录结构，答案都有的。

Korruz·2023-09-18 21:39

【谢希尔计算机网络】第2章物理层

目录通信基础基本概念两个公式lim奈氏准则香农定理奈氏准则VS香农定理编码与调制编辑物理层下面的传输媒体导引型传输媒体1.双绞线2.同轴电缆3.光缆非导引型传输媒体无线电微波通信卫星通信无线局域网使用的

杰深入学习计算机·2023-09-18 20:54

香农的伟大论文《A Symbolic Analysis of Relay and Switching Circuits》

香农在1938年发表的伟大论文ASymbolicAnalysisofRelayandSwitchingCircuits（《对继电器和开关电路中的符号分析》）将开关、继电器、二进制、布尔代数联系起来。

weixin_30794851·2023-09-18 11:38

信息论学习

信息论香农信息论的“信息”并不包含意义。信息论传递的是信息/消息/讯息/信号，其中：（1）消息/讯息是信息的载体，消息=讯息；（2）对消息编码得到信号。

就是杨宗·2023-09-18 08:00

【论文阅读】Untargeted Backdoor Attack Against Object Detection（针对目标检测的无目标后门攻击）

文章目录一.论文信息二.论文内容0.摘要1.论文概述2.背景介绍3.作者贡献4.重点图表一.论文信息论文题目：UntargetedBackdoorAttackAgainstObjectDetection

AISecurity盐究员·2023-09-17 05:16

机器学习---决策树分类代码

1.计算数据集的香农熵fromnumpyimport*importnumpyasnpimportpandasaspdfrommathimportlogimportoperator#计算数据集的香农熵defcalcShannonEnt

三月七꧁ ꧂·2023-09-17 03:52

小确幸&感恩志

2.下午的时候，我们一家人出去我们茂名高州镇江南果花香农业公园玩，还拍了全家福，很好的体验，我们这个小镇终于有个游玩的好去处啦。

卢卓然·2023-09-16 07:24

信道容量 | 信道

文章目录一、信道容量香农公式香农公式意义香农极限二、离散无记忆信道容量(DMC)三、Shannon第二定理四、Shannon第三定理一、信道容量信道容量是指在信道上进行无差错传输的最大传输速率，SISO

山丘之王岳岳·2023-09-15 23:31

信息时代的方法论

信息时代的方法论由控制论、信息论、系统论3个方法组成。一、控制论对我们有什么用呢？我们也不会去研制火炮。其实我经常讲的，少作预测，多作反应，这种做事方法就源于控制论。

科技小白·2023-09-15 17:28

物理层（408）

则该通信链路的最大数据传输速率是（B）A、12kb/sB、24kb/sC、48kb/sD、96kb/s4个相位：16种码元奈奎斯特定理：最大传输速率为2Wlog2V=2*3k*4=24kb/sW：带宽，V：多少种不同的码元香农定理

Expecto P_atronum·2023-09-13 22:44

大卫，不可以

《大卫，不可以》观后有感蘅芷在指导讲师杨秋老师的推荐下，我翻开了美国作家大卫.香农撰写并配图的经典绘本《大卫，不可以》。

蘅芷橡树·2023-09-13 16:08

数学之美吴军读书笔记

双语或者多语的对照语料3.文字和语言背后的数学拼音文字常用字短，生僻字复杂符合信息论的最短编码原理。比如文言文，文字少意思丰富，需要文人解码成白话文才通俗易懂。因为记录的复杂。

white diamond·2023-09-12 22:03

香农信息公式

求和：百度百科-求和大写Σ用于数学上的总和符号，比如：∑Pi，其中i=1,2,...,T，即为求P1+P2+...+PT的和。图片发自App其中i表示下界，n表示上界，k从i开始取数，一直取到n,全部加起来。对数：百度百科-对数在数学中，对数是对求幂的逆运算，正如除法是乘法的倒数，反之亦然。这意味着一个数字的对数是必须产生另一个固定数字（基数）的指数。在简单的情况下，乘数中的对数计数因子。更一般来

拾柒老大爷·2023-09-11 10:15

绘本讲师训练营【41期】13/2阅读原创《大卫，不可以》

大卫不可以》的孩子都非常喜欢他，这个天真无邪、把家里搞得一团糟的小男孩，让他们觉得又开心又释怀，世界上哪一个孩子不渴望像大卫一样随心所欲地在墙壁上乱写乱画、把浴室变成一个沼泽地、头戴铁锅敲得叮当乱响……大卫·香农

时光不听话·2023-09-10 08:19

计算机网络安全之信息加密与PKI

1，前言概述信息加密技术是利用密码学的原理与方法对传输数据提供保护的手段，它以数学计算为基础，信息论和复杂性理论是其两个重要组成部分。信息论主要包括香农关于保密系统的信息理论。

想个名字可真费劲·2023-09-10 08:01

王道考研计算机网络

文章目录计算机网络体系结构计算机网络概述计算机网络的性能指标计算机网络体系结构与参考模型错题物理层通信基础基础概念奈奎斯特定理和香农定理编码与调制电路交换、报文交换和分组交换数据报与虚电路传输介质物理层设备错题数据链路层数据链路层的功能组帧差错控制检错编码纠错编码流量控制与可靠传输机制介质访问控制信道划分介质访问控制随机访问介质访问控制轮询访问

Only you, only you!·2023-09-10 01:08

【AI】机器学习——线性模型（逻辑斯蒂回归）

3.3逻辑斯蒂回归3.3.1逻辑回归介绍对数几率函数sigmod函数几率3.3.2逻辑回归模型3.3.3参数求解逻辑斯蒂回归策略3.3.4损失函数3.3.5应用：语句情感判断3.3.6多角度分析逻辑回归信息论角度数学角度与朴素贝叶斯对比

AmosTian·2023-09-09 14:28

论文笔记：CVPR2023 IRRA—隐式推理细粒度对齐模型，语言行人检索任务新SOTA，CUHK-PEDES数据集Rank-1可达73.38%！

目录论文基本信息引言模型模态编码器ImplicitRelationReasoning模块与MLM任务SimilarityDistributionMatching结果论文基本信息论文：Cross-ModalImplicitRelationReasoningandAligningforText-to-ImagePersonRetrieval

酥三苹·2023-09-09 11:22

2019-04-03

1.信息论基础1.1熵：随机变量不确定性的度量。熵越大表示这个随机变量不确定性越小。1.2联合熵：2个随机变量不确定性的度量。联合分布的度量。

Diamond1995·2023-09-08 04:01

熵 | 无线通信知识

文章目录一、信息论（熵、联合熵、条件熵）二、Bernoulli熵三、联合熵和条件熵四、互信息五、相对熵(KL距离)常需要的不等式公式一、信息论（熵、联合熵、条件熵）熵定义：H(X)=E[−log2p(x

山丘之王岳岳·2023-09-08 01:34

有哪些值得一看到的书籍？

以下是控制论、信息论、系统论的总结：控制论控制过程共有的几点：被控制对象必须存在多种发展的可能性人可以在这些可能性中通过一定对手段进行选择一切控制过程都是由以下三个基本环节构成的：了解事物面临的可能性空间是

程序员大彬·2023-09-07 17:40

信息熵

偶然看到一篇介绍香农熵的文章，写得浅显易懂，翻译过来，与大家一起学习！

墨没默·2023-09-07 08:31

网络空间内生安全数学基础（1）——背景

目录（一）内生安全基本定义及实现什么是内生安全理论内生安全理论实现方法动态性异构性冗余性（二）安全防御和可靠性问题起源内生安全防御、可靠性保证与香农可靠通信（三）总结（一）内生安全基本定义及实现什么是内生安全理论一切事物都是自在

echoKangYL·2023-09-07 06:31

论文精读 —— Gradient Surgery for Multi-Task Learning

文章目录Multi-taskLearning和PCGrad方法简介论文信息论文核心图摘要翻译引言翻译2使用PCGrad进行多任务学习2.1基本概念：问题和符号表示2.2三重悲剧：冲突的梯度，主导的梯度，

Waldocsdn·2023-09-06 16:54

推荐频道

香农信息论