香农信息论第2页

计算机网络——第二章物理层（详细附图）

异步传输单工、半双工、全双工2.4编码与调制常见编码不归零编码归零编码曼彻斯特编码差分曼彻斯特编码基本调制方法调幅（AM）调频（FM)调相（PM）混合调制——正交振幅调制QAM2.5信道的极限容量奈氏准则香农公式综

焦妮敲代码·2024-02-07 07:56

信号包络提取

heda3·2024-02-06 16:03

【计算机网络】物理层概述|通信基础|奈氏准则|香农定理|信道复用技术

目录一、思维导图二、物理层概述1.物理层概述2.四大特性（巧记"械气功程")三、通信基础1.数据通信基础2.趁热打铁☞习题训练3.信号の变身：编码与调制4.极限数据传输率5.趁热打铁☞习题训练6.信道复用技术推荐前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站一、思维导图二、物理层概述1.物理层概述在连接各种计算机的传输媒体上传输数据比特流，确定与传

深鱼~·2024-02-05 22:52

通信基础 4——遍历容量、信道估计、干扰对齐

目录遍历容量/各态历经性容量信道估计干扰对齐无线携能通信遍历容量/各态历经性容量说遍历容量不十分准确，应该叫各态历经性容量（是相对于中断容量说的）首先要理解《信息论》中得香农信道容量，然后结合《随机过程

今天也努力学习的Paul·2024-02-05 18:37

网络空间内生安全数学基础（2）——编码信道数学模型

目录（零）这篇博客在干什么（一）内生安全与香农信道编码定理（二）基本定义（三）编码信道存在定理（三.壹）编码信道存在第一定理（三.贰）编码信道存在第二定理（三.叁）编码信道存在第三定理（四）总结（零）这篇博客在干什么由于本篇博客可能会涉及到较多数学方面的东西

echoKangYL·2024-02-05 18:06

蓝桥杯典型真题分析详解--编程思维--01串的熵

2023年十四届省赛大学B组真题（共10道题)【问题描述】对于一个长度为n的01串S=x1x2x3...xn.香农信息熵的定义为：其中p(0),p(1)表示在这个01串中0和1出现的占比。

D_nao·2024-02-05 15:58

《数学之美》--第一章：文字和语言 vs 数字和信息

但是，直到半个多世纪前香农博士提出信息论，人们才开始把数学和信息系统自觉地联系起来。

mantch·2024-02-05 03:25

【考研408】计算机网络笔记

文章目录计算机网络体系结构计算机网络概述计算机网络的组成计算机网络的功能计算机网络的分类计算机网络的性能指标课后习题计算机网络体系结构与参考模型计算机网络协议、接口、服务的概念ISO/OSI参考模型和TCP/IP模型课后习题物理层通信基础基本概念奈奎斯特定理与香农定理编码与调制电路交换

newcih·2024-02-04 06:55

mym_74·2024-02-03 13:34

悲观与乐观—《格局》

即从信息论上讲，越是与众不同的说法信息量越大。悲观主义横行，其实来自人性的弱点。悲观主义能减轻悲剧的打击。【悲观

小老虎_2ab2·2024-02-03 08:12

绘本讲师训练营【32期】8／21阅读原创《大卫惹麻烦》

32026杨檬文/图【美】大卫·香农译：余治莹在看这本书之前，没有看过大卫·香农的其他作品，但是了解到大卫系列的作品很受欢迎。所以还特意去看了《大卫不可以》。

30430211b9b4·2024-02-03 01:09

第二章---物理层

目录物理层基本概念数据通信基础知识数据通信模型相关术语三种通信串行传输和并行传输码元编辑数据传输速率带宽奈氏准则和香农定理失真码间串扰奈氏准则香农定理编码和调制非归零编码归零编码反向不归零编码曼彻斯特编码差分曼彻斯特编码数据交换

卿云阁·2024-02-02 22:03

【王道】计算机网络知识点总结（合集）【超详细！】

计算机网络体系结构与参考模型1.2.1计算机网络分层结构1.2.2计算机网络协议、接口、服务的概念1.2.3ISO/OSI参考模型和TCP/IP模型2物理层2.1通信基础2.1.1基本概念2.1.2奈奎斯特定理与香农定理

住在天上的云·2024-02-02 11:06

【机器学习】【概率论】【损失熵】【KL散度】信息量、香农熵和KL散度的计算

1、信息量（AmountofInformation）对于一个事件：小概率-->大信息量大概率-->小信息量独立事件的信息量可以相加I(x)=log2(1p(x))=−log2(p(x))I(x)=log_2(\frac{1}{p(x)})=-log_2(p(x))I(x)=log2(p(x)1)=−log2(p(x))E.g.:一枚均匀的硬币:p(h)=0.5p(h)=0.5p(h)=0.5Ip(

忘却的旋律dw·2024-01-31 23:47

今日记事--坚持

我昨天读完了信息论，今天开始读，思考快与慢这是我要读完的，坚持下去。我爱孩子，要持续的给她爱和帮助，多夸奖她，这是一个长期过程，我要坚持，不能放弃，不能烦躁，不急不恼不懒不馋再写一遍。

星辰大海2021·2024-01-30 18:03

和熊孩子斗智斗勇的日常，相信妈妈们都经历过的场景！请欣赏图画书《玩具太多了》

是凯迪克大奖得主、畅销绘本《大卫，不可以》《鸭子骑车记》等作者大卫·香农的最新作品。

图画与书的灵动·2024-01-30 06:28

算法：汉明距离 vs 编辑距离区别

1汉明距离在信息论中，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。例如，1011101与1001001之间的汉明距离是2。

冰凌其·2024-01-29 07:24

14.决策树的最终构建

前面是做了一轮决策，按照信息论的方式，对各特征做了分析，确定了能够带来最大信息增益（注意是熵减）的特征。但仅这一步是不够的，我们需要继续对叶子节点进行同样的操作，直到完成如下的目标：[if!

坛城守护者·2024-01-28 13:25

【现代密码学基础】详解完美安全与香农定理

目录一.介绍二.完美安全的密钥与消息空间三.完美安全的密钥长度四.最优的完美安全方案五.香农定理（1）理论分析（2）严格的正向证明（3）严格的反向证明六.小结一.介绍一次一密方案，英语写做onetimepadencryptionscheme

唠嗑！·2024-01-28 11:22

Title: 提升大型语言模型在知识图谱完成中的性能

基本信息论文题目:MakingLargeLanguageModelsPerformBetterinKnowledgeGraphCompletionMakingLargeLanguageModelsPerformBetterinKnowledgeGraphCompletion

AI知识图谱大本营·2024-01-28 10:26

Federated Optimization in Heterogeneous Networks —— Fedprox算法

FederatedOptimizationinHeterogeneousNetworks1.论文信息论文题目:FederatedOptimizationinHeterogeneousNetworksFedprox

小小白和纯牛奶·2024-01-27 17:52

绘本讲师训练营【32期】11/21阅读原创《大卫惹麻烦》

32022张晓敏《大卫惹麻烦》文/图：【美】大卫·香农翻译：余治莹图片发自App图片发自App图片发自App图片发自App绘本封面一个小男孩从在椅子上，面贴着墙壁，双手抱臂，眼睛一直盯着时钟，时显是一个做错事

ZXMYKC·2024-01-27 07:43

互信息的简单理解

在介绍互信息之前，首先需要了解一下信息熵的概念：所谓信息熵，是指信息论中对一个随机变量不确定性的度量，对于随机变量x，信息熵的定义为：H(x)=−∑xp(x)logp(x)H(x)=-\sum_xp

图学习的小张·2024-01-27 04:18

《医学决策思维课》学习笔记（完）

最近学了得到的《医学决策思维课》，虽然讲的是医生治病的事情，但是里面的道理都是想通的，本质上都是用概率与信息论的方法快速定位问题，对程序故障排查具有一定的借鉴意义。

pzb19841116·2024-01-26 18:47

深度学习如何弄懂那些难懂的数学公式？是否需要学习数学？

知乎上的：机器学习与深度学习中的数学知识点汇总-SIGAI的文章-知乎https://zhuanlan.zhihu.com/p/81834108推荐书籍：1.高等数学/微积分2.线性代数与矩阵论3.概率论与信息论

搬砖班班长·2024-01-26 15:41

计算机网络的性能

计算机网络的性能一、性能指标1.速率比特（bit，binarydigit）：二进制数字，一个比特不是0就是1比特：信息论中使用的信息量的单位速率（数据率、比特率）：（网络技术中）数据的传送速率单位：bit

知向谁边·2024-01-25 23:33

计算机网络-奈氏准则和香农定理（码间串扰二者区别）

文章目录失真失真的一种现象-码间串扰奈氏准则（奈溃斯特定理）例题香农定理例题奈氏和香农失真就是指与原来的不一样了两种情况前三个是正相关，最后一个是负相关码元传输速率越快，失真程度越严重的原因可能包括以下几点

Full Stack-LLK·2024-01-25 21:22

密码学理论07：密码哈希函数

用于信息论加密（一次性MAC）或作为加密方案的构建块（hash然后加密/Carter-WegmanMAC）。

untypical_Idealism·2024-01-25 20:22

Tensorflow & Keras的loss函数总结

它们的交叉熵本质上是一样的：（1）在信息论中，交叉熵是用来描述两个分布的距离的，函数定义为：而神经网络训练的目的就是使预测

牧世·2024-01-25 18:49

吴军《信息论》中大数据思维应用之语音识别

印象最深是吴军老师告诉我们飞机的发明不是仿生鸟类翅膀的工作原理，是了解透了空气动力学，加以运用，才实现了人们飞上蓝天的梦想。我们总说要有梦想，除了做梦，还得有思想，把梦拆解成可解决的问题的思考与想法。这些，也是我作为文科生会迷上吴军博士的课程的原因。生活中，我们总要解决各式各样的问题，我们如何拆解问题，把问题变成关于大数据思维在当下最常见，也是最成功的四类应用。第一类是解决人工智能问题，把那些过去

高高_02c9·2024-01-25 07:44

Arxiv网络科学论文摘要20篇(2019-12-10)

社会网络的区分性中心性;潜在客流预测：城市交通发展的新型研究;利用Kronecker积的复合网络结构可观测性/可控性最小充分条件;一个多特征扩散模型：阻止社会网络谣言;重叠社区和多路网络缺失链路预测;从玻尔兹曼到香农和杰恩斯再到齐普夫

ComplexLY·2024-01-25 05:24

Day4学习记录

一、行业信息1.信息论知识（1）信息的本质：消除世界的不确定性（2）如何度量信息：利用概率的不确定性不确定度——信息熵*类比名人游戏：信息熵即一个问题的最少提问次数。

好好编码·2024-01-25 03:41

信息论与编码——信道编码

什么是最小距离译码准则，举例说明最小距离译码准则是一种常用的纠错码译码方法，用于在接收到含有错误的编码信息时，通过计算与已知编码序列之间的距离来判断最有可能的原始信息。该准则的基本思想是选择与接收到的编码序列距离最近的已知编码序列作为译码结果。距离通常使用汉明距离来度量，汉明距离是指两个等长字符串之间相应位置上不同字符的个数。下面通过一个简单的例子来说明最小距离译码准则的应用：假设发送方使用一个二

吕正日·2024-01-24 19:19

二、自然语言处理发展历程

兴起阶段：自然语言处理的萌芽期，代表人物包括图灵和香农。符号主义：自然语言处理的发展器，代表任务是乔姆斯基和他的生成文法。连接主义：自然语言处理的发展器，代表方法为统计机器学习。

智享AI·2024-01-23 16:47

计算机网络-物理层基本概念（接口特性相关概念）

文章目录总览物理层接口特性星火模型给出的相关概念解释（仅供参考）总览求极限传输速率：奈氏准则，香农定理（背景环境不一样）编码：数据变成数字信号调制：数字信号变成模拟信号信道不同传输数据形式不同数据交换方式

Full Stack-LLK·2024-01-23 07:15

隐性虐待就像黄药师的落英神剑掌，轻则心神俱裂，重则灰飞烟灭

香农·托马斯的《治愈隐

采風姑娘·2024-01-23 00:10

计算机网络复试

传播时延链路中每多一个路由器，就增加一个分组的发送时延第2章物理层2.4编码与调制->编码(基带调制)->曼彻斯特编码->带通调制->混合调制->正交振幅调制QAM信道极限容量奈氏准则无噪声最大速度C=2Wlog2V(b/s)香农定理有噪声最大速度

my烂笔头·2024-01-22 17:04

买绘本时挑花了眼？看看这5本获奖绘本（最后一本我超爱的！）

《大卫不可以》（美）大卫.香农/文.图余治莹/译“不可以~~”“把玩具收好！”“快去睡！”“不可以挖鼻孔！”我们小时候，八成也被我们的爸爸妈妈这样吼过。

Carrie萌育儿·2024-01-22 03:48

【LWE问题简介】

文章目录解线性方程组问题LWE问题搜索LWE问题判定LWE问题两个LWE问题之间的规约LWE问题的复杂性结论平均情况下的复杂性结论其他版本的LWE问题其他信息论文索引容错学习(learningwitherrors

:)#·2024-01-21 18:14

详细推导BEC和BSC的信道容量

一.熵的计算公式香农熵的计算公式如下：理解：概率乘以概

唠嗑！·2024-01-21 08:22

【现代密码学基础】详解完美安全与不可区分安全

完美不可区分与香农的完美安全是类似的。该定义来源于一个被动窃听的敌手试验：给敌手一个密文，然后让敌手猜测明文来源于可能得两个中的哪一个。

唠嗑！·2024-01-21 08:21

《控制论与科学方法论》读书笔记（上）

1.简介控制论、信息论和系统论是二十世纪四十年代先后创立并取得迅猛发展的三门有关系统科学的分支学科。

Mookk·2024-01-21 01:33

2020-12-03

香农公式。香农定义了信息传速率上限，是信息时代的“圣经”。无论是3G、4G、5G，甚至是

素履之往矣·2024-01-20 22:21

2019-07-22

图片发自App【每日清单】952/1000次记录，20190722，雨x5【今天约定三件事（to-do）】1.[]沟通优化需求2.[]信息论15-20%3.[]日剧30【今天的小确幸】香港【想说】地理土壤就像一个国家的基因

伽蓝214·2024-01-20 14:55

【论文阅读笔记】Continual Diffision: Continual Customization of Text-to-Image Diffusion with C-LoRA

论文信息论文标题ContinualDiffision:ContinualCustomizationofText-to-ImageDiffusionwithC-LoRA发表刊物arXiv2023作者团队三星

ZedKingCarry·2024-01-19 08:24

AzuB专业介绍：信息学（双元制全学历段）

20世纪60年代以后逐渐形成，它的主要基础理论和科学方法论是神经生理学、心理学、计算机科学、系统工程、信息论、控制论等。

武汉安拙留学·2024-01-18 00:53

【信息论安全】：信源编码定理

一.介绍在点对点的通信中，信源编码定理（sourcecodingtheorem）满足可达性和可逆性。当信道是无噪声时，那么Y=X，这时就不需要信道编码。但是，信源编码依旧是有效的，可以提高数据传输效率，信源编码的单位通常是bits/sourcesymbol。信源编码其实跟我们通常所说的数据压缩（datacompression）很类似。信源整个可能序列记为，根据典型集理论，只有部分序列是有效的。讲这

唠嗑！·2024-01-17 13:11

速通——决策树（泰坦尼克号乘客生存预测案例）

3.决策树也易过拟合，采用剪枝的方法缓解过拟合二、信息熵1、概述：描述信息的完整性和有序性2、熵（Entropy）信息论中代表随机变量不确定度的度量；熵越大，数据的不确定性越高，信息就越多；

小林打怪中·2024-01-17 12:12

神经网络中的损失函数（下）——分类任务

神经网络中的损失函数前言分类任务中的损失函数交叉熵最大似然信息论信息量信息熵最短平均编码长度交叉熵KL散度余弦相似度损失函数总结前言上文主要介绍了回归任务中常用的几个损失函数，本文则主要介绍分类任务中的损失函数

liuzibujian·2024-01-17 05:51

成为一名推荐系统工程师永远都不晚

责编：何永灿（[email protected]）本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅《程序员》推荐系统工程师技能树掌握核心原理的技能数学：微积分，统计学，线性代数周边学科：信息论基础

喜欢打酱油的老鸟·2024-01-16 13:23

推荐频道

香农信息论

计算机网络——第二章 物理层（详细附图）