信息论

为量产而设计：自动驾驶车辆激光雷达旋转外参在线标定与异常排除策略

智驾机器人技术前线·2024-09-03 04:57

压缩感知或压缩传感

1948年信息论的创始人C.E.香农对这一定理加以明确说明并正式作为定理引用，因此在许多文献中又称为香农采样定理。

zhoutongchi·2024-02-20 06:10

压缩感知

2019独角兽企业重金招聘Python工程师标准>>>首先，我们必须要认识到这一点，即CS（CompressedSensing）中的Compressed不同于传统信息论和率失真意义上的compression

weixin_34185320·2024-02-20 06:37

压缩感知——革新数据采集的科学魔法

压缩感知压缩感知(CS)与传统数据压缩的差异：传统信息论告诉我们，数据被采集后通常需要进行压缩以便于存储和传

superdont·2024-02-20 06:35

c++常考基础知识（1）

克劳德·香农将热力学中的熵引入信息通信领域，标志着信息论研究的开端。2.选记c++之父：本贾尼·斯特劳斯特卢普3.历

不懂编程的小王·2024-02-19 16:23

对网络流水印的调查

文章信息论文题目：NetworkFlowWatermarking:ASurvey期刊（会议）：IEEECommunicationsSurveys&Tutorials时间：2016级别：中科院1区文章链接

h0l10w·2024-02-14 23:48

20191127面对不确定性

吴军老师在得到的《信息论40讲》里说到不确定性是源于人类的科学发展，通过牛顿的物理定律搞定了连续性的确定性的事情，现在可以开始研究不确定性了，所以现在可以借助信息论的工具来利用信息消除不确定性。

zwrockman·2024-02-13 07:23

Python概率建模算法和图示

要点Python朴素贝叶斯分类器解释概率学习示例Python概率论，衡量一个或多个变量相互依赖性，从数据中学习概率模型参数，贝叶斯决策论，信息论，线性代数和优化Python线性判别分析分类模型，逻辑回归

亚图跨际·2024-02-12 09:26

100天搞定机器学习|Day55 最大熵模型

1948年，香农将熵的概念引申到信道通信的过程中，从而开创了”信息论“这门学科。香农用“信息熵”来描述随机变量的不确定程度，也即信息量的数学期望。关于信息熵、条件熵、联合熵、

统计学家·2024-02-11 01:13

人工智能大事记-持续更新中

维纳（Wiener）的控制论、香农（Shannon）提出的信息论，以及图灵（Turing）的计算理论等，为人工智能的出现奠定了基础。

城市中迷途小书童·2024-02-10 13:44

编辑距离算法【莱文斯坦距离、Levenshtein 算法】

文章目录算法概述：应用与其他编辑距离度量的关系问题定义：解析：例题：参考链接：算法概述：在信息论和计算机科学中，莱文斯坦距离是一种两个字符串序列的距离度量。

Mir_小熊同学·2024-02-08 11:25

2023牛客寒假算法基础集训营4-无HIK

A：清楚姐姐学信息论结论是越靠近e进制效率越高（第一次知道）当时现场推的，证明如下即证x^y>y^x两边同时取对数，移位得lnx/x>lny/y即证lnx/x的单调性求导即可发现是在e处对整数讨论23附近发现是

云深沐子兮·2024-02-07 22:41

FINN: 使用神经网络对网络流进行指纹识别

文章信息论文题目：FINN:FingerprintingNetworkFlowsusingNeuralNetworks期刊（会议）：AnnualComputerSecurityApplicationsConference

h0l10w·2024-02-07 14:13

通信基础 4——遍历容量、信道估计、干扰对齐

目录遍历容量/各态历经性容量信道估计干扰对齐无线携能通信遍历容量/各态历经性容量说遍历容量不十分准确，应该叫各态历经性容量（是相对于中断容量说的）首先要理解《信息论》中得香农信道容量，然后结合《随机过程

今天也努力学习的Paul·2024-02-05 18:37

《数学之美》--第一章：文字和语言 vs 数字和信息

但是，直到半个多世纪前香农博士提出信息论，人们才开始把数学和信息系统自觉地联系起来。

mantch·2024-02-05 03:25

mym_74·2024-02-03 13:34

悲观与乐观—《格局》

即从信息论上讲，越是与众不同的说法信息量越大。悲观主义横行，其实来自人性的弱点。悲观主义能减轻悲剧的打击。【悲观

小老虎_2ab2·2024-02-03 08:12

今日记事--坚持

我昨天读完了信息论，今天开始读，思考快与慢这是我要读完的，坚持下去。我爱孩子，要持续的给她爱和帮助，多夸奖她，这是一个长期过程，我要坚持，不能放弃，不能烦躁，不急不恼不懒不馋再写一遍。

星辰大海2021·2024-01-30 18:03

算法：汉明距离 vs 编辑距离区别

1汉明距离在信息论中，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。例如，1011101与1001001之间的汉明距离是2。

冰凌其·2024-01-29 07:24

14.决策树的最终构建

前面是做了一轮决策，按照信息论的方式，对各特征做了分析，确定了能够带来最大信息增益（注意是熵减）的特征。但仅这一步是不够的，我们需要继续对叶子节点进行同样的操作，直到完成如下的目标：[if!

坛城守护者·2024-01-28 13:25

Title: 提升大型语言模型在知识图谱完成中的性能

基本信息论文题目:MakingLargeLanguageModelsPerformBetterinKnowledgeGraphCompletionMakingLargeLanguageModelsPerformBetterinKnowledgeGraphCompletion

AI知识图谱大本营·2024-01-28 10:26

Federated Optimization in Heterogeneous Networks —— Fedprox算法

FederatedOptimizationinHeterogeneousNetworks1.论文信息论文题目:FederatedOptimizationinHeterogeneousNetworksFedprox

小小白和纯牛奶·2024-01-27 17:52

互信息的简单理解

在介绍互信息之前，首先需要了解一下信息熵的概念：所谓信息熵，是指信息论中对一个随机变量不确定性的度量，对于随机变量x，信息熵的定义为：H(x)=−∑xp(x)logp(x)H(x)=-\sum_xp

图学习的小张·2024-01-27 04:18

《医学决策思维课》学习笔记（完）

最近学了得到的《医学决策思维课》，虽然讲的是医生治病的事情，但是里面的道理都是想通的，本质上都是用概率与信息论的方法快速定位问题，对程序故障排查具有一定的借鉴意义。

pzb19841116·2024-01-26 18:47

深度学习如何弄懂那些难懂的数学公式？是否需要学习数学？

知乎上的：机器学习与深度学习中的数学知识点汇总-SIGAI的文章-知乎https://zhuanlan.zhihu.com/p/81834108推荐书籍：1.高等数学/微积分2.线性代数与矩阵论3.概率论与信息论

搬砖班班长·2024-01-26 15:41

计算机网络的性能

计算机网络的性能一、性能指标1.速率比特（bit，binarydigit）：二进制数字，一个比特不是0就是1比特：信息论中使用的信息量的单位速率（数据率、比特率）：（网络技术中）数据的传送速率单位：bit

知向谁边·2024-01-25 23:33

密码学理论07：密码哈希函数

用于信息论加密（一次性MAC）或作为加密方案的构建块（hash然后加密/Carter-WegmanMAC）。

untypical_Idealism·2024-01-25 20:22

Tensorflow & Keras的loss函数总结

它们的交叉熵本质上是一样的：（1）在信息论中，交叉熵是用来描述两个分布的距离的，函数定义为：而神经网络训练的目的就是使预测

牧世·2024-01-25 18:49

吴军《信息论》中大数据思维应用之语音识别

印象最深是吴军老师告诉我们飞机的发明不是仿生鸟类翅膀的工作原理，是了解透了空气动力学，加以运用，才实现了人们飞上蓝天的梦想。我们总说要有梦想，除了做梦，还得有思想，把梦拆解成可解决的问题的思考与想法。这些，也是我作为文科生会迷上吴军博士的课程的原因。生活中，我们总要解决各式各样的问题，我们如何拆解问题，把问题变成关于大数据思维在当下最常见，也是最成功的四类应用。第一类是解决人工智能问题，把那些过去

高高_02c9·2024-01-25 07:44

Day4学习记录

一、行业信息1.信息论知识（1）信息的本质：消除世界的不确定性（2）如何度量信息：利用概率的不确定性不确定度——信息熵*类比名人游戏：信息熵即一个问题的最少提问次数。

好好编码·2024-01-25 03:41

信息论与编码——信道编码

什么是最小距离译码准则，举例说明最小距离译码准则是一种常用的纠错码译码方法，用于在接收到含有错误的编码信息时，通过计算与已知编码序列之间的距离来判断最有可能的原始信息。该准则的基本思想是选择与接收到的编码序列距离最近的已知编码序列作为译码结果。距离通常使用汉明距离来度量，汉明距离是指两个等长字符串之间相应位置上不同字符的个数。下面通过一个简单的例子来说明最小距离译码准则的应用：假设发送方使用一个二

吕正日·2024-01-24 19:19

【LWE问题简介】

文章目录解线性方程组问题LWE问题搜索LWE问题判定LWE问题两个LWE问题之间的规约LWE问题的复杂性结论平均情况下的复杂性结论其他版本的LWE问题其他信息论文索引容错学习(learningwitherrors

:)#·2024-01-21 18:14

《控制论与科学方法论》读书笔记（上）

1.简介控制论、信息论和系统论是二十世纪四十年代先后创立并取得迅猛发展的三门有关系统科学的分支学科。

Mookk·2024-01-21 01:33

2019-07-22

图片发自App【每日清单】952/1000次记录，20190722，雨x5【今天约定三件事（to-do）】1.[]沟通优化需求2.[]信息论15-20%3.[]日剧30【今天的小确幸】香港【想说】地理土壤就像一个国家的基因

伽蓝214·2024-01-20 14:55

【论文阅读笔记】Continual Diffision: Continual Customization of Text-to-Image Diffusion with C-LoRA

论文信息论文标题ContinualDiffision:ContinualCustomizationofText-to-ImageDiffusionwithC-LoRA发表刊物arXiv2023作者团队三星

ZedKingCarry·2024-01-19 08:24

AzuB专业介绍：信息学（双元制全学历段）

20世纪60年代以后逐渐形成，它的主要基础理论和科学方法论是神经生理学、心理学、计算机科学、系统工程、信息论、控制论等。

武汉安拙留学·2024-01-18 00:53

【信息论安全】：信源编码定理

一.介绍在点对点的通信中，信源编码定理（sourcecodingtheorem）满足可达性和可逆性。当信道是无噪声时，那么Y=X，这时就不需要信道编码。但是，信源编码依旧是有效的，可以提高数据传输效率，信源编码的单位通常是bits/sourcesymbol。信源编码其实跟我们通常所说的数据压缩（datacompression）很类似。信源整个可能序列记为，根据典型集理论，只有部分序列是有效的。讲这

唠嗑！·2024-01-17 13:11

速通——决策树（泰坦尼克号乘客生存预测案例）

3.决策树也易过拟合，采用剪枝的方法缓解过拟合二、信息熵1、概述：描述信息的完整性和有序性2、熵（Entropy）信息论中代表随机变量不确定度的度量；熵越大，数据的不确定性越高，信息就越多；

小林打怪中·2024-01-17 12:12

神经网络中的损失函数（下）——分类任务

神经网络中的损失函数前言分类任务中的损失函数交叉熵最大似然信息论信息量信息熵最短平均编码长度交叉熵KL散度余弦相似度损失函数总结前言上文主要介绍了回归任务中常用的几个损失函数，本文则主要介绍分类任务中的损失函数

liuzibujian·2024-01-17 05:51

成为一名推荐系统工程师永远都不晚

责编：何永灿（[email protected]）本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅《程序员》推荐系统工程师技能树掌握核心原理的技能数学：微积分，统计学，线性代数周边学科：信息论基础

喜欢打酱油的老鸟·2024-01-16 13:23

Shamir秘密分享的基本形式（同态加、同态乘）

该方案是信息论安全的，并且可以抵抗半诚实的合谋攻击。假设ppp是一个素数，Zp={0,1,2,⋯ ,p−1}\mathbb{Z}_p=\{0,1,2

咸鱼菲菲·2024-01-15 10:48

信息论与编码————1.1信息的定义

一、信息的定义1、信息：通讯系统的信息、信号和消息通信的基本问题：在一点精确或近似地恢复另一点所选择的信息通信的目的：消除不确定性，获得信息2、消息：能被人的感觉器官所感知（消息中包含信息，是信息的载体，是具体的）3、信号：信道传输的物理量（信号携带消息，是消息的运载工具，可测量、可显示、可描述）香农信息：事物运动状态和存在方式的不确定性描述通信过程是一种消除或部分消除不确定性的工程1.信息在被接

辣个骑士·2024-01-15 08:48

控制论和科学方法论

以下是控制论、信息论、系统论的总结：控制论控制过程共有的几点：被控制对象必

大彬聊编程·2024-01-15 01:42

【论文阅读】Progressive Prompts: Continual Learning for Language Models

论文信息论文标题ProgressivePrompts:ContinualLearningforLanguageModels发表刊物ICLR2023作者团队多大、MetaAI关键词ContinualLearing

ZedKingCarry·2024-01-14 18:44

计算机思维、工程思想

——通讯领域的祖师爷——克劳德·香农——《信息论》

中文英文-我选中文·2024-01-14 12:29

【信息论与编码】【北京航空航天大学】实验二、哈夫曼编码【C语言实现】（下）图像编码压缩

实验2哈夫曼编码（下）（图像编码）实验简介：本次实验为实验1：哈夫曼编码的后续补充，实验1见博客：实验一、哈夫曼编码【C语言实现】（上）说明：实验代码仅作为学习使用，欢迎转载、改进，禁止用于任何商业用途。一、实验内容“不同格式的压缩”：1、问题：使用画图软件或者其他工具进行一些简单的艺术创作（推荐使用三四种颜色，不要太多，尽量使用较大的分辨率（例如3840x2160）），分别将图片保存为bmp和j

不是AI·2024-01-13 15:47

音视频开发成长之路与音视频知识总结

音视频涉及语音信号处理、数字图像处理、信息论、封装格式、编解码、流媒体协议、网络传输、渲染、算法等。在现实生活中，音视频扮演着越来越重要的角色，比如视频会议、直播、短视频、播放器、语音聊天等。

徐福记456·2024-01-12 21:46

Pinsker’s inequality 与 Kullback-Leibler (KL) divergence / KL散度

sinequalityKullback-Leibler(KL)divergenceKL散度在matlab中的计算KL散度在隐蔽通信概率推导中的应用Pinsker’sinequalityPinsker’sInequality是信息论中的一个不等式

快把我骂醒·2024-01-12 13:12

【信息论与编码】【北京航空航天大学】实验一、哈夫曼编码【C语言实现】（上）

信息论与编码实验1哈夫曼编码实验报告一、运行源代码所需要的依赖：1、硬件支持Windows10，64位系统2、编译器DEV-RedpandaIDE，小熊猫C++二、算法实现及测试1、C语言源程序#define_CRT_SECURE_NO_WARNINGS

不是AI·2024-01-11 16:59

2019-08-04

图片发自App【每日清单】965/1000次记录，20190804，多云【今天约定三件事（to-do）】1.[]p2课程复习2.[]脚部休息3.[]信息论29（超时3天）【今天的小确幸】新版p2【想说】

伽蓝214·2024-01-10 14:49

推荐频道

信息论