信息论第5页

机器学习-有监督算法-决策树和支持向量机

建树方法：ID3，C4.5，CARTID3以信息论为基础，以信息增益为衡量标准熵越小，混乱程度越小，不确定性越小信息熵：H(D)=−∑i=1nP(Di)log⁡2P(Di)H(D)=-\sum_{i=1

小蒋的技术栈记录·2023-10-15 08:00

【笔记】【信息论与编码】第三章离散信源

__Witheart__·2023-10-14 05:17

吴军用信息论的观念讲透命运——这种置信度不高的信息

吴军在他的书《见识》一书中谈到了命运的作用，很多时候不得不承认命运是很难琢磨，很难把握，却又在关键时刻起关键作用的。一定不能去总结那些根本不存在的经验，或者用更科学的话讲，就是别相信置信度不高的信息。如果使用置信度不高的经验或者信息指导行动会有什么样的结果呢？这就如同一支军队，一直相信世界上有鬼，将精力都集中在寻找鬼以及思考对付鬼的方法上了，结果后面来了几个人，轻而易举地将这一大支军队都消灭了。大

高高_02c9·2023-10-13 05:44

印刷术：信息复制的革命

2.信息在传播过程中难免会有故意和无意的错误，也就是信息论中所说的噪音，这一点在古腾堡发明印刷术到路德宗教改革时作用特别明显。类似地，在中国，信息

A01琪公子·2023-10-12 19:48

论文研读｜Turning Your Weakness Into a Strength: Watermarking Deep Neural Networks by Backdooring

Functionality-Preserving）&有效性（Effectiveness）鲁棒性（Unremovability）抗微调攻击抗伪造攻击（OwnershipPiracy）抗迁移学习ImageNet方法评估相关文献论文信息论文名称

_Meilinger_·2023-10-12 02:44

论文研读｜Watermarking Deep Neural Networks for Embedded Systems

嵌入容量（Payload）假阳性（FalsePositiveRate）安全性（Security）篡改攻击（TamperingAttack）伪造攻击（GhostSignatureAttack）相关文献论文信息论文名称

_Meilinger_·2023-10-12 02:12

信息理论概念

姓名：张志文学号：19021210649【嵌牛观察】信息论是一个重要的领域，它对深度学习和人工智能作出了重大贡献，但很多人对它却并不了解。

张小文_f7d4·2023-10-11 03:57

【教育史话】向管理要质量

上世纪80年代初，学习《系统论》、《控制论》、《信息论》以后，思想上为之一震，有一种充电的感觉。就想在自己的工作实践中试一试。

宋正友·2023-10-10 15:53

I(X_1,X_2,X_3；Y)怎么理解

I(X1,X2,X3;Y)I(X_1,X_2,X_3;Y)I(X1,X2,X3;Y)表示在信息论中的互信息（mutualinformation），它用于衡量随机变量X1,X2,X3X_1,X_2,X_3X1

Chen_Chance·2023-10-09 21:25

信息论基础第三章阅读笔记

在信息论中，与大数定律类似的是渐进均分性(AEP)，它是弱大数定律的直接结果。

Chen_Chance·2023-10-09 21:43

论文研读｜Protecting Intellectual Property of Deep Neural Networks with Watermarking

Robustness）Anti-剪枝攻击（Pruning）Anti-微调攻击（Fine-tuning）安全性（Security）Anti-模型逆向攻击（ModelInversion）方法评估相关文献论文信息论文名称

_Meilinger_·2023-10-09 11:17

pytorch_神经网络构建2(数学原理)

文章目录深层神经网络多分类深层网络反向传播算法优化算法动量算法Adam算法深层神经网络分类基础理论:交叉熵是信息论中用来衡量两个分布相似性的一种量化方式之前讲述二分类的loss函数时我们使用公式-(y*

lidashent·2023-10-08 07:09

控制论、信息论与系统论

控制论、信息论和系统论从原理上讲是一个相互促进、彼此影响的整体，在近现代信息革命的进程中产生了举足轻重的影响。控制论强调的是在输入与输出之间建立细致联系的过程，核心是对误差处理的算法。

启航_FLY·2023-10-06 21:12

近日学习笔记

近日学习笔记1.K复杂度自学1.1信息论简介1.2K复杂度简介2.可视化自学2.1wiki可视化介绍科学可视化自学1.K复杂度自学这个K复杂度，就是算数型信息论中的一个知识点。

开土拓疆·2023-10-06 20:46

熵、优化置信度、全连接正确率、监督、1X1卷积核

熵信息论中的熵概念与公式：在信息论中，熵是衡量随机变量不确定性的度量。

盐巴饭团193·2023-10-06 19:59

计算机网络——计算机网络的性能指标（上）-速率、带宽、吞吐量、时延

目录速率比特速率例1带宽带宽在模拟信号系统中的意义带宽在计算机网络中的意义吞吐量时延发送时延传播时延处理时延例2例3速率了解速率之前，先详细了解一下比特：比特计算机中数据量的单位，也是信息论中信息量的单位

qiyi.sky·2023-10-06 08:09

信息论基础第二章部分习题

2.5证明若H(Y|X)=0，则Y是X的函数若H(Y∣X)=0H(Y|X)=0H(Y∣X)=0，意味着在已知XXX的条件下，YYY的不确定性为零，即给定XXX的值，我们完全确定了YYY的值。这表明YYY的取值完全由XXX决定，因此YYY是XXX的确定性函数。证明思路如下：假设H(Y∣X)=0H(Y|X)=0H(Y∣X)=0，即YYY在已知XXX的条件下没有不确定性。这意味着对于每个可能的xxx值，

Chen_Chance·2023-10-05 09:20

【355→思维模型】混沌理论

非线性科学发展的四个阶段1）控制论，信息论和一般系统论（40年代）2）自组织理论，超循环理论等（60年代）3）非线性科学，系统如何从有序->混沌和无序->更高层次的有序

Koala谦爸·2023-10-05 04:18

知识图谱如何让智能金融“变魔术”

IowaStateUniversity博士，研究领域包括神经网络、信息论、机器学习、逻辑与推理、语义网、自然语言处理等。三星S-Voice个人助手个核心设计者、语义网基础国际标准OWL2作者之一。

csdn_csdn__AI·2023-10-03 07:27

基于SpringBoot的知识管理系统

目录前言一、技术栈二、系统功能介绍用户管理文章分类资料分类文章信息论坛交流资料下载三、核心代码1、登录模块2、文件上传模块3、代码封装前言随着信息互联网信息的飞速发展，无纸化作业变成了一种趋势，针对这个问题开发一个专门适应师生作业交流形式的网站

不要满是遗憾的离开·2023-10-02 12:28

实盘年化3000%+，网格交易怎么“赚”？

最早源于“信息论之父”---香农（Claude

币看韭爷·2023-10-01 20:48

计算机网络两位伟人

克劳德·艾尔伍德·香农克劳德·艾尔伍德·香农（ClaudeElwoodShannon）是一位美国数学家、电子工程师和计算机科学家，被誉为“信息论之父”。他于1916年生于密歇根州，于2001年去世。

抹山微云筠曦·2023-10-01 19:48

Triplet Fingerprinting（三元组网站指纹攻击）

文章信息论文题目：《TripletFingerprinting:MorePracticalandPortableWebsiteFingerprintingwithN-shotLearning》期刊（会议

h0l10w·2023-10-01 11:39

智力星教育:你还想让孩子在错误的阅读方式上浪费多少时间？

从信息论的角度来看，知识是理解了的、留在记忆中的关于现实的信息。知识具有个人的和全人类的属性，如果不理解，不把个人感受加进去，即使对某种知识倒背如流，其大脑也不过如电脑对信息的反映。

智力星教育·2023-09-30 09:11

互信息(Mutual Information)

互信息（MutualInformation）-gatherstars-博客园(cnblogs.com)在概率论和信息论中，两个随机变量的互信息（MutualInformation，简称MI）或转移信息（

可能性之兽·2023-09-29 23:56

信息论基础第一章阅读笔记

信息论解答了通信理论中的两个基本问题：临界数据压缩的值（熵H）临界通信传输速率的值（信道容量C）

Chen_Chance·2023-09-26 22:10

信息论基础第二章阅读笔记

信息很难用一个简单的定义准确把握。对于任何一个概率分布，可以定义一个熵（entropy）的量，它具有许多特性符合度量信息的直观要求。这个概念可以推广到互信息（mutualinformation），互信息是一种测度，用来度量一个随机变量包含另一个随机变量的信息量。熵恰好变成一个随机变量的自信息。相对熵（relativeentropy）是个更广泛的量，它是刻画两个概率分布之间的距离的一种度量，而互信息

Chen_Chance·2023-09-26 22:39

Nyquist 尼奎斯特采样定理

1948年信息论的创始人C.E.香农对这一定理加以明确地说明并正式作为定理引用，因此在许多文献中又称为香农采样定理。采样定理的提出者不是Nyquist而

大师兄的小杂铺·2023-09-26 12:16

简述信息论与采样定理

信息论香农信息论发表于1948/1949年，它由三部分组成：信号采样、信源编码、信道编码；信号采样：采样理论研究在何种条件下对连续信号进行采样，从而得到的离散型号可以可逆地恢复出采样前的连续信号。

姑苏小菜鸡·2023-09-26 12:15

一篇文章彻底搞懂熵、信息熵、KL散度、交叉熵、Softmax和交叉熵损失函数

2.信息熵：一个叫香农的美国数学家将熵引入信息论中，用来衡量信息的不确定性，并将它命名为“香农熵”或者“信息熵”

冒冒菜菜·2023-09-26 10:47

经典腾讯面试题：小白鼠试毒问题

i的i次方·2023-09-26 06:57

论文笔记：Blockchain for AI: Review and Open Research Challenges

一、基本信息论文题目：《BlockchainforAI:ReviewandOpenResearchChallenges》发表时间：IEEEAccess论文作者及单位：二、摘要最近，人工智能（AI）和区块链已成为最流行和最具破坏性的两项技术

塘朗老实人·2023-09-26 06:16

职场老黄牛……牛排几分熟？

从信息论的角度，谈四个要点。我在《远离低水平勤奋，拥抱大体量成就》中明确的提出了计算个人成就的公式，对低水平的勤奋进行了无情的鞭挞。又在《“关注”一文不值，你要找到

凌千夏Albert·2023-09-26 01:31

03-决策树（cart）

但是无论是ID3还是C4.5,都是基于信息论的熵模型的，这里面会涉及大量的对数运算。能不能简化模型同时也不至于完全丢失熵模型的优点呢？有！CART分类树算法使用基尼系数来代替信息增益比，基尼系数

kang_james·2023-09-25 10:55

条件熵认识

条件熵是什么条件熵（ConditionalEntropy）是信息论中的一个概念，用于表示在已知某一条件下，随机事件的不确定性或信息量。

Chen_Chance·2023-09-25 02:21

贝叶斯网专题3：变量独立性的图论分析

目录[toc]1.1信息论基础1.2贝叶斯网基本概念1.3变量独立性的图论分析光具有波粒二象性，可以用概率波描述。

吴智深·2023-09-23 18:15

信息在大数据时代的四个用途

1由于不受到传统的人工智能思想的束,他得以用信息论的思维方式来看待语音识别问题。他认为语音识别是一个通信问题。贾里尼克是这样考虑问题的。

郝文东·2023-09-23 04:53

马云预言：未来最赚钱的新兴商机，将是青年人创业的热点

人工智能，即AI（ArtificialIntelligence），是一门包含计算机、控制论、信息论、神经生理学、心理学、如今是21世纪互联网时代，每个人都想赚钱，没有方向，我帮助了很

睿云创业老板·2023-09-22 07:30

深度学习——线性神经网络二

分类问题1.2.网络架构1.3.全连接层的参数开销1.4.softmax运算1.5.小批量样本的向量化1.6.损失函数1.6.1.对数似然1.6.2.softmax及其导数1.6.3.交叉熵损失1.7.信息论基础

星石传说·2023-09-21 08:28

7个常用的网络性能测试指标

比特也是信息论中

点量云实时渲染-小芹·2023-09-21 04:06

大语言模型学习引言

Task01引言目录1.1什么是语言模型1.2语言模型进化史信息论、熵N-gram语言模型Word2VecELMoTransformerBert1.3大语言模型1.1什么是语言模型说到大模型，首先介绍语言模型

Runjavago·2023-09-19 17:35

（2023，域泛化 & 信息论 & 特征解缠）INSURE：信息论启发的域泛化解缠结和纯化模型

INSURE:AnInformationTheoryInspiredDisentanglementandPurificationModelforDomainGeneralization公众号：EDPJ（添加VX：CV_EDPJ进交流群获取资料）目录0.摘要1.简介2.相关工作3.基础（问题设置和定义）4.提议的方法4.A.使用二元掩码解耦类相关和类不相关4.B.z*和z′的充分性4.C.z*的纯化

EDPJ·2023-09-18 22:47

信息论与编码学习辅导及习题详解（高清版）-傅祖芸

信息论与编码学习辅导及习题详解（高清版）-傅祖芸资源来自于网络，仅供学习使用，侵权私信删。对应信息论第四版的课后习题答案，看目录结构，看目录结构，看目录结构，答案都有的。

Korruz·2023-09-18 21:39

信息论学习

信息论香农信息论的“信息”并不包含意义。信息论传递的是信息/消息/讯息/信号，其中：（1）消息/讯息是信息的载体，消息=讯息；（2）对消息编码得到信号。

就是杨宗·2023-09-18 08:00

【论文阅读】Untargeted Backdoor Attack Against Object Detection（针对目标检测的无目标后门攻击）

文章目录一.论文信息二.论文内容0.摘要1.论文概述2.背景介绍3.作者贡献4.重点图表一.论文信息论文题目：UntargetedBackdoorAttackAgainstObjectDetection

AISecurity盐究员·2023-09-17 05:16

信息时代的方法论

信息时代的方法论由控制论、信息论、系统论3个方法组成。一、控制论对我们有什么用呢？我们也不会去研制火炮。其实我经常讲的，少作预测，多作反应，这种做事方法就源于控制论。

科技小白·2023-09-15 17:28

数学之美吴军读书笔记

双语或者多语的对照语料3.文字和语言背后的数学拼音文字常用字短，生僻字复杂符合信息论的最短编码原理。比如文言文，文字少意思丰富，需要文人解码成白话文才通俗易懂。因为记录的复杂。

white diamond·2023-09-12 22:03

计算机网络安全之信息加密与PKI

1，前言概述信息加密技术是利用密码学的原理与方法对传输数据提供保护的手段，它以数学计算为基础，信息论和复杂性理论是其两个重要组成部分。信息论主要包括香农关于保密系统的信息理论。

想个名字可真费劲·2023-09-10 08:01

【AI】机器学习——线性模型（逻辑斯蒂回归）

3.3逻辑斯蒂回归3.3.1逻辑回归介绍对数几率函数sigmod函数几率3.3.2逻辑回归模型3.3.3参数求解逻辑斯蒂回归策略3.3.4损失函数3.3.5应用：语句情感判断3.3.6多角度分析逻辑回归信息论角度数学角度与朴素贝叶斯对比

AmosTian·2023-09-09 14:28

论文笔记：CVPR2023 IRRA—隐式推理细粒度对齐模型，语言行人检索任务新SOTA，CUHK-PEDES数据集Rank-1可达73.38%！

目录论文基本信息引言模型模态编码器ImplicitRelationReasoning模块与MLM任务SimilarityDistributionMatching结果论文基本信息论文：Cross-ModalImplicitRelationReasoningandAligningforText-to-ImagePersonRetrieval

酥三苹·2023-09-09 11:22

推荐频道

信息论