信息论第2页

神经网络中的损失函数（下）——分类任务

神经网络中的损失函数前言分类任务中的损失函数交叉熵最大似然信息论信息量信息熵最短平均编码长度交叉熵KL散度余弦相似度损失函数总结前言上文主要介绍了回归任务中常用的几个损失函数，本文则主要介绍分类任务中的损失函数

liuzibujian·2024-01-17 05:51

成为一名推荐系统工程师永远都不晚

责编：何永灿（[email protected]）本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅《程序员》推荐系统工程师技能树掌握核心原理的技能数学：微积分，统计学，线性代数周边学科：信息论基础

喜欢打酱油的老鸟·2024-01-16 13:23

Shamir秘密分享的基本形式（同态加、同态乘）

该方案是信息论安全的，并且可以抵抗半诚实的合谋攻击。假设ppp是一个素数，Zp={0,1,2,⋯ ,p−1}\mathbb{Z}_p=\{0,1,2

咸鱼菲菲·2024-01-15 10:48

信息论与编码————1.1信息的定义

一、信息的定义1、信息：通讯系统的信息、信号和消息通信的基本问题：在一点精确或近似地恢复另一点所选择的信息通信的目的：消除不确定性，获得信息2、消息：能被人的感觉器官所感知（消息中包含信息，是信息的载体，是具体的）3、信号：信道传输的物理量（信号携带消息，是消息的运载工具，可测量、可显示、可描述）香农信息：事物运动状态和存在方式的不确定性描述通信过程是一种消除或部分消除不确定性的工程1.信息在被接

辣个骑士·2024-01-15 08:48

控制论和科学方法论

以下是控制论、信息论、系统论的总结：控制论控制过程共有的几点：被控制对象必

大彬聊编程·2024-01-15 01:42

【论文阅读】Progressive Prompts: Continual Learning for Language Models

论文信息论文标题ProgressivePrompts:ContinualLearningforLanguageModels发表刊物ICLR2023作者团队多大、MetaAI关键词ContinualLearing

ZedKingCarry·2024-01-14 18:44

计算机思维、工程思想

——通讯领域的祖师爷——克劳德·香农——《信息论》

中文英文-我选中文·2024-01-14 12:29

【信息论与编码】【北京航空航天大学】实验二、哈夫曼编码【C语言实现】（下）图像编码压缩

实验2哈夫曼编码（下）（图像编码）实验简介：本次实验为实验1：哈夫曼编码的后续补充，实验1见博客：实验一、哈夫曼编码【C语言实现】（上）说明：实验代码仅作为学习使用，欢迎转载、改进，禁止用于任何商业用途。一、实验内容“不同格式的压缩”：1、问题：使用画图软件或者其他工具进行一些简单的艺术创作（推荐使用三四种颜色，不要太多，尽量使用较大的分辨率（例如3840x2160）），分别将图片保存为bmp和j

不是AI·2024-01-13 15:47

音视频开发成长之路与音视频知识总结

音视频涉及语音信号处理、数字图像处理、信息论、封装格式、编解码、流媒体协议、网络传输、渲染、算法等。在现实生活中，音视频扮演着越来越重要的角色，比如视频会议、直播、短视频、播放器、语音聊天等。

徐福记456·2024-01-12 21:46

Pinsker’s inequality 与 Kullback-Leibler (KL) divergence / KL散度

sinequalityKullback-Leibler(KL)divergenceKL散度在matlab中的计算KL散度在隐蔽通信概率推导中的应用Pinsker’sinequalityPinsker’sInequality是信息论中的一个不等式

快把我骂醒·2024-01-12 13:12

【信息论与编码】【北京航空航天大学】实验一、哈夫曼编码【C语言实现】（上）

信息论与编码实验1哈夫曼编码实验报告一、运行源代码所需要的依赖：1、硬件支持Windows10，64位系统2、编译器DEV-RedpandaIDE，小熊猫C++二、算法实现及测试1、C语言源程序#define_CRT_SECURE_NO_WARNINGS

不是AI·2024-01-11 16:59

2019-08-04

图片发自App【每日清单】965/1000次记录，20190804，多云【今天约定三件事（to-do）】1.[]p2课程复习2.[]脚部休息3.[]信息论29（超时3天）【今天的小确幸】新版p2【想说】

伽蓝214·2024-01-10 14:49

最小描述长度MDL(Minimum Description Length）及信息论介绍

信息论介绍信息论是应用数学的一个分支，主要研究的是对一个信号包含信息的多少进行量化。它最初被发明是用来研究在一个含有噪声的信道上用离散的字母表来发送消息，例如通过无线电传输来通信。

Avasla·2024-01-10 10:23

理论U3 决策树

文章目录一、决策树算法1、基本思想2、构成1）节点3）有向边/分支3、分类步骤1）第1步-决策树生成/学习、训练2）第2步-分类/测试4、算法关键二、信息论基础1、概念2、信息量3、信息熵：二、ID3(

轩不丢·2024-01-10 08:46

独立思考的重要性

今天聊聊独立思考能力，这是一个信息泛滥的时代，各种文章短视频满天飞，各种信息论调扑面而来，填鸭式的塞进了你的脑袋。当你没有独立思考能力时，你便容易被带节奏。

傅复何求·2024-01-09 15:58

天啊，小姐姐这条信息价值过万

引用信息论中说法：如果一条信息，帮你消除了一个不确定性，那这就是一条有价值的信息。打个比方来说：如果明天你

ssevening·2024-01-08 06:37

密码学——培根密码和栅栏密码

何为编码学编码学，运用语言学、数学、电子学、声学、信息论、计算机科学等学科的知识，研究如何根据通信双方约定的法则将明文变为密文，进行加密和变换，以及编制密码的原则、方法与技术手段等，以保证通信达到保密的一门学科何为破译

南宫晟醺·2024-01-07 17:42

通过盲对抗性扰动实时击败基于DNN的流量分析系统

文章信息论文题目：DefeatingDNN-BasedTrafficAnalysisSystemsinReal-TimeWithBlindAdversarialPerturbations期刊（会议）：30thUSENIXSecuritySymposium

h0l10w·2024-01-07 17:37

对Tor的去匿名化攻击的调查

文章信息论文题目：De-AnonymisationAttacksonTor:ASurvey期刊（会议）：IEEECommunicationsSurveys&Tutorials时间：2021级别：中科院1

h0l10w·2024-01-07 17:06

AI技术体系和领域浅总结

数学基础微积分《高等数学》线性代数《线性代数》概率统计《概率论与数理统计》信息论《信息论基础》（机械工业出版社）集合论和图论《离散数学》博弈论《博弈论》（中国人民大学出版社）张量分析现代几何计算机基础计算机原理程序设计语言操作系统分布式系统算法基础机器学习算法机器学习基础

TisUs·2024-01-06 16:26

Vvvvonly·2024-01-06 14:07

【信息论与编码】习题-填空题

目录填空题1.克劳夫特不等式是判断（）的充要条件。2.无失真信源编码的中心任务是编码后的信息率压缩接近到（）限失真压缩中心任务是在给定的失真度条件下，信息率压缩接近到（）。3.常用的检纠错方法有（）、反馈重发和混合纠错三种。4.无记忆信源信源熵为（）。5.在信息处理中，随着处理级数的增加，输入消息和输出消息之间的平均互信息量趋于（）。6.根据码字所含的码元的个数，编码可分为（）编码和（）编码。7.

EddyCliff·2024-01-06 09:20

【信息论与编码】习题-单选题

目录单选题1.下列说法正确的是（B）2.在信息论中，若用对数底2为，则信息量的单位为（C）3.率失真函数的下限为（A）4.给定xi条件下随机事件yj所包含的不确定度和条件自信息量p(yj/xi)。

EddyCliff·2024-01-06 09:44

机器学习 - 决策树

熵（Entropy）的定义熵是信息论中的一个核心概念，最初由克

北堂飘霜·2024-01-06 07:26

信息论与编码期末复习——计算题+基础汇总(二)

个人名片：作者简介：一名喜欢分享和记录学习的在校大学生个人主页：妄北y个人QQ：2061314755个人邮箱：[email protected]个人WeChat：Vir2021GKBS本文由妄北y原创，首发CSDN座右铭：大多数人想要改造这个世界，但却罕有人想改造自己。专栏导航：妄北y系列专栏导航:C/C++的基础算法：C/C++是一种常用的编程语言，可以用于实现各种算法，这里我们对一些基础算法进

妄北y·2024-01-06 04:09

信息论与编码期末复习——概念论述简答题（一）

个人名片：作者简介：一名喜欢分享和记录学习的在校大学生个人主页：妄北y个人QQ：2061314755个人邮箱：[email protected]个人WeChat：Vir2021GKBS本文由妄北y原创，首发CSDN座右铭：起点不那么重要，迭代更重要。专栏导航：妄北y系列专栏导航:C/C++的基础算法：C/C++是一种常用的编程语言，可以用于实现各种算法，这里我们对一些基础算法进行了详细的介绍与分享

妄北y·2024-01-06 04:39

通信及信号处理领域期刊影响因子、分区及期刊推荐

IEEETransactionsonSignalProcessing4.875工程技术1区Top信号处理顶刊IEEETransactionsonInformationTheory2.978计算机科学2区Top信息论顶刊

yrwang_xd·2024-01-04 19:34

通信及信号处理领域期刊影响因子、分区及期刊推荐-2024版

通信顶刊IEEETransactionsonSignalProcessing5.4工程技术2区Top信号处理顶刊IEEETransactionsonInformationTheory2.5计算机科学3区信息论顶刊

yrwang_xd·2024-01-04 19:56

信息量，熵，KL散度，交叉熵

REFER:陈远.信息论与编码(第三版).电子工业出版社.p11徐彬.实战深度学习算法.电子工业出版社.p21一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉信息量如何度量信息？

酌泠·2024-01-03 10:28

读书笔记 | 自我的本质

-《自我的本质》这本书每章的划线集锦，自用-第一章奇妙的器官：我是大脑创造出的我自我基于大脑香农的信息论：无论多复杂的事物，都可以被分解为分布在一个网络中的一系列开关状态。大脑的处理过程采用分布模式。

甜脑花_自在·2023-12-30 22:51

[基础知识] 霍夫曼编码

目录故事背景思路历程通信系统示意衡量信息量编码和熵的关系香农-冯诺编码霍夫曼的改进故事背景1951年，麻省理工学院的一名研究生DavidHuffman在RobertFano的信息论课程上名列前茅。

LiveVideoStack_·2023-12-30 13:12

信息论安全中常用的符号与术语（附详细解释）

1.GF代表伽罗瓦域（Galoisfield），与通常所说的有限域类似。q代表该有限域内有q个元素。2.实数域3.复数域4.自然数，代表正整数5.字母集，也可以包含数字，本质就是一个集合。代表集合的基数，也就是集合中包含元素的个数6.集合的闭包，其中cl来源于单词closure。在给定的关系中，添加最少的元素，使其具有某种性质，则称添加后的集合为该性质上关系的闭包。7.集合的凸包，解释为一个给定点

唠嗑！·2023-12-29 16:32

信息论（熵&信息增益&增益率&gini指数）

1、信息熵（Ent(D)）用来度量一组样本集合的纯度（信息熵越小，纯度越高）。假设在集合D中第k类的占比为，则D的信息熵为：2、信息增益（Gain(D,a)）用来表示当利用某属性（特征）对样本进行划分后，其纯度提升（一般信息增益越大，则属性划分后所获得的纯度提升越大）。上式表示对样本集合D利用属性a进行划分后的信息增益（属性a的取值有），其中表示D中所有在属性a上取值为的样本集合。

田浩thao·2023-12-29 10:46

机器学习(第8章信息论模型)

komjay·2023-12-29 09:14

什么才是重要？

在听了吴军老师讲的信息论之后，对于什么更重要我学到了另外一个角度的

鄢中堡·2023-12-28 14:58

广播电视概论要点

信息论的奠基人申农从通信理论的角度把信息定义为“对不确定性的消除”。

职场小白升级打怪·2023-12-28 08:52

1.1信息与信息的特征

我国信息论专家钟义信：信息是“失误运动的状态与方式”。二、信息的主要特征1.普遍性信息普遍存在于自然界和人类社会发展的始终。2.依附性一方面，所有的信息都必须依附于某种载体，但是，

梦紫霄·2023-12-26 07:26

量子密码学简介

量子密码学最著名的例子是量子密钥分发，而量子密钥分发提供了通信两方安全传递密钥的方法，且该方法的安全性可被信息论所证明。

代码改变世界ctw·2023-12-23 09:41

边界与平衡

人类文明伴随着人类迁徙产生，从现代智人走出非洲、大航海时代以及即将发生的大航天时代；人类也从演绎、归纳、类比的思维实践中依次形成了机械思维、系统思维、大数据思维；人类一步步认知迭代，加快了人类控制论、系统论、信息论的建立

zhang_402d·2023-12-23 08:32

PRML第一章读书小结

PRML第一章读书小结第一章用例子出发，较为简单的引入了概率论、模型、决策、损失、信息论的问题，作为机器学习从业者，读PRML除了巩固已有基础，还受到了很多新的启发，下面将我收到的启发总结如下。

飞剑客阿飞·2023-12-23 03:33

教你基于信息论检测自己的密码强度

前情大多数评估算法强度的工具都是基于密码的长度和所使用的字符集长度,通过加减分来判断密码的强度,而这种方法并不能很好地展现密码的不确定性,为此,我写了一个工具来解决这个问题声明此工具仅适合用于评估随机生成的密码面对暴力破解的强度,也就是说不考虑社会工程学等因素,建议与一些随机生成字符串的工具一起使用算法说明本工具的理论依据来自于以编码理论为中心的信息传输理论在密码学中的应用,根据经验,一个事件出现

ZehangZhu Studio·2023-12-22 18:56

机器学习与人工智能：一场革命性的变革

1956年8月，在美国汉诺斯小镇宁静的达特茅斯学院中，约翰·麦卡锡（JohnMcCarthy）、马文·闵斯基（MarvinMinsky，人工智能与认知学专家）、克劳德·香农（ClaudeShannon，信息论的创始人

以山河作礼。·2023-12-22 12:11

你有你的计划世界另有计划之一个基于信息论的人生观

信息论是现代世界非常重要的一种概念。信息论并不仅仅是技术理论，更是一种具有普世价值的思想。了解了信息论，你就多了一种观察世界的眼光，甚至可以从信息论中推导出一种人生观来。

河南王凯凯·2023-12-21 21:36

如何进行本质思考：提升你的逻辑思维

@善用网文：读书提升认知，知识改变命运01“信息论之父”香农说：“你越能触及问题的本质，得到真知灼见的效率就越高。”

水滴识穿·2023-12-21 19:26

信息论安全与概率论

目录一.Markov不等式二.选择引理三.Chebyshev不等式四.Chernov上限4.1变量大于4.2变量小于信息论安全中会用到很多概率论相关的上界，本文章将梳理几个论文中常用的定理，重点关注如何理解这些定理以及怎么用

唠嗑！·2023-12-21 02:43

决策树原理及实现(Decision Tree)

在热力学中，熵被用于表示系统的混乱程度；而在信息论中，熵用于表示信息量的大小。在一个有

d518a9b6ae51·2023-12-20 21:38

联合基于信息论的安全和隐蔽通信的框架

这个标题很帅abstractintroductionsystemmodelPROPOSEDJOINTOPTIMIZATIONOFITSANDCOVERTTRANSMISSIONRATE信息论安全（ITS

快把我骂醒·2023-12-20 10:33

【深度学习】序列生成模型（四）：评价方法

困惑度是信息论中的一个概念，用来度量一个分布的不确定性。1.定义对于离散随机变量X∈XX\in\math

QomolangmaH·2023-12-20 07:18

深度学习中的KL散度

1KL散度概述KL散度（Kullback-LeiblerDivergence），也称为相对熵，是信息论中的一个概念，用于衡量两个概率分布间的差异。

智慧医疗探索者·2023-12-20 01:54

DeepCorr:利用深度学习进行Tor的流关联攻击

文章信息论文题目：DeepCorr:StrongFlowCorrelationAttacksonTorUsingDeepLearning期刊（会议）：Proceedingsofthe2018ACMSIGSACConferenceonComputerandCommunicationsSecurity

h0l10w·2023-12-20 00:59

推荐频道

信息论