计算机科学导论总结

计算机科学导论

第一章

1.1 信息

1.1.1 信息的定义

1.维纳的信息定义

1948年，美国数学家、控制论的奠基人维纳(Nobert Wiener)在《控制论——关于在动物和机器中控制与通信的科学》中指出“信息是信息，不是物质也不是能量。"后来在《人有人的用处》中，他又提出“信息是人们在适应外部世界并使这种适应反作用于外部的过程中，同外界世界进行互相交换的内容的名称。”

2.信息使差异类的定义

1975年，意大利学者朗高指出“信息是反映事物的形式、关系和差别的东西。信息存在于客体间的差别之中，而不是存在于客体之中。“
英国学者阿希贝认为，信息的本性在于事物本身具有变异度。

3.钟义信的信息定义

北京邮电大学钟义信教授分别在本体论和认识论层次上提出了信息定义体系。

本体论层次：
信息指事物运动的状态及其变化方式的自我表述。
认识论层次：
信息指认识主体所感知或所表述的事物运动的状态和方式，包括这种状态或方式的形式、含义和效用。

信息是被反映的事物属性。

4.香农的信息定义

假定事物状态可以用一个以经典集合论为基础的概率模型来描述，则__信息就是用来消除不确定性的东西__，或信息是事物运动状态或存在方式的不确定性描述。

5.种加属差定义

被定义的概念(属概念)=邻近的种概念+属差
例：人是能制造生产工具的动物。
“人是动物”是距离“人”这一概念最近的“种概念”，而会“制造生产工具”是人和“其它动物”的属差。
简单地说，种加属差就是一个信息相加的运算，是一种事物的定义方式，在数学界中表示为集合的交集。

总的来说，一切客观存在都有信息。信息是一般是指事物释放出来的消息、情报、指令、数据或信号，它是人们认识客观世界的媒介。

1.1.2 信息的种类

按照不同的分类标准，信息可以分成不同的种类。
如：按照信息所依附的载体，可以将信息分为文献信息、口头信息、电子信息、生物信息等。
如：按照携带信息的性质，可以将信息分为连续信息、半连续信息和离散信息。

1.1.3 信息的度量

一条信息的信息量大小和它的不确定性有直接的关系。可以认为，信息量的度量就等于其不确定性的大小。
而不确定性的大小能够度量，因此信息是可以度量的。
度量信息的自信息量和信息熵：
信息熵的基本假设：

①信息是可以用一组符号来编码。
②信息的产生和传输时可以用概率论和随机过程来描述的。
③从概率角度看，同样的信息包含同样的信息量。

自信息量是指一个事件本身所包含的信息量，它是由事物的不确定性所决定的。
假设离散随机变量X~p(x_i)的数学模型为
$$X\sim \begin{array}{cccc}{x}_1& x_2& ...& x_n\\ p(x_1)& p(x_2)& ...& p(x_n)\end{array}$$
其中$$x_i\ge 0,i=1,2,\cdots ,n,且\sum _{i=1}^{n}p(x_i)=1$$
随机变量X产生的事件x(i)的自信息量定义为：$$I(x_i)=-lo{g}_{2}p(x_i)=lo{g}_2(1/p(x_i))（比特，即bit，常用单位）$$
或者：$$I(x_i)=-lnp(x_i)=ln(1/p(x_i))（奈特，即nat,1nat\approx 1.443bit）$$
或者：$$I(x_i)=-lgp(x_i)=lg(1/p(x_i))（哈特，即nat,1nat\approx 3.322bit）$$
离散随机变量X~p(x_i)的信息熵是从平均意义上对信息不确定性的度量，也称为平均自信息量，定义为$$H(x_i)=-\sum _{i=1}^{n}p(x_i)lo{g}_{2}p(x_i)$$
其中，随机变量X由n个事件x_i构成，事件x_i出现的概率为p(x_i)，这个公式和热力学中熵的计算方式一样，故也称为信息熵。从该式可以看出，当各个事件出现的概率相等，即"不确定度"最高时，信息熵最大。