学习之《数学之美》
学习之《数学之美》
20170808 周二
今天开始看书--吴军的《数学之美》，我现在的专业是信息与通信工程，与书中介绍的内容很相关，刚看完了序言等部分，觉得很好，值得好好看一下。现在便开始，好好做些看书笔记。
第一章，用语言的方式探寻数学运用。
第二章，讲述了语言识别开始时，科学家走的弯路，后来基于统计方法才有了新的突破。
20170809周三
第三章，用概率论的角度说明现代语音识别的方法。看着精妙的数学公式，真的很神奇。
第四章，分词法，此地安能居住，其人好不悲伤。分词法的进展。
第5章，隐含马尔科夫模型，建立通信模型。有些地方还要理解。隐含马尔科夫很重要，但是我还没很好的理解，机器学习都要用词算法，有必要好好学习下呀。鲍姆-维奇训练算法。维特比解码算法。都需要再学习研究。
第六章，香农。信息量=不确定性的多少。信息熵：H(x)=-E(P(x)logP(x))，随机变量X的概率对数和。X的不确定性越大，熵越大。冗余度：重复信息程度。可利用熵，大大压缩文件。
信息是消除系统不确定性的唯一办法。增加相关信息，一定会减小熵。
互信息Ix,y=Hx-Hx|y;即Y信息与X信息的相关度，越相关，Ix,y越接近于1 。
相对熵KL（x||y）：差异越大，相对熵越大。
相关阅读：托马斯·科夫的《信息论基础》。物理上的熵，指特定系统的无序性度量。信息熵，使用数学的方法定义了信息的不确定性（信息有无作用），从而能用数学的方法，解决信息这样抽象的内容。
小思：运用数学的其中一点好处，是提供可证明，基本绝对正确的前进方向；把复杂事物抽象出重要要素，用简单，简洁的方式，证明、表述事物的正确、逻辑。
小思2：人类真厉害，在万千理论中，探寻出信息论，然后解决语言与数学（机器）之间的关联、交互，在哲学角度上，可以说是一次思想的突破与飞跃。
小思3：我心里一直想做一件事，就是人工智能语言识别及职能控制。就是说，我希望以后的世界，人们能通过普通语言（文字）就能与智能机器进行交流、控制，就像是人们可以通过自然语言就对机器进行软件编程一样。我希望的是，以后的科学能与智能软件（虚拟机器人）交流探讨，机器人帮人类收集文献，做实验，仿真结果等。这是我想实现的东西。我知道这很远，毕竟我现在的处境和状态很差，现实有很多束缚，很多物质问题要解决，所以我先设想着，先积累相关认知，以后怎样，在看实际的机遇与造化了。
第7章，贾里尼克的故事。贾里尼克把语音识别当成通信问题，而不是人工智能和模式匹配。1994年建立CLSP实验室。
BCJR算法（另一个维比特算法）。
实验就是试错的过程，研究就是在无数次失败中，找到成功的方法。
什么方法不好，减少无用功与不必要损失。至于什么方法好，相信聪明的人能自己找到。
公正，努力，朴素，平凡与伟大。
第8章，收索的世界。布尔代数，等同于量子力学的意义。布尔运算，连接了数学与计算机，连接了人类与机器。
数据库的查询语句SQL。索引。分布式存储，并行处理。原理都是布尔运算。
第9章，图论（欧拉），离散数学，遍历算法。
广度优先，BFS，尽可能广地访问，从近处访问完一圈（很广）后，再访问下一层，一层层下去。
深度优先，DFS，一条路到底，选择一个点，然后一直深入访问到底后，再回到原点，范文其他节点。
图论，把互联网看成一张大图，网页是节点，弧线是超链接。使用超链接，遍历网络的程序，叫网络爬虫（像虫子一样爬满整个网络）。使用哈希表记录网页是否下载过。数学的魅力在于简单问题复杂化（抽象化），复杂问题简单化。
20170811 周五
第10章，PageRank。搜索质量。重要一点在于建立良好的数学模型。根据权重排序，建立矩阵收敛，稀疏矩阵，平滑处理。
小思：利用数学建模是很厉害的一种方法，能从理论上论证事情的可能性，对知道实践有很大意义。但建模要先完成对重要内容的准确抽象，并且要足够的数学知识，其实很多知识是相通的，要学会应用；建立模型，很重要一点，就是收敛，这样才能有实际意义。关于收敛，有必要多研究下，特别是对于矩阵。
第11章，网页相关性。关键字收索权重分配，逆文本频率指数IDF，TF*IDF=搜索字贡献。此算法完成了对结果的排序，很厉害。
小问：为什么信息论中，是用的log，而不是平方根什么的呢？即log的得来是否有理论支持，还是凭感觉，就认为应该用log呢。
第12章，基于概率的有限状态机，自然语言的随意性，AT&T开源软件。
动态规划，全球导航的关键算法，其中有二分法，大大简化运算量。
加权有限状态传感器WFST，用于语音识别和自然语言理解。使用确定的工具，解决了不确定性的输入得到大概率的输出。
第13章，辛格。寻找简单有效的解决方案。将知识简单有效地用于现实，很厉害。
第14章，新闻分类。将新闻数字化成特呈向量，然后通过这个多维向量的方向，量化相关程度，夹角计算便要用到余弦定理。聚合法，分层完成分类。
第15章，再说矩阵。矩阵新世界。一步到位计算相关性方法：利用矩阵中的奇异值分解SVD，粗分类。--将大矩阵按照特定功能分解成3个小矩阵相乘。怎么分，这就要用到特征值，各种算法等了。
小思：在学校学习时，会觉得很多知识，很难又看不见实际应用场景，直到后面慢慢深入实际工程，需要用到时，便会发现知识（数学）的巨大魅力。对于基本知识要好好学，建立思维模式、培养兴趣感觉很重要，而更深入的知识，最好结合工程实践，再选择好资料，做深入研究。
当知识在现实中碰撞出花（成果）来，对我来说，是最美妙的时候。
第16章，信息指纹~将长网址映射成16个字节的随机数（通过一个特定函数），便是这个网址的信息指纹。即实现网址消重。
伪随机数产生器算法PRNG，其中用了梅森旋转算法。
进一步改善加密系统，常用MD5和SHA-1算法。相似哈希，随机分类算法。
信息指纹还有很多用途，应用于现在大量数据的减重，用简短的指纹映射到大量数据，相当于高级代号。
第17章，密码学。好的密码必须做到不能会根据已知的明文和已被译密文，而推出新的密文。增加信息，却不能较小信息量。
信息论（香农）实际上是情报学的直接产物。
现代常用密码学，即那选用大素数PxQ，的方式。利用素数的特性，实现几乎不可破解的加密。
当人类思考时，是如此地强大。
第18章，反作弊。通信模型。一是增强排序算法的抗噪声能力，二是过滤噪声。另一工具，图论。
通过现象，从板之上解决问题，才是最好的方法。
20170813 周日
第19章，谈谈数学模型。一个正确的模型形式上应该是简单的，这样才更能用于实际；如果认定模型正确，就应该坚持下去；大量准确的数据对研发非常重要，可以说一切科学、实验都是基于现实观测、正确数据的，大量数据能让真像浮出水面；当模型遇到“干扰”时，要相信数学的完美，从根源上去解决它，可能就是重大发现。
小思：书中谈到历史上从地心说到日心说模型的建立过程，很震撼。从地心到日心，从圆到椭圆，从复杂到简单……数学充满魅力。
一点思考：驱使万物的万有引力（包括重力），是力量之源吗。
第20章，最大熵原理。满足一直条件后，对未知情况取等概率，此时信息熵最大，预测风险最小。即遇到不确定时，保留各种可能性，虽然面对的信息量最多，但是风险最小。
最大熵模型，P=1/Z*(e^w)，指数函数，复杂、计算量非常大，虽然很完美。运用于股票，威力巨大。
第21章，拼音输入法。以信息论作为指导。个性化语言模型。线性插值模型，插入λ与（1-λ），最大熵模型的2元简化。
第22章，马库斯（自然语言处理）。建立标准自然语料库。牛逼的科学家们。
第23章，布隆过滤器。过滤垃圾邮件。
第24章，贝叶斯网络（有向图），也称信念网络，马尔科夫链的推广，形式简单但模型较复杂，有很多应用，如广告，决策支持等。
第25章，条件随机场和句法分析。一种特殊的概率图模型（无向图），一个非常灵活的用于预测的统计模型。
第26章，维特比算法。特殊（只针对篱笆网络的有向图的最短路径）、应用最广（凡是使用隐含马尔科夫模型的都用到它来解码）的动态规划算法，能极大地降低最短路径计算量。高通公司创始人之一，第二富有的数学家，十分厉害的人。
第27章，期望最大化算法（上帝的算法）。对杂散点进行自收敛（对于凸函数进行迭代）分类。很多收敛算法都是类似的思想。
第28章，广告投放设计，最终使用逻辑回归模型，是一种将影响概率的不同因数结合在一起的指数模型。
第29章，云计算。分治算法（二分法），讲一个复杂问题分成若干简单问题进行解决，然后合并。采用多个服务器，运用MapReduce工具自动完成调度。
至此，全章节完。还有后记，看了吴军老师的自述，很受启发。他写此书，“是希望让做工程的年轻人看到在信息技术行业正确做事情的方法”，之一便是数学，要积极探索、发展、应用规律。
近一周，看完了此书，收获很多，开卷有益。我多看书，肯定是有好处的，如满足好奇心、求知欲、增长见识等，但是我在想，怎样才能将自己所学，所思，实现一些更现实的东西来呢，就是怎样才能把书里学到的用到现实中呢。本书主要讲的是数学在信息技术上的应用，深入浅出，引人入胜。
也许我们都是选择性接收知识，自己感兴趣的，会多看一下，多理解一下，而自己不感兴趣的，往往选择一眼带过。所以我看完此书，更多的是关注自然语言竟能用数学模型处理，现实世界一切皆概率，追求真理（完美）之路很难很漫长但追求的人会感到很快乐……我现在还没有应用这些知识的平台，所以看的书并没有在现实中展现出效用来，但是我明白，所有看过的书，都会变成一颗种子，埋在心里的某个位置，等着发芽生长的一天。
我会继续看书，存下更多的种子，我相信着有一天，时机到来时，种子们会旺盛生长。