0701-0707 周总结

crash course  计算机科学

计算的需求    算盘 -> 步进计算器-> 差分机 -> 分析及 -> 打孔卡片制表机
电子开关：    成本  体积   可靠性  速度  
                      继电器 -> 真空管 -> 晶体管
二进制    ：    二进制的起源
                      为什么使用二进制
信息的表示  存储  运算 
晶体管 -> 逻辑门 -> 算数逻辑单元（ALU） -> CPU
数学危机  ： the fundational crisis of mathematics 
                     无理数  ->    微积分无穷小  ->  集合论（罗素悖论）                                             可计算问题  ，怎么判断求解的问题是否真的有解
                     思路 ： 用一个模型来判断  ->  图灵机

---

常见的关于回归 和 分类 的 损失函数
选择损失函数 的依据

广义线性模型（GLM）： 保留“线性回归”  简单 又 有效的特点
                                         又能使其很好的分类
对预测出来的值（一般是连续值）在做一次处理，处理的函数为连接函数。
指数分布族
不同的连接函数对应不同的模型。
如逻辑回归，logistic 函数（sigmoid）   二项分布 （伯努利分布）
sigmoid 推广的多分类  ： softmax 

交叉熵   熵（信息熵）  KL散度（相对熵）
1BIT的定义
衡量两个点之间的相似度 可以看看它们的距离如 欧氏距离，但是衡量两个概率分布的相似度 应该用什么 ？  ->   KL散度（相对熵）
为什么要最小化交叉熵？最小化交叉熵和相对熵之间的关系

---

科学史 

英国科学文化传播及其措施
自然哲学家  -> 科学家
能源   信息   方法论  
农业 （天文、水利）   航海（动力 定位）  文艺复兴  工业革命  世界大战