python机器学习（2）

第一章.机器学习
1.GPU：图形处理单元。CPU：计算处理单元。
2.监督学习：利用一组标记数据对未标记数据进行分类的方法。（通过比对预测结果和期望结果，不断提升性能）
3.无监督学习：数据没有标签，通过算法得出结论。（数据尽可能是具有较高的类内相似性和较低的类间相似性）
4.决策树的组成：在具体特征上执行测试的决策结点（该节点负责开枝散叶），以及说明目标属性的叶子节点。

第二章.神经网络
1.神经网络是监督学习的一种，但是也可以用于无监督学习中。
2.激活函数：在神经元内部发挥作用，对求和后的数值（称为激活值）进行计算，得到神经元的输出。
3.relu函数：f(a)=a,a>=0;0,a<0。是最接近生物对应物的函数。（优点：导数恒定）
4.在深度神经网络中，设置权值的算法称为“反向传播算法”。
5.每个神经网络都是一个函数值的近似值，所以每个神经网络都存在误差，我们的目的就是尽可能缩小误差。
6.训练过程中，更新的是权值（weight）和偏置（bias）。
7.因为隐藏层的值我们无法知晓，因此需要计算最后一个隐藏层的误差，并估算前一层应该是什么，将误差传递回第一层，该算法称为反向传播算法。
8.万能近似定理：只要结构足够复杂，一个二层神经网络可以逼近任何函数。
9.softmax函数，又称归一化指数函数,它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。

第三章.深度学习基本原理
1.深度神经网络可以被看做是生成算法（通过生成一些特征/信号，完成对比预测），而不总是预测算法。
2.深度神经网络的预测过程其实就是通过所做假设来进行分类的过程（即，假设目标是某一类，若他具有某某特征，则他是这一类，否则考虑其他类别）
3.CPU由可同时处理几个线程的几个内核组成；GPU由可同时处理数千个线程的数百个内核组成。

第四章.无监督特征学习
1.在监督学习中，除了最终的分类步骤需要依赖标签，即以监督方式进行，之前的步骤均以无监督方式进行。
2.PCA：因为初始特征中可能存在彼此相关的特征，那么这么多特征就会存在冗余，因此PCA可以通过找到特征间的相关性，用一个线性相关的关系（一个近似的直线函数，满足了误差最小）来作为新的特征，因此减少了特征的维度。（但是存在只允许数据的线性变换的缺点）
3.自编码器：使用非线性激活函数来表示非线性表示。（相较于PCA的优势）
4.如果数据是二值的或在[0,1]范围内缩放，则使用sigmoid激活函数；
如果对输入数据使用了独热编码，则使用relu激活函数。
5.去噪自编码器：可以将受损的带噪输入经过处理后，得到原始输入。
6.受限玻尔兹曼机（RBM）：分为两层，一层为可见层（输入层），另一层为隐藏层（输出层）

第五章.图像识别
1.卷积神经网络的目的：如何使更靠近神经元的信息比远离神经元的信息更具有相关性。（即神经元处理来自较近像素的信息，忽略较远像素的信息）
2.CNN会减少参数数量，只要求神经元局部地连接到与相邻像素相对于的神经元，这样有助于避免过拟合。
3.dropout层：在dropout层，在每一个训练周期中，每一个神经元都有从网络中丢失的概率p,以及留下来的概率（1-p）。这是为了确保没有神经元会过度依赖其他神经元。（被视为降低过拟合的一种正则化技术）

第六章.递归神经网络RNN
1.RNN可以摆脱固定大小的输入、输出的限制，以此处理可变长度序列。
2.在RNN中，输入权值和递归权值是可以共享的。
3.RNN的反向传播其实就是将每一步的结果求导后完成积累，从而更新参数，即输入权值和递归权值。
4.LSTM由于特制记忆单元的存在，可以处理长期相关性。
5.代表性的LSTM由三个门组成：遗忘门，输入门，输出门。
6.遗忘门决定了是否擦除单元状态；输入门决定将哪些新信息添加到记忆单元中；输出门决定输出什么。

第七章.深度学习在棋盘游戏中的应用
1.零和游戏：一个玩家得到的任何奖励，对于另一个玩家而言都是损失。
2.完全信息博弈：对于所有玩家，游戏的整个状态都是已知的。
3.确定性博弈：如果玩家做出移动，那么将会生成确切的下一个状态。
4.蒙特卡罗树搜索（MCTS）：单个样本涉及针对每个玩家随机选择移动，直到到达终结状态。要维护每个样本的统计信息，以便在完成后，可以从当前状态中选择平均成功率最高的移动。
5.策略梯度：在没有梯度的任务上反向传播。应用于强化学习之中。
6.占位符的作用：用于向网络提供所有值。

第八章.深度学习在电子游戏中的应用
1.遗传算法：该算法会创建一组模块，该模块通过使用参数控制人工智能的行为；并且通过基因选择来设置参数范围，使用基因的不同组合创建agent，运行agent，选择最好的留下来，并用其基因创建新一代agent。，知道达到停止标准。（缺点：需要大量时间和计算能力来模拟所有参数的变化，每一代的agent都要遍历整个游戏）
2.Q-Learning算法：为了区分先得到奖励和后得到奖励的动作的区别，采用时间差分方程（具有折扣因子）来评估不同动作带来的奖励。
3.隐藏层的节点数应该介于输入层节点数和输出层节点数的之间的一个数。（算作一个经验法则）但是有意义的做法是：在隐藏层选择任意大量的结点，以便为学习输入间的复杂交互创造机会。
4.贪婪算法：通过随机选择动作来启动，即主动让agent探索未知的动作、状态，给予其奖励。

第九章.异常检测
1.异常检测：识别严重偏离同质数据集中所观测到的预期模式的项目、事件或观测值。
2.异常检测中虽然通常会把异常和异常点互相使用，但是两者是不同的。异常点仍在合理范围内，而异常已经脱离了正常范畴。
3.H2O：是一个丰富的开源分析平台，可提供机器学习算法和高性能并行计算抽象。
4.H2O平台的后端可以在不同引擎上切换；可以自动处理内存占用；对训练过的模型，H2O提供非常快速的数据点评分。