二、机器学习基础1

机器学习中常见算法

回归算法、基于实例的算法、正则化算法、决策树学习、贝叶斯算法、基于核的算法、聚类算法、关联规则学习、人工神经网络、深度学习、降低维度算法、集成算法。

四种机器学习方式

监督学习

已知数据与标签一一对应，输入数据映射到标签；常用于分类问题与回归问题场景；常见算法有逻辑回归（Logistic Regression）和反向传递神经网络（Back Propagation Neural Network）。

非监督学习

数据并不被特别标识，适用有数据集无标签；常用于关联规则学习与聚类场景；常见算法有Apriori算法和K-means算法。

半监督学习

输入数据部分被标记；常用于分类和回归；包括在常用监督学习的算法延伸；常见算法有图论推理算法（Graph Inference）与拉普拉斯支持向量机（Laplacian SVM）。

弱监督学习

有多个标记的数据集合，标签并不完全可靠。

最常用监督学习和非监督学习；在图像识别领域，半监督学习热度很高。

监督学习的四个基本步骤

1.数据集的创建于分类；2.训练；3.验证；4.测试与应用。

训练信息反馈（feed back）给网络。

该反馈就是量化“真实值与测试值的偏差”的函数的结果；

该函数称为成本函数（cost function），也称目标函数（objective function）、效用函数（utility function）或适应度函数（fitness function）。

该函数结果用于修改一个称为反向传播（backpropagation）过程中节点之间的连接强度与偏差。

每一个算法都会尽量最小化成本函数，常用方法为梯度下降（gradicent descent）。

多实例学习

多实例学习（multiple instance learning）：数据包（内含多个数据）映射到标签的过程。

分类与回归

分类任务（categorization task）一般是指两个值的判断（yes  or  no）

回归指的是输出一组值中的任一值（更类似于概率）

神经网络

按照一定规律将多个神经元连接起来的网络。例：全连接（full connection，FC）神经网络。

神经网络有三层：输入层、输出层、隐藏层。

同一层神经元不连接。

每个连接都有对应权值。