人工智能发展历程、机器学习分类、人工智能设计到的数学知识

人工智能的发展：
    分为三个阶段
        1)1956年人工智能诞生。
        2)上世纪90年代的专家系统阶段 
        3)大数据背景下的深度学习神经网络阶段（Alpha go 战胜围棋高手李世石）
机器学习的定义：
    在数据中获取经验，再通过经验进行预测的行为。

机器学习的分类
    1)有监督学习 （supervised Learning）：数据含有标记，预测结果和标记进行对比误差 
        -算法：线性回归、SVM(支持向量机)、逻辑回归、决策树、朴素贝叶斯等
    2)无监督学习 Unsupervised Learning：数据不含标记，让机器学习数据中的规律 
        -算法：
            -聚类：Kmeans、MeanShift、K-Medoids算法
            -降维：PCA（主要成分分析法）、LDA（线性判别分析法）
    3)强化学习（ReinforcementLearning）:对错误的结果进行惩罚，正确的结果进行奖励的一种机制
        -例子：
            AlphaGo
深度学习：
    模型：为多层的网络结构

深度学习的分类：
    有监督学习：多层感知机 MLP，卷积神经网络CNN，循环神经网络RNN
    无监督学习：深度神经网络，波尔兹曼机，自编码AutoML

深度学习应用：图像识别，语音识别，文本生成，问答系统，情感分析等

机器学习的任务：
    1)分类：预测结果为离散的值（鸢尾花分类，乳腺癌识别）
    2)回归: 预测结果为连续的值（房价预测，股价预测）

机器学习和深度学习涉及到的数学知识：
    线性代数
        矩阵、矩阵点乘（按元素对应位置相乘）、矩阵乘法、矩阵的转置、矩阵的逆
        矩阵分解：
            1)特征分解(方阵)
                       可参考这篇文章 方阵的特征值分解 - 知乎
            2)奇异值分解（SVD 不要求为方阵）

                        详情可参考这篇文章SVD（奇异值分解）小结 - EndlessCoding - 博客园
    概率论
        求概率、条件概率，贝叶斯算法（朴素贝叶斯算法（求离散值的条件概率））、高斯分布（即正态分布，在朴素贝叶斯算法中求连续值的概率密度），求均值、求方差
    微积分
        求导、求梯度(梯度下降法)，求导的链式运算（BP反向传播算法）

机器学习和深度学习中信息论的知识点：
    熵：衡量信息不确定的程度
        -熵越大，不确定度越大，信息越不稳定
        -熵越小，不确定度越小，信息越稳定
    交叉熵：多分类任务中的损失函数