2019-07-01

第一节作业

• 机器学习
• 题目：说明最大似然派&贝叶斯派、判别模型&生成模型、浅层学习&深层学习、显变量学习&隐变量学习的不同。
• 回答：
  • 一、最大似然派&贝叶斯派
    • 最大似然派：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值，可以求出具体的值。
      • 公式定义与推导：
        • 对数似然函数:
    • 贝叶斯派：在我们有限的观察次数下，事件A出现的概率应该服从一定的概率分布。
      • 公式定义与推导：
    • 最大似然派，只能得到概率的最大似然估计。但是通过贝叶斯公式得到概率后验分布函数后，我们可以进行各种处理，比如取概率期望，概率中位数，概率极大值等等。
    • 当数据量比较小时，贝叶斯估计相比于极大似然估计更接近真实值；当数据量较大时，贝叶斯估计和极大似然估计效果相差不大。
  • 二、判别模型&生成模型
    • 判别模型：学习得到概率分布,即在特征出现的情况下标记出现的概率.典型的判别模型包括k近邻，感知级，决策树，支持向量机，boosting方法 (AdaBoost等)等，CNN。
    • 生成模型：学习得到联合分布,即特征和标记共同出现的概率,然后求条件概率分布。以统计学和Bayes作为理论基础.典型的生成模型有：朴素贝叶斯和隐马尔科夫模型等。
  • 三、浅层学习&深层学习
    • 浅层学习：只含有一层隐层节点的浅层模型。
      • 特点：1、被动接受 2、记忆与复制 3、容易忘记
      • 其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。
    • 深层学习：一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示。其实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。
      • 特点：强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点,明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。
  • 四、显变量学习&隐变量学习
    • 显变量学习：可以直接观测的变量组成，常常为高维数据，用于描述数据。
    • 隐变量学习：隐变量模型（LVM）就是将显变量和隐变量联系起来的模型。因子分析（factor analysis）就是一个典型的隐变量模型(因子即为隐变量)。其他的比如，隐马过程，潜语义分析（Latent semantic analysis），Latent Dirichlet allocation等，EM算法常用于对隐变量模型进行参数估计。
      • 特点：
        • 1）变量对应于对象的真实特征，但是无法被量化
        • 2）抽象的质量，该质量现实不存在，但是在模型中存在且起作用
• 深度学习