第4关:机器学习中的重要参数

任务描述

本关任务:通过对机器学习中重要参数相关知识的学习,完成相应的选择题。

相关知识

为了完成本关任务,你需要掌握:

  1. 超参数;
  2. 学习速率;
  3. 动量系数;
  4. 偏置项。

超参数

在机器学习过程中, 有部分参数被称作超参数, 超参数是在学习训练之前设置的参数值,不同于其他参数是通过训练得到的 。 一般而言,机器学习的调优过程中会涉及对超参数进行调整优化,通过不断优化给出一组有效的超参数,使得模型在性能和效果上达到一个较好的结果,超参数可以简单理解为参数的参数 。

学习速率

学习速率 (Leaming Rate)是最常见的超参数之一,用于控制每次更新时调整的权值大小或权值修正的幅度, 一般用 n 表示。如果设置学习速率太小,则会使得收敛的速度太慢; 然而若是设置学习速率太大,则会导致波动较大。学习速率或分步率是函数逐步搜索空间的速率 。 学习速率的典型值在 0.0010.1 之间 。较小的步骤意味着更长的训练时间,但可以得到更精确的结果 。

动量系数

动量系数是确定优化算法收敛于最优点速度的另外一个因素 。 可以通过动量系数加速模型训练过程,但是更快的速度会降低模型的准确性 。 动量是在01之间的一个变量,被用作矩阵变化率的导数的一个因素,它影响权值随时间的变化率。 动量系数用于防止系统收敛到局部最优解中。 高动量系数也有助于提高系统的收敛速度 。然而将动量系数设置得太高可能会导致超过最小值的风险,这可能导致系统变得不稳定。过低的动量系数不能可靠地避免局部最小值,还可能减缓系统的训练速度 。 在训练过程中更新权值的一个动量项, 即在权值不断更改的情况下,动量可以保证权值的更改向指定的方向移动,取值在 [0,1]之间。

偏置项

偏置项可以帮助函数进行较好的左右平移,当 b>0时,函数向左移动; 当 b<0时,函数向右移动 。

作答要求

根据相关知识,按照要求完成右侧选择题任务。作答完毕,通过点击“测评”,可以验证答案的正确性。

参考资料

【1】机器学习中参数和超参数的区别


开始你的任务吧,祝你成功!

  • 1、下列说法错误的是:    B

    A、学习速率用于控制每次更新时调整的权值大小或权值修正的幅度。
    B、
    C、动量系数可以加速模型训练过程,但是更快的速度会降低模型的准确性。
    D、偏置项是为了使目标函数更加的准确。
  • 2、下列说法正确的是:    D  

    A、超参数可以通过训练获得。
    B、学习速率越大越好。
    C、学习速率越小越好。
    D、偏置项可以帮助函数进行较好的左右平移

你可能感兴趣的:(神经网络学习,人工智能,python)