机器学习——对数回归求解

机器学习——对数回归求解_第1张图片
只有凸函数梯度为0的点才是极值点(费马定理)。而对数回归的目标函数时非凸的
机器学习——对数回归求解_第2张图片
极大似然估计的基本思想
机器学习——对数回归求解_第3张图片
通常会取ln
机器学习——对数回归求解_第4张图片
机器学习——对数回归求解_第5张图片
上述目标函数是凸的,但也不能用最小二乘法,因为当高维的情况,求矩阵求逆时,逆往往不存在,能直接最小二乘法求解的函数,函数性质已经好的不得了了,相当于直接解方程,但有时高维情况,解方程是解决不了的

你可能感兴趣的:(笔记,回归,人工智能)