【放假第2天】人工智能-逻辑回归多分类

#内容是给自己看的,会比较杂乱
#这里用了之前写过的那个音乐分类的数据和代码
【放假第2天】人工智能-逻辑回归多分类_第1张图片变成了多个不相关的分类,看上面的图是变成了选取不同的特征做预测
可以是我预测他最后是狗,猫还是狮子,看哪个概率大【放假第2天】人工智能-逻辑回归多分类_第2张图片
这里没图了,可以进行升维,时间、经度、维度、高度,目前最多是霍金提出来的1x维

多元线性回归(Ridge、Lasso、ElasticNet)是做回归预测的
逻辑回归(Logistic Regression)是做分类任务的

Q:做回归预测损失函数是什么?
A:平方均值损失函数MSE

Q:做分类损失函数是什么?
A:做分类损失函数是交叉熵!

Q:什么是熵?
A:熵是一种测量分子不稳定性的指标,分子运动越不稳定,熵就越大,来自热力学
熵是一种测量信息量的单位,信息熵,包含的信息越多,熵就越大,来自信息论,香农
熵是一种测量不确定性的单位,不确定性越大,概率越小,熵就越大!

Q:熵和概率是什么一个关系?
A:随着概率的减小,熵会增大

逻辑回归

Q:为什么本质是多元线性回归?
A:1,公式,首先应用了多元线性回归的公式,其次才是把多元线性回归的结果,交给sigmoid函数去进行缩放
2,导函数,逻辑回归的损失函数推导的导函数,整个形式上和多元线性回归基本一致,
只是y_hat求解公式包含了一个sigmoid过程而已

Q:逻辑回归的损失函数是什么?
A:交叉熵,做分类就用交叉熵,-ylogP,因为逻辑回归是二分类,所以
loss func = (-y
logP + -(1-y)*log(1-P)),也就是说我们期望这个损失最小然后找到最优解
事实上,我们就可以利用前面学过的梯度下降法来求解最优解了

Q:逻辑回归为什么阈值是0.5?
A:因为线性回归区间是负无穷到正无穷的,所以区间可以按照0来分成两部分,所以带到sigmoid公式里面去
z=0的话,y就等于0.5

Q:逻辑回归做多分类?
A:逻辑回归做多分类,把多分类的问题,转化成多个二分类的问题,如果假如要分三个类别,就需要同时
训练三个互相不影响的模型,比如我们n个维度,那么三分类,w参数的个数就会是(n+1)*3个参数
上面所谓的互不影响,指的是模型在梯度下降的时候,分别去训练,分别去下降,三个模型互相不需要
传递数据,也不需要等待收敛

Q:文字本身是几维的数据?音乐本身是几维的数据?图片本身是几维的数据?视频本身是几维的数据?
A:看什么类型的数据,文字一维的,音乐是单声道的音乐,音乐是一维的数据,如果音乐是双声道的,
就是二维的数据,图片如果看成是张图片,就是个平面二维的数据,视频一张张图片按时间顺序码放的,
那就是三维的数据
但我们做机器学习的时候,真的只会这样考虑吗?
文章是由不同的词组成的,词的种类越多,事实上考虑的维度就越多
图片如果是彩色的图片,图片可以有R、G、B、alpha
音乐可以有不同的频率,每个频率如果看成是一个维度,那么就可以N多个维度
图片也可以有不同的频率,每个频率如果看成是一个维度,那么就可以N多个维度

逻辑回归

知识点补充:https://blog.csdn.net/weixin_39445556/article/details/83930186


补充:概率0-1 熵是log然后取负数
https://blog.csdn.net/tsyccnh/article/details/79163834
交叉熵:越大两组数据放在一起的不确定性越强
p----y^ q-----y 类别是1 当对了就趋近于1了(0.8) log1=0不混乱
我们希望y和y^的交叉熵越小越好 ( logp)*q可以改为( logp ^q)
随着概率减小,熵会增大–联系图

分类和预测不一样 分类是0.8我最后也会归为1
预测0.8就是0.8

你可能感兴趣的:(机器学习,人工智能)