2020/11/26 04-机器学习逻辑回归算法实现与应用1

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第1张图片
回顾一下线性回归,一般都是用商业数据集,进程数据预测,分析系统,核心是算法为主。
深度学习,主要是图像处理,文本处理,比如云字典

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第2张图片
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第3张图片
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第4张图片
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第5张图片
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第6张图片
最小二乘法的数学推导过程,我们只要知道结果是可靠的就行

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第7张图片
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第8张图片
numpy的实现方式

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第9张图片
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第10张图片
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第11张图片
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第12张图片
用鸢尾花的数据,分类的例子,对1类和2类的分类

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第13张图片
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第14张图片
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第15张图片
现在的分类其实是有一些问题,线性回归分类的时候会存在一些数学基础上的不可靠

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第16张图片
身高和年龄数据也是线性,如果要分类就要采用鸢尾花的数据了,多类分类

从线性回归的缺陷,引申到逻辑回归的意义,线性回归就提出了线性的拟合。机器学习有10大经典算法,神经网络4大算法,自适应谐振理论(ART)网络,学习矢量量化(LVQ)网络,Kohonen网络,Hopfield网络

高中数学偏计算,大学偏推理。
算法模型是什么,算法怎么去求解,算法如何去实现,实现的时候分成三种模式去实现(原生实现,框架实现(一般用sklearn,机器学习的框架,tensorflow),

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第17张图片
地球上无数的曲线,不论你能否表现成方程,里面是可以用分段函数无穷逼近的。后来有人发明了三角分段,成为规律型的来叠加。后面矩阵的叠加不靠谱,又有了正弦波叠加的方式。这样就是把无规律变成有规律

儿女的身高一般比父母的平均身高要低,回归到人类的平均身高,线性拟合或者线性接近
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第18张图片
算法推导后,目标值,是要把算法中的值求出来

最后得到一个误差损失函数,今天用梯度下降法,这个是比较可靠的
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第19张图片
用tensorflow实现一把线性回归,numpy数值计算库(在python内建类型,列表上面,添加了向量,矩阵类型的数据集合,结构化数据里的东西)

之前用最小二乘法得出了一个结论

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第20张图片
an乘以n次方-1乘以x的n-1次方,上标^,下标_
在这里插入图片描述
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第21张图片

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第22张图片
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第23张图片

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第24张图片

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第25张图片
可以变成一个矩阵
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第26张图片
这个就是形成矩阵的模型。就是类型
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第27张图片
写成矩阵的方式是便于推理,这个就是鼎鼎大名的线性回归的决策模型,任何一个模型都有决策模型
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第28张图片
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第29张图片

身高在10岁之前成正比,可以当作线性的,但是10岁以后就不行了
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第30张图片
在决策模型和求解模型中间还有过度模型,称为损失函数

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第31张图片
关键是把w求出来,进行分类和回归。
x是身高的数据,y是年龄的数据

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第32张图片
训练的数据就是要求解的数据(w)
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第33张图片
占位定义,使用tensorflow里专门的类型占位符placeholder,tensorflow自己定义了数据类型,跟numpy一样,如果数据样本行数不确定,可以用-1或者None,剩下是数学样本的特征(多列就是多个特征,鸢尾花就是4个特征)

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第34张图片
结果的数据是未知的
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第35张图片
下面定义训练模型,直接使用w
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第36张图片

定义决策模型,求它的逆矩阵,就是xw,w这个模型目前还没有
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第37张图片
先求值再决策,先决策再求值是有区别的,决策模型之前先求解W
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第38张图片
w首先把x转置求出

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第39张图片
然后求内积

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第40张图片
求完内积求逆矩阵
在这里插入图片描述
、再求转置和内积
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第41张图片
tensorflow里有transpose,给x,就得到了一个转置矩阵
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第42张图片
下面需要求内积

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第43张图片
然后求逆矩阵,matrix_inverse 矩阵求逆
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第44张图片
再求和转置矩阵的内积
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第45张图片
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第46张图片
再求内积
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第47张图片
tensorflow里可以用仪表盘的方式展示怎么算的

执行求解的时候首先要把数据格式化
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第48张图片
现在看到的是一行的矩阵,变成一个2*2的矩阵
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第49张图片
输出的数据变成2维
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第50张图片
第一列是x,第二列全是1,定义数组,把数据放进去
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第51张图片

创建一个会话环境,初始化数据(是空的,愿意做可以做,不愿意做也没事)
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第52张图片
下面要计算w,凡是求值或者输出的用v_前缀表示,求w可以用session,计算需要两个值,x和y
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第53张图片
用字典的方式输出数组
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第54张图片
预测模型最后求出来的其实是线性回归的模型
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第55张图片

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第56张图片
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第57张图片

这里就是预测的模型
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第58张图片

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第59张图片
做可视化,可以加魔法指令,在线显示
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第60张图片
构建图,构建坐标,绘制样本,绘制线性回归直线,最后显示

边界保留10像素0.1
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第61张图片
y方向也保留10个像素。宽度80%

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第62张图片
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第63张图片
x是年龄,放在0-10之间,y是身高,scatter是散点值。color(0,0,1,1)是蓝色,标签训练样本
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第64张图片
legend主题
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第65张图片
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第66张图片
这个就是样本点
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第67张图片
2位数

2020/11/26 04-机器学习逻辑回归算法实现与应用1_第68张图片
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第69张图片
绘制线性回归直线
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第70张图片
标记可以换成小点

在这里插入图片描述
2020/11/26 04-机器学习逻辑回归算法实现与应用1_第71张图片

你可能感兴趣的:(选修python)