3. 非线性回归和逻辑回归（pytorch）

上节看点： 线性回归

1.非线性回归

在生活中大多数的现象都不是线性的，而且更加复杂的曲线或曲面，我们拟合的函数也就不再是直线或者平面。在处理这种非线性的问题方面，人工神经网络发挥了重大的作用。

1.1激活函数

在线性模型中忽略了激活函数的存在，而激活函数的作用是为了让神经网络能够更好的去拟合复杂的函数。
常用的激活函数有：sigmoid、tanh、ReLU、Maxout等，以ReLU为例进行讲解
它的函数表达式为：

图像为：

Pytorch中已经预编写ReLU激活函数：

torch.nn.functional.relu( )

1.2人工神经网络

人工神经网络是由多层神经元组成的网络结构，节点之间有着复杂的连接关系，通过训练处节点间的权重关系，从而模拟出非线性函数。
下面利用Pytorch编写神经网络，实现非线性回归。

随机生成10000个点的样本，并描绘出图像

import torch
import matplotlib.pyplot as plt
x = torch.unsqueeze(torch.linspace(-3,3,10000),dim=1)  #随机生成10000个数据样本
y = x.pow(3)+1.3*torch.rand(x.size())
plt.scatter(x.numpy(), y.numpy(),s=0.02)
plt.show()

2.逻辑回归

未完待续