Pytorch深度学习实践（6）多为特征输入

b站链接：https://www.bilibili.com/video/BV1Y7411d7Ys?p=7

8个feature的输入，用矩阵的运算来表示（因为矩阵运算可以用gpu或者cpu加速）
输入的维度是8维，输出的维度是1维
也就是说X矩阵的行数代表样本数，列数代表特征数
矩阵就是一个N为空间到M维空间的一个线性变换

---

目标是从8维到1维，但是为什么要8->6->2->1，这样一步一步的转换呢
每一次线性变换都加上一个激活函数（例如sigmoid函数）进行一个非线性变换，然后再传递给下一层的线性变换，再一次sigmoid 非线性变换，再传递给下一层…
为什么要激活函数呢？
如果 使用线性激活函数或者没有使用一个激活函数，那么无论神经网络有多少层一直在做的只是计算线性函数，
线性隐层一点用也没有，因为这两个线性函数的组合本身就是线性函数，所以除非引入非线性，否则无法计算更有趣的函数，即使网络层数再多也不行；
（可能用多次线性和非线性组合来更好的拟合目标函数）

如果层数过多，容易过拟合，具体要几层呢？这就是一个调超参问题了

数据导入

python数组的切片处理：https://blog.csdn.net/zgcr654321/article/details/88015849

这次重点还是学习了，多维数据输入，以及多层神经网络的处理，还有各种激活函数。
代码：

import numpy as np
import torch
import matplotlib.pyplot as plt

# prepare dataset
xy = np.loadtxt('./data/diabetes.csv', delimiter=',', dtype=np.float32)
x_data = torch.from_numpy(xy[:, :-1])  # 第一个‘：’是指读取所有行，第二个‘：’是指从第一列开始，最后一列不要
y_data = torch.from_numpy(xy[:, [-1]])  # [-1] 只取最后一列
# 有点不懂这个切片处理

# design model using class


class Model(torch.nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.linear1 = torch.nn.Linear(8, 6)  # 输入数据x的特征是8维，x有8个特征，输出是6维
        self.linear2 = torch.nn.Linear(6, 4)
        self.linear3 = torch.nn.Linear(4, 1)
        self.sigmoid = torch.nn.Sigmoid()  # 将其看作是网络的一层，而不是简单的函数使用
        # 注意区分torch.sigmoid()函数
    def forward(self, x):
        x = self.sigmoid(self.linear1(x))
        x = self.sigmoid(self.linear2(x))
        x = self.sigmoid(self.linear3(x))  # 得到y hat
        # forward也就是计算图
        return x


model = Model()

# 损失函数和优化器
# criterion = torch.nn.BCELoss(size_average = True)
criterion = torch.nn.BCELoss(reduction='mean') # BCELoss
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)# 优化器，计算梯度
# 画图
epoch_list = []
loss_list = []
# training cycle forward, backward, update
for epoch in range(1000):
    #前向传播，计算loss
    y_pred = model(x_data)
    loss = criterion(y_pred, y_data)
    print(epoch, loss.item())
    # 画图
    epoch_list.append(epoch)
    loss_list.append(loss.item())

    # 反向传播
    optimizer.zero_grad()
    loss.backward()

    # 更新
    optimizer.step()

plt.plot(epoch_list, loss_list)
plt.ylabel('loss')
plt.xlabel('epoch')
plt.show()