深度学习-逻辑斯蒂回归Logistic_Regression-自用笔记5

深度学习-逻辑斯蒂回归Logistic_Regression-自用笔记5

逻辑斯蒂回归与线性回归做对比

线性回归：
Affine Model：^ = ∗ +
Loss Function: = (ො − )2= ( ∙ − )2
线性回归是做一个线性的预测。

逻辑斯蒂回归：
Logistic Regression Model： = ( ∗ + )
Loss Function for Binary Classification：
= −(log ^ + (1 − )log(1 − ^))
逻辑斯蒂回归用于分类，输出的是属于哪一个种类class的概率，例如例子就是学习一个小时，不能通过考试属于class=0；
学习两个小时，不能通过考试属于class=0；
学习三个小时，不能通过考试属于class=1。
判断学习四个小时属于哪一类？

逻辑斯蒂回归与线性回归的计算图的区别

第一个区别
逻辑斯蒂回归比线性回归多了一个激活函数，计算图如下

激活函数采用的是() =1 /（1 + −），函数值处于0-1之间。

除了这个激活函数，还采用其他激活函数：

第二个区别
损失函数不一样，逻辑斯蒂回归损失函数采用的是交叉熵损失函数

Mini-Batch Loss Function for Binary Classification
用于二分类的小批量数据的损失函数

逻辑斯蒂回归与线性回归的pytorch代码的区别

下图中标红的字体




整个代码

测试模型的代码 文件名：train.py

import torch
import torch.nn.functional as F
x_data = torch.Tensor([[1.0], [2.0], [3.0]]) 
y_data = torch.Tensor([[0], [0], [1]]) 
# ------------------------------------------------------- # 
class LogisticRegressionModel(torch.nn.Module): 
	def __init__(self): 
		super(LogisticRegressionModel, self).__init__() 
		self.linear = torch.nn.Linear(1, 1)
	def forward(self, x): 
	y_pred = F.sigmoid(self.linear(x)) 
	return y_pred
model = LogisticRegressionModel()
# ------------------------------------------------------- # 
criterion = torch.nn.BCELoss(size_average=False) 
optimizer = torch.optim.SGD(model.parameters(), lr=0.01) 
# ------------------------------------------------------- # 
for epoch in range(1000): 
	y_pred = model(x_data) 
	loss = criterion(y_pred, y_data) 
	print(epoch, loss.item())
	optimizer.zero_grad() 
	loss.backward() 
	optimizer.step()

代码 文件名：test.py

import numpy as np 
import matplotlib.pyplot as plt
import train
import torch
x = np.linspace(0, 10, 200) 
x_t = torch.Tensor(x).view((200, 1))
y_t = train.model(x_t) 
y = y_t.data.numpy()
plt.plot(x, y) 
plt.plot([0, 10], [0.5, 0.5], c='r') 
plt.xlabel('Hours') 
plt.ylabel('Probability of Pass') 
plt.grid() plt.show()

其他数据集

其他数据集
代码

import torchvision 
train_set = torchvision.datasets.MNIST(root='../dataset/mnist', train=True,  download=True) 
test_set  = torchvision.datasets.MNIST(root='../dataset/mnist', train=False, download=True)

torchvision中包含一些常用的数据集如：The MNIST Dataset手写数字集、 The CIFAR-10 dataset。
第一次使用时会从网上自动下载数据集，下载到指定的文件路径中root=’…/dataset/mnist’。
如果是用来数据训练则表明train=True，下载download=True。