logistic回归python代码_Logistic回归（有两类Python代码）,LogisticRegression,附二,分类,pytorch...

逻辑回归 Logistic Regression

sigmoid/logistic function

逻辑回归实际上是分类问题，二分类或者多分类问题。其中逻辑回归中logistic公式表达为：

y = 1/1+e^{-z}

此公式也可以叫做sigmoid函数。

该式子中,z取值为0时，可以看作二分类的边界；z大于0时，y大于等于0.5，那么此时可以将其预测为“1”类；z小于0时，y小于0.5，那么此时可以预测为“0”类。

代价函数

在逻辑回归中，最常用的是代价函数是交叉熵(Cross Entropy)，交叉熵是一个常见的代价函数，在神经网络中也会用到。

在这里我们将用到的交叉熵损失函数叫做Loss Function for Binary Classification。

表达式为：

loss = -(ylogy_p + (1-y)log(1-y_p))

当训练过程中设置mini-batch时，可以对二分类交叉熵进行平均化。

PyTorch示例实现

x_data = torch.Tensor([[1.0], [2.0], [3.0]])

y_data = torch.Tensor([[0], [1], [2]])

class LogisticRegressionModel(torch.nn.Module):

def __init__(self):

super(LogisticRegressionModel, self).__init__()

self.linear = torch.nn.Linear(1, 1)

def forward(self, x):

y_pred = F.sigmoid(self.linear(x))

return y_pred

model = LogisticRegressionModel()

criterion = torch.nn.BCELoss(size_average=False)

optimizer = torch.optim.SGD(model.parameters(), lr = 0.01)

for epoch in range(100):

y_pred = model(x_data)

loss = criterion(y_pred, y_data)

print(epoch, loss.item())

optimizer.zero_grad()

loss.backward()

optimizer.step()