逻辑回归模型
目标：数据可视化，构建逻辑回归模型
步骤：
- 使用散点图表示正向/负向推特的统计
- 可视化线性回归模型的输出结果
导入库
跟上两篇笔记一样，首先需要导入库，包括NLTK，pandas，matplot，numpy，关于这些库都有官方文档可查：
import nltk
from os import getcwd
import pandas as pd
from nltk.corpus import twitter_samples
import matplotlib.pyplot as plt
import numpy as np
from utils import process_tweet, build_freqs
加载NLTK样本数据集
如果不知怎么那到数据集请翻看前文：
跟之前的加载步骤有所不同的是，这一次我们把数据集区分为 训练集 和 测试集。
这是有监督学习的基本操作，更多相关概念请参考：
all_positive_tweets = twitter_samples.strings('positive_tweets.json')
all_negative_tweets = twitter_samples.strings('negative_tweets.json')
tweets = all_positive_tweets + all_negative_tweets
labels = np.append(np.ones((len(all_positive_tweets),1)), np.zeros((len(all_negative_tweets),1)), axis = 0)
train_pos = all_positive_tweets[:4000]
train_neg = all_negative_tweets[:4000]
train_x = train_pos + train_neg
print("Number of tweets: ", len(train_x))
Number of tweets: 8000
加载提取特征
本周任务的一部分是创建Logistic回归模型所需的数字特征。 为了不干扰它，我们之前已经针对整个训练集计算并存储了这些功能到CSV文件中。
因此，请加载为推文示例创建的这些功能。
data = pd.read_csv('logistic_features.csv');
data.head(10)
把 data frame 转换成 numpy 数组
X = data[['bias', 'positive', 'negative']].values # 大家可以自行测试一下如果用一个中括号会发生什么？ 使用type()函数去看不同的调用方式有助于理解
Y = data['sentiment'].values; # 为什么要使用分号？如果不用会怎么样？
print(X.shape)
print(X)
(8000, 3)
[[ 1.00000000e+00 3.02000000e+03 6.10000000e+01]
[ 1.00000000e+00 3.57300000e+03 4.44000000e+02]
[ 1.00000000e+00 3.00500000e+03 1.15000000e+02]
...,
[ 1.00000000e+00 1.44000000e+02 7.83000000e+02]
[ 1.00000000e+00 2.05000000e+02 3.89000000e+03]
[ 1.00000000e+00 1.89000000e+02 3.97400000e+03]]
加载训练好的逻辑回归模型
同样的，作为这周作业的一部分，逻辑回归模型必须训练。下一个单元包含这样的训练产生的模型。注意，一个包含3个数值的列表代表整个模型，我们将其称为thetaθ。
theta = [7e-08, 0.0005239, -0.00055517]
样本数据可视化
向量theta代表一个将特征空间分为两部分的平面。位于该平面上方的样本被视为正，而位于该平面下方的样本被视为负。
请记住，我们有一个3D特征空间，即每个推特都表示为一个由三个值组成的向量：[bias，positive_sum，negative_sum]，始终具有bias = 1。
如果忽略异常值，则可以使用positive_sum和negative_sum在笛卡尔平面中绘制每个tweet。
在下面的单元格中，我们正是这样做的。
此外，根据类别，我们为每个tweet上色。 正面推文将为绿色，负面推文将为红色。
fig, ax = plt.subplots(figsize = (8,8))
colors = ['red', 'green']
ax.scatter(X[:,1], X[:,2], c=[colors[int(k)] for k in Y], s = 0.1) # positive列为散点图的x轴，negative列为y轴
plt.xlabel("Positive")
plt.ylabel("Negative")
Text(0,0.5,'Negative')
如图，正向和负向的特征向量几乎完美分离。因此，可以期望此模型具有很高的准确性。
在数据旁绘制模型
画一条灰线作为正负区域的界限。灰线标记的线为
要画这条线，我们必须根据一个自变量来求解上述方程式。
指向相应情感方向的红线和绿线是使用与在先前方程式（负函数）中计算出的分离线垂直的线来计算的。 它必须指向与Logit函数的导数相同的方向，但是幅度可能会有所不同。 它仅用于模型的可视化表示。
def neg(theta, pos):
return (-theta[0] - pos * theta[1]) / theta[2]
def direction(theta, pos):
return pos * theta[2] / theta[1]
图表中的绿线指向z> 0的方向，红线指向z <0的方向。这些线的方向由权重1θ1和2给出
fig, ax = plt.subplots(figsize = (8,8))
colors = ['red', 'green']
ax.scatter(X[:,1], X[:,2], c=[colors[int(k)] for k in Y], s = 0.1)
plt.xlabel("Positive")
plt.ylabel("Negative")
maxpos = np.max(X[:,1])
offset = 5000
ax.plot([0, maxpos], [neg(theta, 0), neg(theta, maxpos)], color = 'gray')
ax.arrow(offset, neg(theta, offset), offset, direction(theta, offset), head_width=500, head_length=500, fc='g', ec='g')
ax.arrow(offset, neg(theta, offset), -offset, -direction(theta, offset), head_width=500, head_length=500, fc='r', ec='r')
plt.show()
请注意，比逻辑回归本身更关键的是从推文中提取的特征，这些特征允许在此练习中获得正确的结果。
ChangeLog
- 2021/2/3 14:57:15 完成整体代码复现