安居客爬虫+分析+回归

安居客爬虫+分析+回归

工具：Pycharm，Win10，Python3.6.4

这次我们要做的是安居客西安地区房源爬虫，然后数据分析，并做一个简单的回归分析。

我们之前的爬虫和简单的数据分析已经说了很多了，这里我不再展开描述，我直接贴出结果。

以上就是分析的结果。接下来我们要做一个关于房屋总价和单价的回归分析。其实我们爬下来的数据并不是很结构化，单价和总价有的是一个值有的是一个区间值，还有缺失值，我们要对数据做预处理。

data_process =  data[data['houseUnitPrice'] != 'None' ]#剔除None数据
for i in range(len(data_process['houseUnitPrice'])):
    try:
        data_process['houseUnitProce'][i] = data_process['houseUnitProce'][i].split('-')[0]
    except:
        continue
data_process.to_csv('processed_data.csv',index = False,encoding='utf-8-sig')
row3 = data[data['houseUnitPrice'] != 'None']
row34 = row3[row3['houseTotalPrice']!='None']
# print(row34)
unitPrice_before = (row34['houseUnitPrice'])
for i in range(len(data)):#其中有的数据是8500-9000 取8500
    try:
        unitPrice_before[i] = unitPrice_before[i].split('-')[0]
    except:
        continue
totalPrice_before = (row34['houseTotalPrice'])
for i in range(len(data)):
    try:
        totalPrice_before[i] = totalPrice_before[i].split('-')[0]
    except:
        continue
# print(unitPrice_before)
# X = np.array((unitPrice_before.astype('int')).values)
X = [unitPrice_before.astype('int').values]
X = np.transpose(X)
y = totalPrice_before.astype('int').values

经过这部分处理我们就能获取到清理后的数据。下面给出回归分析代码。

import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
slr = LinearRegression()
slr.fit(X,y)
y_pred = slr.predict(X)
# print(y_pred)
print(slr.coef_[0])
print(slr.intercept_)
def lin_regplot(X, y, model):
    plt.scatter(X, y, )
    # print(model.predict(X))
    plt.plot(X, model.predict(X), color='red', linewidth=2)
    return
lin_regplot(X, y, slr)
plt.xlabel('房屋总价')
plt.ylabel('房屋单价')
plt.title('房屋单价与总价回归图')
plt.tight_layout()
# plt.savefig('./figures/scikit_lr_fit.png', dpi=300)
plt.show()

注意点这里在做回归的时候要注意X，y的结构X（409，1），y（409，）。最后得到结果如下

可以看到还是有些错误数据，结果发现有的总结是多少万，这在我们的数据处理中没有注意到，这也是需要处理的地方。