一：前言
这是一个线性回归的学习笔记，数据源是我爱我家的北京朝阳区的房屋价格及其相关信息，有室、厅、大小、朝向、楼层层数、装修程度、单价、总价。然后利用scikit-learn 构建一个简单的多元线性回归模型并预测。介绍相关的sklearn函数使用和参数意义。
目的：练习pandas、sklearn等相关模块函数使用
二：运行环境
- Python 3.6
- jupyter notebook
- scikit-learn 0.19.1
- pandas 0.20.3
三：数据抓取
我爱我家-朝阳区 https://bj.5i5j.com/ershoufang/chaoyangqu/
抓取思路：查看当前地区房屋页面数量，然后循环抓取当页数据，本次抓取的数据有rooms halls size direction unit_price price，其实如果把距离地铁的距离加进去也是一个不错的特征，但是考虑到模型简单一点，就暂时没有加，后面如果练习的话可以考虑放进去训练。
下面是抓取部分的代码，把页面数填进去，数据量不大所以就循环抓取即可。
具体代码见：https://github.com/rieuse/Machine_Learning/blob/master/House_Regression
def get_house_data():
for num in range(1, 299):
url = f'https://bj.5i5j.com/ershoufang/chaoyangqu/n{num}/'
print(url)
s = requests.session()
html = s.get(url, headers=headers).text
content = etree.HTML(html).xpath('//*[@class="listCon"]')
for item in content:
desc = item.xpath('./div[1]/p[1]/text()')[0].replace(' ','')
price = item.xpath('./div[1]/div[1]/p[1]/strong/text()')[0]
unit_price = item.xpath('./div[1]/div[1]/p[2]//text()')[0][2:-4]
rooms = desc[:1]
halls = desc[2:3]
size = re.search(r'(?<=·).+(?=平米·)', desc)[0]
direction = re.search(r'(?<=平米·).{1,2}(?=·)', desc)
if not direction:
direction = ''
else:
direction = direction[0]
height = re.search(r'(?<=·).{1}(?=楼层)', desc)[0]
if '装' in desc:
decoration = desc[-2:-1]
else:
decoration = ''
data = {
'rooms': rooms,
'halls': halls,
'size': size,
'direction': direction,
'height': height,
'decoration': decoration,
'unit_price': unit_price,
'price': price
}
print(data)
四：利用sklearn 构建多元线性回归模型
（1）
下面的代码建议在jupyter notebook 上运行，这样对数据可视化会很方便。
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
%matplotlib inline
row_df = pd.read_csv('house_price.csv')
df = row_df[row_df.iloc[:,1] !='多']
# 去除数据中房间数目是‘多’ 的部分
data_X = df[['rooms','halls','size','unit_price']]
data_y = df.price
# 选取指定的特征
X_train, X_test, y_train, y_test = train_test_split(data_X, data_y, test_size=0.3)
# 利用 train_test_split 把数据集分割成训练集和测试集
model = LinearRegression(fit_intercept=True, normalize=False, copy_X=True, n_jobs=1)
model.fit(X_train,y_train)
LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)
model.score(X_test,y_test)
# score： 0.94163368657645685
print(model.coef_)
print(model.intercept_)
# model.coef_输出线性方程的参数，model.intercept_输出线性方程的节距
上面选取了'rooms','halls','size','unit_price'，这几个特征进去训练，最后的预测效果评分达到94.16% 如果去掉单价这个特征来训练，预测效果评分就会下降很多。
data_X = df[['rooms','halls','size']]
data_y = df.price
X_train, X_test, y_train, y_test = train_test_split(data_X, data_y, test_size=0.3)
model = LinearRegression(fit_intercept=True, normalize=True, copy_X=True, n_jobs=1)
model.fit(X_train,y_train) # 训练模型
model.score(X_test,y_test) # 获取模型效果评分
model.predict(np.array([3,1,90]).reshape(1, -1))
# out：array([ 648.07270425])
根据训练好的模型，我们就可以看看北京朝阳区的三室一厅，90平米这样的房子大致是多少钱了，输出结果是648.07万元。
（2） LinearRegression() 参数
| 参数 | 类型 | 默认值 | 说明 |
|---|---|---|---|
| fit_intercept | 布尔型 | true | 是否对训练数据进行中心化。如果该变量为false，则表明输入的数据已经进行了中心化，在下面的过程里不进行中心化处理；否则，对输入的训练数据进行中心化处理 |
| normalize | 布尔型 | false | 是否对数据进行标准化处理 |
| copy_X | 布尔型 | true | 是否对X复制，如果选择false，则直接对原数据进行覆盖。（即经过中心化，标准化后，是否把新数据覆盖到原数据上） |
| n_jobs | 整型 | 1 | 计算时设置的任务个数(number of jobs)。如果选择-1则代表使用所有的CPU。对于 n_targets>1 且足够大规模的问题有加速作用。 |
（3） LinearRegression() 返回值：
| 名称 | 返回值 | 说明 |
|---|---|---|
| coef_ | 数组型变量， 形状为(n_features,)或(n_targets, n_features) | 说明：对于线性回归问题计算得到的feature的系数。如果输入的是多目标问题，则返回一个二维数组(n_targets, n_features)；如果是单目标问题，返回一个一维数组 (n_features,)。 |
| intercept_ | 数组型变量 | 线性模型中的独立项。例如这里的b： y = ax + b |
五：总结
该项目代码以及数据源全部存放于 github.com/rieuse/Machine_Learning
会了爬虫就可以自己抓取喜欢的数据拿来分析数据和跑机器学习，非常方便。这次利用自己抓取的数据，练习了sklearn的线性回归模型。也同时看到了北京房价的恐怖，买房还需努力呀。抓取的数据特征有很多，利用更多的特征训练的模型效果就越好，预测就会更准。以后我在尝试一下利用这些特征最大化预测效果，或者使用其他的模型或者来训练本次的数据。