机器学习本质包含了数学原理推导与实际应用技巧
推论事情的方法：演绎法和归纳法。
根据经验进行推论，就像人成长一样。
基础:
- 机器学习的目的是：归纳(Induction), 从详细事实到一般推论
-
找出有效的预测模型
- 一开始都是从一个简单的模型开始
- 藉由不断喂入训练数据，修改模型
- 不断提升预测绩效
机器学习的步骤：
- 使用者的行为
- 收集资料
- 数据转换与清洗
- 建立模型
- 验证模型 （建立模型 和 验证模型 之间反复训练与验证）
- 部署模型
机器学习需要什么？
算法，数据，程序，评估，应用。
应用的方面：
数据挖掘，图像识别，语音和自然语言，统计学习，计算机视觉。
虚拟环境
- 通过
virtualenv来创建虚拟环境 - 通过
anaconda来创建虚拟环境
virtualenv
virtualenv就是用来为每一个项目创建一套“独立隔离”的Python运行环境的工具
pip install virtualenv创建虚拟环境: virtualenv -p /usr/bin/python2.7 --no-site-packages venvs
启动虚拟环境: source venvs/bin/activate
退出虚拟环境: deactivate
删除虚拟环境: rm -r venvs
virtualenv -p /usr/local/bin/python --no-site-packages learn
source learn/bin/activate
deactivate
rm -r learn可以一次性通过别的机器上或虚拟环境里，将文件里罗列的第三方库安装起来：pip install -r requirements.txt
anaconda
安装anaconda：anaconda download
# 查看帮助
conda -h
# 基于python3.6版本创建一个名字为python36的环境
conda create --name python36 python=3.6
# 激活此环境
source activate python36
# 再来检查python版本，显示是 3.6
python -V
# 退出当前环境
source deactivate python36
# 删除该环境
conda remove -n python36 --all
# 或者
conda env remove -n python36
# 查看所以安装的环境
conda info -escikit-learn
scikit-learn官网
机器学习地图：
- 一定量的样本
- classification
- clustering
- regression
- dimensionality reduction
机器学习问题分类
- 监督式学习
回归分析：连续性数值，使用一组已知对应值的数据产生的模型，预测新数据的对应值。
分类问题：类别标签，根据已知标签的训练数据集，产生一个新模型，用以预测测试数据集的标签。 - 非监督式学习
降低维度：产生一有最大变异数的字段线性组合,可用来降低原本问题的维度与复杂度
分群问题：物以类聚（近朱者赤，近墨者黑）
利用正确的答案的数据来进行学习，就可以称之为监督式学习。
通过既有的答案来得到新的理论，调整一些演算的过程，建立模型。
同样或者类似的数据放在一起，透过放在一起的数据，分析学习，找到需要知道的答案，称之为非监督式学习。
回归分析
- 线性回归是研究单一因变量与一个或上一个自变量之间的关系
- 线性回归有两个主要用处：
预测指的是用已观察的变量来预测因变量
因果分析则是将自变量当作因变量发生的原因
线性回归
数学模型：
y = ax + b # 简单线性回归
y = ax^2 + bx + c # 二项式线性回归最小平方估计法：
找出残差平方和最小的一条线
- 残差计算公式
- 残差平方和计算公式
绘制资料：
import pandas as pd
from matplotlib import pyplot as plt
df = pd.read_csv('Data/salary.csv', index_col=0)
X = df[['year']]
Y = df['salary'].values
plt.scatter(X, Y, color='blue')
plt.xlabel('year')
plt.ylabel('salary')
plt.show()
绘制回归线：
import pandas as pd
from matplotlib import pyplot as plt
from sklearn.linear_model import LinearRegression
df = pd.read_csv('Data/salary.csv', index_col=0)
X = df[['year']]
Y = df['salary'].values
plt.scatter(X, Y, color='blue')
plt.xlabel('year')
plt.ylabel('salary')
# 使用scikit-learn进行预测
regr = LinearRegression()
regr.fit(X, Y)
# 将回归线绘制在图上
print('Coefficients:', regr.coef_) # 涨幅
print('Intercept:', regr.intercept_)
plt.plot(X, regr.predict(X), color='green', linewidth=3)
plt.show()
二次项线性回归：
import pandas as pd
from matplotlib import pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
df = pd.read_csv('Data/salary.csv', index_col=0)
X = df[['year']]
Y = df['salary'].values
# 使用scikit-learn进行预测
poly_reg = PolynomialFeatures(degree=2) # 二次项
X_ = poly_reg.fit_transform(X)
regr = LinearRegression()
regr.fit(X_, Y)
X2 = X.sort_values(['year'])
X2_ = poly_reg.fit_transform(X2)
plt.scatter(X, Y, color='blue')
plt.plot(X2, regr.predict(X2_), color='green', linewidth=3)
plt.xlabel('year')
plt.ylabel('salary')
# 将回归线绘制在图上
print('Coefficients:', regr.coef_)
print('Intercept:', regr.intercept_)
plt.show()
回归模型评估
验证线性关系是显著的。
验证方法通过“假设”
目的：自变量是否有能力去影响自变量。
import pandas as pd
from matplotlib import pyplot as plt
import statsmodels.api as sm
df = pd.read_csv('Data/house-prices.csv')
# 建立Dummy Variable
s = pd.get_dummies(df['Brick']) # 根据字段中的值，建立新的字段，并新的字段的值为0或1 # 必须去掉一个字段，去掉的这个字段通过其它一个字段生成。（如果同时存在，会产生共线性问题）
t = pd.get_dummies(df['Neighborhood']) # 必须去掉一个字段，去掉的这个字段通过其它二个字段生成。
house = pd.concat([df, s, t], axis=1)
del house['No']
del house['West']
del house['Brick']
del house['Neighborhood']
del house['Home']
X = house[['SqFt', 'Bedrooms', 'Bathrooms', 'Offers', 'Yes', 'East', 'North']]
Y = house['Price'].values
X2 = sm.add_constant(X)
est = sm.OLS(Y, X2)
est2 = est.fit()
print(est2.summary()) # 回归模型评估数据
- 假设显著性标准是0.01
- 推翻假设的标准是p值 < 0.01 (假设不成立，可以推导出二者变量是密切联系)
-
t = 2.658, P(>t)=0.009,P(0.09) < 0.01是不成立的，假设也不成立 - 验证二者关系显著
R-squared: 可作为自变量预测因变量准确度的指标。 值越大越准确，0.5以上可以作为指标。AIC: 鼓励数据拟合的优良性但是尽量避免出现过度拟合的情况。所以优先考虑的模型应该是AIC值最小的那一个.
分析房天下的上海徐汇区数据
import pandas as pd
import time
from sklearn.linear_model import LinearRegression
from matplotlib import pyplot as plt
import statsmodels.api as sm
df = pd.read_excel('Data/house_price_regression.xlsx')
# 处理数据
now_year = time.localtime(time.time()).tm_year
df['age'] = df['age'].map(lambda e: now_year - int(e.strip().strip('建筑年代：')) )
df[['room', 'living_room']] = df['layout'].str.extract(r'(\d+)室(\d+)厅') # 抽取字段, 房间和厅
df['room'] = df['room'].astype(int)
df['living_room'] = df['living_room'].astype(int)
df['total_floor'] = df['floor_info'].str.extract(r'共(\d+)层')
df['total_floor'] = df['total_floor'].astype(int)
df['floor'] = df['floor_info'].str.extract(r'^(.)层')
df['direction'] = df['direction'].map(lambda e: e.strip())
del df['layout']
del df['floor_info']
del df['title']
del df['url']
# 将values处理成字段
df = pd.concat([df, pd.get_dummies(df['direction']), pd.get_dummies(df['floor'])], axis=1)
del df['direction']
del df['floor']
del df['南北向']
del df['低']
# 绘制散布图
# 房价 与 平米
df[['price', 'area']].plot(kind='scatter', x='area', y='price', figsize=[10, 5])
# 绘制线性模型
x = df[['area']]
y = df['price']
regr = LinearRegression()
regr.fit(x, y)
print('Coefficent: {}'.format(regr.coef_))
print('Intercept: {}'.format(regr.intercept_))
plt.scatter(x, y, color='blue')
plt.plot(x, regr.predict(x), linewidth=2, color='red')
plt.xlabel('area')
plt.ylabel('price')
# 多元回归预测
df_col = list(df.columns)
del df_col[2]
x = df[df_col]
y = df['price']
regr = LinearRegression()
regr.fit(x, y)
print(x.info())
# 评估回归模型
x2 = sm.add_constant(x)
est = sm.OLS(y, x2)
est2 = est.fit()
print(est2.summary())
plt.show()
资料分类
监督式学习
分类问题：根据已知标签的训练数据集，产生一个新模型，用以预测测试数据集的标签
决策树：
- 用于计算一个系统中的失序现象，也就是计算该系统混乱的程度。
- 决策树的目的行为上的预测和实质的分类
单一变量的计算：
Entropy = -p * log * p - q * log * q
多变量的计算：