提升机器学习算法准确度的方法：模型融合-集成学习-投票机制 sklearn VotingRegressor 比赛上分大杀器
在机器学习比赛中，模型融合是比赛后期上分的重要手段，因为不同的模型可能对不同的样本有超额的效果。
这样模型融合可以结合不同模型的优势，如果你和你的队友有不同模型，这样融合后大概率能有效上分。
VotingClassifier 投票法
投票法可以根据权重，或者直接平均，将模型的预测结果进行融合。
均值
pre = (pre1 + pre2 + pre3 +…+pren )/n
加权平均
pre = 0.1pre1 + 0.2pre2 +0.7pre3
1.简单均值投票法（hard voting）
from xgboost import XGBClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier, VotingClassifier
clf1 = LogisticRegression(random_state=1)
clf2 = RandomForestClassifier(random_state=1)
clf3 = XGBClassifier(learning_rate=0.1,
n_estimators=150,
max_depth=4,
min_child_weight=2,
subsample=0.7,
objective='binary:logistic')
vclf = VotingClassifier(estimators=[('lr', clf1), ('rf', clf2), ('xgb', clf3)])
vclf = vclf .fit(x_train,y_train)
print(vclf .predict(x_test))
2.加权平均投票法（soft voting）
from sklearn import datasets
from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression
from sklearn.naive_bayes import GaussianNB
from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import VotingClassifier
iris = datasets.load_iris()
X, y = iris.data[:, 1:3], iris.target
clf1 = LogisticRegression(random_state=1)
clf2 = RandomForestClassifier(n_estimators=50, random_state=1)
clf3 = GaussianNB()
eclf = VotingClassifier(
estimators=[('lr', clf1), ('rf', clf2), ('gnb', clf3)],
, voting='soft', weights=[2, 1, 1]))
for clf, label in zip([clf1, clf2, clf3, eclf], ['Logistic Regression', 'Random Forest', 'naive Bayes', 'Ensemble']):
scores = cross_val_score(clf, X, y, scoring='accuracy', cv=5)
print("Accuracy: %0.2f (+/- %0.2f) [%s]" % (scores.mean(), scores.std(), label))
Stacking/Blending
这一部分建议大家去看这篇文章，下面的内容也摘自这位大神的文章，写的非常详细，由浅入深：链接：https://blog.csdn.net/wuzhongqiang/article/details/105012739
1.Stacking
机器学习比赛中被誉为“七头龙神技”的stacking方法， 但因其模型的庞大程度与效果的提升程度往往不成正比， 所以一般很难应用于实际生产中。
from mxltend.regressor import StackingCVRegressor
2.Blending
Blending是一种和Stacking很相像的模型融合方式，它与Stacking的区别在于训练集不是通过K-Fold的CV策略来获得预测值从而生成第二阶段模型的特征，而是建立一个Holdout集（留出集），例如30%的训练数据（类似于把原始的训练集先分成两部分， 比如70%的数据作为新的训练集， 剩下的30%的数据作为测试集), 但是通过查看资料，好像是有两个版本。
一个版本就是单纯的Holdout集，就是我直接把训练集分成两部分，70%作为新的训练集， 30%作为测试集，然后用这70%的训练集分别训练第一层的模型，然后在30%的测试集上进行预测， 把预测的结果作为第二层模型的训练集特征，这是训练部分。 预测部分就是把真正的测试集先用第一层的模型预测，把预测结过作为第二层测试集的特征进行第二层的预测。 过程图长下面这个样子：
第二个版本的话依然是有一个Holdout集合，但是引入了交叉验证的那种思想，也就是每个模型看到的Holdout集合并不一样。即每个模型会看到这个30%的数据会不一样，说白了，就是把Stacking流程中的K-Fold CV 改成 HoldOut CV。第二阶段的stacker模型就基于第一阶段模型对这30%训练数据的预测值进行拟合。
那么究竟有什么区别呢？
Blending的优势在于：
Blending比较简单，而Stacking相对比较复杂； 能够防止信息泄露：generalizers和stackers使用不同的数据；
而缺点在于：只用了整体数据的一部分； 最终模型可能对留出集（holdout set）过拟合； Stacking多次交叉验证要更加稳健。
