[环境保护探索]-对水资源可饮用程度的数据探索性分析及预测

---

项目背景

数据集题材： [环境保护探索] 饮用水资源的可用性分析

数据集形式： csv文本格式，数据源自Kaggle。共 32760 条数据，以及 10 个原始特征和标签 (3276 X 10)

项目数据探索目的(译自原文)：

获得安全饮用水对健康至关重要，既是一项基本人权，也是一个重要的经济发展问题。在一些地区已经表明，对供水和卫生设施的投资可以产生净经济效益。

本项目旨在对水资源数据的9项水质指标展开探索分析，以及构造模型预测的水体可饮用性，为水资源的保护和合理开发提供数据支持与决策。

水质指标：

pH值(ph)：评价水的酸碱平衡的一个重要参数，世卫建议pH值的最大允许限值为6.5至8.5

硬度(Hardness)：硬度主要由钙和镁盐引起，被定义为水沉淀钙镁引起的凝块沉淀的容度

总溶解固体(Solids)：TDS值较高的水表明该水具有较高的矿化度。TDS的理想限值为500 mg/l，最大限值为1000 mg/l，规定用于饮用

氯胺(Chloramines)： 氯和氯胺是公共供水系统中使用的主要消毒剂，饮用水中氯含量高达4毫克/升被认为是安全的。

硫酸盐(Sulfate)：化学工业污染物，在大多数淡水供应中，其浓度范围为3至30毫克/升

电导率(Conductivity)：水中溶解固体的数量决定电导率，世卫标准，EC值不应超过400μS/cm

有机碳(Organic_carbon)：对纯净水中有机化合物中碳总量的测量。美国环保局规定，经处理/饮用水中的TOC<2 mg/L，用于处理的水源水中的TOC<4 mg/L

三卤甲烷(Trihalomethanes)：三卤甲烷可能存在于经过氯处理的水中，饮用水中THM含量高达80 ppm被认为是安全的

浊度(Turbidity)：水的浊度取决于悬浮状态下存在的固体物质的数量。世界卫生组织建议值5.00 NTU

---

可饮用性(Potability)：表示水对人类饮用是否安全，其中1表示饮用水，0表示不饮用水。

一、数据导入、简单预览，以及预处理

1.引入库

# 通用模块
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np
import plotly.express as px
from collections import Counter
import matplotlib
zhfont1 = matplotlib.font_manager.FontProperties(fname="SourceHanSansSC-Bold.otf")
from warnings import filterwarnings
# 机器学习
from sklearn.model_selection import train_test_split, KFold, cross_validate, cross_val_score
from sklearn.preprocessing import StandardScaler,MinMaxScaler
from sklearn.linear_model import LogisticRegression,RidgeClassifier,SGDClassifier,PassiveAggressiveClassifier
from sklearn.linear_model import Perceptron
from sklearn.svm import SVC,LinearSVC,NuSVC
from sklearn.neighbors import KNeighborsClassifier,NearestCentroid
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier,AdaBoostClassifier,GradientBoostingClassifier
from sklearn.svm import SVC
from sklearn.naive_bayes import GaussianNB,BernoulliNB
from sklearn.ensemble import VotingClassifier
from sklearn.metrics import precision_score,accuracy_score
from sklearn.model_selection import RandomizedSearchCV,GridSearchCV,RepeatedStratifiedKFold
from sklearn.metrics import accuracy_score

2.读入数据

 data = pd.read_csv(r'C:\xlwings\water\water_potability.csv')  # 导入数据
    print('预览数据')
    print(data.head(3).T)  # 预览数据

    print('查看各字段属性')  # 查看各字段属性
    print(data.info())
    print('查看缺失项')  # 查看缺失项
    print(data.isnull().sum()[data.isnull().sum().values != 0].T)  # 得出children,country,agent,company四个字段含有缺失项
    # msno.bar(data, figsize=(10, 7), fontsize=10, color='grey',log=True)  # log=True 切换到对数刻度,更为清晰
    # plt.show()

    print('查看数据大小')  # 查看数据大小
    print(data.size)
    print(data.shape)
    print('看数据数据及分布')  # 查看数据数据及分布
    print(data.describe().T)

---

结果：
1.共 32760 条数据，以及 10 个原始特征和标签 (3276 X 10)
2.缺失项：

3.处理缺失值

    d1=data[data['Potability'] == 0][['ph', 'Sulfate', 'Trihalomethanes']].median()
    d2=data[data['Potability'] == 1][['ph', 'Sulfate', 'Trihalomethanes']].median()
    d=pd.DataFrame({
   'Potability=0':d1,'Potability=1':d2})   #查看中值差异
    print('查看中值差异')
    print(d)
    e1=data[data['Potability'] == 0][['ph', 'Sulfate', 'Trihalomethanes']].mean()
    e2 = data[data['Potability'] == 1][['ph', 'Sulfate', 'Trihalomethanes']].mean()
    e=pd.DataFrame({
   'Potability=0':e1,'Potability=1':e2})
    print(e)
    print('结论：经过对比，饮用水和非饮用水数据中各自关于ph、Sulfate、Trihalomethanes的均值和中位数差异都不大，因此选择中位数作为缺失项的填充值。')

结论：经过对比，饮用水和非饮用水数据中各自关于ph、Sulfate、Trihalomethanes的均值和中位数差异都不大，因此选择中位数作为缺失项的填充值。

3.1填充缺失值：

data['ph'].fillna(value=data['ph'].median(), inplace=True)
data['Sulfate'].fillna(value=data['Sulfate'].median(), inplace=True)
data['Trihalomethanes'].fillna(value=data['Trihalomethanes'].median(), inplace=True)
print(data.isnull().sum())  # 缺失值全部被填充

data.to_csv(r'C:\xlwings\water\water_potability_full.csv')
print('输出处理后的数据集')

二、水质指标的数据分析

1.各水质特征的数据分布

1.1 硬度

    def pic_hardness():
        fig = px.histogram(data_full, x='Hardness', y=Counter(data_full['Hardness']), color='Potability', template='plotly_white',
                           marginal='box', opacity=0.7, nbins=100,
                           color_discrete_sequence=[colors_green[3], colors_blue[3]],
                           barmode='group', histfunc='count')           #作直方图  边际画箱型图  marginal=`rug`、`box`, `violin`

        fig.add_vline(x=151, line_width=1, line_color=colors_dark[1], line_dash='dot', opacity=0.7)
        fig.add_vline(x=301, line_width=1, line_color=colors_dark[1], line_dash='dot', opacity=0.7)
        fig.add_vline(x=76, line_width=1, line_color=colors_dark[1], line_dash='dot', opacity=0.7)

        fig.add_annotation(text='<76 mg/L 
 被视作软水', x=40, y=130, showarrow=False, font_size=9)
        fig.add_annotation(text=' 76 ~150<br> (mg/L) 之间<br>被视作中等硬度', x