数据预处理01_脏数据产生的原因

一、预处理概述

   

预处理阶段主要做两件事情：

一是将数据导入处理工具。通常来说，建议使用数据库，单机跑数搭建MySQL环境即可。如果数据量大（千万级以上），可以使用文本文件存储+Python操作的方式。

二是看数据。这里包含两个部分：一是看元数据，包括字段解释、数据来源、代码表等等一切描述数据的信息；二是抽取一部分数据，使用人工查看方式，对数据本身有一个直观的了解，并且初步发现一些问题，为之后的处理做准备。

（1）现状：现实世界的数据库极易受到噪声、缺失值和不一致数据的侵扰，因为数据库太大并且多半来源于异种数据源。

（2）数据质量要求准确性、完整性、一致性、实效性、可信性和可解释性。

         李云龙：说白了，就是他娘的，劳资要看的准确，完整，一致的数据，你他娘的明白了吗？和尚。

          和尚：是，团长。

二、脏数据产生的原因
    收集数据设备故障
    人或计算机的错误导致数据输入时出现
    个人不希望提交个人信息时强制输入不正确值（掩盖的缺失数据）
    数据传输中出现错误
    错误的命名约定和数据代码格式
    重复数据