电商数据采集要怎么保证准确率

        大家好,这里是小安说网控。

        完整的电商数据采集到数据库以后,还不能直接拿来应用于渠道管控,必须要对繁多冗杂的数据进行有目的的清洗,才能使数据符合我们的要求。

        一、 清洗维度

        1、 数据杂质:格式错误、数据异常、数据缺失、重复、矛盾、逻辑关系混乱等多方面杂质;

        2、 URL校正:根据预设规则自动清洗字段,对比不同位置的字段信息,检查URL 的准确性,清洗出异常数据待校正;

        3、 图片内容标注:针对图片内容的有效信息进行检查,比对识别出的文字,清洗出异常数据待校正。

        二、 清洗过程

        1、 清洗:根据预设规则自动清洗字段;

        2、 二次清洗:对清洗过的数据进行二次清洗,再次检查数据的准确性;

        3、 人工校正:人工辅助系统,对判断有异议的数据,人工介入判断,保证不漏数据、不多数据。

        利用有效的数据清洗机制,建立精准的数据仓库,才能为数据分析提供扎实的数据基础。

你可能感兴趣的:(数据仓库,大数据)