大数据分析存在哪些困难

  今的数据具有多种多样的形式,而且来自许多不同的数据源。更为重要的是,除非有需要的那些人易于获得大数据,除非能迅速获得洞察力,否则大数据分析工具的用处并不是很大。那么大数据分析将遇到哪些困难?

  1、解决方案无法提供新见解或及时的见解

  (1)数据不足

  有些组织可能由于分析数据不足,无法生成新的见解。在这种情况下,可以进行数据审核,并确保现有数据集成提供所需的见解。新数据源的集成也可以消除数据的缺乏。还需要检查原始数据是如何进入系统的,并确保所有可能的维度和指标均已经公开并进行分析。最后,数据存储的多样性也可能是一个问题。可以通过引入数据湖来解决这一问题。

  (2)数据响应慢

  当组织需要实时接收见解时,通常会发生这种情况,但是其系统是为批处理而设计的。因此有些数据现在仍无法使用,因为它们仍在收集或预处理中。

  检查组织的ETL(提取、转换、加载)是否能够根据更频繁的计划来处理数据。在某些情况下,批处理驱动的解决方案可以将计划调整提高两倍。

  (3)新系统采用旧方法

  虽然组织采用了新系统。但是通过原有的办法很难获得更好的答案。这主要是一个业务问题,并且针对这一问题的解决方案因情况而异。最好的方法是咨询行业专家,行业专家在分析方法方面拥有丰富经验,并且了解其业务领域。

  2、不准确的分析

  (1)源数据质量差

  如果组织的系统依赖于有缺陷、错误或不完整的数据,那么获得的结果将会很糟糕。数据质量管理和涵盖ETL过程每个阶段的强制性数据验证过程,可以帮助确保不同级别(语法、语义、业务等)的传入数据的质量。它使组织能够识别并清除错误,并确保对某个区域的修改立即显示出来,从而使数据纯净而准确。

  (2)与数据流有关的系统缺陷

  过对开发生命周期进行高质量的测试

你可能感兴趣的:(数据挖掘,数据分析,人工智能)