大数据近来在媒体上频繁的出现,但其定义和应用仍然被一些企业的决策者所回避。这些企业在商业智能(BI)的流程和应用程序上投入了大量资金,并且希望将他们一直在做的事情冠以“大数据”的名义幸福地生存下去。可惜的是,BI与大数据所处理的事情确实是不同的。
互联网科技发展蓬勃兴起,人工智能时代来临,抓住下一个风口。为帮助那些往想互联网方向转行想学习,却因为时间不够,资源不足而放弃的人。我自己整理的一份最新的大数据进阶资料和高级开发教程,大数据学习群: 740041381就可以找到组织学习 欢迎进阶中和进想深入大数据的小伙伴加入
概念战正在进行
虽然大数据是一个相对较新的学科,但它已经集合了许多新的概念,用以解释如何收集数据、如何分析数据以及如何使用数据。让我们来看看其中的一些。
野生的大数据概念
当供应商构建产品并提供旨在处理大数据整体或领域中一些部分的服务,他们通常会提出自己的概念。希望他们的概念能够影响到其他人。这样他们可以声称他们创造了这个概念,并且所有其他供应商都在追随他们。
在“机器智能”的旗帜下,业界已开始谈论“人工智能”、“深度学习”和“机器学习”,这些术语可用于描述产品如何处理数据从而让企业从数据中获取价值。它也可用于描述工具如何找到数据中的模式和异常情况,以帮助企业的数据科学家。
如果我们关注数据是如何被使用的,我们会听到诸如“预测分析”、“智能风险评估”,甚至“大数据分析”等词语。在大数据技术用于改进时,这些词语已被大量使用在系统和应用操作、网络性能以及数据和应用安全中。
随着行业的发展,新的概念会定期出现。通常这意味着一个供应商试图以一种新的方式来定位他们的产品和服务,而不是在底层技术上提供明显提升。
最后,当供应商挥舞大数据旗帜时,他们通常会谈论企业如何审查从大量到海量的数据,以找出隐藏的规律,利用各种类型的数据的能力,并基于新的洞察来进行有意义的调整,使他们能够快速采取行动。通常,其显著的区别是在哪里以及如何部署这些技术。
企业决策者需要问的关键问题是:“为企业或组织带来的影响是什么?”以及“我们是否应该了解更多并开始使用大数据?”
BI的重点在于检查已知信息
作者Mary Pratt认为,BI利用软件和服务将数据转化为可操作的情报,从而告知组织的战略和战术业务决策。BI工具可访问和分析数据集,并在报告、摘要、仪表板、图表和地图中提供分析结果,为用户提供关于业务状态的详细情报。换句话说,商务智能是企业提出问题,并从他们的信息系统获得有用的回应。
最终,BI基于企业知识,即正在发生的事情以及需要被跟踪和了解的已经发生的事情。为此,企业建立流程和系统来收集所需数据,分析数据,然后根据分析汇报结果。企业知道需要跟踪什么、如何分析这些数据以及如何报告分析结果以及应该汇报给谁。
BI成为许多供应商的盈利来源。他们开发了构建和利用“数据仓库”的工具,并通过复杂的工具来为决策者提供有用的仪表板和报告工具。
大数据在几个重要方面与BI相关,但它们是不同的。
大数据
另一边,大数据被认为是处理大量数据,但它的范围更广,尤其是在探索未知方面。通常,目标是通过筛选企业自己的操作和机器数据来了解要提出什么问题。一旦这些问题被知晓,BI流程就可以用于额外的探索和报告。但大数据更有趣的用途之一是在业务活动发生时将分析集成到业务操作中。所以,大数据不仅仅是解释已经发生的事情的更好方式,而是可以直接影响业务结果。
大数据面临的挑战
大数据希望解决的难点是:
如何有效地获取和存储如此大量的数据
如何分析这些数据,以便企业能够更好地了解自己的业务或客户需求,以及如何满足这些需求
如何收集如此大量的数据并直接支持处理和分析,特别是以一种安全的方式来满足越来越多的隐私条例
企业如何筛选数据,提出重要问题,并将结果可视化
减少延迟和等待时间,以便将分析纳入企业的运营中
另一种看待这个问题的方式是,企业并不完全理解正在发生的事情。它观察到其业务运营或客户需求的变化,但并未完全了解发生了什么。它可能会看到收入突然增加或减少,客户满意度或竞争环境发生变化。实时应对这些变化的能力提供了显著的竞争优势。尤其是,相较之下,BI所主要提供的商业洞察无法全面自动化的发现洞察背后的那些变化。
互联网科技发展蓬勃兴起,人工智能时代来临,抓住下一个风口。为帮助那些往想互联网方向转行想学习,却因为时间不够,资源不足而放弃的人。我自己整理的一份最新的大数据进阶资料和高级开发教程,大数据学习群: 740041381就可以找到组织学习 欢迎进阶中和进想深入大数据的小伙伴加入
意想不到的变化
当企业经历意外的或突然的变化时,他们通常会开始思考为什么会错过以及是如何错过的。
例如,竞争对手可能突然进入市场。老竞争对手可能会消失或被视为局外人的公司收购。还可能开始与其他紧密相关的市场发生合并或冲突,以导致意想不到和被认为是不受欢迎的变化。
海量数据可能提供线索
很多时候,这些企业拥有大量的数据,这些数据已经积累了很长时间,但企业根本不知道该如何处理它。这些数据可能包含运营数据,其中包括销售数据、生产数据、研究数据和天气数据。它也可能有大量来自销售点设备或制造过程控制系统的数据。它也可能包含对监管变化或其他经济变化的信息。
在了解了“大数据”的概念后,企业决策者被鼓励系统地评估这些数据,并寻找模式和异常。这些有价值的信息可以为最近获得的数据提供适当的背景信息。因此,在网页加载时,就可以根据深层的历史数据以及流式和实时操作对客户体验进行优化。
最后,他们发现了该去了解的新问题,以帮助他们了解所发生的事情并推动洞察力。这意味着他们开始明白,他们需要更智能的、由机器学习所驱动的自动化响应,来识别背景和意义,从而改善企业自身的实践。他们的目标当然是增加收入,或降低成本,或两者兼而有之。
企业将很快意识到需要新的工具和专业知识
一旦企业开始利用大数据,决策者很快就会认识到,它需要一套不同的工具和专门知识。首先,这个领域看起来需要企业“面面俱到”,才能通过整个过程获得价值。当然,这可能是耗费时间的,并且可能最终不会获得在流程开始时所期望的价值。
我们建议最好找一些更有可能产生新价值或容易学习的简单东西。这种学习应该带来新的机会和/或改变对当前业务、产品或服务的认识,而不是对已经显而易见的事情进行痛苦的研究。
一旦踏上这段旅程,企业很快就会发现,亡羊补牢的宝贵见解并不那么具备价值。企业很快就会发现,一遍又一遍地做同样的事情而没有实现流程的自动化,意味着任何好处都可能会在流程本身造成的时间和成本增加的情况下被淹没。
通常,企业意识到它“知道”组织中的某个地方即将发生变化,甚至应该如何处理这些变化。有些时候企业会意识到利用了这些知识并获得了一些重要的好处。其他时候,企业发现没有利用上这些知识,而是被事件“蒙蔽”了。
现在是时候了
大数据工具和流程已经发展到足够让企业在学习如何利用它们时有安全感。他们很快就会了解到,这个领域已经迅速开发出新的工具、新的方法和新的思维方式。许多专家认为数据流(Data Logistics)是关键(可参考Ted Dunning和Ellen Friedman撰写的关于“机器学习流(Machine Learning Logistics)”的文章了解更多信息)。
不要单干
既然大数据的概念已经发展了一段时间,那么企业决策者就不必再觉得需要自食其力,并且没有路线图、没有既定的道路、也没有指引。现在有许多供应商提供工具、现成的流程和专业服务,可以很好地利用。记得从小处着手,积累经验,并在过程中逐步获得实际价值。