“大数据”热潮：是什么,为什么,怎么样？

大数据在IT界是一个长期以来的热门话题，每天都有各种讨论，但你掌握它到了什么样的程度？在本文中，FICO首席分析人员和FICO实验室的负责人安德鲁•詹宁斯(Andrew Jennings)博士将以问答的形式，帮助我们深入理解这个主题。 　　1)在预测分析的历史上，重要的里程碑都有哪些？ 　　许多早期的里程碑是从20世纪30年代和40年代的军事应用。例如，阿兰•图灵(Alan Turing)和IJ Good在证据权重分配到特定的变量开发了一些突破性的工作，当他们在二战中参与解码德国的代码。20世纪50年代和60年代看到了建模方法的发展，如比尔·费尔(Bill Fair)和厄尔•艾萨克(Earl Isaac)的信用评分工作。在20世纪90年代后期，随着互联网搜索和个性化的兴起，由eBay、亚马逊和谷歌引领了大数据的兴起阶段。 　　2)今天预测分析的一些常见的用途是什么？ 　　预测分析在旅游行业广泛使用，无论是设置飞行路径和票价，以及帮助消费者找到最好的价格。在信贷行业，它用于风险评估和欺诈检测中心。当然，许多行业的营销人员使用它，以确定最佳的报价。 　　3)大数据无疑是在当下的一个热门话题，但是否有许多公司已经在他们每天的日常运作中使用大数据的洞见？ 　　是的，一些公司整个的商业模式都基于大数据分析。Farecast就是一个例子，这家公司的成立，致力于帮助消费者决定何时购买机票，以获得最好的价格。 　　4)大数据的崛起如何影响分析的使用？ 　　今天越来越多的公司认识到，如果他们不能发挥数据的力量，他们将不会有竞争力。而在此之前，大多数的分析被我们称为商业情报，聚焦于报告，今天的企业了解个性化需求水平对于对抗互联网巨头如亚马逊的作用，唯一的可能是，如果你能理解你的客户要好得多，通过这种洞察力指导行动，提供更个性化的服务。这已经推动了分析需求的巨大增长 - 分析软件行业从2000年的110亿美元(72亿英镑)增长到2012年的350亿美元(230亿美英镑)。 　　5)文本分析将有什么样的影响？ 　　文本分析和与其对应的语音分析，将有一个巨大的影响。为了建立预测分析模型，信息必须提供数值的形式。自然语言处理使文本和语音能被转换成数字化的格式，可以在建模中使用。由于大多数人类的沟通以语言为基础，我们在模型中将有一个更大的数据集可以使用，使我们能够真正地破解新问题。例如，对人们在线搜索使用的术语进行分析，可以确定在特定区域中爆发的一种疾病。 　　6)将分析融入云计算基础设施，对产业意味着什么？ 　　云计算降低了进入分析的壁垒。和以往相比，更多公司将能够访问分析，而无需在软件工具和硬件上花费大量的金钱。首先，企业可以在云中使用建模工具。其次，企业可以访问为具体业务问题预先开发的分析服务，或迅速为他们的业务定制分析服务。第三，先进的云可以把业务与社区分析专家联系。第四，一些云创建一个“分析市场” - 一个由第三方开发的分析应用程序商店。 　　7)一方面，大数据被认为是解决许多紧迫的经济和社会挑战的解决方案。另一方面，隐私倡导者争论，一旦数据被收集，我们无法控制谁使用它，或是如何使用它。组织要如何克服这种消极的看法，或者有一个大数据的道德准则？ 　　并没有大数据的道德规范，但肯定的是，有谁能访问什么样的数据的管理，不仅在国家的水平，而且在行业层面的隐私法规。例如，一个人的财务数据，如信用局报告的数据，有非常严格的规定。所面临的挑战是，新的数据源在网上迅速来临，并有可能在某些情况下有一个巨大的鸿沟，数据变为可用的，法规却仍然滞后未到位。很重要的一点是，每一个使用数据的企业应当遵循隐私法规的精神，并考虑他们的使用是否会危及个人隐私。 　　8)当前是否有足够的分析专家可以满足爆炸的业务需求呢？ 　　没有，这是一个问题。在2011年和2012年之间，“数据科学家”的岗位需求有15,000%的跃升。人才的缺口是全球性的，在分析、统计和运筹学等方面训练有素的人需求旺盛。 　　不幸的是，全球性的需求意味着，我们所看到的一些人宣称他们自己是分析专家们，实际上未经这项工作需要的专业的训练。然而，大多数分析公司和在企业中的大多数分析团队，由知道求职者是否有必要的技能的分析师领导。理想的分析师需要有数学技能，解决问题的心态，和良好的沟通技巧。当然，还有一些有实力的大学在亚洲，他们的分析课程和毕业生是世界知名的，包括中国人民大学、对外经济贸易大、，印度统计研究所和印度理工学院。哈佛商业杂志称为数据科学家为“21世纪最性感的工作”，所以这是分析师的一个很好的时代!