大数据、元数据及人工智能的关系

人们需要更多地像管弦乐队那样进行协调一致的配合而并非像工厂那样运转。

　　为什么一家银行会收购一家人工智能软件公司?上周，加拿大多伦多道明银行(TDBank)宣布收购人工智能初创公司--Layer 6。(经全面信息披露称：道明银行使用我们的软件来管理企业数据和为其提供企业数据。)金融服务创业公司的迅速崛起正在给老牌机构带来压力，这些创业公司利用了全数字化基础设施的速度、规模和成本。最重要的是，这些创业公司正在用全自动数据和分析生态系统替代人力密集型流程，而该系统可为千禧一代提供其想要的具有竞争力的产品和按需服务。

　　在《第二次机器革命》一书中，作者布林约尔松(Brynolfson)和麦卡菲(McAfee)二人注意到人工智能的快速发展，并在几年前还认为这些技术要几十年后才能成为现实，包括自动驾驶汽车、音乐创作以及在“危险边缘(Jeopardy)”智力竞赛中顺利闯关。他们描述了这一切是如何实现的，这是因为数据经济所特有的三个属性：

　　数字化--数据是新经济的基础资源，可以在世界任何地方瞬间完成复制和传播。

　　指数增长--在过去的50年里，信息技术的发展每两年翻一番(摩尔定律)，现在我们可以将复杂的分析技术应用于我们所做的一切工作中。

　　进行组合--通过结合现有产品开发出新的数字产品，实现极致的个性化和最佳效果。

　　最重要的是，这些属性是可以相互共存的，可创造出类似于一个加速旋涡，以惊人的速度进行创新。

　　这种创新的良性循环依赖于数据、元数据和人工智能协同工作，以创建一个随时间推移而变得更加智能的系统。而令人惊讶的是，他们需要更多地像管弦乐队那样进行协调一致的配合而并非像工厂那样运转。

　　数据可提供事实依据，元数据可以讲述故事

　　在原始数据与形成智慧洞察力之间建立一条单向流动的管道，这是非常受欢迎的，也就是说，从原始数据源开始，经过数据精化和准备阶段，然后将数据提供给商业智能和机器学习算法，从而形成洞察力。但是这个“数据工厂”模式却忽略了人类智能的最大洞察力，即预测是依赖于将当前情况与大量记忆存储进行比较，然后我们行动的结果会存储到记忆库中。这并不是我们所预测的，而是我们的记忆给予我们宝贵的经验。

　　在计算机系统中，内存不仅仅是提供历史数据，而元数据会提供背景数据、组织数据和细微差别。这些数据来自哪里?谁在使用这些数据?这些数据代表什么?这些数据是否可信?这些数据可以提供事实依据，而元数据可以讲述故事。

　　事实上，我将预测模型和其他类型的机器学习技术视为元数据。它们是对数据之间关系进行简化总结，也就是说，“如果通过这种算法将这些变量的值结合起来，他们就会推断出具用某些置信度的其他可能变量值。”从而，数据被用来促进决策和产生洞察力，而元数据存储其学习到的内容(包括什么方案是可行的，何时可以使用，以及哪些是仍然无法确定的)，因此这个系统就变得更智能。我们的一个客户使用许多组模型作为数据源来创建一个“元模型”，以优化其所有模型。该递归方式进行深入运行，并不断地缓慢深入运行。

在这里我还是要推荐下我自己建的大数据学习交流qq裙：522189307 ， 裙 里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相关的），包括我自己整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取


　　实现持续加速

　　像蚂蚁金融这样的下一代金融公司正在把这个生态系统构建到每个业务流程中。蚂蚁金融公司(Ant Financial)是在阿里巴巴集团的支持下于2014年成立，该金融公司正在利用他们未涉足过的新机遇从头开始设计大型数字化业务。蚂蚁金融公司副总裁兼首席数据科学家漆远(Yuan Alan Qi)表示，我们公司的人工智能研究正在影响着公司的发展。“人工智能几乎应用于蚂蚁金融公司的每个业务中，”他说。“我们用人工智能来优化业务和开发新产品。”他们的创新包括使用新的数据流(如社交网络数据)来评估那些无银行账户人员的信誉度。仅仅这一市场的规模就相当庞大—涉及全球20亿人，而仅通过一个完全自动化的、数据和人工智能驱动的流程就可以合理解决这个问题，因为在该市场中有超过一半的人并没有多少传统银行账户资产。

　　向数据、元数据、人工智能生态系统的迈进还需要改变管理团队的组成。最近，蚂蚁金融公司邀请加州大学伯克利分校教授兼统计学和机器学习专家迈克尔·乔丹加入到其科学委员会。包括加拿大道明银行以及其他传统银行正在陷入困境。加拿大皇家银行(RBC)在多伦多和埃德蒙顿建立了人工智能实验室，并在蒙特利尔也建立一个人工智能实验室。去年1月，该银行聘请人工智能领域领军者理查德·S·萨顿(Richard S. Sutton)博士担任其学术顾问。

　　为了实现在第二次机器革命中持续加速发展，必须创建一个数据生态系统，以便在元数据中自动收集此虚拟循环。记录每个动作，存储其结果，历史记录将成为我们的老师。这不是一个独立事件，各个组织必须像管弦乐队一样协调一致，收集他们在内存中分享的经验和协作数据，并相互学习以达到最佳表现。

　　加拿大道明银行的创新、技术和共享服务部门负责人麦克·罗德斯(Michael Rhodes)表示：“过去几年来，我们在数据和数据基础架构方面进行了大量投资。”他们丰富的数据资产、敏捷数据平台和现在的人工智能引擎将为他们在洞察力和创新方面带来巨大飞跃，并将使其成为数据经济领域的强大竞争对手。