01云计算
云计算可以理解为一个系统硬件,一个拥有巨大计算能力、网络通信能力和存储能力的数据处理中心(IDC)。数据处理中心本质上是大量服务器的集合,数据处理中心的功能和规模是以服务器的数量来衡量的。
例如,2015年,北京有2000多万部移动电话,2000多万部固定电话,7800万台可上网的笔记本电脑和台式电脑,7800万台电视机顶盒。中国移动、中国电信等电信公司在北京处理上述所有信息的后台服务系统和数据处理中心有25万台服务器。上海差不多有20多万套。Google需要多少台服务器来处理遍布全球的互联网大数据,需要智能处理?据悉,谷歌有150万台服务器分布在全球七八个地方,还有100万台服务器正在建设中。
云计算有三个特点。第一,在数据信息的存储容量方面,服务器可以存储大量的数据。其次,就计算能力而言,每台服务器本质上都是一台电脑。与六七十年代世界上最大的计算机相比,当代计算机的计算能力更强,占用空间更小。再次,在通信能力上,服务器连接着千家万户的手机、笔记本电脑等移动终端,是互联网和物联网的通信枢纽,是网络通信能力的具体体现。
可以看出,数据处理中心和云计算的硬件功能具有超大规模的通信能力、计算能力和存储能力,赋予了它们虚拟化、灵活性和可扩展性的特点。服务提供商以IDC为硬件,私有云、公有云为客服接口,向客户提供数据服务。就像居民通过自来水管从自备水厂买水一样,各类客户利用IDC资源购买所需的计算、存储、通信量,并根据量结算费用。当资源闲置时,也可以被其他客户使用,使云计算架构中的资源得到有效、全面、灵活的利用,既可以同时服务于千家万户,又可以避免大量服务器闲置。
大数据
大数据的大小是静态的、动态的、运营后叠加的。数据量大主要有三点。首先是数据量大。例如,大英博物馆的藏品都可以以数字形式存储。第二,实时动态变量大。每一秒、每一分、每一小时、每一天,数据都在变化。世界上有70亿人拥有大约60亿或70亿部手机。这些手机每天都在打电话、计数、支付和搜索。所有的动态数据每天都在不断叠加、丰富、增加。“量变会导致质变”,就像60张静态照片的积累可以形成一个一秒钟的实时电影,大量静态数据的存储也会不断更新积累形成新的信息。第三,数据叠加处理后的变量大。人们根据自己的主观需要,对动态和静态数据进行加工、分析和综合挖掘。在挖掘和计算的过程中,会产生经过校验计算后的新数据。这种计算数据也是数据库中不断积累的数据。
总之,所谓大数据,就是静态数据、动态数据以及经过人脑和计算机处理计算后产生的数据,共同构成了大数据的数据源。
要将大数据转化为有用的信息和知识,需要消除各种随机性和不确定性。电脑里的数据只是一串英文字母、字符或者阿拉伯数字,可能是杂乱无章的。一般来说,数据应用有三个步骤:数据-信息、信息-知识和知识-智慧。
第一步,把数据变成信息。任何结构化、半结构化或非结构化的数据,本身都是无用的、无组织的,但经过数据分析去除随机干扰后,就变成了有针对性的信息。改变数据信息过程中使用的工具是过滤器和关键字,过滤后提取相关信息。
第二,信息中蕴含的规律需要归纳成知识。知识改变命运,但知识并不简单等同于信息。如果不能从信息中提炼知识,每天在手机电脑上看再多的信息也没用。
第三步,拥有知识后应用知识。善于应用知识解决问题就是智慧。信息综合的规律就是信息转化为知识的过程。有些人掌握了知识,把发生过的事情讲得清清楚楚,但做到的时候却傻眼了,这是缺乏智慧的表现。所谓情报,其实就是在信息中掌握决策意图、决策背景等相关信息,最终能够在“拍板门”的时候做出决定。
而信息和知识是辅助决策系统,帮助人做出决策,人根据机器做出的决策去执行,这就是智能化的过程。所谓大数据包含人工智能,即把混沌的数据提取成信息,把信息归纳成知识,通过知识的合成做出判断。这是大数据智能的三个环节。
人工智能
一、人工智能如何让数据智能化?大数据之所以能智能,能决策,能辅助决策,是因为人工智能或计算机操作的过程有四个步骤:第一,采集,抓取和推送,第二,传输,第三,存储,第四,分析,处理,检索和挖掘。第一步,在大数据中不断筛选出有一定目的的信息,即采集、抓取、推送。第二步和第三步是传输和存储,内涵不言而喻。大数据的大小不是抽屉里静态闲置的大数据,而是云端动态存储传输的大数据。第四步是分析、处理、检索和挖掘,关键技术在于算法。算法是帮助人类在非常复杂庞大的数据空间中快速找到目标、路径和方法的工具。
第二,人工智能依靠大数据产生分析、处理、检索和挖掘的智能。关键在于大数据、算法和高速计算处理能力。没有数据和大数据的长期积累和反复验证,智能管理是没有用的;有了算法和大数据,没有高速的计算能力是没有用的。算法是人工智能的灵魂。它需要不断地被“喂养”,反复,用大数据训练,才能成为“光环”。从这个意义上说,如果没有大数据的算法,就没有大数据处理的灵魂和真正意义。
但如果算法没有大数据来“反哺”,就算数学家想出好的算法,智能也未必有效。以柯洁和阿尔法围棋的人机大战为例,阿尔法围棋中的算法来源于人类的各种棋分和聪明棋手的下棋步骤。人工工程师将所有这些数据输入谷歌的算法,运行了数万次和数十万次。因为网上有深度学习模块,你每次运行都会更聪明。这个过程是一个不断重复,不断学习的过程。
总而言之,人工智能和大数据都和这些元素有关。当它转化为真正的人工智能时,要依靠大数据、算法和高速度。人类工具使用的发展本质上是一个计算能力不断提升的过程。
在农业社会,中国人用自己的智慧发明了算盘。算盘一秒钟搅两三颗珠子,一秒钟数两三次。在工业社会早期,电被广泛使用。20世纪20年代,以继电器为基本器件的计算机问世。中继电脑的震动频率很高,每秒震动几十次,比算盘快10~20倍。20世纪40年代,第二次世界大战期间,电子管问世。子管计算机每秒可以计算上万次,是中继计算机的1 000倍,运算速度非常快。20世纪60年代,半导体问世,以三极管和二极管为元件的计算机每秒可以运算几十万到几百万次。上世纪80年代,半导体芯片问世,集成电路计算机的运算速度达到每秒数千万甚至上亿次。中国超算10年前达到1亿次,2015年左右达到10亿次。最新的超级计算机系统已经启动超过100亿次。但是,超级计算机不是一个芯片或者一台计算机的运算速度,而是由几千台计算机和几千台服务器组成的矩阵和算法。超级计算机每秒可以做10亿次、100亿次,单个芯片每秒做不了10亿次。
为什么我们非常重视一个芯片每秒能计算10亿次?在2012年出版的《奇点临近》一书中提到,大约二三十年后,人造机器的计算速度将超过人脑。作者提出,人脑的运算速度是每秒10亿次。当计算机每秒计算超过十亿次时,它的计算速度将超过人脑,拐点就来了。大家讨论人工智能最终能否超越人类智能,人是否会被人工智能囚禁,众说纷纭。从科学的角度来看,人工智能不断增强的计算能力是人类使用工具的智慧不断发展的果实。强大的计算能力,大数据,算法环环相扣,超越了几千小时,几万小时,几十万小时,让人等不及,让大智慧逐渐发展。
再次,将云计算、大数据、人工智能的软件嵌入到云计算厂商提供的数据处理中心的硬件中,形成三个面向客户的在线服务。云计算是一个硬件,是一个具有通信能力、计算能力、存储能力的基础设施。除了存储大数据,云还提供各种算法作为服务软件。大数据公司在收集、组织和管理大量数据的基础上,往往利用人工智能算法为客户提供有效的数据服务,形成大数据服务平台。所谓的人工智能公司,往往依托大数据平台提供算法服务,算法软件也是服务的一种。它们共同构成了“数字化”的三大功能:第一是IaaS,即基础设施的服务;第二个是PaaS,是使用的大数据即服务的平台;第三是SaaS,计算软件也是一种服务。这三个短语代表了“数字”三兄弟,三种功能不同的软件。
当然,“数字化”也离不开互联网、移动互联网、物联网。总之,互联网时代是PC(个人电脑)时代,移动互联网时代是手机和笔记本电脑时代,物联网时代是万物时代。
区块链
区块链本质上是一个去中心化的分布式存储数据库。它打破集中式机构授予的信用,通过数据协议、加密算法和共识机制,逐点传递给本块中的所有其他节点,从而建立一个去中心化的、不可改变的、安全的、可验证的数据库,建立新的信任体系。这个信任体系表现出五个特点。一是开放性。区块链的技术基础是开源。除了每个交易方的私人信息被加密,区块链的数据对所有人开放。任何人都可以通过公共接口查询区块链上的数据并开发相关的应用程序。整个系统信息高度透明。第二是防篡改。任何人想要改变区块链中的信息,都必须攻击或篡改链中51%节点的数据库来改变数据,这是非常困难的。第三是匿名。由于区块链中节点之间的数据交换必须遵循固定的、可预测的算法,因此区块链中的节点不需要相互认识或实名认证,而只需要基于地址和算法的正确性来相互识别和交换数据。第四是去中心化。因为区块链的所有节点都是记账的,不需要中心记账,所以不需要中心。五是可追溯性。区块链是一个去中心化的数据库,每个节点的数据(或行为)都被别人记录下来,所以区块链上每个人的数据(或行为)都可以被追踪和还原。
|根据目前的应用场景,区块链可以分为三类。
一个是公链。主要是指世界上任何人都可以阅读和发送信息(或交易)并且信息(或交易)可以得到有效确认,也可以参与其中的“共识过程区块链”。
二、私有链,又称专有链。它是非公有链。通常禁止擅自加入(成为节点)。而且私有链中每个节点的写权限都是严格控制的,读权限可以根据需要有选择地对外开放。
第三是联盟链。联盟是指一个由多个机构管理的区块链,每个组织或机构管理一个或多个节点,其数据只能由系统中不同的机构读写和发送。
|就目前而言,区块链涉及四个技术领域。
首先是分布式账本技术。人类社会发明了四种会计技术。早在原始社会,人类就发明了农业社会的“打结记账”、“记账”,工业社会的“复式记账”。复式记账法的资产负债表使账目一目了然,适应了工业社会的企业管理,但无法避免管理者和会计人员可能从原始数据来源上弄虚作假的可能性。分布式账本是一种在网络成员之间共享、复制和同步的数据库。分布式账本共同记录参与者之间的数据行为(如交易、资产交换行为等。).该技术的防篡改、可追溯特性从源头上杜绝了欺诈的可能,共享机制减少了“对账不同于账本”所带来的时间和成本。
第二,非对称加密技术。存储在区块链上的交易信息是公开的,但每个账户的身份信息都是高度加密的。单一账号只有在拥有者授权的情况下才能访问,从而保证数据安全和个人隐私。
三是共识机制技术。开发者首先要考虑用什么样的技术可以让更多的人对一个规则达成共识,同时在短时间内可以确认多少特殊节点来验证数据行为,从而完成一笔交易。一般来说,区块链技术需要多个利益不相关的节点来确认一笔交易。如果确认了,就认为达成了共识,全网也可以就此达成共识,从而完成一笔交易。
第四是智能合约技术。基于大量可靠且不可更改的数据,可以自动执行一些预定义的规则和条款,比如定期、定息、定额的借贷行为。
区块链技术属于信息技术和会计技术。从应用的角度来看,区块链可以解决信息不对称问题,实现多主体间的合作信任和一致行动。无论是公链、私链还是联盟链,其首要目标都是保证信息数据的安全性、有效性和不可篡改性。
|目前,区块链技术在社会上的应用场景主要包括以下几个方面。
一个是金融。金融已经数字化,因此这是最受区块链应用程序欢迎的领域。目前,区块链科技已经在国际汇兑、信用证、股权登记、股票交易等领域进行了尝试。区块链在金融领域具有巨大的潜在应用价值。人们在探索,区块链技术在金融领域的应用,能否“省去中介环节”,实现点对点对接,在降低交易成本的同时,更快速地完成交易。例如,使用区块链和信任机系统的分布式架构可以简化金融机构的电汇流程,尤其是涉及多个金融机构的复杂交易。
第二是供应链和物流。区块链在物联网、物流单证管理领域也有独特优势。通过区块链,企业可以降低物流单证管理成本,对货物的生产、仓储、运输、到达等全过程进行监控和追溯,提高物流链管理效率。此外,区块链也被认为在供应链管理领域拥有丰富的应用场景。例如,上下游之间的直接交易可以增加透明度,提高信任度和效率。如果区块链纳入供应链金融,将大大提高金融效率,降低金融机构和企业的信贷成本。
第三是公共服务。区块链在公共服务、能源、交通等与人民生活息息相关的信息领域也有丰富的应用场景。比如,目前由于信用缺失,中心管理者有时无法确定公众反映的需要解决的问题是个别问题还是共性问题。然而,使用区块链技术后,这个问题的正确答案可能会在瞬间找到。
第四,认证公证。区块链以其不可改变的特性,可以为经济社会发展中的“存款证明”问题提供解决方案,为实现社会征信提供全新的思路。有很大的市场空间。比如最近腾讯推出的“区块链电子发票”,成为区块链技术应用的“爆款”。
第五,公益慈善。区块链上分发和存储的数据的不可篡改性自然适用于社会福利场景。公益过程中的相关信息,如捐赠物品、募捐详情、资金流向、受助者反馈等。,可以存放在特定的区块链,透明公开,通过公示达到社会监督的目的。
第六,数字版权发展。区块链技术可以对作品进行认证,证明文字、视频、音频等作品的存在,保证所有权的真实性和唯一性。作品在区块链确认后,后续交易将被实时记录并分发,实现数字版权的全生命周期管理,也为侵权的司法取证提供技术支持。
七是保险。在保险方面,保险机构负责资金筹集、投资、理赔等流程。,往往管理运营成本高,但区块链技术可能会提高效率,降低成本;特别是在理赔方面,如果通过区块链实现“智能合同”,不需要申请人申请,也不需要保险公司的批准。只要投保人的行为触发了所需的理赔条件,就可以实现即时自动赔付。
八是信息和数据共享。目前,我国各级政府的公共信息资源平台正在大力整合,目的是有效实现各信息系统间的信息共享,节省存储空间,提高使用效率。在实现技术上,如果能够利用区块链的分布式特点,不仅可以突破监管部门之间的“数据壁垒”,打破“数据孤岛”,实现信息数据共享,还可以提高公众获取政府开放资源的效率,减少资金浪费。
总的来说,区块链通过创造信任来创造价值,使分散程度高、管理链条长、环节多的多方有效合作,从而提高协作效率,降低沟通成本。