【信息系统项目管理师】第二章 信息技术发展 考试重点

2.1信息技术及其发展

2.1.1计算机软硬件

计算机硬件（Computer Hardware）是指计算机系统中由电子、机械和光电元件等组成的各种物理装置的总称。这些物理装置按系统结构的要求构成一个有机整体，为计算机软件运行提供物质基础。

计算机软件（Computer Software）是指计算机系统中的程序及其文档，程序是计算任务的处理对象和处理规则的描述；文档是为了便于了解程序所需的阐明性资料。程序必须安装入机器内部才能工作，文档一般是给人看的，不一定安装入机器。

硬件和软件互相依存。硬件是软件赖以工作的物质基础，软件的正常工作是硬件发挥作用的重要途径。计算机系统必须要配备完善的软件系统才能正常工作，从而充分发挥其硬件的各种功能。硬件和软件协同发展，计算机软件随硬件技术的迅速发展而发展，而软件的不断发展与完善又促进硬件的更新，两者密切交织发展，缺一不可。随着计算机技术的发展，在许多情况下，计算机的某些功能既可以由硬件实现，也可以由软件来实现。因此硬件与软件在一定意义上来说没有绝对严格的界线。

2.1.2计算机网络

在计算机领域中，网络就是用物理链路将各个孤立的工作站或主机相连在一起，组成数据链路，从而达到资源共享和通信的目的。凡将地理位置不同，并具有独立功能的多个计算机系统通过通信设备和线路连接起来，且以功能完善的网络软件(网络协议、信息交换方式及网络操作系统等）实现网络资源共享的系统，均可称为计算机网络。从网络的作用范围可将网络类别划分为：

①个人局域网（Personal Area Network,PAN）

②局域网（Local Area Network，LAN）

③城域网（Metropolitan Area Network，MAN）

④广域网（Wide Area Network，WAN）

⑤公用网（PublicNetwork）

⑥专用网（Private Network）

1.网络标准协议

网络协议是为计算机网络中进行数据交换而建立的规则、标准或约定的集合。网络协议由三个要素组成，分别是语义、语法和时序。语义是解释控制信息每个部分的含义，它规定了需要发出何种控制信息，完成的动作以及做出什么样的响应；语法是用户数据与控制信息的结构与格式，以及数据出现的顺序；时序是对事件发生顺序的详细说明。人们形象地将这三个要素描述为：语义表示要做什么，语法表示要怎么做，时序表示做的顺序。

国际标准化组织（ISO）和国际电报电话咨询委员会（CCITT）联合制定的开放系统互连参考模型（OpenSystemInterconnect，OSI），其目的是为异种计算机互连提供一个共同的基础和标准框架，并为保持相关标准的一致性和兼容性提供共同的参考。OSI采用了分层的结构化技术，从下到上共分物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。

广域网协议是在OSI参考模型的最下面三层操作，定义了在不同的广域网介质上的通信。

广域网协议主要包括：

PPP点对点协议

ISDN综合业务数字网

XDSL（DSL数字用户线路的统称：HDSL、SDSL、MVL、ADSL)

DDN数字专线

×.25、FR帧中继

ATM异步传输模式

IEEE802规范定义了网卡如何访问传输介质（如光缆、双绞线、无线等），以及如何在传输介质上传输数据的方法，还定义了传输信息的网络设备之间连接的建立、维护和拆除的途径。遵循IEEE802标准的产品包括网卡、桥接器、路由器以及其他一些用来建立局域网络的组件。

IEEE802规范包括：

802.1（802协议概论）

802.2（逻辑链路控制层LLC协议）

802.3（以太网的CSMA/CD载波监听多路访问/冲突检测协议）

802.4(令牌总线Token Bus协议）

802.5（令牌环Token Ring协议）

802.6（城域网MAN协议）

802.7（FDDI宽带技术协议）

802.8（光纤技术协议）

802.9(局域网上的语音/数据集成规范)

802.10（局域网安全互操作标准）

802.11（无线局域网WLAN标准协议）

TCP/IP协议

Internet是一个包括成千上万相互协作的组织和网络的集合体。TCP/IP是Internet的核心。TCP/IP在一定程度上参考了OSI，它将OSI的七层简化为四层：

①应用层、表示层、会话层三个层次提供的服务相差不是很大，所以在TCP/IP中，它们被合并为应用层一个层次。

②由于传输层和网络层在网络协议中的地位十分重要，所以在TCP/IP中它们被作为独立的两个层次。

③因为数据链路层和物理层的内容相差不多，所以在TCP/IP中它们被归并在网络接口层一个层次里。

TCP/IP协议——应用层协议

FTP（File Transfer Protocol,文件传输协议）

TFTP（Trivial File Transfer Protocol,简单文件传输协议）

HTTP(Hypertext Transfer Protocol,超文本传输协议）

SMTP（Simple Mail Transfer Protocol,简单邮件传输协议）

DHCP(Dynamic Host Configuration Protocol,动态主机配置协议）

Telnet（远程登录协议）

DNS（Domain Name System,域名系统）

SNMP(Simple Network Management Protocol,简单网络管理协议）

TCP/IP协议——传输层协议

·主要有两个传输协议，·(User Datagram Protocol,用户数据报协议），这些协议负责提供流量控制、错误校验和排序服务。

TCP/IP协议——网络层协议

IP

ICMP（Internet Control Message Protocol,网际控制报文协议）

IGMP（Internet Group Management Protocol,网际组管理协议）

ARP（Address Resolution Protocol,地址解析协议）

RARP（Reverse Address Resolution Protocol,反向地址解析协议）
这些协议处理信息的路由和主机地址解析。

2.软件定义网络

软件定义网络（Software Defined Network，SDN）是一种新型网络创新架构，是网络虚拟化的一种实现方式，它可通过软件编程的形式定义和控制网络，其通过将网络设备的控制面与数据面分离开来，从而实现了网络流量的灵活控制，使网络变得更加智能，为核心网络及应用的创新提供了良好的平台。

SDN的整体架构由下到上（由南到北）分为数据平面、控制平面和应用平面，具体如图2-1所示。其中，数据平面由交换机等网络通用硬件组成，各个网络设备之间通过不同规则形成的SDN数据通路连接；控制平面包含了逻辑上为中心的SDN控制器，它掌握着全局网络信息，负责各种转发规则的控制；应用平面包含着各种基于SDN的网络应用，用户无须关心底层细节就可以编程、部署新应用。

3.第五代移动通信技术

第五代移动通信技术（5th Generation Mobile Communication Technology,5G)是具有高速率、低时延和大连接特点的新一代移动通信技术。

国际电信联盟（ITU）定义了5G的三大类应用场景：

增强移动宽带（eMBB）主要面向移动互联网流量爆炸式增长，为移动互联网用户提供更加极致的应用体验；

超高可靠低时延通信（uRLLC）主要面向工业控制、远程医疗、自动驾驶等对时延和可靠性具有极高要求的垂直行业应用需求；

海量机器类通信（mMTC）主要面向智慧城市、智能家居、环境监测等以传感和数据采集为目标的应用需求。

2.1.3存储和数据库

1.存储技术

存储虚拟化

存储虚拟化（Storage Virtualization）是“云存储”的核心技术之一，它把来自一个或多个网络的存储资源整合起来，向用户提供一个抽象的逻辑视图，用户可以通过这个视图中的统一逻辑接口来访问被整合的存储资源。用户在访问数据时并不知道真实的物理位置。它带给人们直接的好处是提高了存储利用率，降低了存储成本，简化了大型、复杂、异构的存储环境的管理工作。

存储虚拟化使存储设备能够转换为逻辑数据存储。虚拟机作为一组文件存储在数据存储的目录中。数据存储是类似于文件系统的逻辑容器。它隐藏了每个存储设备的特性，形成一个统的模型，为虚拟机提供磁盘。存储虚拟化技术帮助系统管理虚拟基础架构存储资源，提高资源利用率和灵活性，提高应用正常运行时间。

绿色存储

绿色存储技术的核心是设计运行温度更低的处理器和更有效率的系统，生产更低能耗的存储系统或组件，降低产品所产生的电子碳化合物，其最终目的是提高所有网络存储设备的能源效率，用最少的存储容量来满足业务需求，从而消耗最低的能源。以绿色理念为指导的存储系统最终是存储容量、性能、能耗三者的平衡。

2.数据结构模型

层次模型：每个节点都只有一个父节点，而且子节点的数量没有限制。

现实世界中：公司的组织架构，是层次模型。

银行账户：主账户，子账户之间的关系也是层次模型。

网状模型是类似于层次模型的结构，但它允许任意两个实体之间建立多种关系，而不是只有父/子关系。每个实体都可以有多个父/子记录。

最简单的网状关系为两者“多对多”的关系：如“学生”和“课程”，“用户”和“标签”等。另外，现实中的人际关系网，自来水管道网，电网都是网状模型。

3.常用数据库类型

数据库根据存储方式可以分为关系型数据库（SQL）和非关系型数据库（Not Only SQL=NoSQL）。
关系型数据库：是在一个给定的应用领域中，所有实体及实体之间联系的集合。关系型数据库支持事务的ACID原则，即原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability），这四种原则保证在事务过程当中数据的正确性。

非关系型数据库：是分布式的、非关系型的、不保证遵循ACID原则的数据存储系统。NoSQL数据存储不需要固定的表结构，通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。

常见非关系型数据库：

键值数据库：类似传统语言中使用的哈希表。可以通过key来添加、查询或者删除数据库，因为使用key主键访问，会获得很高的性能及扩展性。Key/Nalue模型对于信息系统来说，其优势在于简单、易部署、高并发。

列存储(Column-oriented）数据库：将数据存储在列族中，一个列族存储经常被一起查询，比如人们经常会查询某个人的姓名和年龄，而不是薪资。这种情况下姓名和年龄会被放到一个列族中，薪资会被放到另一个列族中。这种数据库通常用来应对分布式存储海量数据。

面向文档（Document-Oriented）数据库：文档型数据库可以看作是键值数据库的升级版，允许之间嵌套键值，而且文档型数据库比键值数据库的查询效率更高。面向文档数据库会将数据以文档形式存储。

图形数据库：允许人们将数据以图的方式存储。实体会作为顶点，而实体之间的关系则会作为边。比如有三个实体：Steve Jobs、Apple和Next，则会有两个Founded by的边将Apple和Next连接到Steve Jobs。

4.数据仓库

传统的数据库系统中缺乏决策分析所需的大量历史数据信息，因为传统的数据库一般只保留当前或近期的数据信息。为了满足中高层管理人员预测、决策分析的需要，在传统数据库的基础上产生了能够满足预测、决策分析需要的数据环境——数据仓库。数据仓库相关的基础概念包括：

数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合，用于支持管理决策。体系结构如下：

OLAP的英文全称是“Online Analytical Processing”，中文翻译为：联机分析处理。

2.1.4信息安全

常见的信息安全问题主要表现为：计算机病毒泛滥、恶意软件的入侵、黑客攻击、利用计算机犯罪、网络有害信息泛滥、个人隐私泄露等。随着物联网、云计算、人工智能、大数据等新一代信息技术的广泛应用，信息安全也面临着新的问题和挑战。

1.信息安全基础

信息安全强调信息（数据）本身的安全属性，主要包括以下内容：

①保密性（Confidentiality）：信息不被未授权者知晓的属性。

②完整性（Integrity）：信息是正确的、真实的、未被篡改的、完整无缺的属性。

③可用性（Availability）：信息可以随时正常使用的属性。

信息必须依赖其存储、传输、处理及应用的载体（媒介）而存在，因此针对信息系统，安全可以划分为四个层次：设备安全、数据安全、内容安全、行为安全。

信息系统一般由计算机系统、网络系统、操作系统、数据库系统和应用系统组成。与此对应，信息系统安全主要包括计算机设备安全、网络安全、操作系统安全、数据库系统安全和应用系统安全等。

网络安全技术主要包括：防火墙、入侵检测与防护、VPN、安全扫描、网络蜜罐技术、用户和实体行为分析技术等。

2.加密解密

加密技术包括两个元素：算法和密钥。

密钥加密技术的密码体制分为对称密钥体制和非对称密钥体制两种。

对称加密（私人密钥加密）：以DES（Data Encryption Standard)算法为典型代表。

非对称加密（公开密钥加密）：以RSA（Rivest Shamir Adleman)算法为代表。

对称加密的加密密钥和解密密钥相同；

非对称加密的加密密钥和解密密钥不同，加密密钥可以公开而解密密钥需要保密。

3.安全行为分析技术

传统安全产品、技术、方案基本上都是基于已知特征进行规则匹配来进行分析和检测。基于特征、规则和人工分析，以“特征”为核心的检测分析存在安全可见性盲区，有滞后效应、无力检测未知攻击、容易被绕过，以及难以适应攻防对抗的网络现实和快速变化的组织环境、外部威胁等问题。另一方面，虽然大多数的攻击可能来自组织以外，但最严重的损害往往是由内部人员造成的，只有管理好内部威胁，才能保证信息和网络安全。

用户和实体行为分析（User and Entity Behavior Analytics，UEBA）提供了用户画像及基于各种分析方法的异常检测，结合基本分析方法（利用签名的规则、模式匹配、简单统计、阈值等）和高级分析方法（监督和无监督的机器学习等），用打包分析来评估用户和其他实体（主机、应用程序、网络、数据库等），发现与用户或实体标准画像或行为异常的活动所相关的潜在事件。UEBA以用户和实体为对象，利用大数据，结合规则以及机器学习模型，并通过定义此类基线，对用户和实体行为进行分析和异常检测，尽可能快速地感知内部用户和实体的可疑或非法行为。

4.网络安全态势感知

网络安全态势感知（Network Security Situation Awareness）是在大规模网络环境中，对能够引起网络态势发生变化的安全要素进行获取、理解、显示，并据此预测未来的网络安全发展趋势。安全态势感知不仅是一种安全技术，也是一种新兴的安全概念。它是一种基于环境的、动态的、整体的洞悉安全风险的能力。安全态势感知的前提是安全大数据，其在安全大数据的基础上进行数据整合、特征提取等，然后应用一系列态势评估算法生成网络的整体态势状况，应用态势预测算法预测态势的发展状况，并使用数据可视化技术，将态势状况和预测情况展示给安全人员，方便安全人员直观便捷地了解网络当前状态及预期的风险。网络安全态势感知的关键技术主要包括：海量多元异构数据的汇聚融合技术、面向多类型的网络安全威胁评估技术、网络安全态势评估与决策支撑技术、网络安全态势可视化等。

2.1.5信息技术的发展

2.2新一代信息技术及应用

信息技术在智能化、系统化、微型化、云端化的基础上不断融合创新，促进了物联网、云计 算、大数据、区块链、人工智能、虚拟现实等新一代信息技术的诞生。新一代信息技术与信息
资源充分开发利用形成的新模式、新业态等，是信息化发展的主要趋势，也是信息系统集成领域
未来的重要业务范畴。

2.2.1物联网

物联网（The lnternet of Things)是指通过信息传感设备，按约定的协议将任何物品与互联网相连接，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的网络。

物联网主要解决物品与物品（Thing to Thing,T2T）、人与物品（Human to Thing,H2T）、人与人（Human to Human，H2H）之间的互连。

另外，许多学者在讨论物联网时经常会引入M2M的概念：可以解释为人与人（Man to Man)、人与机器(Man to Machine)或机器与机器(Machine toMachine)。

1.技术基础

物联网架构可分为三层：

感知层：由各种传感器构成，包括温度传感器，二维码标签、RFID标签和读写器，摄像头，GPS等感知终端。感知层是物联网识别物体、采集信息的来源。

网络层：由各种网络，包括互联网、广电网、网络管理系统和云计算平台等组成，是整个物联网的中枢，负责传递和处理感知层获取的信息。

应用层：是物联网和用户的接口，它与行业需求结合以实现物联网的智能应用。

2.关键技术

传感器是一种检测装置，它能“感受”到被测量的信息，并能将检测到的信息按一定规律变换成为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求。

射频识别技术（RFID）是物联网中使用的一种传感器技术，可通过无线电信号识别特定目标并读写相关数据，而无须识别系统与特定目标之间建立机械或光学接触。

微机电系统（MEMS）是由微传感器、微执行器、信号处理和控制电路、通信接口和电源等部件组成的一体化的微型器件系统。其目标是把信息的获取、处理和执行集成在一起，组成具有多功能的微型系统，集成于大尺寸系统中，从而大幅地提高系统的自动化、智能化和可靠性水平。MEMS赋予了普通物体新的“生命”，它们有了属于自己的数据传输通路、存储功能、操作系统和专门的应用程序，从而形成一个庞大的传感网，使物联网能够通过物品来实现对人的监控与保护。

物联网应用系统框架是一种以机器终端智能交互为核心的、网络化的应用与服务。它将使对象实现智能化的控制，涉及5个重要的技术部分：机器、传感器硬件、通信网络、中间件和应用。该框架基于云计算平台和智能网络，可以依据传感器网络获取的数据进行决策，改变对象的行为控制和反馈。

3.应用和发展

物联网的应用领域涉及人们工作与生活的方方面面。在工业、农业、环境、交通、物流、安保等基础设施领域的应用，有效地推动了这些方面的智能化发展，使得有限的资源能更加合理地使用分配，从而提高了行业效率、效益；在家居、医疗健康、教育、金融与服务业、旅游业等与生活息息相关领域的应用，通过与社会科学和社会治理的充分融合创新，实现了服务范围、服务方式和服务质量等方面的巨大变革和进步。

2.2.2云计算

云计算(Cloud Computing)是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后通过由多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。

在云计算早期，就是简单的分布式计算，进行任务分发并对计算结果进行合并。

当前的云计算已经不单单是一种分布式计算，而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗余和虚拟化等计算机技术混合演进并跃升的结果。

1.技术基础

云计算是一种基于互联网的计算方式，通过这种方式将网络上配置为共享的软件资源、计算资源、存储资源和信息资源，按需求提供给网上的终端设备和终端用户。云计算也可以理解为向用户屏蔽底层差异的分布式处理架构。在云计算环境中，用户与实际服务提供的计算资源相分离，云端集合了大量计算设备和资源。

云计算实现了“快速、按需、弹性”的服务，用户可以随时通过宽带网络接入“云”并获得服务，按照实际需求获取或释放资源，根据需求对资源进行动态扩展。

云计算服务分层（掌握）

基础设施即服务（lnfrastructure as a Service,laaS)向用户提供计算机能力、存储空间等基础设施方面的服务。这种服务模式需要较大的基础设施投入和长期运营管理经验，其单纯出租资源的盈利能力有限。

平台即服务（Platform as a Service，PaaS)向用户提供虚拟的操作系统、数据库管理系统、Web应用等平台化的服务。PaaS服务的重点不在于直接的经济效益，而更注重构建和形成紧密的产业生态。

软件即服务（Software as a Service,SaaS)向用户提供应用软件（如CRM、办公软件等）、组件、工作流等虚拟化软件的服务，SaaS一般采用Web技术和SOA架构，通过Internet向用户提供多租户、可定制的应用能力，大大缩短了软件产业的渠道链条，减少了软件升级、定制和运行维护的复杂程度，并使软件提供商从软件产品的生产者转变为应用服务的运营者。

2.关键技术

虚拟化是一个广义术语，在计算机领域通常是指计算元件在虚拟的基础上而不是真实的基础上运行。虚拟化技术可以扩大硬件的容量，简化软件的重新配置过程。CPU的虚拟化技术可以单CPU模拟多CPU并行，允许一个平台同时运行多个操作系统，并且应用程序都可以在相互独立的空间内运行而互不影响，从而显著提高计算机的工作效率。

虚拟化技术与多任务以及超线程技术是完全不同的。多任务是指在一个操作系统中多个程序同时并行运行，而在虚拟化技术中，则可以同时运行多个操作系统，而且每一个操作系统中都有多个程序运行，每一个操作系统都运行在一个虚拟的CPU或者虚拟主机上。超线程技术只是单CPU模拟双CPU来平衡程序运行性能，这两个模拟出来的CPU是不能分离的，只能协同工作。

容器（Container)技术是一种全新意义上的虚拟化技术，属于操作系统虚拟化的范畴，也就是由操作系统提供虚拟化的支持。目前最受欢迎的容器环境是Docker。容器技术将单个操作系统的资源划分到孤立的组中，以便更好地在孤立的组之间平衡有冲突的资源使用需求。例如：用户创建一个应用，传统方式需要虚拟机，但虚拟机本身就占用了更多的系统资源。又如，应用需要在开发和运维之间转移、协作，当开发和运维的操作环境不同时，也会影响结果。使用容器技术可将应用隔离在一个独立的运行环境中，该独立境称之为容器，可以减少运行程序带来的额外消耗，并可以在几乎任何地方以相同的方式运行。

云存储技术

云存储技术是基于传统媒体系统发展而来的一种全新信息存储管理方式，该方式整合应用了计算机系统的软硬件优势，可较为快速、高效地对海量数据进行在线处理，通过多种云技术平台的应用，实现了数据的深度挖掘和安全管理。

分布式文件系统（分片，冗余）作为云存储技术中的重要组成部分，在维持兼容性的基础上，对系统复制和容错功能进行提升。同时，通过云集群管理实现云存储的可拓展性，借助模块之间的合理搭配，完成解决方案拟定解决的网络存储问题、联合存储问题、多节点存储问题、备份处理、负载均衡等。云储存的实现过程中，结合分布式的文件结构，在硬件支撑的基础上，对硬件运行环境进行优化，确保数据传输的完整性和容错性；结合成本低廉的硬件的扩展，大大降低了存储的成本。

在分布式文件系统的支撑下，实现了通过云存储资源的拓展，辅助高吞吐量数据的分析，使得用户可以更加充分、全面地进行数据管理，实现用户上传信息的优化管理，满足了不同平台信息获取需要。另一方面，通过加强对云存储技术中相关数据的安全防护，实现信息存储过程中的病毒防护和安全监控，确保信息存储应用的安全性。

多租户和访问控制管理

访问控制管理是云计算应用的核心问题之一。云计算访问控制的研究主要集中在：

①云计算访问控制模型：按照特定的访问策略来描述安全系统，建立安全模型的一种方法。

常见的有基于任务的访问控制模型、基于属性模型、基于UCON模型、基于BLP模型的云计算访问控制等。

②基于ABE密码机制的云计算访问控制：基于包括4个参与方数据提供者、可信第三方授权中心、云存储服务器和用户。

③云中多租户及虚拟化访问控制：是云计算的典型特征。对多租户访问控制的研究主要集中在对多租户的隔离和虚拟机的访问控制方面。

云安全技术

云安全研究主要包含两个方面的内容：

一是云计算技术本身的安全保护工作，涉及相应的数据完整性及可用性、隐私保护性以及服务可用性等方面的内容；

二是借助于云服务的方式来保障客户端用户的安全防护需求，通过云计算技术来实现互联网安全，涉及基于云计算的病毒防治、木马检测技术等。在云安全技术的研究方面，主要包含：云计算安全性、保障云基础设施的安全性、安全技术服务。

云安全技术要从开放性、安全保障、体系结构的角度考虑：

①云安全系统具有一定的开放性，要保障开放环境下可信认证；

②在云安全系统方面，要积极采用先进的网络技术和病毒防护技术；

③在云安全体系构建过程中，要保证其稳定性，以满足海量数据动态变化的需求。

应用和发展

云计算经历十余年的发展，已逐步进入成熟期，在众多领域正发挥着越来越大的作用，“上云”将成为各类组织加快数字化转型、鼓励技术创新和促进业务增长的第一选择，甚至是必备的前提条件。

• 云计算将进一步成为创新技术和最佳工程实践的重要载体和试验场。
• 云计算将顺应产业互联网大潮，下沉行业场景，向垂直化、产业化纵深发展。多云和混合云将成为大中型组织的刚需，得到更多重视与发展。
• 云的生态建设重要性不断凸显，成为影响云间竞争的关键因素。

综上所述，“创新、垂直、混合、生态”这四大趋势伴随云计算快速发展。云计算对IT硬件资源与软件组件进行了标准化、抽象化和规模化，某种意义上颠覆和重构了IT业界的供应链，是当前新一代信息技术发展的巨大的革新与进步。

2.2.3大数据

大数据（Big Data)指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是具有更强的决策力、 洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

1.技术基础

大数据是具有体量大、结构多样、时效性强等特征的数据，处理大数据需要采用新型计算架构和智能算法等新技术。

大数据从数据源到最终价值实现一般需要经过数据准备、数据存储与管理、数据分析和计算、数据治理和知识展现等过程，涉及数据模型、处理模型、计算理论以及与其相关的分布计算、分布存储平台技术、数据清洗和挖掘技术、流式计算和增量处理技术、数据质量控制等方面的研究。

大数据主要特征包括：

①数据海量：大数据的数据体量巨大，从TB级别跃升到PB级别、EB级别、ZB级别。

②数据类型多样：大数据的数据类型繁多，一般分为结构化数据和非结构化数据。

③数据价值密度低：数据价值密度的高低与数据总量的大小成反比。

④数据处理速度快：这是大数据区分于传统数据挖掘的最显著特征。

2.关键技术

大数据获取技术主要集中在三个方面：

数据采集技术：实现数据源的获取，然后通过整合和清理技术保证数据质量。

数据整合技术：是在数据采集和实体识别的基础上，实现数据到信息的高质量整合。

数据清洗技术：一般根据正确性条件和数据约束规则，清除不合理和错误的数据，对重要的信息进行修复，保证数据的完整性。

分布式数据处理技术：核心是将任务分解成许多小的部分，分配给多台计算机进行处理，通过并行工作的机制，达到节约整体计算时间，提高计算效率的目的。

主流的分布式计算系统有：Hadoop常用于离线的复杂的大数据处理，Spark常用于离线的快速的大数据处理，而Storm常用于在线的实时的大数据处理。大数据分析与挖掘技术主要指改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；创新基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

**大数据管理技术：**主要集中在大数据存储、大数据协同和安全隐私等方面。

（1)大数据存储技术：

①采用MPP架构（Massive Parallel Processing大规模并行处理）的新型数据库集群，通过列存储、粗粒度索引等多项大数据处理技术和高效的分布式计算模式，实现大数据存储；

②围绕Hadoop衍生出相关的大数据技术，应对传统关系型数据库较难处理的数据和场景，通过扩展和封装Hadoop来实现对大数据存储、分析的支撑；

③基于集成的服务器、存储设备、操作系统、数据库管理系统，实现具有良好的稳定性、扩展性的大数据一体机。

（2)多数据中心的协同管理技术：通过分布式工作流引擎实现工作流调度、负载均衡，整合多个数据中心的存储和计算资源，为大数据服务平台提供支撑。

（3）大数据隐私性技术：主要集中于新型数据发布技术，尝试在尽可能少损失数据信息的同时最大化地隐藏用户隐私。

大数据应用和服务技术：
主要包含分析应用技术和可视化技术。

大数据分析应用技术主要是面向业务的分析应用。

可视化通过交互式视觉表现的方式来帮助人们探索和理解复杂的数据。

3.应用和发展

大数据像水、矿石、石油一样，正在成为新的资源和社会生产要素，从数据资源中挖掘潜在的价值，成为当前大数据时代研究的热点。

①在互联网行业，网络的广泛应用和社交网络已深入到社会工作、生活的方方面面，海量数据的产生、应用和服务一体化。随着数据的大量生成、分析和应用，数据本身已成为可以交易的资产，大数据交易和数据资产化成为当前具有价值的领域和方向。

②在政府的公共数据领域，结合大数据的采集、治理和集成，将各个部门搜集的信息进行剖析和共享，能够发现管理上的批漏，提高执法水平，增进财税增收和加大市场监管程度，大大改变政府管理模式、节省政府投资、增强市场管理，提高社会治理水平、城市管理能力和人民群众的服务能力。

③在金融领域，大数据征信是重要的应用领域。

④在工业领域，结合海量的数据分析，能够为工业生产过程提供准确的指导。如航运大数据领域。

⑤在社会民生领域，大数据的分析应用能够更好地为民生服务。如疾病预测。

2.2.4区块链

“区块链”概念于2008年在《比特币：一种点对点电子现金系统》中被首次提出。区块链技术具有多中心化存储、隐私保护、防篡改等特点，提供了开放、分散和容错的事务机制，成为新一代匿名在线支付、汇款和数字资产交易的核心，被广泛应用于各大交易平台，为金融、监管机构、科技创新、农业以及政治等领域带来了深刻的变革。

1.技术基础

区块链概念可以理解为以非对称加密算法为基础，以改进的默克尔树（Merkle
Tree）为数据结构，使用共识机制、点对点网络、智能合约等技术结合而成的一种分布式存储数据库技术。
区块链分类：
公有链(Public Blockchain)、联盟链(Consortium Blockchain)、私有链(Private Blockchain)和混合链(Hybrid Blcokchain)。

区块链的典型特征包括：

（1）多中心化：链上数据的验证、核算、存储、维护和传输等过程均依赖分布式系统结构，运用纯数学方法代替中心化组织机构在多个分布式节点之间构建信任关系，从而建立可信的分布式系统。

（2）多方维护：激励机制可确保分布式系统中的所有节点均可参与数据区块的验证过程，并通过共识机制选择
特定节点将新产生的区块加入到区块链中。

（3）时序数据：区块链运用带有时间戳信息的链式结构来存储数据信息，为数据信息添加时间维度的属性，从而可实现数据信息的可追溯性。

（4）智能合约：区块链技术能够为用户提供灵活可变的脚本代码，以支持其创建新型的智能合约。

（5）不可篡改：在区块链系统中，因为相邻区块间后序区块可对前序区块进行验证，若篡改某一区块的数据信息，则需递归修改该区块及其所有后序区块的数据信息，然而每一次哈希的重新计算代价是巨大的，且须在有限时间内完成，因此可保障链上数据的不可篡改性。

（6）开放共识：在区块链网络中，每台物理设备均可作为该网络中的一个节点，任意节点可自由加入丑拥有一份完整的数据库拷贝。

（7）安全可信：数据安全可通过基于非对称加密技术对链上数据进行加密来实现，分布式系统中各节点通过区块链共识算法所形成的算力来抵御外部攻击、保证链上数据不被篡改和伪造，从而具有较高的保密性、可信性和安全性。

2.关键技术

分布式账本

分布式账本是区块链技术的核心之一。分布式账本的核心思想是：交易记账由分布在不同地方的多个节点共同完成，而且每一个节点保存一个唯一、真实账本的副本，它们可以参与监督交易合法性，同时也可以共同为其作证；账本里的任何改动都会在所有的副本中被反映出来，反应时间会在几分钟甚至是几秒内，记账节点足够多，理论上除非所有的节点被破坏，所有整个分布式账本系统是非常稳健的，从而保证了账目数据的安全性。

目前已经广泛应用到金融交易、政府征税、土地所有权登记、护照管理、社会福利等领域。

加密算法

区块数据的加密是区块链研究和关注的重点，其主要作用是保证区块数据在网络传输、存储和修改过程中的安全。区块链系统中的加密算法一般分为散列（哈希）算法和非对称加密算法。

典型的散列算法有MD5、SHA-1/SHA-2和SM3，目前区块链主要使用SHA-2中的SHA256算法。

常用的非对称加密算法包括RSA、EIGAMAI、D-H、ECC（椭圆曲线加密算法）等。

共识机制

区块链的共识机制的思想是：在没有中心点总体协调的情况下，当某个记账节点提议区块数据增加或减少，并把该提议广播给所有的参与节点，所有节点要根据一定的规则和机制，对这一提议是否能够达成一致进行计算和处理。

目前，常用的共识机制主要有PoW、PoS、DPoS、Paxos、PBFT等。

根据区块链不同应用场景中各种共识机制的特性，共识机制分析可基于：合规监管、性能效率、资源消耗、容错性。

在区块链的典型应用----数字货币

3.应用和发展

（1）区块链将成为互联网的基础协议之一。本质上，互联网同区块链一样，也是个多中心化的网络，并没有一个“互联网的中心”存在。不同的是，互联网是一个高效的信息传输网络，并不关心信息的所有权，没有内生的、对有价值信息的保护机制；区块链作为一种可以传输所有权的协议，将会基于现有的互联网协议架构，构建出新的基础协议层。从这个角度看，区块链（协议）会和传输控制协议/因特网互联协议（TCP/IP）一样，成为未来互联网的基础协议，构建出一个高效的、多中心化的价值存储和转移网络。

（2）区块链架构的不同分层将承载不同的功能。类似TCP/IP协议栈的分层结构，人们在统一的传输层协议之上，发展出了各种各样的应用层协议，最终构建出了今天丰富多彩的互联网，。未来区块链结构也将在一个统一的、多中心化的底层
协议基础上，发展出各种各样应用层协议。

（3）区块链的应用和发展呈螺旋式上升趋势。如同互联网的发展一样，在发展过程中会经历过热甚至泡沫阶段，并以颠覆式的技术改变融合传统产业。区块链作为数字化浪潮中下一个阶段的核心技术，其发展周期将比预想得要长，影响的范围和深度也会远远超出人们的想象，将会构建出多样化生态的价值互联网，从而深刻改变未来商业社会的结构和每个人的生活。

2.2.5人工智能

人工智能是指研究和开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统的一门技术科学。这一概念自1956年被提出后，已历经半个多世纪的发展和演变。21世纪初，随着大数据、高性能计算和深度学习技术的快速迭代和进步，人工智能进入新一轮的发展热潮，其强大的赋能性对经济发展、社会进步、国际政治经济格局等产生了重大且深远的影响，已成为新一轮科技革命和产业变革的重要驱动力量。

1.技术基础

从当前的人工智能技术进行分析可知，其在技术研究方面主要聚焦在热点技术、共性技术和新兴技术三个方面。其中以机器学习为代表的基础算法的优化改进和实践，以及迁移学习、强化学习、多核学习和多视图学习等新型学习方法是研究探索的热点；

自然语言处理相关的特征提取、语义分类、词嵌入等基础技术和模型研究，以及智能自动问答、机器翻译等应用研究也取得诸多的成果；

以知识图谱、专家系统为逻辑的系统化分析也在不断地取得突破，大大拓展了人工智能的应用场景，对人工智能未来的发展具有重要的潜在影响。

2.关键技术

机器学习

机器学习是一种自动将模型与数据匹配，并通过训练模型对数据进行学习的技术。机器学习的研究主要聚焦在机器学习算法及应用、强化学习算法、近似及优化算法和规划问题等方面，其中常见的学习算法主要包含回归、聚类、分类、近似、估计和优化等基础算法的改进研究，迁移学习、多核学习和多视图学习等 强化学习方法是当前的研究热点。

神经网络是机器学习的一种形式，用于分类型应用程序。它根据输入、输出、变量权重或将输入与输出关联的“特征”来分析问题。

强化学习是机器学习的另外一种方式，指机器学习系统制订了目标而且迈向目标的每一步都会得到某种形式的奖励。

机器学习模型是以统计为基础的，自动化机器学习模型更容易创建，而且能够揭示更多的数据细节。

自然语言处理

它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。

自然语言处理主要应用于机器翻译、舆情监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别、中文OCR等方面。

专家系统

• 是一个智能计算机程序系统，通常由人机交互界面、知识库、推理机、解释器、综合数据库、知识获取等6个部分构成，其内部含有大量的某个领域专家水平的知识与经验，它能够应用人工智能技术和计算机技术，根据系统中的知识与经验，进行推理和判断，模拟人类专家的决策过程，以便解决那些需要人类专家处理的复杂问题。简而言之，专家系统是一种模拟人类专家解决领域问题的计算机程序系统。
• 在人工智能的发展过程中，专家系统的发展已经历了三个阶段，正向第四代过渡和发展。第四个阶段，主要研究大型多专家协作系统、多种知识表示、综合知识库、自组织解题机制、多学科协同解题与并行推理、专家系统工具与环境、人工神经网络知识获取及学习机制等。

3.应用和发展

• 经过60多年的发展，人工智能在算法、算力（计算能力）和算料（数据）等方面取得了重要突破，正处千从“不能用”到“可以用”的技术拐点，但是距离“很好用”还存在诸多瓶颈。实现从专用人工智能向通用人工智能的跨越式发展，既是下一代人工智能发展的必然趋势，也是研究与应用领域的重大挑战，是未来应用和发展的趋势。

（1）从人工智能向人机混合智能发展。

（2）从“人工+智能”向自主智能系统发展。

（3）人工智能将加速与其他学科领域交叉渗透。

（4）人工智能产业将蓬勃发展。

（5）人工智能的社会学将提上议程。

2.2.6虚拟现实

自从计算机创造以来，计算机一直是传统信息处理环境的主体，这与人类认识空间及计算机处理问题的信息空间存在不一致的矛盾，如何把人类的感知能力和认知经历及计算机信息处理环境直接联系起来，是虚拟现实产生的重大背景。如何建立一个能包容图像、声音、化学气味等多种信息源的信息空间，将其与视觉、听觉、嗅觉、口令、手势等人类的生活空间交叉融合，虚拟现实的技术应运而生。

1.技术基础

• 虚拟现实（Virtual Reality,VR)是一种可以创立和体验虚拟世界的计算机系统（其中虚拟世界是全体虚拟环境的总称）。通过虚拟现实系统所建立的信息空间，已不再是单纯的数字信息空间，而是一个包容多种信息的多维化的信息空间(Cyberspace),人类的感性认识和理性认识能力都能在这个多维化的信息空间中得到充分的发挥。要创立一个能让参与者具有身临其境感，具有完善交互作用能力的虚拟现实系统，在硬件方面，需要高性能的计算机软硬件和各类先进的传感器；在软件方面，主要是需要提供一个能产生虚拟环境的工具集。
• 虚拟现实技术的主要特征包括沉浸性、交互性、多感知性、构想性（也称想象性）和自主性。随着虚拟现实技术的快速发展，按照其“沉浸性”程度的高低和交互程度的不同，虚拟现实技术已经从桌面虚拟现实系统、沉浸式虚拟现实系统、分布式虚拟现实系统等，向着增强式虚拟现实系统（Augmented Reality,AR)和元宇宙的方向发展。

2.关键技术

人工交互技术

虚拟现实中的人机交互技术与传统的只有键盘和鼠标的交互模式不同，是一种新型的利用VR眼镜、控制手柄等传感器设备，能让用户真实感受到周围事物存在的一种三维交互技术，将三维交互技术与语音识别、语音输入技术及其他用于监测用户行为动作的设备相结合，形成了目前主流的人机交互手段。

传感器技术
VR技术的进步受制于传感器技术的发展，现有的VR设备存在的缺点与传感器的灵敏程度有很大的关系。例如VR头显（即VR眼镜）设备过重、分辨率低、刷新频率慢等，容易造成视觉疲劳；数据手套等设备也都有延迟长、使用灵敏度不够的缺陷，所以传感器技术是VR技术更好地实现人机交互的关键。

动态环境建模技术

虚拟环境的设计是VR技术的重要内容，该技术是利用三维数据建立虚拟环境模型。目前常用的虚拟环境建模工具为计算机辅助设计(Computer Ai ded Design,CAD)，操作者可以通过CAD技术获取所需数据，并通过得到的数据建立满足实际需要的虚拟环境模型。除了通过CAD技术获取三维数据，多数情况下还可以利用视觉建模技术，两者相结合可以更有效地获取数据。

系统集成技术

VR系统中的集成技术包括信息同步、数据转换、模型标定、识别和合成等技术，由于VR系统中储存着许多的语音输入信息、感知信息以及数据模型，因此VR系统中的集成技术显得越发重要。

3.应用和发展

（1）硬件性能优化迭代加快。轻薄化、超清化加速了虚拟现实终端市场的迅速扩大，开启了虚拟现实产业爆发增长的新空间，虚拟现实设备的显示分辨率、帧率、自由度、延时、交互性能、重量、眩晕感等性能指标日趋优化，用户体验感不断提升。

（2）网络技术的发展有效助力其应用化的程度。泛在网络通信和高速的网络速度，有效提升了虚拟现实技术在应用端的体验。借助于终端轻型化和移动化5G技术，高峰值速率、毫秒级的传输时延和千亿级的连接能力，降低了对虚拟现实终端侧的要求。

（3）虚拟现实产业要素加速融通。技术、人才多维并举，虚拟现实产业核心技术不断取得突破，已形成较为完整的虚拟现实产业链条。虚拟现实产业呈现出从创新应用到常态应用的产业趋势，在舞台艺术、体育智慧观赛、新文化弘扬、教育、医疗等领域普遍应用。“虚拟现实+商贸会展”成为后疫情时代的未来新常态，“虚拟现实+工业生产”是组织数字化转型的新动能，‘虚拟现实+智慧生活”大大提升了未来智能化的生活体验，‘虚拟现实+文娱休闲“成为新型信息消费模式的新载体等。

（4）元宇宙等新兴概念为虚拟现实技术带来了“沉浸和叠加”“激进和渐进”“开放和封闭”等新的商业理念，大大提升了其应用价值和社会价值，将逐渐改变人们所习惯的现实世界物理规则，以全新方式激发产业技术创新，以新模式、新业态等方式带动相关产业跃迁升级。