分布式体系架构的前世今生

分布式体系架构的前世今生

1 分布式的历史发展
在计算机网络的诞生之初，目的纯粹是军用。考虑的是如何在敌方搞破坏的情况下，
仍然能保证网络的健壮性，在若干个结点失效后，整个网络仍然能够发挥它的效能。

最终的解决方案选择了没有中心结点的网状体系结构。这就是计算机业领域内的最早
的分布式架构。是计算机硬件上的分布式。

计算机的三大用途是通信，模拟和控制。在上世纪九十年代初，计算机应用于电话
交换系统时，要保证系统的高可用性，高伸缩性，健壮性，稳定性等，爱立信公司
以prolog语言为基础，开发了Erlang语言，实现了程序的并发性，采用OTP框架，
以进程为结点，以消息进行通信，还有监控进程，实现工作的进程的状态监控。
这是计算机软件上的最早的分布式。

在新世纪，当互联网上的某个应用，成为了一个庞大的系统，需要应对巨大的用户
流量时，它要使用的计算机硬件资源，达到了数以万计的服务器，硬盘等部署于很
多个数据中心，于是它产生了类似于电话交换系统的需求，在软件的开发与部署上
先产生了SOA架构，进而产生了微服务架构。在硬盘存储上，先是单块硬盘，然后
是多块硬盘放在磁盘阵列柜中，组成了raid。再进一步形成了SAN。存储的软件方面
文件系统从单机的文件系统，进化成分布式的文件系统。

从分布式系统的外部看，它是一个整体，从内部看，它是由很多的结点组成的网络。

2  分布式与虚拟化的关系
在计算机的软件与硬件方面的资源，供需是不平衡的，在供给远小于需求时，采用
分布式的方法。例如一块硬盘存储容量是1TB，应用系统的存储需求容量是1000TB，
我们就需要用1000块硬盘甚至是更多的硬盘，组成分布式的存储系统来满足需求。

另一个方面是供给远大于需求，一个CPU的计算能力，远远超过了一个应用程序的
计算需求，导致CPU在绝大部分的时间里是空转的，这是巨大的浪费，这时采用的
方法是虚拟化方法，它的本质是把CPU隔离成多个部分。这方面的直观形象的例子是
集装箱船，这样的一艘船被隔离成上万个集装箱的空位。来满足很多的货主的运输需求。

3 云服务商的两班斧  分布式和云计算
  云服务商在构建云系统时，它面对的是计算机的各种硬件的供应商，在经济上属于
供应远小于需求的情况，所以云服务商采用了分布式的方法。采购大量的计算机硬件，
组成了分布式系统，再把这个分布式系统叫做云。

  云服务商在使用云为用户提供服务时，在经济上属于供应远大于需求的情况，采用的
方法是虚拟化方法。为每个用户分配一个账号，在云系统上是以账号进行隔离的。
云服务商为用户提供的这种服务叫做云计算。

4 大数据为什么在用分布式
大数据是一个产业，分成数据采集，数据存储，数据分析，数据使用这些环节
数据采集是通过各种传感器来实现的。现在世界上有两万多种传感器，实现了极低成本
的数据采集，这是大数据产业的基础。数据存储与数据分析就是Hadoop这种大数据技术
要解决的问题。这方面的技术已经成熟了。在数据使用方面，表现形式有报表和图表，
这被称为数据可视化，技术上也成熟了。 在数据存储方面，它的存储需求远超过了单块
硬盘的存储能力，所以Hadoop的一个核心组件，是HDFS这个分布式的文件系统。来解决这个问题，实现对成千上万的硬盘的有效利用。 在数据分析方面，它的计算需求远超过了单个CPU
的计算能力，所以Hadoop 的另一个核心组件MapReduce，即分布式的计算模型,来解决计算
问题，它实现了对成千上万的CPU的有效利用。

综上所述，分布式架构的人才需求方是云服务商对云系统的构建，大数据产业的中间两个环节。
云服务商对人才的要求是分布式架构的开发，至少要对成熟的分布式架构，根据自身的需求
进行定制。大数据产业的中间两个环节，最适合云服务商来做。如果是第三方来做，对人才的
要求是成熟的分布式的架构的使用。