遇见未来|剖析软件定义数据中心的核心技术
互联网及其延伸，正在导向我们走向一个新的时代，软件技术在新一轮革命技术中毫无疑问是核心竞争力之一。C++语言发明人Biarne Stroustrup说，人类文明运行在软件之上，也突出了软件技术的重要地位。
什么是软件定义？软件定义在企业的数据中心中的表现是什么？如何发展这项技术？今天我们有幸邀请到了VMware存储架构师Peter Ye(叶毓睿)，分享他关于软件定义存储的深刻见解。
遇见未来——未来数据中心建设战略之软件定义专访
1、作者及其团队介绍
PeterYe(叶毓睿)，现任VMware存储架构师,《软件定义存储:原理,实践与生态》作者，《VMware软件定义存储：原理剖析和设计指南》译者。曾任职于EMC、Compellent、DELL，对存储行业的历史发展和未来趋势有着深入的了解。Peter同时也是"乐生活与爱IT" 微信公众号的作者。
2、软件定义存储的概念提出是基于什么样的背景，主要帮助用户在数据中心建设中解决什么样的问题和痛点？
软件定义存储(SoftwareDefined Storage，简称SDS)的首次提出是在2012年8月VMworld大会上，此次大会同时提出了软件定义的数据中心(Software Defined Data Center，简称SDDC)，SDS是SDDC的五大组成部分之一。
我在《软件定义存储:原理,实践与生态》一书中，曾指出：软件定义的存储(SDS)是一个不断进化的概念，在现阶段看来，是指存储资源由软件自动控制，通过抽象、池化和自动化，将标准服务器内置存储、直连存储，外置存储，或云存储等存储资源整合起来，实现应用感知，或者基于策略驱动的部署、变更和管理，最终达到存储即服务的目标。
用户在传统数据中心建设中，大多是烟囱或竖井架构，也就是每上一套业务应用，需要申请和采购包括服务器、网络和存储在内的IT基础架构硬件，这使得用户在数字化转型的时代，IT基础架构的资源无法共享，存储资源无法动态扩展，即刻交付。SDS是在虚拟化已经渗透到各行各业，云计算逐渐普及的大环境下，孕育而生的。
3、软件定义经历了哪些发展过程，目前的应用现状以及其最佳应用场，还面临哪些挑战？
软件定义为云而生，通过抽象、池化、自动化等步骤，实现IAAS(基础架构即服务)，帮助用户共享计算网络和存储资源池，并能实现动态扩展，即刻交付和方便地变更资源，以动态地适应某一业务在不同时间段对于资源的SLA(服务等级协议)的要求。
目前SDS包括分布式存储，分布式存储有两种部署形态，一种是计算和存储相分离的，另一种是计算和存储融合在同一个物理服务器节点上，也即超融合基础架构。分离部署的方式，在大规模存储资源池化，存放非结构化数据(如文档，图片，音视频等)的场景中，应用较为广泛。而超融合架构中，较多使用的场景包含VDI、集群管理、ROBO(远程分支办公室)、开发测试、备份与灾难恢复。除此之外，由于VMware vSAN依托于vSphere ESXi这一稳定可靠的Hypervisor，并且自身拥有故障域、双活(延伸集群)、而且支持vMotion/HA/FT等功能，使得越来越多的用户将关键应用(如Oracle RAC、SAP、SQL Server等)放在了VMware vSAN上，根据2016年的数据统计，有64%的vSAN用户，将其关键应用放在vSAN上。
4、软件定义存储相比较传统存储理念，有哪些主要的特点和优势？
在数据平面层涌现出可以采用基于标准商用硬件(如X86服务器)的分布式存储或者HCI，降低了成本;控制平面层向上提供了存储自动化(如存储策略驱动)的资源部署和变更方式，使得云计算所需的存储资源即刻交付成为可能。软件定义存储中的大类：HCI使得数据靠近计算，能让SSD的性能发挥得淋漓尽致，性能更高，延时更低。
5、软件定义存储的技术如何解决传统存储的挑战：信息孤岛，供应商绑定，扩展性的问题的？
第一步是抽象，也即解耦，因为如果硬件被锁定，存储资源无法被灵活调用;
第二步是池化，也即虚拟化，这样才能随需分配，动态扩展;
第三步是自动化，存储资源由软件(Hypervisor或云管理软件)来自动分配和管理。
经由抽象、池化和自动化，打破了信息孤岛，也不再被供应商绑定，并支持动态扩展的。
6、软件定义存储如何实现数据保护，高可用和数据去重等？
在数据平面层的分布式存储或者HCI，大多是通过类似互联网分布式计算，也即多副本的方式来提供数据冗余，另外也有通过双活(如vSAN 延伸集群)来提高可用性。为了解决存储利用率，也有采用EC(纠删码)和去重压缩的技术。
7、软件定义存储与存储虚拟化技术的区别？
软件定义存储包含了存储虚拟化，简单理解，可以认为软件定义存储=存储虚拟化+自动化，其实就是SDS的三步曲：抽象、池化和自动化。详见《什么是存储虚拟化？它与软件定义存储有何区别？》
8、软件定义存储与软件定义网络有哪些共性，前者受到后者哪些影响？
都包含了控制平面和数据平面。软件定义这个词汇最早就是来源于软件定义网络(SDN)，核心是控制平面和数据平面解耦，SDS在这一部分上收到了SDN的影响。
9、现在软件定义的概念越来越火，在很多个领域都出现一些产品和解决方案，您如何看待软件定义技术的发展呢？软件定义网络，软件定义计算，软件定义数据中心，这真的会是数据中心的未来吗？
软件定义的出现，是虚拟化已经渗透，云计算逐渐普及的大环境下，对于基础架构层的迫切需求，打破了以往烟囱或竖井架构，使得资源能够池化并自动化地被部署。迄今为止，云计算，尤其是私有云的最佳实践方式就是软件定义的数据中心，而且这个过程会持续很长时间，直至用户迈向混合云。因此，毫无疑问，SDDC是数据中心的未来。
10、有人说，人类文明终将会运行在软件之上，那么对于硬件厂商来说，面临什么样的挑战和机遇呢？如何正确地认识软件和硬件的关系，以及硬件在未来数据中心的地位？
人类的文明运行在软件和硬件结合的环境之上。实际上，正是因为硬件技术的突飞猛进地发展，才使得软件定义有了腾挪的空间。早期，为了大规模生产，降低制造的复杂度和成本，许多功能都固化在硬件里，我们可以称之为硬件定义。随着日益增长的灵活性、自动化、多样化、个性化定制的需求，由软件来操控硬件资源的情况将越来越多、越来越广。然而，软件操控硬件的前提是，硬件的能力(例如性能、容量等)需要有富余。所以，硬件发展越快，软件定义的发展才会更有潜力。另外，软件的发展反过来也会影响硬件的发展，例如虚拟化软件对芯片指令集的影响，分布式存储软件对网络的影响。
11、软件定义技术的发展与企业IT系统的云化有什么样的关系，软件定义将会给企业的云战略，或者云战略会给软件定义数据中心带来什么影响？企业该如何正确地看待未来数据中心的变革与方向？
前面提到，软件定义为云而生。所有企业，在云战略上，如果考虑混合云或者私有云，都必须认真思考如何利用现有的最佳实践，也即软件定义的数据中心来使云战略落地。
12、VMware在软件定义存储方面有哪些主要的产品和解决方案，以后的战略方向是什么样的呢？
VMware的软件定义存储主要分为两大部分，如下图所示。
1)控制平面，即Storage Policy Based Management(基于存储策略的管理)，简称SPBM。
数据平面，即Virtual DataServices。分别有三个子类构成：Virtual SAN，VirtualVolumes和Cloud/Object Storage。
13、软件定义将会给企业带来什么样的价值？
降低成本、提升性能、管理简单灵活、扩展方便、即刻交付符合一定SLA标准的存储资源。
在目前的市场上，软件定义存储有很多不同的解决方案，这些方案在系统架构设计和实现上有很大的不同之处，那么未来会朝着什么样的方向发展呢？
14、未来可能出现的软件定义存储，可大致分为如下六类：
1)与Hypervisor融为一体的SDS厂商，也即前述的VMware、Microsoft等。
2)与应用融为一体的超融合架构设备，通常俗称一体机。
由于针对某一类特定业务，其工作负载相对固定，也比较容易在存储曾针对这一特点进行优化，例如针对数据库的有：云和恩墨、天玑数据、沃趣(已被华胜收购)、成都文武信息等;针对VDI的一体机;针对SAP的一体机;并行数据库一体机 (如MonDb), 数据分析一体机 (Greeplum)，也许未来还会有针对Exchange的、针对SQL Server的一体机;从业务应用来看，也许还会有针对视频监控，针对媒资管理等，针对某一行业的某一类应用。
3)拥有某一项或几项出色功能的新SDS厂商。虽然没有与Hypervisor或者应用融合。但靠着它的独特或先进的功能，依然赢得用户的青睐;
4)针对云平台或者Hypervisor生态链，专注某垂直领域的SDS厂商，例如针对AWS的SoftNAS，针对vSphere的Tintri;现阶段针对Hypervisor进行拓展和优化的，应该有不少生存空间;针对公有云的，可能在晚些年陆续出现更多的初创厂商。
5)传统外置磁盘阵列的转型尝试，如HP StorVirtual、EMC vVNX、NetApp OnTap Edge等。
6)云计算公司的的转型尝试，如公有云提供商青云推出超融合一体机等。
7)包括冷存储在内的对象存储。
初期，必须围绕着数据平面下功夫，提供稳定性和可靠性，甚至可能针对业务应用进行优化;将来，数据平面同质化后，应该开始向控制平面层对接，以更好的为存储自动化服务。
跨界与融合、机遇与挑战、个人与企业、现在与未来。让各行业、企业，以及每一个向未来而努力的人，听见时代最前沿的声音，见证成长!
什么是软件定义？软件定义在企业的数据中心中的表现是什么？如何发展这项技术？今天我们有幸邀请到了VMware存储架构师Peter Ye(叶毓睿)，分享他关于软件定义存储的深刻见解。
遇见未来——未来数据中心建设战略之软件定义专访
1、作者及其团队介绍
PeterYe(叶毓睿)，现任VMware存储架构师,《软件定义存储:原理,实践与生态》作者，《VMware软件定义存储：原理剖析和设计指南》译者。曾任职于EMC、Compellent、DELL，对存储行业的历史发展和未来趋势有着深入的了解。Peter同时也是"乐生活与爱IT" 微信公众号的作者。
2、软件定义存储的概念提出是基于什么样的背景，主要帮助用户在数据中心建设中解决什么样的问题和痛点？
软件定义存储(SoftwareDefined Storage，简称SDS)的首次提出是在2012年8月VMworld大会上，此次大会同时提出了软件定义的数据中心(Software Defined Data Center，简称SDDC)，SDS是SDDC的五大组成部分之一。
我在《软件定义存储:原理,实践与生态》一书中，曾指出：软件定义的存储(SDS)是一个不断进化的概念，在现阶段看来，是指存储资源由软件自动控制，通过抽象、池化和自动化，将标准服务器内置存储、直连存储，外置存储，或云存储等存储资源整合起来，实现应用感知，或者基于策略驱动的部署、变更和管理，最终达到存储即服务的目标。
用户在传统数据中心建设中，大多是烟囱或竖井架构，也就是每上一套业务应用，需要申请和采购包括服务器、网络和存储在内的IT基础架构硬件，这使得用户在数字化转型的时代，IT基础架构的资源无法共享，存储资源无法动态扩展，即刻交付。SDS是在虚拟化已经渗透到各行各业，云计算逐渐普及的大环境下，孕育而生的。
3、软件定义经历了哪些发展过程，目前的应用现状以及其最佳应用场，还面临哪些挑战？
软件定义为云而生，通过抽象、池化、自动化等步骤，实现IAAS(基础架构即服务)，帮助用户共享计算网络和存储资源池，并能实现动态扩展，即刻交付和方便地变更资源，以动态地适应某一业务在不同时间段对于资源的SLA(服务等级协议)的要求。
目前SDS包括分布式存储，分布式存储有两种部署形态，一种是计算和存储相分离的，另一种是计算和存储融合在同一个物理服务器节点上，也即超融合基础架构。分离部署的方式，在大规模存储资源池化，存放非结构化数据(如文档，图片，音视频等)的场景中，应用较为广泛。而超融合架构中，较多使用的场景包含VDI、集群管理、ROBO(远程分支办公室)、开发测试、备份与灾难恢复。除此之外，由于VMware vSAN依托于vSphere ESXi这一稳定可靠的Hypervisor，并且自身拥有故障域、双活(延伸集群)、而且支持vMotion/HA/FT等功能，使得越来越多的用户将关键应用(如Oracle RAC、SAP、SQL Server等)放在了VMware vSAN上，根据2016年的数据统计，有64%的vSAN用户，将其关键应用放在vSAN上。
4、软件定义存储相比较传统存储理念，有哪些主要的特点和优势？
在数据平面层涌现出可以采用基于标准商用硬件(如X86服务器)的分布式存储或者HCI，降低了成本;控制平面层向上提供了存储自动化(如存储策略驱动)的资源部署和变更方式，使得云计算所需的存储资源即刻交付成为可能。软件定义存储中的大类：HCI使得数据靠近计算，能让SSD的性能发挥得淋漓尽致，性能更高，延时更低。
5、软件定义存储的技术如何解决传统存储的挑战：信息孤岛，供应商绑定，扩展性的问题的？
第一步是抽象，也即解耦，因为如果硬件被锁定，存储资源无法被灵活调用;
第二步是池化，也即虚拟化，这样才能随需分配，动态扩展;
第三步是自动化，存储资源由软件(Hypervisor或云管理软件)来自动分配和管理。
经由抽象、池化和自动化，打破了信息孤岛，也不再被供应商绑定，并支持动态扩展的。
6、软件定义存储如何实现数据保护，高可用和数据去重等？
在数据平面层的分布式存储或者HCI，大多是通过类似互联网分布式计算，也即多副本的方式来提供数据冗余，另外也有通过双活(如vSAN 延伸集群)来提高可用性。为了解决存储利用率，也有采用EC(纠删码)和去重压缩的技术。
7、软件定义存储与存储虚拟化技术的区别？
软件定义存储包含了存储虚拟化，简单理解，可以认为软件定义存储=存储虚拟化+自动化，其实就是SDS的三步曲：抽象、池化和自动化。详见《什么是存储虚拟化？它与软件定义存储有何区别？》
8、软件定义存储与软件定义网络有哪些共性，前者受到后者哪些影响？
都包含了控制平面和数据平面。软件定义这个词汇最早就是来源于软件定义网络(SDN)，核心是控制平面和数据平面解耦，SDS在这一部分上收到了SDN的影响。
9、现在软件定义的概念越来越火，在很多个领域都出现一些产品和解决方案，您如何看待软件定义技术的发展呢？软件定义网络，软件定义计算，软件定义数据中心，这真的会是数据中心的未来吗？
软件定义的出现，是虚拟化已经渗透，云计算逐渐普及的大环境下，对于基础架构层的迫切需求，打破了以往烟囱或竖井架构，使得资源能够池化并自动化地被部署。迄今为止，云计算，尤其是私有云的最佳实践方式就是软件定义的数据中心，而且这个过程会持续很长时间，直至用户迈向混合云。因此，毫无疑问，SDDC是数据中心的未来。
10、有人说，人类文明终将会运行在软件之上，那么对于硬件厂商来说，面临什么样的挑战和机遇呢？如何正确地认识软件和硬件的关系，以及硬件在未来数据中心的地位？
人类的文明运行在软件和硬件结合的环境之上。实际上，正是因为硬件技术的突飞猛进地发展，才使得软件定义有了腾挪的空间。早期，为了大规模生产，降低制造的复杂度和成本，许多功能都固化在硬件里，我们可以称之为硬件定义。随着日益增长的灵活性、自动化、多样化、个性化定制的需求，由软件来操控硬件资源的情况将越来越多、越来越广。然而，软件操控硬件的前提是，硬件的能力(例如性能、容量等)需要有富余。所以，硬件发展越快，软件定义的发展才会更有潜力。另外，软件的发展反过来也会影响硬件的发展，例如虚拟化软件对芯片指令集的影响，分布式存储软件对网络的影响。
11、软件定义技术的发展与企业IT系统的云化有什么样的关系，软件定义将会给企业的云战略，或者云战略会给软件定义数据中心带来什么影响？企业该如何正确地看待未来数据中心的变革与方向？
前面提到，软件定义为云而生。所有企业，在云战略上，如果考虑混合云或者私有云，都必须认真思考如何利用现有的最佳实践，也即软件定义的数据中心来使云战略落地。
12、VMware在软件定义存储方面有哪些主要的产品和解决方案，以后的战略方向是什么样的呢？
VMware的软件定义存储主要分为两大部分，如下图所示。
1)控制平面，即Storage Policy Based Management(基于存储策略的管理)，简称SPBM。
数据平面，即Virtual DataServices。分别有三个子类构成：Virtual SAN，VirtualVolumes和Cloud/Object Storage。
13、软件定义将会给企业带来什么样的价值？
降低成本、提升性能、管理简单灵活、扩展方便、即刻交付符合一定SLA标准的存储资源。
在目前的市场上，软件定义存储有很多不同的解决方案，这些方案在系统架构设计和实现上有很大的不同之处，那么未来会朝着什么样的方向发展呢？
14、未来可能出现的软件定义存储，可大致分为如下六类：
1)与Hypervisor融为一体的SDS厂商，也即前述的VMware、Microsoft等。
2)与应用融为一体的超融合架构设备，通常俗称一体机。
由于针对某一类特定业务，其工作负载相对固定，也比较容易在存储曾针对这一特点进行优化，例如针对数据库的有：云和恩墨、天玑数据、沃趣(已被华胜收购)、成都文武信息等;针对VDI的一体机;针对SAP的一体机;并行数据库一体机 (如MonDb), 数据分析一体机 (Greeplum)，也许未来还会有针对Exchange的、针对SQL Server的一体机;从业务应用来看，也许还会有针对视频监控，针对媒资管理等，针对某一行业的某一类应用。
3)拥有某一项或几项出色功能的新SDS厂商。虽然没有与Hypervisor或者应用融合。但靠着它的独特或先进的功能，依然赢得用户的青睐;
4)针对云平台或者Hypervisor生态链，专注某垂直领域的SDS厂商，例如针对AWS的SoftNAS，针对vSphere的Tintri;现阶段针对Hypervisor进行拓展和优化的，应该有不少生存空间;针对公有云的，可能在晚些年陆续出现更多的初创厂商。
5)传统外置磁盘阵列的转型尝试，如HP StorVirtual、EMC vVNX、NetApp OnTap Edge等。
6)云计算公司的的转型尝试，如公有云提供商青云推出超融合一体机等。
7)包括冷存储在内的对象存储。
初期，必须围绕着数据平面下功夫，提供稳定性和可靠性，甚至可能针对业务应用进行优化;将来，数据平面同质化后，应该开始向控制平面层对接，以更好的为存储自动化服务。
跨界与融合、机遇与挑战、个人与企业、现在与未来。让各行业、企业，以及每一个向未来而努力的人，听见时代最前沿的声音，见证成长!