美国云计算印象

来源：程序员 作者：蒋涛 刘江

2012年3月19日—26日，我们参加中国电子学会云计算专家委员会组织的“云计算美国之行”访问团，到西雅图和旧金山两地拜访美国多家云计算相关公司，其中既有Amazon、微软、Google、Facebook、Rackspace这样的行业巨头，也有Heroku、Engine Yard、Puppet等新兴云计算公司，还包括CloudCamp为代表的美国云计算社区。虽然行色匆匆，难以进行非常深入的交流，但接触面比较广，对美国云计算产业和技术的发展情况有了更多直观认识。

微软

我们到访的第一站是位于西雅图的微软总部。企业IT走向云计算已成为大势所趋，所以微软与软硬件巨头IBM、HP、Oracle、Dell一样，都在积极布局云计算技术、产品和平台，或收购，或积极研发。

为什么现在云计算如此重要？负责微软企业云战略的Rolf Harms从经济学角度给出了答案：

 

• Cloud = doing what you do today for less
• Cloud = doing what you do today better
• Cloud = doing things you can’t do today

微软自己的官方网站Microsoft.com迁移到Azure平台后，成本降低了90%，可用性从99.1%提高到99.997%，部署时间却从数周下降到45分钟，改善巨大。

Harms的介绍中有一幅图讲述私有云和公共云的不同使用场景，非常清晰，如图1所示。

图1 私有云与公共云适用场景

而长远看，公共云相比私有云具有明显的价格优势，如图2所示。

图2 私有云与公共云成本比较

云计算大战的焦点之一，是如何降低数据中心的建设和运营成本以及环保问题。Facebook开源Open Compute项目更加剧了数据中心技术方面的竞争。微软也大幅投资云计算数据中心，发展新一代数据中心。这次我们有幸参观了微软在Redmond Ridge的研发数据中心，各方面都非常先进，虽然设备的密度极大（52U/rack），PUE值仍然能够达到1.17。应该说，在纯粹设备上国内并不落后，但这个数千平米的数据中心只有10人负责运营，而支撑Azure平台的主力Quincy数据中心，占地47万平方英尺，运营人员也只有35人，自动化程度惊人。另外负责人介绍，由于设备密度太大，思科现有的交换机已经无法支持，必须开发新一代。

图3 Gartner的IaaS魔力象限

Amazon

云计算的理念其实已经发展了很多年，而作为一个术语而流行始自2006年，但至今仍然免不了众说纷纭，这一点国内外情况倒是差不多。云管理平台企业enStraus副总裁Bernard Golden在美国CIO圈子里颇有名气，他在交流中说到一个很有意思的现象：很多大公司的CIO虽然一方面口口声声云计算还不安全，不能轻率采用，可另一方面已经非常普遍地使用Salesforce、Workday等SaaS软件管理客户和员工等最敏感的信息。不过他也承认，虽然在美国云计算已经成为主流，但大家还是免不了不断的分歧与纷争，因为有太多背景不同的厂商和人说自己在做云计算。

图4 AWS历年发布的服务（出自Jeff-Barr的演示稿）

但有一点是大家都有共识的，那就是Amazon已经在公共云领域比较稳固地建立了自己的优势。2011年12月Gartner的研究表明，AWS自2006年推出以来，一直保持高速的产品研发节奏。AWS云平台无论在执行能力还是在前瞻性上，都在IaaS提供商中处于领先地位。而且它也在向PaaS扩张。

与此对应的是，AWS惊人的指数型发展速度。由图5可见，截止到2011年底，Amazon S3已存储了7620亿对象，年增长率达到192%，而且还在不断加速。另外，据美国调查公司451Group的报告，AWS已经占据了美国59%的IaaS市场份额。

图5 Amazon S3所存对象数的增长（出自Jeff Barr的演示稿）

虽然Amazon很少公布图5那样具体的规模数字，但我们还是可以从各种渠道做一些估算。此前Accenture的Huan Liu曾估算AWS的服务器可能有44.5万台，但一般都认为这个数字可能偏高。James Hamilton去年6月曾透露，AWS当时每天增加的容量足可以支持Amazon最初头五年全球运营，而那时公司营收已经接近30亿美元了。另据4月中旬DeepField的数据，现在每天有1/3的美国互联网用户至少访问一次AWS，它还占据了1%总互联网流量，并已经是全球第四大CDN。

拜访Amazon云计算部门时得知，它现在约有2000多人（其中有相当比例是销售人员），今年还准备扩招500人左右。有熟悉美国企业运作的同行者据此粗略算出，Amazon今年的营收目标至少应该是20亿美元。而2011年Gartner对此数字的估计是10亿。发展速度的确惊人。

云计算最初的用户主要是新兴公司，但现在大型互联网企业和许多大型公司也已经转向AWS。其中视频服务商Netfilix是一个经典案例，这个流量巨大的网站完全放弃了自建数据中心。利用AWS做海量存储、大数据分析和容灾备份的就更多了：SAP、Adobe、三星、爱立信、日立、趋势……

值得注意的是，除了Web应用和海量数据领域，AWS近年也在开拓面向企业云服务的产品，IBM、Microsoft、Oracle、SAP的全线商业产品和各开源产品的都可部署在AWS云服务上。4月底，Amazon又推出应用商店AWS Marketplace，由Amazon负责统一计费，更加方便用户。

Rackspace与OpenStack

此次我们也访问了Rackspace在旧金山的办公室。Rackspace是韩裔美国人Richard Yoo于1998年创办的，最初只是一家普通的ISP。在传统的主机托管厂商之中，较早转型云计算，也成为IaaS领域另一个领导性厂商，市值接近80亿美元，2011年营收超过10亿美元。最近他们透露，总服务器数已经超过8万台，云计算方面已经占到总业务的两成以上，据估计，它的规模是Amazon云平台的五分之一。

图6 与Rackspace创业者关系负责人Robert Scoble合影

Rackspace在云计算领域的领导地位还有一个重要原因——它是目前关注度最高的开源云计算项目之一OpenStack的主要发起者和实际领导者。而OpenStack的核心开发人员有些就在旧金山办公室。到访当天他们显得很忙，未及深谈，后来得知，不久后第五个OpenStack版本Essex发布了。

从技术上说，OpenStack其实与其他开源云技术项目相比并不具备绝对优势。但由于拥抱开源早，路线图明确，很快获得了急需IaaS和私有云平台技术的众多厂商的支持。很大程度上，OpenStack已经成为抗衡Amazon霸主地位的阵营中坚。当然，社区运营和生态系统建设方面，OpenStack也有很多成功经验可供国内企业借鉴。现在参与开发的公司除了Rackspace、Nebula之外，还有Red Hat、Nicira、HP、Canonical、DreamHost、新浪、维基百科、思科甚至Citrix。

在美国的交流中，我们发现除了大家言必称OpenStack之外，VMware主导的开源PaaS项目Cloud Foundry的关注度也较高。有趣的是，两者都将自己的目标定为成为云时代的Linux。相比之下，Citrix最近捐献给Apache的CloudStack（主要创始人是当年Sun JVM的作者Sheng Liang）和老牌的Eucalyptus的人气就差了很多，但它们都与AWS兼容，可以列入Amazon阵营。这三大生态系统之间如何竞合，将是云计算的大看点之一。

云计算推动创业

比AWS等云平台本身发展更重要的是，它们已成为美国云计算和创业生态系统的基石。由于云平台的存在，加上移动互联网的重大机遇，大量创业公司得以迅速兴起，硅谷、纽约、波士顿等各地，到处一派繁荣景象。比如在旧金山，我们到访的一座不起眼的四层小楼里，《Wired》杂志、Wikia和Engine Yard都在其中。AWS的客户名单（数以十万计）中包括许多美国当前热门公司（其他多是广告平台）：Pinterest、Dropbox、Instagram、Reddit、Zynga……

图7 AWS上每天访问量最大的客户（出自DeepField的演示稿）

这些新兴企业的网络服务就架设在AWS平台上，从而免除了“为了让灯亮起来就要在IT上花费80%的时间和成本”（Gartner语），可以专注于开发应用、满足用户需求。比如，最近刚以10亿美元（因为大部分是股票，实际价值可能更高）被Facebook收购的Instgram，其技术方案大量采用AWS（主机选择Amazon EC2，图片数据库采用Amazon S3，CDN选用Amazon CloudFront等）。所以虽然Instgram只有13名员工（工程团队仅3人），却构建了最强大的移动端图片分享平台，甚至让Facebook感到了威胁。

除了面向消费者的互联网和移动应用之外，云计算也为技术提供商创造了机遇。本次访问中我们在CloudCenter巧遇Puppet创始人Luke Kanies，并进行了简短的交流。他是一位资深的系统管理员，后转开发，2003年用没学多久的Ruby写出Puppet，是DevOps的最初推动力之一。后以此辞职创业，因为采用开源模式，最初三年公司基本没有收入，是苦苦撑下来的。今天，Puppet已经用于Google、Twitter、Zynga等数千企业，2011年底累计融资2500万美元。Puppet的劲敌，是Amazon的灾难处理大师Jesse Robbins开发的Chef，但他本人现在只担任Opscode的首席社区官。而Rackspace旧金山办公室的负责人Alex Polvi也是系统管理员出身的成功创业代表，他的云管理和监控服务CloudKick去年被Rackspace收购。

图8 AWS其实已经不只是IaaS

值得注意的是，Amazon现在已经并不限于Infrastructure这一层。从图8中还可以很清楚地看到，它也在同时向Platform层发展，加入很多管理和监控服务。这毫不奇怪，IaaS公认利润不高（虽然比Amazon的老本行还是要高一些），PaaS和SaaS才是肥沃之地。而且从用户的角度来看，一站式的服务永远是有吸引力的。

但基于AWS的各种第三方PaaS服务仍然在繁荣发展，我们这次访问的Engine Yard和Heroku都是其中的优秀代表。

Engine Yard是历史最久规、模最大的PaaS平台，有Amazon投资。目前付费用户超过2400个，包括Apple iTunes在欧洲的平台也依靠它们支撑。目前90%的应用为Ruby，其次也支持PHP和Node.js。

而Heroku则是一家以用户体验和技术精湛而著称的PaaS公司，最初主要支持Ruby（Ruby创始人Matz是其首席架构师），现在也覆盖了Python、Java、Scala和Node.js。2010年以2.12亿美元卖给Salesforce，是云计算平台领域最大的并购之一。但有意思的是，收购已经过去一年多，Heroku仍然独立经营，只是从最初的地址搬到了旁边一座更大的楼里，完全保持创业公司的样子，而且平台也丝毫没有要从AWS迁移到自家Salesforce基础设施的打算。同样有趣的是，Facebook不是自建平台，而是在2011年9月与Heroku合作，让后者为Facebook上的社会化应用开发者提供PaaS服务。为了这次合作，Heroku特别增加了PHP支持。而合作也为Heroku带来丰厚回报：用户激增，平台上的应用数超过140万。

有竞争，但合作共赢是主流，大家把更多精力放在产品和创新，为用户提供更好体验上。这种和谐共生的现象，尤其令我们这些见惯了乱景的中国人印象深刻。

今天，一个普通的技术人员可以短时间内借助云计算平台，拥有和巨人对手们相同的计算资源，实现梦想，这才是云计算的真正价值所在。我们需要共同为之努力。