MaxCompute介绍

参考官方文档系列：

https://yq.aliyun.com/articles/85595?spm=a2c4e.11153940.blogcont78108.17.46c53af60mplZf

一 什么是MaxCompute

大数据计算服务（MaxCompute，原名ODPS open data processing service）是一种快速、完全托管的GB/TB/PB级数据仓库解决方案。MaxCompute为您提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决海量数据计算问题，有效降低企业成本，并保障数据安全。

同时，DataWorks和MaxCompute关系紧密，DataWorks为MaxCompute提供了一站式的数据同步、任务开发、数据工作流开发、数据管理和数据运维等功能，详情请参见DataWorks（原大数据开发套件）。 

MaxCompute主要服务于批量结构化数据的存储和计算，可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。随着社会数据收集手段的不断丰富及完善，越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据（百GB、TB乃至PB）级别。

在分析海量数据场景下，由于单台服务器的处理能力限制，数据分析者通常采用分布式计算模式。但分布式的计算模型对数据分析人员提出了较高的要求，且不易维护。使用分布式模型，数据分析人员不仅需要了解业务需求，同时还需要熟悉底层计算模型。MaxCompute的目的是为您提供一种便捷的分析处理海量数据的手段，您可以不必关心分布式计算细节，便可达到分析大数据的目的。

 

MaxCompute学习路径

您可以通过MaxCompute学习路径快速了解MaxCompute的相关概念、基础操作、进阶操作等。 

产品优势

• 大规模计算存储

  MaxCompute适用于100GB以上规模的存储及计算需求，最大可达EB级别。

• 多种计算模型

  MaxCompute支持SQL、MapReduce、Graph等计算类型及MPI迭代类算法。

• 强数据安全

  MaxCompute已稳定支撑阿里全部离线分析业务7年以上，提供多层沙箱防护及监控。

• 低成本

  与企业自建专有云相比，MaxCompute的计算存储更高效，可以降低20%-30%的采购成本。

功能概述

• 数据通道

  • 支持批量、历史数据通道

    TUNNEL是MaxCompute为您提供的数据传输服务，提供高并发的离线数据上传下载服务。支持每天TB/PB级别的数据导入导出，特别适合于全量数据或历史数据的批量导入。Tunnel 为您提供Java编程接口，并且在MaxCompute的客户端工具中，有对应的命令实现本地文件与服务数据的互通。 

  • 实时、增量数据通道

    针对实时数据上传的场景，MaxCompute提供了延迟低、使用方便的DataHub服务，特别适用于增量数据的导入。DataHub还支持多种数据传输插件，例如Logstash、Flume、Fluentd、Sqoop等，同时支持日志服务Log Service中的投递日志到MaxCompute，进而使用DataWorks进行日志分析和挖掘。 

• 计算及分析任务MaxCompute支持多种计算模型，详情如下。 
  • SQL：MaxCompute只能以表的形式存储数据，并对外提供了SQL查询功能。您可以将MaxCompute作为传统的数据库软件操作，但其却能处理TB、PB级别的海量数据。 

    	说明
    	MaxCompute SQL不支持事务、索引及Update/Delete等操作。 MaxCompute的SQL语法与Oracle、MySQL有一定差别，您无法将其他数据库中的SQL语句无缝迁移到MaxCompute上来。详情请参见与其他SQL语法的差异。  在使用方式上，MaxCompute SQL最快可以在分钟、乃至秒级别完成查询，无法在毫秒级别返回结果。 MaxCompute SQL的优点是学习成本低，您不需要了解复杂的分布式计算概念。如果您具备数据库操作经验，便可快速熟悉MaxCompute SQL的使用。

  • UDF：即用户自定义函数。 

    MaxCompute提供了很多内建函数来满足您的计算需求，同时您还可以通过创建自定义函数来满足不同的计算需求。 

  • MapReduce：MaxCompute MapReduce是MaxCompute提供的Java MapReduce编程模型，它可以简化开发流程，更为高效。您若使用MaxCompute MapReduce，需要对分布式计算概念有基本了解，并有相对应的编程经验。MaxCompute MapReduce为您提供Java编程接口。 
  • Graph：MaxCompute提供的Graph功能是一套面向迭代的图计算处理框架。图计算作业使用图进行建模，图由点 （Vertex）和边（Edge）组成，点和边包含权值（Value）。通过迭代对图进行编辑、演化，最终求解出结果，典型应用：PageRank、单源最短距离算法 、K-均值聚类算法等。 
• SDK

  SDK是MaxCompute提供给开发者的工具包，详情请参见SDK介绍。 

• 安全

  MaxCompute提供了功能强大的安全服务，为您的数据安全提供保护，详情请参见安全指南。 

 

二 发展历程

从2009年9月阿里云成立，愿景就是做运算/分享数据的第一平台。2010年4月，伴随阿里金融的贷款业务上线，ODPS正式投入生产运行。2012 年建立统一数据平台，2013年具备超大规模海量数据处理能力，2014~2015年大数据平台开始日趋成熟，2016年MaxCompute2.0诞生，成立之初的愿景正在逐步实现。 

关键性里程碑

• 2010.04 ODPS正式投入生产运行，阿里金融的贷款业务上线稳定运行。
• 2013.05 ODPS公测。
• 2013.07 ODPS正式提供商业化服务，单集群规模5K台服务器多级群能力。
• 2016.09 ODPS正式更名为MaxCompute，并推出MaxCompute2.0，实现高性能，新功能，富生态。