阿里巴巴大数据计算平台MaxCompute（原名ODPS）全套攻略（持续更新20171127）

 

概况介绍

大数据计算服务(MaxCompute，原名ODPS，产品地址：https://www.aliyun.com/product/odps)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。本文收录了大量的MaxCompute产品介绍、技术介绍，帮助您快速了解MaxCompute/ODPS。

• MaxCompute 2.0：阿里巴巴的大数据进化之路
• 性能追求之路——MaxCompute2.0（原ODPS）的前世今生
• 10年老兵带你看尽MaxCompute大数据运算挑战与实践
  
• 什么是阿里云数加大数据计算服务MaxCompute?
• 一分钟了解阿里云产品：大数据计算服务MaxCompute概述
• MaxCompute（原ODPS）技术架构及应用实践
• 【视频】不要犹豫 了解这些即可玩转阿里云MaxCompute
• MaxCompute产品详情页
• odps是什么?
• 阿里云双11访谈之MaxCompute
• 【逐云】阿里“水电煤”背后的人物故事

  2.0专题

  最新推出的MaxCompute 2.0，在高性能方面主要依托于全新的SQL 2.0计算引擎。在新功能方面提供了非结构化的处理，在云上开始使用OSS（开放的对象存储）、OTS（开放的表格存储），MaxCompute对其进一步分析和计算提供了连接性。机器学习在新版本中提出了CPU和GPU统一的架构，在富生态中也提出了新的能力。本文收录了MaxComputeV2最新的使用攻略，帮助开发者更快的了解并玩转MaxCompute2.0。

  • MaxCompute 2.0 NewSQL演进之路
  • MaxCompute2.0 对开源系统的支持与融合
  • MaxCompute2.0索引优化实践
  • MaxCompute 2.0 基于BigBench标准的最新测试进展
  • MaxCompute 2.0 生态开放之路及最新发展
  • MaxCompute 2.0—从ODPS到MaxCompute
  • MaxCompute2.0性能评测：更强大、更高效之上的更快速
  • MaxCompute上如何处理非结构化数据
  • MaxCompute访问TableStore(OTS) 数据
  • MaxComputeSql性能调优
  • 生态与兼容：MaxCompute大数据生态集成和开发工具
  • MaxCompute理解数据、运算和用户的大脑：基于代价的优化器
  • Vectorized Execution Engine in MaxCompute 2.0简介
  • MaxCompute与OSS非结构化数据读写互通（及图像处理实例）
  • 基本及复杂数据类型扩展（TINYINT、SMALLINT、 INT、 FLOAT、VARCHAR、TIMESTAMP 、 BINARY、ARRAY、MAP、STRUCT ）
  • DML(INSERT操作、SELECT操作)及内建函数(日期函数、数学函数、字符串函数)更新
  • MaxCompute2.0 - ODPS重装上阵　第一弹 - 善用MaxCompute编译器的错误和警告
  • MaxCompute2.0 - ODPS重装上阵　第二弹 - 新的基本数据类型与内建函数
  • MaxCompute2.0 - ODPS重装上阵　第三弹 - 复杂类型
  • MaxCompute2.0 - ODPS重装上阵　第四弹 - CTE，VALUES，SEMIJOIN

  评测

  MaxCompute在业内证明了其几大优势：极低的自建成本，卓越的性能打破了四项世界纪录，优秀的架构确保了企业数据在整个生命周期内的安全性；通过自身核心竞争力和市场成绩单，斩获用户好口碑。本文收录了MaxCompute所有评测、技术奖项、等级证书等相关知识。

  • 2017大数据标准化论坛发布了第一批大数据系统测试结果，阿里云数加获得了大数据系统测试证书。
  • 可靠、安全、易用，阿里云数加大数据平台首批通过国家大数据标准检测
  • 7倍!阿里云的MaxCompute居然比自建Hadoop便宜这么多
  • MaxCompute把100TB数据的排序时间缩短到了377秒，打破了此前由微软、雅虎等公司保持的纪录，获得全球4项世界冠军。
  • 持续创新和改进，为用户创造最大价值，阿里云数加MaxCompute获得C-Tech Awards 2016年度“最具技术创新奖”
  • MIT评出全球十大突破性技术 阿里巴巴连摘两项
  • Gartner公布2017年全球云计算魔力象限：阿里云进入前四
  • Gartner全球IAAS市场报告：阿里云进入全球前三
  • BigBench on MaxCompute 基准测试套件简明安装与运行指南
  • CloudSort 阿里云 2016 夺冠，性价比高出 AWS 保持的世界记录三倍
  • 阿里云2017计算能力实现多项突破 BigBench规模全球首次被拓展至100TB

  开发套件专题

  MaxCompute支持多款开发套件，如数加DataWorks，可以很方便的完成多源异构数据的同步、脚本开发、定时调度，MaxCompute Studio提供本地化的智能编辑器、Job分析，让代码更高效。本文收录了大数据开发套件的相关介绍、使用教程、最佳实践，帮您玩转大数据开发套件。

  DataWorks

  • DataIDE大数据开发套件官方教程
  • 阿里云大学精品课程：深入理解阿里云数加大数据开发套件Data IDE-基本知识
  • 大数据开发套件-数据集成-云mongo跨区域如何同步到Maxcompute
  • 【大数据开发套件调度配置实践】——调度任务各种周期配置和调度形态
  • 阿里云大数据开发套件 新手不得不面对的问题（持续更新）
  • 【大数据开发套件调度配置实践】——不同周期任务依赖配置
  • 数据库工程师快速上手MaxCompute进行ETL
  • 基于DataIDE数据集成实现香港ECS上的MySQL数据同步到数加MaxCompute
  • 【大数据新手上路】“零基础”系列课程--MySQL 数据整库迁移到 MaxCompute
  • 阿里巴巴下一代数据集成技术

  MaxCompute Studio

  • 深入阿里云大数据IDE–MaxCompute Studio
  • 使用 MaxCompute Studio 开发大数据应用
  • MaxCompute Studio提升UDF和MapReduce开发体验
  • ODPS Studio 2.6.2 版本发布了
  • 用 MaxCompute Studio 查看作业排队详情
  • MaxCompute模板与样例
  • MaxCompute（原ODPS） Studio 2.7.0 版本发布，让代码效率更高
  • IDEA集成MaxCompute
  • 通过MaxCompute Studio创建UDF的简单介绍
  • MaxCompute Studio 2.8.1 新版本发布啦！
  • MaxCompute Studio使用心得系列1——本地数据上传下载
  • MaxCompute Studio使用心得系列2——编译SQL脚本
  • MaxCompute Studio使用心得系列3——可视化分析作业运行
  • MaxCompute Studio使用心得系列4——可视化查看所有job并分析运行情况
  • 阿里云全新一代企业级新品解读—通过MaxCompute Studio实践大数据时代的DevOps

  机器学习PAI专题

  MaxCompute提供基于GPU的深度学习算法框架，在线预测服务等，以极低的代价帮助您的业务从BI时代跨入AI时代，真正实现人工智能触手可及。本文收录了机器学习技术原理、实践等相关知识，帮助开发者快速掌握机器学习。

  • 机器学习——让人工智能触手可及
  • 大规模深度学习优化技术在PAI平台中的应用及实践
  • 阿里云工程师用机器学习破解雾霾成因
  • 大规模数据的分布式机器学习平台
  • ODPS—MPI机器学习编程框架
  • 人工智能居然会模仿人类品酒
  • 用炸弹开路——加速到来的证券投资行业人工智能时代
  • 阿里云机器学习平台的思考
  • 机器学习系列直播--使用对抗神经网络(GANs)生成猫【8月30日 20点不见不散】

  图计算Graph专题

  MaxCompute Graph 是基于飞天平台实现的面向迭代的图处理框架，为用户提供了类似于 Pregel 的编程接口，本文收录了图计算的介绍、技术原理、实践，帮您来更多的了解Graph。

  • 图计算Graph 介绍
  • 基于MaxCompute的图计算Graph 实践分享-图加载过程
  • 基于MaxCompute的图计算Graph 实践分享-解析图加载过程
  • 基于MaxCompute的图计算Graph 实践分享-Aggregator机制介绍
  • 基于MaxCompute的图计算Graph 实践分享-可配置参数列表（持续更新）
  • 基于MaxCompute的图计算Graph 实践分享-常见问题解决及优化指南

  MapReduce专题

  当大数据业务逻辑很复杂，用SQL配合UDF(包括UDAF和UDTF)也无法实现的时候，可以使用MapReduce MapReduce来实现。本文收录了MapReduce的介绍、技术原理、实践，帮您来更多的了解MapReduce。

  •   MaxCompute MapReduce介绍及技术原理
    
  •  MaxCompute MapReduce（MR）如何收费
    
  • MaxCompute MapReduce细节解读
    
  •  MaxCompute MapReduce的7个性能优化策略
    
  • MaxCompute（原ODPS） MapReduce常见问题解答
    

  UDF专题

  • MaxCompute UDF系列之身份证校验及15位身份证号码转换成18位
  • MaxCompute UDF系列之判断字符串中是否包含汉字
  • MaxCompute UDF系列之全角转半角
  • MaxCompute SQL引用第三方Base64JAR实现编解码
  • MaxCompute UDF系列之拼音转换
  • MaxCompute中实现IP地址归属地转换

  客户案例

  MaxCompute在短短的几年时间里，改变了很多行业，积累了大量的客户成功案例。比如东润环能在3个月内业务全面交付云端，数据处理时间不到原来自建方式的1/3，并确保云上数据安全无忧。墨迹天气日志分析业务迁移到数加MaxCompute后，开发效率提升了超过5倍，存储和计算费用节省了70%，每天处理分析2TB的日志数据，更高效的赋能其个性化运营策略。本文收录了大量的客户案例，总有一款适合您。

  • 阿里云MaxCompute携手华大基因打造精准医疗应用云平台
  • 借助数加，原来需要2-3天的单维度数据处理时间，目前仅需3-6小时，研发周期更短，产品需求符合度更高。
  • 大数据打造你的变美频道——数加平台上小红唇的大数据实践
  • 阿里云与国家天文台成立天文大数据联合研究中心
  • 阿里云参与两大国家工程实验室获批，人工智能继续深入工业制造
  • 借助阿里云数加，小小的美甲行业被美甲帮玩出了天价
  • 美甲帮：玩转指甲上的大数据平台
  • 大数据打造你的变美频道——数加平台上小红唇的大数据实践
  • 与阿里云整个生态体系共同成长，更快更好的为房地产行业客户提供高价值的服务
  • 苏州协鑫与阿里云合作阶段性完成，良品率已提升1%
  • 禾连健康CDO沈金：谈云时代的大数据平台架构
  • 小硅片与大数据的结合 ——协鑫光伏的新制造之路
  • 墨迹天气-轻松处理每天2TB的日志数据，支撑运营团队进行大数据分析挖掘，随时洞察用户个性化需求
  • 阿里云数加让企业更专注于业务，助力东润环能高效利用大数据资源
  • 纯云大数据系统的构建与价值
  • 阿里云数加助力东润环能开启新能源大数据时代
  • 赋能平台、提效工具、场景化应用，地产大数据玩转有诀窍
  • 产品3周迭代一次，启信宝驾驭8000万企业征信的平台架构
  • 日交易笔百万级，Ping++的大数据平台架构
  • 专访佰腾科技大数据团队，谈专利大数据领域的挑战与实践
  • 佰腾科技的专利大数据的云上裂变之路
  • 技术创业难？看汇合营销如何玩转大数据与机器学习
  • 数据让生意更简单，网聚宝创业团队利用数加快速打造核心业务竞争力，在激烈的市场竞争中弯道超车。
  • 网鱼网咖-利用数加快速搭建大数据平台，极致洞察，为客户带来从所未有的体验。
  • 年服务人次3300万+，网鱼网咖的大数据挑战及架构
  • 友盟这家数据公司为什么能成为数百万企业的选择？
  • 数加平台协助汇合营销快速行动，捕获转瞬即逝的商机。
  • 全民直播牵手阿里云，技术升级触发直播新体验
  • 3天撸完一个团队半年的项目，单客户数据动辄几百万的行业也玩云？
  • 杭州治堵有“智慧” 阿里云数加激活城市大脑
  • 堵车预测神器诞生，浙江已用来治疗高速顽疾
  • 小团队拥有大能量 三十个年轻人的创业故事
  • 完成数据的打通-豌豆荚被阿里巴巴收购后的168天
  • MaxCompute助力北斗大数据，千寻位置3秒实现厘米级定位
  • 30秒在线卖出3000套房，对于云系统来说只是小意思！
  • 阿里怎么发工资？自研薪酬管理系统首次曝光
  • 《能源地图》：阿里云数加MaxCompute轻松处理8000亿条气象数据
  • 阿里妈妈MaxCompute架构演进 - AON(MPI)集群
  • 数据生意背后的云计算
  • 登月1号：支付宝演绎空中升级绝技
  • 御膳房：构建大数据的美食厨房
  • OFO：Maxcompute的任务状态和多任务执行
  • 仁人帮探索大数据技术
  • 融合大数据能力，解决在存量时代下的力分之困
  • MaxCompute2.0助力众安保险快速成长
• 美柚-MaxCompute为女性健康护航

新手入门

为MaxCompute新手用户提供入门级教程，如操作介绍、计量计费、数据上云、云上分析，帮助用户完成第一个SQL数据分析。

• 阿里云数加大数据计算服务MaxCompute学习路线图 (持续更新中)
• 【大数据学习】数据化运营并不难？关键是这些技术你get了么？！
• MaxCompute 学习计划(一)
• MaxCompute 学习计划(二)
• MaxCompute 学习计划(三)
• MaxCompute（原ODPS）开发入门指南——数据上云篇
• MaxCompute（原ODPS）开发入门指南——计量计费篇
• MaxCompute（原ODPS）开发入门指南——数据开发工具篇
• MaxCompute常用语句汇总(更新ing)

计费购买

提供MaxCompute计量计价说明，计费工具，售前计费沟通支持。

• 计量计费说明
• 价格计算器-小工具下载
• 购买咨询专家群
• 帮助企业做好MaxCompute大数据平台成本优化的最佳实践
• 三分钟教你学会分析MaxCompute消费明细
• 教你开通MaxCompute自动续费

技术峰会

收录各界MaxCompute大数据技术峰会，多位技术大咖、行业实践者从技术与业务两个方面，与大家探讨大数据如何最快落地到实践。

• [干货]作为大数据入门者，你不得不知道的2017杭州云栖大会
• 双管齐下，MaxCompute数据上云与生态
• 【直击深圳云栖大会大数据专场】陈鹏宇分享主题—数加：迈向数据智能之路
• 技术与架构，解析如何将大数据最快落地到实践
• MaxCompute Next
• MaxCompute 2.0 性能优化揭秘

·         演讲视频：http://yq.aliyun.com/webinar/play/188

·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1449 

·         演讲整理文章：https://yq.aliyun.com/articles/72240

MaxCompute大数据语言的新发展

·         演讲视频：http://yq.aliyun.com/webinar/play/189

·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1448 

·         演讲整理文章：https://yq.aliyun.com/articles/72284

大规模流式增量计算及其在阿里巴巴的应用

·         演讲视频：http://yq.aliyun.com/webinar/play/190

·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1444 

·         演讲整理文章：https://yq.aliyun.com/articles/72242

PAI分布式机器学习平台计算模型演进之路

·         演讲视频：http://yq.aliyun.com/webinar/play/191

·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1445 

·         演讲整理文章：https://yq.aliyun.com/articles/72362

MaxCompute数据上云与生态

·         演讲视频：http://yq.aliyun.com/webinar/play/192

·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1446 

·         演讲整理文章：https://yq.aliyun.com/articles/72367

高可用大数据计算平台如何持续发布和演进

·         演讲视频：http://yq.aliyun.com/webinar/play/193

·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1447 

·         演讲整理文章：https://yq.aliyun.com/articles/72282

专利大数据的云上裂变之路

·         演讲视频：http://yq.aliyun.com/webinar/play/194

·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1440 

·         演讲整理文章：https://yq.aliyun.com/articles/72369

地产大数据趋势与应用实践

·         演讲视频：http://yq.aliyun.com/webinar/play/195

·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1441 

·         演讲整理文章：https://yq.aliyun.com/articles/72386

用大数据打造你的变美频道

·         演讲视频：http://yq.aliyun.com/webinar/play/196

·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1443 

·         演讲整理文章：https://yq.aliyun.com/articles/72250

云上大数据，零售新思维

·         演讲视频：http://yq.aliyun.com/webinar/play/197

·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1442 

·         演讲整理文章：https://yq.aliyun.com/articles/72249

•          关于举办“天德π客”创业论坛——“基于阿里云的大数据实践—海量日志分析”的通知
  
•          快上车！老司机带你走进“大数据及阿里云数据分析平台”
  
•          万元大奖邀您参与阿里云数加 MaxCompute最佳实践征文大赛
•          阿里云全新一代人工智能引擎机器学习PAI+MaxComptue征文大赛正式启动
•          操作系统顶级会议SOSP 阿里云MaxCompute开启NewSQL时代

Workshop

该课程是基于大数据时代日志分析的基础需求的基础上，告知用户如果通过阿里云MaxCompute大数据解决方案来实现自己网站日志的用户画像。包括数据采集、数据加工以及数据最终的展现，最后通过MapReduce来解密好友推荐算法的实现原理。

•          《云数据·大计算：海量日志数据分析与应用》Workshop-入口
  
•          数据采集：日志数据上传
  
•          数据加工：用户画像
  
•         数据分析展现：可视化报表及嵌入应用
  
•          社交数据分析：好友推荐
  
•          2017云栖大会·杭州峰会：《在线用户行为分析：基于流式计算的数据处理及应用》之《数据可视化：构建实时动态运营数据分析大屏》篇
  
•          2017云栖大会·杭州峰会：《在线用户行为分析：基于流式计算的数据处理及应用》之《流数据处理：通过StreamSQL分析视频日志》篇
  
•          2017云栖大会·杭州峰会：《在线用户行为分析：基于流式计算的数据处理及应用》之《流数据采集：海量流式视频日志收集》篇
  
•          2017云栖大会·杭州峰会：《云数据·大计算：海量日志数据分析与应用》之《数据分析展现：可视化报表及嵌入应用》篇
  
•          2017云栖大会·杭州峰会：《在线用户行为分析：基于流式计算的数据处理及应用》实验环境准备
  
•         2017云栖大会·杭州峰会：《在线用户行为分析：基于流式计算的数据处理及应用》Workshop-入口
  

MaxCompute1元试用体验馆

通过丰富的场景案例、教程，让您近距离低成本的感受MaxCompute大数据平台的魅力。

• Flume采集网站日志到MaxCompute
• Hadoop数据表迁移到MaxCompute
• 快速搭建一个BI销售数据分析系统
• 机器学习实现海量新闻自动分类
• 机器学习为您揭秘雾霾怎么形成

数据上云专题

对于大多数企业首先碰到的问题就是数据如何迁移到MaxCompute中。按照数据迁移场景，大致可以分为批量数据、实时数据、本地文件、日志文件等的迁移，下面我们针对每种场景分别介绍几种常用方案。

• 数据进入阿里云数加-大数据计算服务MaxCompute（原ODPS）的N种方式
• “零基础”系列课程--日志服务（Log Service）采集 ECS 日志数据到 MaxCompute
• 日志服务（原SLS）新功能发布(12)--日志投递MaxCompute（原ODPS）支持自动建表授权
• Flume数据导入MaxCompute（原ODPS）方法
• MaxCompute（原ODPS）功能介绍之数据导入
• 用Fluent实现MySQL到MaxCompute（原ODPS）数据集成

数据安全专题

收录了MaxCompute大数据平台安全资质、安全机制、数据安全白皮书、安全事件等，带你更深入的了解MaxCompute如何保护企业数据资产。

• 你的大数据安全么？“Hadoop集群遭遇勒索软件攻击 ”
• 【阿里云大数据产品MaxCompute】DT时代企业数据资产的护卫舰
• 可靠、安全、易用，阿里云数加大数据平台首批通过国家大数据标准检测
• 阿里云成为全国首家云等保试点示范平台 金融云通过国家等保四级备案测评
• MaxCompute数据安全机制
• 还在用Hadoop么？Hadoop服务器造成5PB数据泄露，中国、美国受波及最大！

运维/容灾专题

收录了MaxCompute大数据平台运维成长过程，企业如何做好灾备、做好自动化运维保障等相关运维知识。

• MaxCompute(ODPS)大数据容灾方案与实现（及项目落地实例）专有云
• 阿里云大数据计算平台的自动化、精细化运维之路

数据仓库专题

分享企业如何利用MaxCompute搭建数据仓库，如何做好ETL、建模、分层设计等相关数仓知识。

• 干货：解码OneData，阿里的数仓之路。
• 企业大数据平台下数仓建设思路
• 大数据来了，数据库爆仓了，宝宝们怎么办？
• 淘宝大数据之路
• MaxCompute大数据实践，电商数据仓库选择雪花还是星型模型？
• MaxCompute大数据实践，电商数据仓库的星型模型和传统星型的区别
• 大数据环境下该如何优雅地设计数据分层
• 精打细算使用MaxCompute搭建数仓
• 阿里巴巴大数据实践之数据建模
• 【直播沉淀】基于阿里云数加MaxCompute的企业大数据仓库架构建设思路
• 品《阿里巴巴大数据实践-大数据之路》一书（上）
• 品《阿里巴巴大数据实践-大数据之路》一书(下)
• iphoneX都面世了，你的数据仓库还停留在诺基亚时代吗?
• 阿里数据仓库实践分享
• 基于阿里云数加MaxCompute的企业大数据仓库架构建设思路

公开数据集

目前免费开放的数据类别包括：股票价格数据，房产信息，影视及其票房数据，所有的数据均被存储在MaxCompute 产品中的public_data 项目中。

• 阿里云数加（大数据）公开数据集（公测ing）

大数据最佳实践

越来越多的企业和开发者选择MaxCompute，为了更好地展示这些优秀企业和个人开发者的伟大经验，搜集整理了这些最佳实践，希望这些最佳实践能够为你的开发工作带来一些帮助。

• 手把手，教你用MaxCompute+OpenSearch搭建分布式搜索引擎
• 阿里云大数据利器Maxcompute学习之-假如你使用过hive
• 一场变美盛宴后面的大数据故事
• 理财农场大数据初探之路
• 报警分析云上集成解决方案
• 专访360医药大数据负责人侯晓锋：谈未来智能医疗的挑战及实践
• 【物流大数据实践】基于阿里云Maxcompute实现物流跟踪
• 袋鼠云助力光伏产业 | 基于阿里云数加平台做算法预测
• 基于数加分析政府工作报告
• 阿里云大数据利器Maxcompute学习之--分区表的使用
• “零基础”系列课程--Flume收集网站日志数据到MaxCompute
• “零基础”系列课程--如何通过大数据开发套件Data IDE玩转大数据
• MaxCompute_2_MaxCompute数据迁移文档 
• 基于大数据开发套件定时调度带资源文件的MapReduce作业
• 如何用大数据开发套件周期调度机器学习算法
• ［ETL实践指南］基于Kettle的MaxCompute插件实现数据上云
• 推荐引擎的离线算法和在线算法初探
• OpenSearch：轻松构建大数据搜索服务
• 云上游戏数据分析实践
• 5分钟学会使用DataHub接入实时数据到MaxCompute(原ODPS)
• Docker时代——如何实现日志数据一键上云
• MaxCompute（原ODPS）使用总结-初级篇
• MaxCompute实战之数据存储
• 基于 MaxCompute 的极速的基因测序分析
• MaxCompute同步到AnalyticDB 任务报警简易处理
• MaxCompute 存储优化技巧
• MaxCompute OpenMR的7个性能优化策略
• MaxCompute5个窗口函数限制
• MaxCompute基础与MaxCompute SQL优化
• MaxCompute（原ODPS）任务优化之列裁剪
• MaxCompute应用限制整理
• 产品动手实践视频课-基于MaxCompute SQL实现商品推荐
  • MaxCompute SQL 01-说在前面的话
  • MaxCompute SQL 02-什么是个性化推荐系统
  • MaxCompute SQL 03-个性化推荐系统是怎么实现的？
  • MaxCompute SQL 04-推荐系统的评价和应用
  • MaxCompute SQL 05-天猫应用场景介绍
  • MaxCompute SQL 06-问题分析和思路整理
  • MaxCompute SQL 07-简单实现：根据销量推荐
  • MaxCompute SQL 08-简单实现：和随机推荐的对比
  • MaxCompute SQL 09-个性化推荐：算法设计和特征分析
  • MaxCompute SQL 10-个性化推荐：选择特征和采样
  • MaxCompute SQL 11-个性化推荐：训练模型
  • MaxCompute SQL 12-个性化推荐：参数优化和模型评估
  • MaxCompute SQL 13-个性化推荐：模型应用与总结
  • MaxCompute SQL 14-总结：不足与改进
• MaxCompute分区表和非分区表使用对比
• Oracle - MaxCompute（原ODPS）数据类型转换
• 大数据上云那些事儿：（一）上云工具之爬虫(Scrapy)数据
• 阿里云大数据利器Maxcompute学习之--窗口函数实现分组TopN
• MaxCompute SQL中的更新和删除如何实现
• 用Java代码调用MaxCompute
• 通过Fluentd实时上传数据到DataHub实践
• 基于阿里云MaxCompute实现复杂事件检测
• 阿里云大数据利器Maxcompute-使用mapjoin优化查询
• MaxCompute SQL Row_Sequence 实现列自增长
• MaxCompute SQL-列转行和行转列
• MaxCompute多团队协同数据开发项目管理最佳实践
• 门道多：一次MaxCompute PS任务的问题排查之旅
• 利用MaxCompute建立数据仓库的超强实战手册
• E-MapReduce中Spark 2.x读写MaxCompute数据
• MaxCompute如何实现跨项目授权
• 使用JDBC编程访问MaxCompute（原ODPS）
• 增量同步MaxCompute（原ODPS）数据解决方法
• MaxCompute（原ODPS） JOB 长尾问题调优
• MaxCompute（原ODPS） JOB logview 查看方法
• DataX使用指南——MaxCompute（原ODPS） to ODPS
• MaxCompute（原ODPS） 权限管理命令集合
• MaxCompute（原ODPS）内置函数整理
• OSS文件上传及OSS与MaxCompute（原ODPS）之间数据连通
• MaxCompute（原ODPS）跨集群迁移与数据同步经验分享
• 五阿哥（wuage.com），携钢铁行业步入一场云的变革
• 基于自定义日志打印的UDAF调试
• [免费]手把手，阿里算法专家教你21天搭建推荐系统
• 《企业大数据系统构建实战：技术、架构、实施与应用》
• 大数据分析平台产品对比之MaxCompute（原ODPS）篇
• Oracle - ODPS数据类型转换
• 使用ODPS进行拼车分析
• MaxCompute在网络舆情监控系统中的应用
• 使用MaxCompute快速实现企业数据化运营
• 应用MaxCompute实现变压器局部放电相位分析
• 实践 —— 亲测从 RDS MySQL 通过数据集成导入 MaxCompute
• 大数据分析平台产品对比之MaxCompute（原ODPS）篇
• 阿里云大数据利器之-使用flume+sql实现流计算做实时展现业务（归档Maxcompute）
• MaxCompute原（ODPS）创建dual表
• MaxCompute（原ODPS） 脑图 － 常用知识总结
• 阿里云大数据实验室：MaxCompute使用体验
• MaxCompute实践分析
• 小白用户MaxCompute数据同步初体验
• 基于MaxCompute方案的TFI门店销量调研
• 使用MaxCompute进行网贷业务风控预测分析
• MaxCompute实践
• 初创企业的选择——MaxCompute
• MaxCompute平台非标准日期和气象数据处理方法--以电力AI赛为例
• MaxCompute最佳实践
• 使用 Instance Tunnel 获取 Maxcompute Instance 的执行结果
• 基于MaxCompute平台进行机器学习并展示结果
• 依托MaxCompute构建零售快消品行业数据仓库
• MaxCompute数仓维护心得-五叶草
• MaxCompute帮助创业公司中减轻MySQL存储压力
• odps之sql性能优化
• 美柚与MaxCompute数据同步架构说明
• 阿里云大数据利器之-RDS迁移到Maxcompute实现动态分区
• 阿里云「MaxCompute最佳实践」征文大赛获奖文章公布
• 报表几种常用数据方案
• MaxCompute执行作业慢的原因排查
• MaxCompute跨Region数据迁移指导手册
• MaxCompute有关优化复杂数据分布的实践

常见问题

为大家整理了关于MaxCompute的系列问题供大家查阅参考，覆盖产品包括MaxCompute、MaxCompute Studio、DataWork、MaxCompute SDK，涉及的知识点有数据同步、SQL/UDF/MR开发、JOB任务调度分析、计量计费、安装、注销等等。

• MaxCompute百问集锦（持续更新）
• MaxCompute常见错误汇总（更新ing）
• 大数据开发—常见问题（1）
• 大数据开发—常见问题（2）
• 大数据开发—常见问题（3）
• 大数据开发—常见问题（4）
• MaxCompute数据下载/导出的SQL运行结果的方法总结，解决1万/10000行导出限制
• 大数据开发套件中数据同步-日志报错回滚信息的一些问题总结
• 解决代码在本地IDE环境里调试成功了后，到线上调试出现结果不符合预期的情况
• 【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总
• 做ETL操作导入数据到MaxCompute的时候，对如何设置数据同步策略疑惑
• 如何用SQL对MaxCompute数据进行修改和删除
• MaxCompute中实现IP地址归属地转换
• MaxCompute（原ODPS） MapReduce常见问题解答
• MaxCompute计算长尾问题
• 定位排查工作流的计算结果数据量不符合预期的方法
• 用脚本模式配置数据同步--用自定义的ECS来调度来解网络不可达的问题
• 大数据开发套件—调度运维常见问题
• 大数据开发套件—数据集成常见问题
• MaxCompute—MaxCompute SQL 常见问题

生态兼容

MaxCompute 从研发的第一天起就被设计统一由 Restful API 提供服务。在 Restful API 之上，我们各种语言的 SDK。由 SDK 编写形成的各种工具、驱动等等构成了 MaxCompute 的用户接口层，即外围生态；截止到今天，MaxCompute已支持JDBC、Java、python、R、OpenMR等开放接口，兼容现有大数据生态系统。

• MaxCompute JDBC 2.2 发布说明
• 手把手教你完成MaxCompute JDBC自定义日志配置
• MaxCompute JDBC 2.0 beta中的一些变更说明
• 使用 odps-jdbc 接入 MaxCompute（原ODPS），不再从零开始
• 原来MaxCompute还能这么玩系列（3）—— 借力QlikView玩转数据分析
• 原来MaxCompute还能这么玩系列（2）—— 利用HiveServer2 Proxy实现MaxCompute与Hive生态工具的互通
• 原来MaxCompute还能这么玩系列（1）—— 通过Apache Zeppelin 快速实现数据可视化
• 当 Elasticsearch 遇上 MaxCompute 
• Flume Java on MaxCompute介绍
• Logstash + DataHub + MaxCompute/StreamCompute 进行实时数据分析
• 如何在MaxCompute上运行HadoopMR作业
• 基于OGG Datahub插件将Oracle数据同步上云
• R语言和大数据
• RODPS介绍
•  什么是PyODPS DataFrame
  
•  PyOdps 0.4版本发布，从一个故事说起
  
•  PyODPS DataFrame：统一的数据查询语言
  
• PyOdps在交互式环境下的使用，让探索ODPS数据更容易些
  
•  PyOdps DataFrame来临，数据分析从未如此简单！
  
• Python+大数据计算平台，PyODPS架构手把手教你搭建
  
• MaxCompute上你从未体验过的数据分析和机器学习过程
  
• 零成本体验 ODPS 大数据分析
  
• PyODPS开发中的最佳实践
  

产品功能介绍

整理了MaxCompute官网使用手册之外的一些功能知识点介绍。

•     MaxCompute和DataIDE权限体系介绍
•     阿里云开源离线同步工具DataX3.0介绍
  
•     MySQL超时参数以及相关DataX数据同步案例分享
  
•     Tunnel SDK数据上传利器——BufferedWriter使用指南
•    使用 MaxCompute Studio 开发大数据应用
•     Console 实用小命令
  
•     Mac 下如何安装odps eclipse插件
  
•     【MaxCompute学习】隐式转化的问题
  
•      使用 MaxCompute（原ODPS） java sdk 运行安全相关命令
  
•      ODPS功能介绍之CLT
  
•      ODPS 功能介绍之SQL

技术原理介绍

深入浅出的剖析MaxCompute技术原理，比如SQL运行原理、MR机制、伏羲调度机制、盘古存储机制、优化器等等。

•          【ATF】林伟：大数据计算平台的研究与实践
  
•          MaxCompute MapReduce细节解读
  
•         Fuxi ServiceModeJob 多租户（Quota Group） 功能介绍
  
•         解析阿里云分布式调度系统伏羲
  
•         阿里云伏羲(fuxi)调度器FuxiMaster功能简介(一) 多租户(QuotaGroup)管理
  
•         阿里云伏羲(fuxi)调度器FuxiMaster功能简介(二) 调度模型
  
•         阿里云伏羲(fuxi)调度器FuxiMaster功能简介(三) 针对在线服务的资源强稳定
  
•         阿里云伏羲(fuxi)调度器FuxiMaster功能简介(四) NodeLabel调度
  
•         盘古：阿里云飞天分布式存储系统设计深度解析
  
•         MaxCompute( 原ODPS）下的表分区解释
  
•         为什么MaxCompute采用列式存储？列式存储和行式存储的主要区别在哪
  
•         从MapReduce的执行来看如何优化MaxCompute（原ODPS） SQL
  
•         MaxCompute flighting —— Task灰度发布
  
•         数加MaxCompute计算资源分布以及LogView分析优化
  
•        MaxCompute Optimizer之表达式约化
  
•          MaxCompute 中的Code Generation技术简介
  
•          MaxCompute（原ODPS） 事件(Event)机制
  
•          ComputeColStats UDF中 近似算法的介绍
  
•          MaxCompute SQL原理解析及性能调优
  
•          SQL优化器原理-Metadata
  
•          SQL优化器原理 - Auto Hash Join
  
•          SQL优化器原理－Shuffle优化
  
•          SQL优化器原理 - Join重排
  

大数据基础知识

介绍了目前关键的几个大数据方面的技术，什么是分布式计算、分布式存储、调度、监控等等，帮助开发者从Java工程师成功过渡到大数据工程师。

• 分布式大数据系统巧实现，全局数据调度管理不再难
• 大规模数据的分布式机器学习平台
• 分布式存储系统
• 分布式离线关系型计算最全总结
• 分布式编程模型的设计与演化
• 分布式调用跟踪与监控实战
• 内存计算
• 每个人都应该知道的25个大数据术语

产品/技术资讯

提供MaxCompute最新的资讯、业界动态、领域技术应用、商机等内容。

• 阿里云2020年预期净利100亿，碾压99%A股公司 | 新龙榜
  
• 从IaaS到AI，马云为何让阿里云去扛人工智能大旗？
  
• 数据新能源驱动智慧新世界：数据新能源时代来临
  
•  “NASA”计划背后，阿里巴巴大数据系统架构概述
  
•  三个词，让你看懂马云、刘强东力推的“新零售”
  
• 盘点全球最热门十家大数据公司中国占据三席
  
• [大数据行业应用发展前景分析] 阿里潘永花报告：大数据产业将成为新的煤和石油介绍
  
• 基于阿里云数加平台的大数据Serverless实践
  
• 川普军完美逆袭，阿里大数据为你解读特朗普成功的真相
  
• 大数据简析“林丹出轨事件”背后的微博信息传播
  
• 《大数据漫谈 -- DT时代》连载之 NO.1
  
• 漫谈阿里大数据
  
•  巴黎科技展：“中国技术太厉害了，我们得赶紧学学！”
  
• 阿里云携大数据计算平台MaxCompute欧洲开服
  
• 数加平台如何通过Serverless 架构实现普惠大数据
  
• 重磅 | 2017年中国大数据企业生态图谱（一）大数据企业融资地图
  
• 数加：从数据工程师到CDO的七次升职路
  
•  Hadoop 这样业界顶级的大规模数据处理平台，均发现满足不了类似双十一这样全世界的剁手党蜂拥而至的热情
  
• 阿里云数加合作伙伴-袋鼠云获A轮融资，成立一年半获三轮投资超亿元
  
•  大数据平台的发展会降低程序员的价值吗？
  
• 阿里云MaxCompute澳大利亚开服，“领跑”人工智能市场
  
• 从未停止进化的MaxCompute
  
• 比自建 Hadoop 还便宜！云栖大会揭秘阿里云数加 MaxCompute
  
•  阿里云MaxCompute香港开服 引入更多人工智能
  
•  1次演讲13次提到技术，马云在阿里巴巴年会上都说了什么？
  
• 阿里巴巴MaxCompute亮相VLDB2017
  
• DT时代已经悄然来临，IT人您跟上了吗？
  
• 阿里云大数据计算服务MaxCompute（原ODPS）华南1（深圳）Region即将开服！
  
• 数据智能需求旺盛 阿里云MaxCompute 2.0华南区开服
  
• ZStack&阿里云联合发布混合云解决方案
• 10月18日，德国法兰克福，阿里云MaxCompute2.0，全面布局AI人工智能
• 赋能数据处理能力 阿里云MaxCompute助企业洞察市场
• 阿里云在美推出MaxCompute大数据计算平台
• 【广州云栖大数据/人工智能会场信息】全新一代人工智能引擎MaxCompute惊艳全场
• 阿里云MaxCompute加速全球化布局 11月1日北京、马来西亚两地开服
• 昨日广州云栖“大算”受追捧，今日揭秘阿里双11技术核武器MaxCompute，感恩节再放福利！（福利截止11.30日）

与MaxCompute专家在线沟通/问答

• MaxCompute公众号问答频道

招聘信息

• DT时代，与坚持梦想者同行！

 

欢迎加入“数加·MaxCompute购买咨询”钉钉群（群号： 11782920）进行咨询，群二维码如下：

 

阿里巴巴大数据-玩家社区 https://yq.aliyun.com/teams/6/

---阿里大数据博文，问答，社群，实践，有朋自远方来，不亦说乎……

阅读原文

http://click.aliyun.com/m/38790/