天池大数据竞赛（御膳房、DTPAI----ODPS初体验）

几个名词：

ODPS（OpenData Processing Service）：开放数据处理服务由阿里云自主研发，提供针对TB/PB级数据、实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域。

DT（data technology）：数据时代

PAI（Platform of Artificial Intelligence）：人工智能平台

ODPS SQL：

ODPS SQL适用于海量数据(TB级别)，实时性要求不高的场合，它的每个作业的准备，提交等阶段要花费较长时间，因此要求每秒处理几千至数万笔事务的业务是不能用ODPS SQL完成的。

ODPS SQL采用的是类似于SQL的语法，可以看作是标准SQL的子集，但不能因此简单的把ODPSSQL等价成一个数据库，它在很多方面并不具备数据库的特征，如事务、主键约束、索引等。目前在ODPS中允许的最大SQL长度是2MB。

开始正文：

PAI使用手册：http://yushanfang.com/portal/help/doc.html?spm=0.0.0.0.5D6cWZ&file=SuanFaPingTai

开始玩了会PAI，结果没玩明白，回头还得认真看看使用手册。

然后又用了下御膳房

看到这个表有多少条数据了吗，1165522826，11亿多条！！！长这么大第一次见这么大的表，当时眼泪就留下来了0.0

还好阿里的ODPS够给力，分分钟出计算结果。

ODPS SQL：https://help.aliyun.com/document_detail/odps/SQL/summary.html?spm=5176.docodps/summary/welcome.6.145.DibfTa

用了一会ODPS SQL，感觉它和HIVE SQL差不多。先说这些吧，回头有新的体验感受我再补充。