人人皆可大数据！SACC教你玩转阿里ODPS



人人皆可大数据！SACC教你玩转阿里ODPS

            

　　【IT168 专稿】为什么我们使用搜索引擎时，不同的用户搜索同样的关键词看到的广告却不同?为什么我们到电子商务网站购物时，每次浏览同样的商品时都可以得到不同的商品推荐?你有没有想过，你所拥有的数据蕴含着怎样的价值?这就是数据分析的意义所在。

　　今年7月8日，阿里云计算正式发布了核武级大数据产品——ODPS。ODPS的出现让玩转大数据不再是大企业的专属技能。通过ODPS在线服务，小公司与小团队可以对拥有的海量数据进行快速分析挖掘。ODPS可在6小时内处理100PB数据，相当于1亿部高清电影。此前，全球掌握这种能力的公司屈指可数，如Google、亚马逊等。

　　五年间，阿里云的工程师们写下250万行代码，不断打磨ODPS。正是这支幕后开发团队促就了这个平民化大数据分析平台的诞生。近日，IT168记者有幸采访到了阿里巴巴数据平台事业部高级专家余波先生，请他讲述了ODPS背后的故事。同时作为技术的实践者，他也分享了自己的职场经验，并为架构师的发展提供了宝贵的建议。

　　

　　▲阿里巴巴数据平台事业部高级专家余波

　　嘉宾介绍：

　　2006年毕业于中科院计算所，计算机软件与理论专业博士，主要从事数据库管理系统方面与分布式系统的研究。2009年加入阿里巴巴，先后主持开发了ODPS服务框架、5k跨集群复制和多控制集群等多个项目，是大规模离线数据平台的主要设计者之一，目前负责大规模机器学习平台的建设，主要兴趣在大规模分布式系统、机器学习、数据挖掘等领域。

　　全心投入 敢于放手

　　在余波看来，他其实并不是一位严格意义上的架构师。谈到他的职业发展之路，余波表示，离开校园之后，对发paper这种事多少有些厌倦，就投身入coding这种有前途的事业当中来。最开始由于项目的原因，接触了一些开源项目，再加上自己平时有些爱琢磨，所以写代码逐渐有一些洁癖，非常讨厌写多余的东西。再后来，慢慢项目大了，会带几个同学一起做，到最后形成一个稳定的团队。

　　在这个过程中，他会逼迫自己放手去让别人做具体的编程，而自己要在大的架构上面把握好方向、在关键细节上控制好质量，所以相对是一个比较自然的过程。余波坦言，他做事情一般不多去想结果，只要想做了，就会全力投入去做，对过程反而会更关注一些，不过一般结果都还好，这反过来又加强了他一贯盲目自信的特性，敢于去接受各种变化和挑战。

　　人人皆可大数据 ODPS降低两大门槛

　　ODPS号称是阿里云5年的巅峰之作，阿里金融、淘宝指数、数据魔方等关键数据业务的离线处理作业都运行在ODPS之上。而如今，ODPS已正式对外商用，这种大数据处理能力的开放究竟会对我们日常生活产生哪些影响? 对此，余波笑称：“大数据这个概念现在很火，有个笑话说现在大数据分析专家的饱和量已经超过北京出租车司机的数量，大数据怎么影响人们的日常生活，我相信很多人都能比我讲到好。”

　　他认为，ODPS正式对外商用的最大意义，是极大的降低了人们使用大数据的门槛。而这种门槛包括两个方面：一个是技术方面，之所以叫大数据，不光是数据量大，大小从几T到几P，而且通常数据内容和形式都非常复杂，维度多、数据质量也参差不齐，处理这样的数据除了需要强大的计算能力，还需要丰富、灵活并且简单易用的方法。

　　ODPS支持SQL、MapReduce、图计算、机器学习等多种编程模型来帮助用户，对于数据仓库的用户，还可以像以前一样简单写写SQL就能解决问题，对于追求更高级功能的一些用户，可以自己写一个Java包，用mapreduce来对数据做加工，对于搞机器学习的用户，可以直接用我们提供的常见算法包，运行各种算法来训练模型和做在线预测。借助ODPS，用户可以只专注于自己的业务逻辑，不用担心数据量大的问题，高效的得到计算结果，也不用去关心底层复杂的分布式系统常见的问题，如网络、当机等。

　　另一方面则是运维，这个是云计算带来的好处，你不需要一个运维团队来维护集群以及和硬件打交道，ODPS以Restful API的方式提供服务，你只要能连上网、在阿里云上建立账号，就能享受到大数据处理的服务。

　　不忘初心 方得始终

　　在余波眼中，数据分析工程师的未来将会更有前(钱)景。为什么会有大数据，大数据是怎么产生的呢，是人们产生并收集了更多的数据，移动和无线让人们联系更紧密、交互更多，产生更多的信息。有了更多的信息，在宏观方面，有更多的样本，使得趋势预测更准确，在微观方面，使得个人的信息收集得更完整，各种个性化更容易做到。ODPS是一个平台，它只是让数据处理变得更简单，但怎么使用这么高效的工具则是数据分析人员的事情。前面讲过，大数据意味着数据更复杂，要想得到更有价值的东西，则需要有更多的智慧，所以数据分析工作的难度和价值比以前更高。

　　“最重要的是要有透过问题表像抓住本质的特性，要把关注点放在最核心的问题上，要知道哪些事情不做，不要过度设计，一个成功的系统，不是因为拥有更多的feature,而是因为更实用，开发人员要能hold住。”在余波看来，一名优秀的架构师应当具备以上这些素质。他表示，工作中“度”的掌握至关重要。他见过一些失败的案例，做架构的人想得太多，结果系统庞大而不实用，也驾驭不了，最后只得重头再来。

　　“人的一生中会面临很多选择，大的方面，如角色、方向的改变，小的方面，如一个技术方案的选型。”对于年轻IT人，余波老师强调道——“不忘初心，方得始终”，选择的准则是什么，是你的初心，做这个选择还是不是你最开始出发的那个方向。碰到了困难、问题，是坚持还是放弃，要想想你的初心是否发生了变化。另外，作为一个技术人员，拥有一个开放的心态还是非常重要的，要善于学习并接纳新的技术、不同的观点。”

　　作为本届中国系统架构师大会的讲师之一，余波老师届时将会以“ODPS - 开放数据处理服务介绍”为主题，与大家分享ODPS在系统架构方面的考虑和心得。

　　第六届中国系统架构师大会将邀请众多业界知名的技术大牛，坚持一线专家实践案例分享，诚邀十多个不同行业企业交流互动，致力于打造千位工程师的技术盛宴，带你领略各行各业的IT架构之美。欢迎大家踊跃报名参会，大会期间将有机会与大师面对面的交流。