006. 《Presto技术分享》心得

会议时间：2016-03-08 19:15 
分享达人：为章
参与人员：京东广告部－内部员工
主题演讲：Presto技术分享

1.激动

首先，声明一下，我一般是不参与公司内部的技术会议。
原因如下几点：
    1. 技术挖掘方面。 (内容过于高深，没有一般的基础能力，很难听懂)
    2. 广告业务方面。（这个需要一些广告方面的专业知识，有时候说一些关键词，你都嗝屁叻，啥都不懂，你甚至都不好意思问，因为都是一些基础概念）
    3. 大数据框架分享。 (我其实感觉分享的东西，我都瞧不上，因为很多东西还不如我自己的理解，基本上干货比较少；甚至分享的东西lower比较低，因为广告的业务主要还是靠一些业务和挖掘支持的，而不是技术)

好了，我说说我参加的原因吧：
    1. 为章，我的好朋友
    2. 技术分享Presto的内容，我比较感兴趣

参考地址： http://www.kuqin.com/shuoit/20140709/341122.html
今天主要听到3点，Presto的优势：
    1. 对HQL的支持：命令行和JDBC的接口
    2. 基于内存的并行计算框架
    3. ORCFile列式存储查询优化 
    4. 其他的什么特点，不介绍，因为不适合小白用户

突然发现的确很适合，我们反作弊团队的需求：
    1. 每日..百／千万级别的订单查询
    2. 每日..千万/上亿级别的作弊点击查询
    3. 如何找用户每小时／分钟 的点击行为，做分析
    4. 完全避免用到mysql和sqoop (mysql性能瓶颈和存储瓶颈)

当时我的确有点激动，忍不住和老大讨论了一下，觉得下阶段应该全部切换过去。

2.反思

为什么我现在才知道这个框架？却把精力耗费在数据的迁移上面。
有如下几点原因：
    1. 平时业务过于多，忘记了去思考新的技术框架，因为什么学习成本。
    2. 公司技术新技术调研的实力的确太差，特别是大公司，人容易变懒散，因为你调研新的东西只会增加你的学习成本，并且公司并不会因为你的发现而给你涨工资或者发奖励，它觉得这都是你应该做滴。
    3. 其实每个人都是放错位置的黄金。所以不断的经历和思考，才能让你定位自己。
    4. 公司在技术的投入太少了，导致很多时候的效率很低。很多跨部门的技术分享和交流完全脱轨，导致大多数的时间在扯皮上，而不是优化上。
    5. 只是为业务的需求做更多考虑；却很少问问员工，你喜欢什么技术方向、你有没有很厌烦这份工作，想做其他的项目或者去其他的项目团队。

3.行动

下阶段要做的事情：
    1. 每月坚持做一次技术视频分享。(群交流)
    2. 多和认可自己的人或者志同道合的人在一起交流学习。(不是不接受批评，是不接受懈怠；世界本没有对与错，所以做的人多了，它就变为了对。)
    3. 多些博客，多交朋友，完善自己的知识点和朋友圈。
    4. 多和牛人学习交流，开拓自己的事业。

That's All, thanks !