唯品会日志平台建设

概要
数据时代，大多数数据库通过ETL进入数据仓库的数据，还有一部分数据是通过收集服务器上的日志（包括系统日志，应用日志等）。 近年来，用户行为分析和与之相关的个性化也是热点之一，用户的行为信息收集，实时的计算将结果反馈给用户，是非常重要的功能。所以说，日志数据的收集，传输，计算（batch或者实时流计算）是数据时代数据落地需要关注的问题。日志集中处理不只是拥有大数据的大公司才需要，对于数据的需求，都是类似的。日志集中处理既可以做一个工具，也可以做一个平台 唯品会发展迅猛，与之相随的是各类日志的增长，研发人员对于线上日志的搜索需求和各类实时数据的需求（业务的，系统的），促使我们需要一个平台来解决这些问题。 这次分享，我会介绍一些数据的落地（上文提到的各个环节），唯品会在技术选型的经验，日志工具&平台的不同，数据准确性的重要性。希望能对大家有所帮助。

个人简介

姚仁捷（八牛，超大杯摩卡星冰乐，摩卡星冰乐），目前在唯品会的数据平台与应用部门担任研发工程师，主要工作是数据的落地（收集，计算，存储，检索等）。作为偏后端的工程师，对前端开发，数据可视化有强烈的兴趣。他对技术的态度是“先可用，再好用”，并且非常喜欢研究新东西。 2012年他毕业于华中科技大学，拥有数学和计算机双学位。2011年7月在ebay作为intern学习，同年9月加入PPTV，负责Zabbix相关工作。2012年12月加入唯品会并工作至今。 姚仁捷1989年出生于上海，从小对计算机有强烈的兴趣，pascal是他学习的第一门语言。他是《冰与火之歌》的狂热粉丝，热爱跑步，今年目标能完成一次半马。

QCon是由InfoQ主办的全球顶级技术盛会，每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来，已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。