简历

Bigdata C++ Boost Log Boost Asio Multithread Kafka MongDB

简历

岳瑞鹏	Age	25
	Mobile	***-****-****
	E-mail	[email protected]
	Blog	www.cnblogs.com/yrpen
	Github	https://github.com/Yrp

教育经历

2008 年 9 月 - 2012 年 7 月	燕山大学	计算机科学与技术	学士学位

工作经历

2014 年 9 月 - 至今	乐视网（北京）信息技术有限公司	大数据部	软件研发工程师
2012 年 7 月 - 2014 年 8 月	东信北邮信息技术有限公司	商业智能部	C/C++研发工程师

项目经历

2014 年 11 月 - 至今	跟踪系统	C++ / Boost Log / Boost Asio / MongoDB / Libcurl / Protobuf / Kafka / Librdkafka / Rapidjson / Flume

• 项目描述

  • 目前该项目包含三个子项目：Tcplogger、User-behavior、Graph Server
    
  • Tcplogger 负责手机端日志接收
    
  • User-behavior 负责实时抽取特定手机端上报数据供数据挖掘使用，
    
  • Graph Server 负责实时抽取手机端上报数据，并分析各个 app 及子页面的相关关系

• 项目职责

  • 个人负责 Tcplogger 和 User-behavior 两个子项目
    
  • Boost Asio 负责接收从手机端传来的数据
    
  • Boost Log 负责将 Asio 接收到的数据打到不同的 sink
    
  • 几种 sink 包括 mongodb sink、kafka sink、local file sink、hdfs sink
    
  • 从 Kafka 获取几类数据并使用 protobuf 解析后，将需要的数据调用 libcurl 库，使用 http POST 方法发送给挖掘组
    
  • 使用 Apache Flume 将 local file sink 生成的文件导入 HDFS
    
  • 所有日志数据使用 protobuf 封装

2014 年 10 月 - 10 月	CDN 日志项目	C++ / Zlib / Cppcms / Mysql C API / HDFS C API

• 项目描述

  • 收集、分析、展示云视频 CDN 的数据
    
  • 包括日志接收、实时日志计算、分布式数据库存储、数据查询系统、数据检索系统、程序日志收集系统

• 项目职责

  • 负责数据日志收集项目和从 mysql 向 hive 导数据的工具
    
  • 数据在 http 层传输，使用 Cppcms 搭建一个 http server 接收数据
    
  • 接收到的是很小的 gz 格式数据，使用 zlib 库解压 gz 数据并批量压缩成固定大小的 gz 文件写到本地磁盘
    
  • 定时将几台 mysql 数据库中的新增表数据导入到 hive，简单封装了 Mysql C API 和 HDFS C API 成两个类，方便使用
    
  • 以上两个子项目采用了生产者-消费者模型，进程内消息队列

2014 年 9 月 - 9 月	提测系统	JS / Html / C++ / MongoDB

• 项目描述

  • 在正式上报数据前，对业务部门上报的数据进行一些检查。该网站系统方便各个业务部门校验自己的数据是否符合上报规范

• 项目职责

  • 修复 bug ：网页响应缓慢、展示错误等
    
  • 增加三级产品线标签联动、根据时间段查询数据、上报接口开发（http get 和 post 方法）等功能

2014 年 3 月 - 4 月	基于 Kafka 的数据传输系统	Java / Kafka

• 项目描述

  • 根据浙江移动的要求，使用开源消息中间件 Kafka 开发数据传输系统,替换现有的 FTP 文件传输模块

• 项目职责

  • 调研文档输出
    
  • 参与系统架构讨论
    
  • 编写开发、测试方案文档
    
  • 预言 Producer 、Consumer 端以及统计模块的设计和编码及测试 Kafka 功能测试、性能测试、稳定性测试、压力测试等，与现有的 FTP 传输模块对比

2013 年 6 月 - 2014 年 2 月	ETL 插件开发	C / C++

• 项目描述

  • 对原始数据进行拆分、备份、合并、拷贝、删除、转码等预处理，方便 hadoop 和 storm 计算使用
    
  • 上传下载、数据质量统计等数据管理模块

• 项目职责

  • 负责拆分、备份、合并、拷贝、删除、部分数据质量统计模块的设计、编码、测试
    
  • 编写开发、测试方案、升级任务等文档

2012 年 7 月 - 2013 年 5 月	骚扰电话项目	C / C++

• 项目描述

  • 骚扰电话系统由中国移动在浙江、湖南、江西三地运作，以降低正常用户受骚扰电话的不良影响。由我和其他两位研发同事负责维护该系统，解决现网遗留 bug 和新增需求的开发

• 项目职责

  • 解决骚扰电话系统遗留 bug，发现并解决了去重模块内存泄漏、回拨卡无分析数据产生、加黑模块加黑失败等数个系统漏洞
    
  • 新需求的通信协议和功能设计、编码、测试方案和升级任务，以及编写各部分文档
    
  • 目前为止，完成了话单合并和格式调整、批量加解黑、通用定时刷新、信息入库、统计功能、存储过程等十余个功能模块的开发及数个系统严重漏洞

专业能力

• C/C++
  
• C++11
  
• 多线程
  
• Zlib
  
• Flume
  
• Protobuf
  
• 常用算法、数据结构
  
• Linux 下服务器应用开发
  
• Cppcms Web Server 框架
  
• 版本控制软件 GIT、CVS、SVN
  
• Kafka 及 第三方 C/C++ API(librdkafka API)
  
• Boost 中 Log、Asio、Thread、Smart_ptr 等库
  
• 数据库 Mysql、MongoDB，及相关 C/C++ API

自我评价

• 喜欢编程
  
• 经常参与阿里技术沙龙和 Spark meetup
  
• 自学 Scala、Java 、Python，关注开源技术，了解 Zookeeper、Hadoop、Spark
  
• 热爱跑步，看书，追求简单极致
  
• tmux + zsh + oh-my-zsh + vim + iTerm2 + markdown
  
• CSS/JS/HTML 凑合也能折腾一下

本简历由Markdown编写