用爬虫软件pholcus爬了今年上海Qcon的演讲主题, 分享给大家。
标注: pholcus是用go语言实现的一个爬虫框架, github地址 https://github.com/henrylee2cn/pholcus
标题 |
内容 |
URL |
作者 |
Vue 2.0: 渐进式前端解决方案 |
Vue.js 自去年 10 月发布 1.0 以来,增长势头迅猛。目前在 GitHub 有超过 2 万的关注,npm 每月下载量超过 10 万。在最近发布的 2.0 版本中,在保留 1.0 开发体验的基础上引入了更高效的 Virtual DOM 渲染层,更灵活的开发方式(同时支持模板/JSX),以及完善的服务端渲染支持(流式渲染 + 组件级缓存)。 在本次分享中,我将从几个方面深入的剖析 Vue.js 的独特之处: 响应式模型:无缝将原生 js 对象转化为响应式的数据源; 全自动的性能优化:基于 (1) 解决 Virtual DOM 的性能症结; 开发体验:极简的 API,完善的工具链; 渐进式架构:视图层核心 -> 路由 -> 状态管理方案 -> CLI 多端复用:基于 Node.js 的服务端渲染和基于 Weex 的移动端原生渲染 |
http://2016.qconshanghai.com//presentation/2994 |
尤雨溪 |
构建 React 同构应用及优化 |
React 作为当下最热门的的 Web 框架以及在 FaceBook 的支持下,React 社区获得了茁长成长。今天,我们来讨论基于 React 官方组件 react router 构建同构应用的实践经验(Webpack+ES6+React+Babel)。享受一次代码同构渲染带来的便捷,也同时需要考虑同构应用带来的数据安全性的问题。以及在实际开发过程中,遇到的性能问题以及优化步奏。当然了,也同时需要思考是否每个人都需要同构应用呢? 听众受益: 理解使用React构建同构应用; 了解React的调优过程; 对同构应用的数据安全进行思考。 |
http://2016.qconshanghai.com//presentation/3022 |
蒋吉麟 |
蘑菇街前后端分离实践 |
分享分为 5 个部分: 介绍 2014 年淘宝使用 midway 在收藏夹进行前后端分离的实践情况。主要包括技术方案、部署架构和合作方式。 淘宝为什么要做前后端分离:webx 的带来前后端开发合作上的问题,后端要写模版,指责不清晰; 采用node架构后的开发方式的转变,指责清晰。但是部署架构上会相对复杂,且稳定性上会遇到一些问题。 谈谈蘑菇街为什么要做前后端分离,在选择前后端分离技术架构时候所考虑的问题。 蘑菇街在 2016 年初的状况:所有代码在 php 里面,前端也写 php view 层里面各种逻辑,甚至还有连数据库的; 选择哪种技术方案进行前后端分离:node、php 还是其他,为什么最终会选择 vm 的方案。 在确定了技术方案之后,我们是怎么剥离前后端,怎么采用一套基于 jvm 的方案来解决两端的问题(蘑菇街前后端分离的框架介绍),以及前后端分离过程中面对的发布、联调等问题。... |
http://2016.qconshanghai.com//presentation/3031 |
陈辉(沉辉) |
3D 技术在电商网站中的应用和发展 |
一直以来电商网站的呈现以图片等 2D 内容为主,现在视频、直播等元素层出不穷。那么在图片、视频之外,是否有其他技术来帮助电商网站更好地呈现,吸引用户? 去年以来天猫在家装、汽车等业务上引入了 3D 技术,带来在网上看装修设计、逛车展的新奇体验。这种不同于传统 2D 的体验让用户耳目一新,也引燃了商家的兴趣。在 3D 技术之外,我们也开始尝试轻交互的引入,让页面动起来,实现可互动的用户体验。目前我们正和商家一起努力将更多的交互体验带入到业务中去。 在这个分享里,我将从以下几个方向阐述在 3D 技术上的探索: 从 2D 向轻交互演变; 3D 技术的发展和应用; 3D 和 VR 技术的结合; 如何结合 Native 增强效果 ; 如何从整体链路优化新技术使用成本。 |
http://2016.qconshanghai.com//presentation/3041 |
黄如华(仙羽) |
浏览器端 JavaScript 异常监控 For Dummies |
浏览器端 JS 异常监控算是前端领域的老生常谈了,必要性与重要性不言自明,它看起来非常简单却也容易在实施中各种碰壁。JS 有跟其他主流语言类似的异常机制,浏览器也有相关的异常捕获接口,但是不同浏览器之间实现上的差异需要针对性处理。生产环境部署的 JS 一般都经过压缩,如果要定位异常在源码中对应位置需要利用 sourcemap 来处理代码位置映射。 本次分享介绍百姓网在 JS 异常监控方面的探索过程。了解和借鉴其他团队的经验,对比之后制定适合自己项目的方案,力争对现有代码的影响最小化。在了解 window.onerror 的限制与不足后,利用 Babel 进行 AST 转换,将 JS 代码用 try catch 包装起来,并依据浏览器特性分别加载源 JS 和包装后的 JS。上报的异常数据发送到服务端(sentry)用于检索和统计,既可以结合 sourcemap 查看异常对应源码位置的上下文代码,也可以配合灰度测试与异常预警机制提前发现问题。除此之外还有很多细节上的小问题,例如噪音消除、浏览器 Error 对象实现差异等。 |
http://2016.qconshanghai.com//presentation/3068 |
刘小杰 |
DT 时代的前端思考 |
前端经常被认为是初级技术、无技术含量,甚至被认为是团队中锦上添花、可有可无的角色;导致前端同学在团队中没有话语权,难以展现前端工程师的自身价值。作为服务端、客户端、前端跨端合作的快节奏互动团队,双十一、双十二、年货节、元宵节、饿货节、造物节…在各种连续不断的花式需求及快速变更中,前端如何通过数据收集与分析,引导业务正确决策、完成技术产品平台的沉淀、提高用户体验;那些看似无关的圈外技术,糅杂在开发过程中帮助业务快速成长。 |
http://2016.qconshanghai.com//presentation/3069 |
周璐(靖一) |
浅谈代码复用攻击与防御 |
代码复用攻击是一种利用程序本身代码的攻击方式。与注入式攻击不同,代码复用攻击不需要引入恶意代码。经典的 Return Oriented Programming 属于代码复用攻击范畴,并且被证明是图灵完备的。该攻击可以绕过传统经典的防御方法的 DEP。随着代码复用攻击手法不停演变,ASLR 及其增强对代码复用攻击也束手无策。魔高一尺道高一丈,如何防御代码复用攻击?本课题给出防御方法。 |
http://2016.qconshanghai.com//presentation/3012 |
陈平 |
构建规模化的企业级风险感知体系 |
由于虚拟化和云计算技术的发展、移动终端设备占有率的不断提升。当前企业的网络边界愈发动态,资产和业务的变更愈加频繁,设备和技术的种类也变得更加复杂多样。 传统安全监控产品大多以合规为导向,检测形式和结果相对单一,不能够为企业决策者提供有力的安全决策依据,很难从实际攻防对抗的角度帮助企业及时发现安全风险。 在本议题中,将提出一种以资产为核心的风险感知模式,通过主动探测与被动分析相结合的方式,持续性的发现企业全网安全风险并形成风险管理的闭环。 同时充分利用分布式与集群化的技术,为企业构建规模化的自动风险感知体系。 |
http://2016.qconshanghai.com//presentation/3000 |
张天琪 |
通往企业核心数据之路 |
一个真正的骇客,每一次渗透的目的无非是控制企业的核心权限获取企业核心数据。 在这种进攻中,不管是利用 Web 漏洞、运维漏洞还是说对企业人员坑蒙拐骗,骇客不需要寻找过多的漏洞,只需要打通一条自身到核心网络的通道。 我将站在一个常年模拟真实骇客入侵的人的角度,告诉大家我会怎样寻找这条路以及如何堵住这些路。 |
http://2016.qconshanghai.com//presentation/3006 |
王依民 |
冰与火之歌:企业安全的攻与防 |
从业信息安全 10 年,每年都遇到各种花样的黑客攻击。在运维安全层面,队友们有意无意的弱口令、黑客们的 apt 攻击,时不时让整个企业安全防御捉襟见肘;在应用安全方面,敏捷开发、2 周快速迭代,使得 sdl 在互联网公司实施困难重重;还有目前流行的羊毛党、扫号党,令业务部门叫苦不堪;而内部数据安全也不容忽视,网上频现的内鬼窃取数据让企业防不胜防。 在这里,我会介绍携程如何构建立体安全防御体系,唱响安全攻防的冰与火之歌。 |
http://2016.qconshanghai.com//presentation/3007 |
凌云 |
代码安全新突破, 应用安全新战略 |
通过 Java 探针技术实现应用系统运行时自适应检测与防护(RASP),是近期信息安全领域一个重要的创新,在世界范围内吸引了一大批的研究者和实践者,也诞生了富有想象力的产品线。 网络攻击是让无数安全管理和开发人员头疼不已的难题。在开发阶段提高应用程序的健壮性是解决应用安全的根本,但是无论在理论上还是实践上,都有难以逾越的障碍。现有的应用安全方案有WAF和漏洞扫描等,这些外部防护方案在精确度和时效性上效果不佳。RASP 是创造性地运用了 JDK 的探针机制,无需人工修改一行应用代码,就可以在应用中嵌入安全防护代码,在应用程序运行时以自适应的方式更有效地实现攻击监控与安全防护,对安全漏洞进行快速修复。 本次分享的内容将介绍如何通过 Java 探针技术,快速、准确以及高效的实现 Java 应用程序自我防护。 |
http://2016.qconshanghai.com//presentation/2991 |
刘再耀 |
JVM 虚拟化—— 重新定义 Java 容器热部署资源管理机制 |
Java 应用热更新技术是很多容器(如 tomcat)很早就实现的功能,但是由于天生的一些缺陷,比如无法精确控制和干净回收 cpu、内存等资源,一直没有在生产环境中的大规模部署应用,一般只是在开发环境中用于快速验证代码改动。对生产环境中的应用系统升级,大部分项目会采用保守的“重启”方式操作每个节点,使得新版本的 Java 进程或容器运行在一个“干净”的环境中。对于单个节点重启动作开销并不算很大,但是对于拥有海量节点的大规模 Java 应用,为了在升级过程中不间断提供服务、不造成请求数和响应时间的波动,一般需要分较小的批次进行发布和重启,大量持续的重启操作使得发布这一操作成为一个整体上非常耗时的过程。 本次分享将介绍阿里巴巴公司开发上线的一种动态更新大规模 Java 应用的方案,通过在 Java 虚拟机层面加入虚拟化的支持,能有效解决传统热更新方案的痛点,高效精确的回收系统资源。对于大规模 Java 应用,可以做到不重启 Java 进程而达到更新应用的目的,整体更新操作时间也被大大缩短。 |
http://2016.qconshanghai.com//presentation/3002 |
陆传胜 |
Java 模块化技术演进和对现有应用微服务化的意义 |
Java 模块化技术不是一项全新的技术,它已经伴随着 OSGi 技术,在企业领域应用数十年了。但对于 JDK 而言,模块化确实是一项新技术。这项特性从 JDK7 一直推迟到 JDK9 才被加入,Java 语言的模块真正实现了标准化。 OSGi 模块化是如何定义的。尽管其设计非常优秀,但为什么没有能够广泛的被使用?对于应用服务器设计而言,模块化也非常重要,JBossModule 项目作为 JBoss 应用服务器的核心模块,起到关键的作用,在真实的企业应用环境中又遇到哪些具体的问题。JDK9 划分为多个模块,各个模块之间存在引用关系。良好的模块定义,使得庞大的 JDK 变得结构非常清晰。 微服务设计时,模块化看似不再那么重要,微服务以进程隔离,单一应用使用的 jar 的数目减少了很多。但事实上从全局来看,微服务体系需要更加严谨的包管理机制和组件选取策略,模块化反而更重要。配合构建工具的使用,来创建更好更稳定的微服务应用。同时,模块化和容器技术可以很好的配合使用,使整体架构设计更清晰,应用也更高效和安全稳定。 |
http://2016.qconshanghai.com//presentation/3004 |
张建锋 |
This Is Not A Drill - Preparing for JDK 9 |
With JDK 9 development underway in the OpenJDK Community, and based on our experiences with open source projects testing against JDK 9 Early Access builds in the Quality Outreach effort, it seems like a good idea to compile the accumulated wisdom to make it easier for new projects to start testing against JDK 9. In this session, you'll learn how to prepare your code for some of the upcoming changes in JDK 9 and how to join the OpenJDK crowd testing fun with your own open source... |
http://2016.qconshanghai.com//presentation/3073 |
Rory O'Donnell |
基于云平台的 Docker 多租户安全 |
最新的 Docker 调查显示,80% 的企业将 Docker 作为云战略的重要部分。如何保证在云平台之上,企业内部不同业务的容器化应用的安全和隔离,是需要重点考虑的问题。本议题会探讨下以下几个内容: 从安全和隔离的角度,需要从哪些步骤和维度去设计应用的架构; 国内外常见的 Docker 镜像、运行时安全框架和解决方案; 阿里云容器服务是如何保证平台安全性,一个典型企业用户是如何配置应用的调度策略和安全规则。 |
http://2016.qconshanghai.com//presentation/3024 |
汤志敏 |
站在巨人的肩膀上——构建公有云平台上的容器服务 |
过去1、2年中随着容器技术应用的普及,一方面用户对于容器服务的使用有了更直观的体会和更深入的需求,另一方面顺应着这个潮流,社区涌现了许多优秀而各有千秋的容器云平台。UCloud 作为市场上主力的公有云 IaaS 平台的服务商,也在积累了大量内部使用容器技术经验的基础上,推出了面向用户的容器服务(UDocker) 。作为构建在一个已存的大规模 IaaS 公有云系统之上的容器服务,UDocker 具有哪些原生的特点呢?在项目实现的过程中,我们遇到了哪些问题并且是如何解决这些问题的?而在实际使用过程中,用户又是通过容器服务落地了哪些实际的应用场景? 本次演讲是根据 UDocker 容器服务的实现和使用过程中遇到的实际问题,所做的经验总结和解决方案的分享,涉及了有关资源及权限隔离、SDN、服务编排、镜像制作与管理等容器相关的关键技术点。我们诚挚地希望这些经验对容器技术的使用和研究以及容器云平台的研发和运维具有借鉴的意义。 听众受益: 生产环境中容器服务应用场景的总结; 容器服务和公有云平台的整合;... |
http://2016.qconshanghai.com//presentation/3049 |
俞圆圆(Y3) |
Mesos 在教育课件云中的应用 |
开放课件系统(OCS)是沪江的重要在线学习系统,它由课件云,课件编辑器和课件播放器组成,其中课件云是 OCS 的后端也是基石。课件云主要由存储,对外接口和多媒体处理三部分组成。随着业务的发展,课件的访问量大幅增高,随之带来的是对外接口压力过重,多媒体处理效率低下和运维复杂的难题。在 Docker 技术和微服务的热潮下,我们决定以微服务的形式拆分业务,其中,使用 Mesos 来完成以下任务: 使用 Jenkins 和 Mesos 做持续集成和发布; 使用 Marathon 做 Docker 的编排器部署微服务; 使用 Mesos 框架打造转码切片等复杂的多媒体处理服务; 本次演讲主要针对以上几点,结合沪江的课件业务,深入浅出的介绍了 Mesos 在其中的作用。 |
http://2016.qconshanghai.com//presentation/3050 |
黄凯 |
大型企业云平台架构和关键技术实践 |
大型企业应用云化是非常复杂和困难的事情,这也是企业应用云化落地比较缓慢的原因,华为面向数字化软件转型率先构建大型企业应用 CloudNative 软件架构,在这个过程中面临了哪些关键点,遇到了哪些棘手的问题,是如何权衡和解决的?基于华为构建云化应用的实践案例和经验,跟大家进行分享华为云平台的架构和关键技术。 主要分享内容包括分布式微服务化的架构,如何进行服务拆分、基于分布式架构的服务治理、分布式的多中心云组网、大规模节点的应用部署升级等。 |
http://2016.qconshanghai.com//presentation/3009 |
苗彩霞 |
构建微服务体系下的全链路监控系统 |
唯品会在微服务架构上已经实践多年。通过使用自研的服务化框架,核心业务已经全面实现微服务化。在微服务的监控上,我们也积累了丰富的实践经验,构建了基于大数据体系的新一代全链路监控系统来支撑服务化的监控。可以说全链路监控系统是服务化运维和服务治理的基石。同时,面对唯品会特卖闪购的业务特性,在网站流量暴增的情况下,监控系统需要应对海量数据的挑战,并确保其稳定和高效。分享将从真实的线上案例展开,重点介绍全链路监控系统的核心技术架构,以及如何对微服务进行监控,并阐述应对峰值流量的思路和解决方案。 听众受益: 大型互联网公司如何构建企业级的全链路监控系统; 如何对微服务进行监控; 监控系统如何应对峰值流量的挑战。 |
http://2016.qconshanghai.com//presentation/3011 |
姚捷 |
滴滴代驾微服务架构演进 |
滴滴代驾在 2015 年 7 月正式上线,在整个业务发展的一年多时间里,业务发展一直推动着开发模式和架构的演进,从最初的 1.0 时代逐步演进到现在的 2.0 时代,本次演讲将介绍滴滴代驾服务端在微服务方面的尝试和实践,主要内容包括: 滴滴代驾服务端架构介绍及架构原则。 1.0 时代,对接入、安全、流控、降级等方面是如何考虑的。 1.0 时代遇到的架构、成本及效率等问题在 2.0 时代是如何尝试改进的。 |
http://2016.qconshanghai.com//presentation/3013 |
赵伟 |
电商 CRM 的微服务重构实践 |
作为全球最大的电商平台,阿里巴巴面对的是逾 4 亿的活跃消费者、上千万的活跃商家、几千种阿里自有产品和业务,以及每天上千万笔的交易。从这些天然交易闭环里,有极其丰富的数据,如何用技术来实现用户的“One-Click”和“One-Stop”的服务体验? 通过微服务架构的应用,我们重构了原来臃肿低效的 CRM 系统,让每个服务小团队专注自己的业务快速迭代。同时,通过数据、模型、机器学习等智能技术手段构建全新的后台微服务,极大的扩展了我们平台的服务吞吐能力,即使在双十一的特殊场景下,利用非常有限的人力,也完美承接了当天上千万消费者的服务诉求和几亿消息的发送。 核心议题包括: 如何用机器学习人工智能驱动业务变革; 微服务架构下的 CRM 重构; 如何用技术的手段应对双十一。 |
http://2016.qconshanghai.com//presentation/3015 |
邱小侠 |
美团大众点评微服务实践——服务框架 Pigeon 的设计与实现 |
介绍美团大众点评的微服务架构演进过程,以及公司在微服务架构的一些最佳实践,并重点介绍在公司内部微服务架构落地的基础核心组件之一:服务框架 Pigeon 的设计。 听众将会了解到: 如何实践微服务理念,其中将介绍微服务构建的一些基本原则; 如何设计高可用高性能服务框架,其中将重点介绍服务框架 Pigeon 的基本设计思路,并将介绍 Pigeon 内部的一些独特创新设计,包括服务测试、服务隔离、限流、降级等; 如何进行微服务治理,将介绍 Pigeon 在服务治理方面的一些实践,如基于美团大众点评监控系统 CAT 实现微服务监控。 |
http://2016.qconshanghai.com//presentation/3030 |
吴湘 |
携程多机房微服务灰度发布 |
随着微服务的流行,企业内部服务数大量增加,服务的部署架构也变得日益复杂起来。如何有效地设计和组织发布过程,如何合理地控制流程和质量,如何提高沟通效率,如何应对多 IDC 的复杂度,都成为了挑战。 本次分享中,我们将以携程的实际情况为例,从架构、流程、工具等方面介绍如何做到多 IDC 的有效灰度发布。 |
http://2016.qconshanghai.com//presentation/3034 |
王潇俊 |
微服务:模式与实践 |
Just over a year ago (before becoming the full time chair and advocate of QCon London, San Francisco, and New York), my main role was with HPE as the principal architect for the US Army’s Cadet Command. The systems we supported were responsible for personnel information, scholarships, and record management for soldiers becoming officers in the US Army. Like so many others, we were also faced with legacy applications, COTS (GOTS) product integrations, polyglot code bases, and often... |
http://2016.qconshanghai.com//presentation/3077 |
Wesley Reisz |
apk 沙箱技术在平台型 app 中的架构实战 |
随着讯飞输入法的用户规模越来越大,平台效应和优势也越发突出。 如何借助输入法这个平台快速推广子产品,降低用户接触这些 app 的门槛?同时如何解决主、子产品间的架构耦合问题?主、子产品属于不同的业务团队,如何解决多团队协同开发的问题? apk 沙箱技术是指在 app 内部建立一个隔离的运行环境,在里面直接运行第三方 app,这种技术方案为解决上述问题提供了一条可行之路,本次演讲将分享其技术实现原理以及在讯飞输入法中的实践经验。 听众受益: 了解 apk 沙箱技术的应用场景和优缺点,与业界流行的插件化/组件化方案的比较; 了解 apk 安装、启动以及四大组件的系统基本原理; 了解多团队协作大型 app 的一种架构方案。 |
http://2016.qconshanghai.com//presentation/2998 |
黄明登 |
蘑菇街 App 的稳定性与性能实践 |
随着开发人员、业务复杂度和 App 体量的增加,App 的稳定性和性能问题逐步暴露出来,比如有用户反馈网络不好用、卡顿、启动时间太长等。如何快速地发现、解决这些问题,以及建立一套监控、修复体系就显得尤为重要,这次分享会围绕这几点来展开。 听众受益: 如何保证 App 的稳定性和性能; 稳定性和性能应该注意些什么; 稳定性和性能涉及到的一些技术难点。 |
http://2016.qconshanghai.com//presentation/3008 |
李忠 |
Weex 极致性能优化 |
作为新一代移动动态化解决方案,Weex 不仅仅希望通过一套代码多端运行和低成本的前端接入来提升开发者体验,同时也一直致力于通过提高加载和渲染性能来提升用户体验。 本次分享将主要介绍 Weex 在性能优化体系上的独特之处,介绍优化过程中遇到的困难、踩过的坑以及对应的解决方案。 主要会从以下几个方面进行深入的剖析: 渲染流程优化:node & tree 流式渲染、分段渲染、异步渲染; 组件设计优化:list、text 等组件在设计上如何保证低内存、高帧率的性能表现; JS 下载优化:利用预加载及网络优化,抹平 JS 下载时间; 性能最佳实践:遵循一些最佳实践, 让 Weex 开发的 App 拥有丝般顺滑的用户体验; 性能现状与未来: Weex 的性能现状、与 React Native 的对比以及未来的优化方向。 |
http://2016.qconshanghai.com//presentation/3017 |
冯成晓(隐风) |
比 Buck 更快——蚂蚁聚宝 Android 秒级编译方案 Freeline |
Freeline 是蚂蚁聚宝团队 15 年 10 月在 Android 平台上的量身定做的一个基于动态替换的编译方案,5 月阿里集团内部开源,稳定性方面:完善的基线对齐,进程级别异常隔离机制。性能方面:内部采用了类似 Facebook 的开源工具 buck 的多工程多任务并发思想:端口扫描,代码扫描,并发编译,并发 dx,并发 merge dex 等策略,在多核机器上有明显加速效果,另外在 class 及 dex、resources 层面作了相应缓存策略,做到真正增量开发,另外引入并优化 buck 的部分加速组件 dx,DexMerger,资源编译方面,深入改造了 Aapt 资源编译流程,当资源发生改变时候,秒级完成增量包编译,其中增量包仅含最小的变更集合(10Kb~数百 Kb 内),后期也被运用到线上进行资源/代码动态替换。相比目前 instant-run、buck、layoutcast 等方案快数倍速度。 |
http://2016.qconshanghai.com//presentation/3023 |
何嘉文(弦影) |
How Amigo works (Android Hotfix Terminator) |
How other hotfix libs work? How Amigo works? Amigo is not just for hotfix, it is everything. Maybe no need to publish new version app for upgrade, so cool. You shall never worry about online bugs anymore. Open source. 听众受益: Android APP 运行的机制、原理; 在何时何处进行 hook,进而 hotfix; Amigo 实现原理; Hotfix 终结者,testin 云测兼容性 100%; 不用发版、不用升级、自动更新 APP 的“黑科技”。 |
http://2016.qconshanghai.com//presentation/3054 |
曹玉斌 |
安卓 APK 的防二次打包解决方案 |
随着安卓的流行,安卓逐渐产生了当年 Windows 发生过的一系列问题,APK 被破解,被恶意注入代码或是广告,并二次打包发布给了用户,而用户却无法分辨真伪。这对用户,对开发者,对公司都造成损失。而也有不少厂商发布了专属于 APK 的保护加固工具,这一定程度上阻止了 APK 被二次打包,但是道高一尺魔高一丈,已经有加固工具被破解,而红与黑的战斗也从未停止过。我们尝试了目前已有的加固方案,进行多方面比较以及原理的研究,实现了自己的防二次打包方案,进一步提升了 APK 的安全性。 演讲大纲: 目前流行的防二次打包方案以及其局限性 使用 JNI 校验以及对 JNI 的保护 防止 JNI 被剥离和主动失效 实现动态注入 Smali 代码 一体化的 APK 保护平台设计 |
http://2016.qconshanghai.com//presentation/3057 |
何晓杰 |
React Native 业务实践和性能优化 |
目前 React Native 已成为国内 App 的热门开发技术,然而其框架自身还不够成熟,应用在具体业务开发上,例如要实现 iOS/Android 一套业务代码,同时具备媲美 Native 的用户体验,仍然需要大量的开发投入。携程 App 中的 Hybrid 和 Native 业务已经在逐步采用 React Native 技术,本主题将介绍如下实践经验: React Native 框架的业务落地:介绍携程的 Ctrip React Native 框架的组成和业务应用情况; React Native 性能优化:介绍携程在 React Native 拆包(各业务独立打包,实现动态更新)、页面预加载(实现页面秒开)和 Android 多进程运行环境等多方面的性能优化方案。 |
http://2016.qconshanghai.com//presentation/3076 |
赵辛贵 |
视频直播主观质量的几个细节 |
探讨几个和视频直播主观质量相关的细节问题,包括颜色处理,帧率控制,音视频同步和延迟优化等,分享 YY 直播在处理这些问题上的一些经验。 听众受益:希望对视频直播行业提升主观视频质量有所帮助。 |
http://2016.qconshanghai.com//presentation/3060 |
姚冬 |
微博视频推荐 |
短视频在微博平台上展现了自己的洪荒之力,以刚刚结束的里约奥运会为例,仅央视在微博上发布的奥运短视频,头三天前十名的累计播放量就达到 5.9 亿次。从用户的角度出发,用户消费视频的成本较高(流量、时长……),并且在不同场景下用户对视频消费的预期和习惯不尽相同。作为视频推荐的基础服务,微博视频推荐系统一方面要减少用户的信息过载问题,另一方面也要能适应不同场景下的推荐需要,最优化推荐转换率,在满足用户视频消费需求的同时提升平台的价值。本次分享会从从算法和架构两个层面介绍微博视频推荐系统的原理、用户反馈机制、自动快速的效果对比及模型上线机制等。 |
http://2016.qconshanghai.com//presentation/3061 |
冯扬 |
移动页面加速框架的探索与实践 |
随着移动互联网技术发展与 H5 生态的不断演化,在前端领域涌现出了一些通用的、开源的移动 H5 页面加速框架。其中以 Google 提出的 AMP(Accelerated Mobile Pages)开源框架与 Baidu 提出的 MIP(Mobile Instant Pages)开源框架为代表。本主题主要从技术的层面讨论: 移动 H5 页面速度体验方面遇到的挑战和问题,以及解决方法的探索过程; 从架构设计层面,解析通用移动页面加速框架的设计思路和实现原理; 从技术实现角度,剖析移动页面加速中的重难点问题与解决方法实践; 从实际应用上,提供提升移动页面加速切实可行的操作方法。 听众受益: 获得理论知识:了解互联网前端领域前沿的移动页面加速框架(MIP、AMP 等)的设计及实现原理; 获得技术经验:获得在设计实现同类移动页面加速框架时可以借鉴的经验(包括难点问题的解决),或间接利用这些经验来解决听众实际工作中遇到的类似问题;... |
http://2016.qconshanghai.com//presentation/3065 |
沈洲 |
使用 TypeScript 构建大规模 Web 应用 |
问世 20 多年来,JavaScript 有很多重要变化。今天,它已成为最流行的编程语言,能够构建客户端或服务器端的大规模应用。然而,维护大规模的 JavaScript 代码库越来越困难。而 TypeScript 就是为构建大规模应用而设计的,过去4年也有着很大的发展。TypeScript 已经应用于包括 Angular 2、Ionic、Visual Studio Code 和 Azure Portal 在内的很多大规模项目中。 在本次演讲中,Jakub 将分享如何用 TypeScript 构建和维护大规模 Web 应用。他会介绍如何设置开发环境,如何使用现有的 JavaScript 库,以及如何测试等。他还会分享在设计 Azure Portal 这种超大规模单页 Web 应用中的经验教训。 |
http://2016.qconshanghai.com//presentation/3067 |
Jakub Jedryszek |
架构本质及大型电商微服务实践 |
一个架构大师必须高屋建瓴,道术结合,准确把握总体业务目标和具体技术选型。 架构的本质是系统有序化重构,适配业务发展。业务架构/应用架构/技术架构类似生产力/生产关系/生产工具的关系,它们之间有主次,有先后。 业务架构解决系统如何理解业务的问题,过程分两步。首先是业务定位和边界划分,对于复杂业务,还需要进一步抽象,形成共享业务域,构造基础业务平台。 应用架构解决系统如何合理拆分,微服务属于应用架构范畴,相比传统的 SOA 或分布式架构,它更适用复杂的业务场景(业务广度和深度复杂,业务之间存在大量共享业务逻辑)。 1 号店的微服务实践和它的业务特点高度适配,最终打造了一个形散神不散的系统,同时通过额外的技术特性(监控/流控/访问授权/水平扩展/容器化部署等)更好地支持业务。 听众受益: 平常分享的架构侧重如何用特定的技术解决系统局部问题,这只是架构术的层面。 本次演讲从架构道的高度,介绍如何从业务架构到应用架构再到技术架构,揭示它们的内涵和相互关系,... |
http://2016.qconshanghai.com//presentation/3038 |
王庆友 |
德比软件数据对接平台高可用架构实践 |
我们在进行系统架构设计的时候,往往更多的考虑是从技术的角度保证架构的高可用,如:微服务化,可自动扩容缩容,去单点去中心化,服务降级,异地多活等。对客户来讲,技术上的高可用是基本要求,更关心的是从业务角度出发的高可用,如:系统一切正常,但是某个客户突然长时间没有订单或订单锐减;某段时间客户的请求量处于非正常区间;某段时间某个客户的订单的错误率上升;某段时间某个酒店的订单量陡增等;这些情况在从技术上来看没有任何异常,但是从业务上来看,可能就非常有问题了。 未建立在业务基础上的高可用不是真正的高可用,真正的高可用架构,不能局限于技术层面的高可用,应以业务的需求为出发点,结合技术,通盘考虑架构的设计。 德比软件(DerbySoft)的数据对接平台为全球顶级的酒店集团及其分销渠道提供数据对接服务,接入的用户包括全球前十的酒店集团、Google、Expedia、booking.com、ctrip 等,对平台的可用性要求非常高,发生故障会显著的降低酒店价格的准确率,给客户带来损失。在客户和数据飞速增长过程中,我们如何保证服务稳定、支撑海量访问、并确保各个服务的... |
http://2016.qconshanghai.com//presentation/3047 |
朱攀 |
快速搭建轻量级微服务架构 |
微服务是近年来备受欢迎的话题,它的出现让我们想起了十年前的 SOA(Service-Oriented Architecture,面向服务架构),但它比传统的 SOA 更容易理解,也更容易实践,它将“面向服务”的思想做得更加彻底。 当国外一些知名技术公司成功实践了微服务以后,这股热潮就吹遍了国内的大街小巷,大家街头巷尾都在聊微服务,对它众说纷纭且褒贬不一。有人说它非常好,但就是“玩不起”,为何会这样呢? 我们不妨带着这个问题来简单介绍一下,究竟什么才是微服务? 微服务是一种分布式系统架构,它建议我们将业务切分为更加细粒度的服务,并使每个服务的责任单一且可独立部署,服务内部高内聚,隐含内部细节,服务之间低耦合,彼此相互隔离。此外,我们根据面向服务的业务领域来建模,对外提供统一的 API 接口。微服务的思想不只是停留在开发阶段,它贯穿于设计、开发、测试、部署、运维等软件生命周期阶段。 可见,我们提到的微服务,实际上是一种架构思想,我们不妨称它为“微服务架构”。 微服务架构看起来如此之好,我们真的就需要它吗?... |
http://2016.qconshanghai.com//presentation/3051 |
黄勇 |
人人车线下核心业务系统发展之路 |
人人车,作为二手车 C2C 模式首创者,以及典型的 O2O 二手车互联网电商企业,对于这样一个涉及线上线下多个环节的网站,重要的不仅仅是线上产品、架构,还有更关键的 O2O 线下业务各个环节。人人车经过两年多的发展,不管是线上技术架构的发展,还是线下业务系统的演进,都取得了长足的发展,同时也积累了不错的经验,希望通过此次分享,结合我们的业务场景,就重线下团队技术型公司,谈谈我们的线下核心业务系统发展之路,走过哪些弯路,遇到过哪些坑,最终我们是如何打造高效的业务系统,去辅助线下业务人员提升效率,提高转化,提升整个公司的业务能力和水平的。通过这些具体细节的讨论,展示人人车技术团队如何提升 O2O 各个环节的效率,如何使人人车成为快速发展的 C2C 二手车交易网站。 重点分享如下内容: 人人车 C2C 二手车电商业务流程介绍:重点介绍人人车 C2C 买卖二手车整个业务流程是怎样的,会从如何获客、如何获取线索、收车、卖车、撮合成交等核心环节进行介绍; 人人车业务架构优化之路:重点介绍人人车核心业务系统是如何不断优化,提升效率的,... |
http://2016.qconshanghai.com//presentation/3052 |
徐章健 |
Twitter 的监控系统是如何处理十亿量级 metrics 的——Twitter 的 Observability stack 的架构实践 |
Twitter 的 Observability stack 包含了核心的 Timeseries Database,实时的监控报表系统,报警和自动故障恢复系统,以及分布式的日志分析和 tracing 系统。在 Twitter 它是整个公司最关键的内部架构之一,是保证各个服务可用性的关键。目前整个监控报警系统每分钟处理 25 亿次的 metrics 写入,一百七十万的复杂查询和两万五千次的报警规则。日志分析系统和 tracing 系统是工程师们平时追查问题的主要平台。在本演讲中,黄浩将向大家分享整个架构的设计与演进中的思考和经验。 |
http://2016.qconshanghai.com//presentation/2985 |
黄浩 |
如何打造大规模互联网企业的监控告警平台——以携程 hickwall 为例 |
随着公司业务的扩展,新应用不断涌现,基础监控和应用监控的需求迅猛增长,传统的监控告警平台已经不堪重负。在调研了很多开源方案之后发觉或多或少都存在不太满意的地方,所以在借鉴多种方案的基础上,带着对前辈系统的崇敬,以自服务为最终目标,我们重新设计开发了一套监控告警系统(hickwall),这套系统的主要特色有: 集中式的配置中心,并且支持 agent/agentless 两种采集方式; 基于 javascript 的告警 DSL,支持 agent side/server side 两种告警模式。学习成本低,告警方式灵活,实现告警的容量与可靠性和资源投入之间的平衡; 流式的类 RDD 的数据 Downsample 策略,摆脱 IO 问题,减小多存储方案之间的差异分化; 兼容 graphite api 层,隔离用户与存储,便于灵活适配更多存储方案,更能充分利用现有丰富的 graphite 生态圈; 目前以 es 作为首选数据存储方案,吞吐量巨大,维护扩容成本低; ... |
http://2016.qconshanghai.com//presentation/2997 |
唐锐华 |
全景业务监控平台(Goldeneye) |
全景业务监控平台(Goldeneye)是阿里妈妈在业务监控方向上的一次大数据应用创新, 相比传统的同环比报警检测方式精确度更高。本次演讲向大家介绍一种基于数据统计分析的业务监控检测方法,通过收集监测数据的样本,并使用智能检测算法模型,让程序自动对监控项指标的基准值、阈值做预测,在检测判断异常报警时使用规则组合和均值漂移算法,能精确地判断需要报警的异常点和变点。因为传统的同环比对比比较单调,在工作日和节假日对差异下存在大量的误报、漏报,在监测指标波动时不能有效地过滤掉不值得关注的疑似异常,大量的误报会淹没真正的异常报警。我们从预测样本的选取、监控项报警检测灵敏度区分、异常持续状态次数、均值漂移过程等方面做了智能检测程序,可以避免人工维护的惰性和不可持续性带来的隐患。在故障辅助定位方面,我们通过建立全链路 tracing、上下游数据关联依赖、数据粒度逐层细分、诊断树模型等方式,缩小排查定位问题的范围,直接通过数据分析提供可参考的定位信息,在实际应用中可以降低故障带来的损失。 听众受益: 怎样解决业务监控报警中漏报、误报的问题;... |
http://2016.qconshanghai.com//presentation/3016 |
马小鹏 |
监控系统产品选型以及经验 |
监控是个很宽泛的问题,里面涉及到快速的故障通知,精准的故障定位甚至包括可能性性能分析诊断。 监控这领域解决问题非常多,包括从移动,网络,业务,应用等各个方面,任何一个产品都需要有完备的监控,监控就像汽车行驶的方向盘,没有监控,很容易迷失方向。 这次演讲会从监控的各个层次,移动、应用等各个层次讲诉点评在监控领域做的工作以及一些实战经验,希望能让大家对今后的监控选型有所帮助。 |
http://2016.qconshanghai.com//presentation/3063 |
尤勇 |
网易 APM 数据处理系统实践 |
APM 要解决的问题,与传统监控的区别(应用与资源),对 DevOps 的帮助。 APM 的功能划分:应用状态把控,问题诊断,性能诊断,数据分析。 客户端及服务端 APM 的特征: 客户端偏用户体验,影响维度多,运营商,网络环境,地域等; 服务端偏性能统计,主要跟机器资源,代码质量相关。 APM 数据处理架构: APM 的存储需求:诊断需求,统计需求,分析需求; 数据处理架构:架构演进,存储选择(HBase、MySQL、Druid); Druid 的选择:实时数据处理,可伸缩性,高可用; Druid 的问题:任务模型,调度模型,租户隔离。 |
http://2016.qconshanghai.com//presentation/3066 |
焦智慧 |
在线显示广告中的优化问题 |
在线广告是一个很大的市场,随着广告从传统媒体向互联网媒体迁移,这个市场还在快速增长。有钱的地方就有江湖,不同的角色在这个市场中采取各种手段和技术来优化自身的利益。从广告卖方的角度来看,优化问题包括: 如何在线分配广告位给不同类型的买家(如预购买买家、即时买家、etc); 如何平稳投放给预购买买家的流量; 如何最大化出售给即时买家的广告位的收益。 从广告买方的角度,优化问题包括: 各种率,如点击率、转化率的预测; 作弊流量的检测; 对有限预算的买家如何平稳分配预算; 用户体验的预测; 重复流量的检测; 广告形式的轮转; 系统反应时间的优化。 听众受益:对广告系统的复杂性有较深入的了解。 |
http://2016.qconshanghai.com//presentation/3026 |
黄科 |
腾讯合约广告引擎与算法实践 |
合约广告是品牌类展示广告的主要模式,在腾讯视频、腾讯新闻 APP 和腾讯网等腾讯媒体中的合约广告收入已达百亿规模。广告引擎与数据算法对合约广告的变现效率具有重大影响,面临着很多有特色的挑战,如库存预估、广告在线投放算法、广告售卖库存分配等。 本次分享讲介绍腾讯合约广告引擎与算法的创新与实践,包括系统架构,核心算法 ,合约广告的程序化购买等。 |
http://2016.qconshanghai.com//presentation/3032 |
陈戈 |
Spotify 广告系统架构演进 |
在产品高速成长的公司中,随着技术的改进,系统的持续演进是不可避免的。产品和业务需求也不断演进,规模的变化又会影响运营成本。近年来,Spotify 的广告系统经历了几次大的变化。对 Spotify 的广告技术栈而言,性能是刚需——要做到大规模、高可用、低延迟。任何宕机或业务中断都会直接影响收入。随着新兴消费平台的兴起,后端和数据基础设施技术也已经成熟,Spotify 的产品也有很多改进。广告技术系统的需求也在变化。Kinshuk 将在演讲中分享保证日常服务不中断的前提下改进 Spotify 广告系统的经验。 |
http://2016.qconshanghai.com//presentation/3039 |
Kinshuk Mishra |
wise 时代互联网广告的服务开放架构和实施 |
品牌专区是百度大搜结果页首屏首位的优质广告,日均 pv 数千万(具体数字抹去),年收入数十亿,是百度最为优质的广告产品之一(百度搜索:宝马、lv等品牌词)。在 wise 时代,互联网广告有了新的挑战:一是用户的服务诉求越来越强烈,二是广告主有强烈的服务前置需求。因此我们在 wise 品牌专区上进行了服务开放的尝试,直接在广告前置用户的服务(如移动端搜索“汉庭”,广告里直接提供了定位服务,汉庭的酒店查询功能等)。在这样的需求下,我们怎样在广告里接入第三方服务,同时怎样保证服务的体验以及大搜结果的稳定,后端系统做了哪些工作,怎么实现的? 听众受益: 百度在互联网广告特别无线广告的最新尝试; 什么是服务开放,怎么样进行服务开放; 业务架构怎么设计,技术架构如何; 怎样实施,用哪些技术全面保障服务能力。 |
http://2016.qconshanghai.com//presentation/3055 |
李丰 |
Managing a Software Engineering Team |
You’re a senior engineer who decides to switch to management for experience in leading a team. How is your work going to change? What challenges are you going to face? How are you going to keep up with new technologies? Are people reporting to you going to see you as a leader and follow you? Sebastiano Armeli asked himself all these questions when he became a manager. See what he found it and learn how you can bring this information into your work. While management varies greatly by... |
http://2016.qconshanghai.com//presentation/2986 |
Sebastiano Armeli |
中美技术团队管理的取长补短 |
近年来中美在科技和互联网创新领域已经并驾齐驱,但中美的工程师文化差异很大:中国工程师执行力强,且热衷钻研前沿技术,而美国工程师有很强的产品意识和独立思考能力。演讲人从工程师成长为一个中型创业公司的 CTO,在中美两地各阶段的公司中管理过不同规模工程团队,对中美工程师文化差异深有体会,也在现在工作中努力取长补短,兼容并包。演讲会重点分享: 中美双方工程师文化特点和差异; 在工程管理中吸取中美两地文化中的优势的一些实战经验。 听众受益: 了解中美工程师在文化上的异同; 了解管理不同规模的工程团队的挑战; 在工程管理中吸取中美两地文化中的优势的一些实战经验 |
http://2016.qconshanghai.com//presentation/3058 |
杨骏 |
构建可伸缩的软件开发团队 |
构建可伸缩的系统已经是互联网技术架构的常识,但是如何和可伸缩的系统相匹配,构建一个可伸缩的技术团队,快速实现组织重构,快速响应业务变化? 不健康的加班对公司和个人的可持续发展都是伤害,如何通过平衡工作量、成本和计划实现个人和团队的产出最大化? 公司业务在持续发展,系统在变得持续复杂,技术部门需要更多的人手,如何合理进行组织划分与流程规范,使得各个小团队之间实现高内聚低耦合,最大化实现工作绩效? 是什么让工程师们凝聚在一起努力工作?技术团队应该有自己的使命和愿景,打造属于自己的工程师文化。 |
http://2016.qconshanghai.com//presentation/3059 |
李智慧 |
当你的团队还支撑不起梦想时 |
随着国内互联网创业大潮的兴起,越来越多有经验的技术人员跳出原有公司成熟体系的舒适圈,加入了初创公司。然而管理初创技术团队与成熟技术团队的方式方法上存在诸多本质上的不同,照搬成熟公司管理经验的后果往往会被现实撞的头破血流。 演讲人亲身经历过一家互联网公司从十人规模团队成长为千人规模团队的全过程,并在公司担任技术学院院长,承担工程师的入职培训与专业晋升培训,对初创团队如何成长为能支撑起梦想的团队有着不一样的深刻体会。演讲会重点分享如何打造成长型团队的实战经验,帮助各位加入初创公司的技术管理者少走弯路。 |
http://2016.qconshanghai.com//presentation/3062 |
杨荣伟 |
以创业的思维经营开源项目 |
几乎每一个成功的开源项目背后都有一家创业公司来提供商业运作,几乎每一个成功的开源项目的团队最终都会走上创业的路,开源而优则创业。那么如何开始开源项目?如何定位开源项目的商业价值?如何平衡商业与开源?如何说服投资者?如何真正建立一家基于开源的商业公司? 本主题将由国内唯一一个Apache 顶级项目创立者,首家在国内由 Apache 顶级项目核心贡献者团队组建的创业公司的联合创始人兼 CEO,分享 Apache Kylin 是怎么从无到有,从内部用到贡献给开源社区,并加入 Apache 孵化器项目以及如何管理和运作整个开源项目等的过程,运营项目不断扩大影响力和使用率,到接触投资机构并最终顺利融资并建立公司的历程与经验,为有志于技术创业的朋友分享技术之外的更多思考和教训等。 |
http://2016.qconshanghai.com//presentation/2990 |
韩卿 |
从近年来中美技术创业对比看创业新机会 |
“技术创业”或许是个伪命题,因为创业就是创业。业务创业和技术创业差别其实并不大,因为技术创业的挑战和困难只是创业中的一部分。 通常所说的技术创业,应该都是在创业里,利用技术创造力和技术优势为核心来发展业务的。硅谷是大家公认的技术创业的原发地,在硅谷诞生了大量以技术为核心的企业,影响推向全球。相比之下,以技术为核心的技术创业在中国近年才刚刚兴起,围绕着人工智能 AR、虚拟现实 VR、直播等等展开。 中国和美国的技术创业共性在于四点: 创业文化——愿意承担未来的风险,哪怕失败也在不断尝试。 技术人才——过去硅谷聚集了全球最优秀的人才,近年来优秀人才回归潮,让中国也成了技术人才聚集地。 竞争——白热竞争,并购每时每刻都在发生。但是中国更加野蛮生长些。 融资环境——硅谷的很多专业VC机构偏向于投资有核心技术的团队,中国的VC近年也开始更多大规模投资技术企业。 中国和美国的技术创业不同点: 技术创业积淀不同——... |
http://2016.qconshanghai.com//presentation/3010 |
赵斌 |
从中美 Docker 技术生态解析新技术创业要素 |
Docker 现在是云计算领域最为热门的技术,Docker 一经出现,就吸引了大批开发者和创业者加入到 Docker 相关生态。目前 Docker 的生态环境已经初具规模,涉及 Docker 的编排调度、网络管理、存储管理,以及持续集成、持续交付、监控报警等各个环节。同时,Docker 技术在国内应用领域的发展也如火如荼,Docker 已经在国内的互联网公司和传统企业有相当规模的落地实践,完全不输于国外。本次演讲中,我会对比下中美 Docker 技术创业生态,着重对比下中美 Docker 技术相关创业公司、相关产品,以及产品落地的情况。 帮助想通过热点技术创业的人员了解创业中的新技术生命周期及相对应的商业路径的要素及痛点,更加理性看待热点技术创业生态。 听众受益: 从 Docker 技术生态解析新技术创业要点,相关创业公司,如何将开源热点技术与商业需求更好结合,为创业意向的听众分享真实经验与教训。 |
http://2016.qconshanghai.com//presentation/3046 |
王璞 |
深度学习技术在图片搜索与图像搜索上的实践 |
人工智能在近年获得了重大的突破,其中深度学习发挥了至关重要的作用。它在计算机视觉、语言识别、自然语言处理等诸多领域取得了巨大的成功。搜狗公司作为一家科技创新型公司,在深度学习方面做了许多成功的探索。其中,将深度学习技术引入图片搜索排序、图像搜索排序,取得了理想的效果。本次演讲内容包括: 图片搜索中的 multimodal learning 方法实践; 图像搜索相关技术:图像特征表达、索引、相似度计算。 |
http://2016.qconshanghai.com//presentation/2996 |
周泽南 |
深度学习框架的性能优化及其在医药行业的应用实践 |
近几年来随着深度神经网络算法成熟度、大数据的可用性与计算机运算能力的快速发展,深度学习领域的创新与应用如雨后春笋不断涌现。政府、学校与企业都在大力投入资源推动相关技术的发展。 开源界大致有 5 个比较流行的机器学习框架,我在本次演讲中会对它们进行简要介绍与对比分析,目前这些框架有一个共同的问题那就是只对 GPGPU 平台有较好的支持,在其它平台上(例如 CPU)性能非常差。我们知道机器学习是个很大的概念里面包含很多不同类型的算法模型,而这些模型在不同的平台上会出现不同的性能瓶颈,如何能让这些框架很好地支持多种主流平台以便为不同算法选择提供最佳的运行平台是业界面临的一个问题。 在演讲中我们会探讨针对这个问题的一些解决方案和案例研究。其中一个典型案例就是我们和日本京都大学合作成功地在 CPU 平台上利用 CPU 的超大内存容量支持解决了药物开发深度学习模型在 GPGPU 平台上出现的瓶颈,大大提高了所能支持的数据集大小以提高训练精度,而且不需要对用户代码做修改。 |
http://2016.qconshanghai.com//presentation/3001 |
叶军 |
新媒体与深度学习 |
随着深度学习技术的发展,个性化阅读领域的媒体内容有了更加丰富的处理手段。在过去主要是基于机器学习技术对内容分类,主题建模的应用等。现在有了更加丰富的技术手段对于视频图片等富媒体内容进行建模处理。 本次演讲主要包括,如何应用深度学习技术帮助媒体提高内容的质量,点击率以及如何为新媒体内容运营提供帮助,包括如下内容: 媒体标题与内容关联分析,评论的情感分析,自动评论等; 视频分类与检索,语义提取; 帮助媒体选图的个性化热点区域识别技术; 图片的画风和场景识别技术应用。 |
http://2016.qconshanghai.com//presentation/3048 |
孙子荀 |
互联网+下的 CRM 体验进化 |
谈到用户体验,人们想到的是某个漂亮、易用的网站,想到的是某次购物大促的爽快,想到到时某次海外购的极速送达,想到的是某次电话客服的经历。 谈到企业用户,人们想到的严谨、流程,想到的是功能驱动,制度驱动,营收模式,想到的是如何有价值。 企业真的是只不追求价值,不注重体验吗? 本次演讲,会为大家分享,在互联网+时代,企业价值和用户体验其实从来都不矛盾,当我们放开视角,会发现,体验会是价值更具体、更实在的价值体现。 听众受益: 学会理解企业视角的用户体验。 学会内外兼修,我为人人、人人为我的用户体验设计理念,为互联网+下的企业带来新的价值与活力。 |
http://2016.qconshanghai.com//presentation/3043 |
张涵 |
打造高品质的游戏界面 |
游戏行业近些年发展异常迅猛,腾讯的游戏收入占领相当大的比重。07 年加入腾讯,见证了腾讯游戏从国内的三流上升到全球收入第一。作为设计师亲自参与了穿越火线、英雄联盟等游戏大作的设计工作,避免了这些海外游戏到中国市场水土不服。如何评估游戏 UI 的品质?怎么设计一款高质量的游戏界面?本次演讲主要通过腾讯设计团队在代理游戏的本地化过程中所积累的一些经验,介绍一个高品质的游戏 UI 应该达到的标准,用实际案例从设计定位、设计推导等角度来阐述如何达到设计目标。 内容包括: 好的 UI 应该具备哪些点; 网络游戏 UI 与一般网络产品 UI 的区别; 如何设计一个好的游戏 UI。 |
http://2016.qconshanghai.com//presentation/3074 |
陈维 |
应对持续交付实施挑战的策略 |
持续交付作为一个目标和最佳实践已经并不新鲜,在文献和书籍中已有较完善的论述和指导。但通往持续交付之路依然充满挑战,例如如何获得各个利益相关者的支持(他们的目标可能和我们的看起来相互冲突);如何在多变且复杂的企业环境中获得持续的支持;当开发团队所负责的软件需要较长时间和大量工作才能转到持续交付的工作方式上,如何维持开发团队实施改进的动力;诸如此类。 这方面供参考的书籍和文献远未完善,书本上还不能找到完美答案。为了应对这些挑战,本演讲将分享基于在世界上最大的上市在线博彩和游戏公司实施持续交付的经验总结出的6个应对持续交付实施挑战的策略。 听众受益: 学会如何设计持续交付实施的过程已达到在早期的实施过程中就为公司带来明显的收益; 学会如何应对企业环境里阻止持续交付的各种流程; 学会如何在没有理想的基础设施的情况下依然成功实施持续交付; 学会如何调动开发团队实施持续交付的积极性; 学会如何在实施过程中有效的获得其它各个相关部门的支持。 |
http://2016.qconshanghai.com//presentation/3029 |
陈连平 |
手机淘宝的高效研发支撑体系建设之路 |
作为全球最大用户量级的电商 App,手机淘宝责无旁贷的承载着阿里集团移动端的“航空母舰”的职责。在业务高速发展、人员规模快速扩张的情境下,如何提升几百号人并行开发的协同能力?承载着复杂业务的平台级产品,如何从两月发布一次版本到随时可发布?本演讲将深入剖析手机淘宝研发交付模式的三次革命,详细介绍亿级客户端下的研发支撑体系和架构体系演进。 听众受益: 业务复杂快速发展,系统架构该如何重构; 如何建立有移动特色的项目管理体系; 如何打造亿级 APP 的研发支撑工具体系。 |
http://2016.qconshanghai.com//presentation/3035 |
周延婷(古雪) |
Google 内部是如何实施大规模前端项目的 |
前端系统日新月异,技术层出不穷,各种 Angular,React 的项目在 Github 上也是非常流行。但是细数历史,Google 才是世界上第一个把 Ajax 推广到普通用户的公司,从 Google Maps,到后来的 Gmail,Google Docs 等无一不是前端应用的楷模,但是外界对于 Google 前端技术的开发却很少有报道,似乎各种流行的技术也都不是 Google 出来的。作为一个前 Google+ 前端技术架构组的核心成员,演讲中将为大家分享 Google 内部是如何选取各种前端技术,以及使用各种工具保证前端的开发质量的。同时会给大家带来这些类似的技术的开源版本在创业项目上“一起写”上的一些实践。 |
http://2016.qconshanghai.com//presentation/3071 |
蔡建 |
外卖物流配送的大数据创新实践 |
餐饮 O2O 行业连接线上线下的订餐需求,将传统的到店消费模式改造成更加灵活便捷的到家消费模式,极大降低了用户的消费成本和商户的固定成本。外卖平台在这里扮演角色除了促进线上需求向线下转化,也包括达成订单的最后一公里任务——物流配送。高效的物流配送能力是决定外卖平台商业模式成败的关键,也是 O2O 经济区别于传统经济的根本,即运用大数据相关的云计算、深度学习和可视化技术提升行业效率,创造并满足新的民生需求。本次分享深入介绍了百度外卖物流调度系统应用大数据技术,摸索业务规律的过程和创新实践经验。 听众受益: 了解外卖物流调度的云端计算模式; 了解深度学习技术在餐饮 O2O 领域的设计实现过程; 了解可视化技术在外卖场景下的应用。 |
http://2016.qconshanghai.com//presentation/2992 |
蒋凡 |
多维度实时可视化分析 |
LinkedIn 的业务部门需要在 10 亿量级的数据上做多维度的数据分析,传统的按照维度组合的预先计算的方式和可视化工具不能在有限的时间和资源内很好的解决这个问题。这个主题将要展示 LinkedIn 如何使用 Pinot 进行实时多维度数据分析,以及定制化的可视化展现过程。 |
http://2016.qconshanghai.com//presentation/3027 |
赵晟童奎松 |
大数据可视化在 Autodesk 的实践 |
随着 Autodesk 逐渐从传统桌面产品向云计算转变,产品的迭代发布周期从以前的一年一个版本到现在2周一个版本。主动寻求变化,让我们永远不被用户抛弃。 用户数据,在快速迭代中变得至关重要。从早期的没有数据,或只收集用户系统崩溃数据,到现在开发了 Autodesk 自己的基于 Spark 的大数据平台 ADP(Autodesk Data Platform)。数据在 Autodesk 驱动着商业决策,改变着整个公司的运作习惯。 本人工作在 Autodesk Fusion 360 产品线,和团队一起从零开始开发了数据可视化平台 QMetrix。目前 QMetrix 开放平台已经在 Autodesk 内部逐渐发展壮大,正吸引着越来越多的产品线加入我们一起开发,以各种方式展现自己产品的数据做深入的分析。迄今为止 QMetrix 已经直接对接了公司内部和外部的多种数据来源,如 JIRA、TFS、ADP,CER,Git,GA、Denodo、Splunk 等。同时,QMetrix 和旧金山的大数据团队紧密合作,开发开放了更加通用的 V2 平台,并在 V2... |
http://2016.qconshanghai.com//presentation/3019 |
俞戴龙(Wally Yu) |
从数理统计到机器学习——滴滴出行大数据预测体系分享与交流 |
在互联网交通中,该如何运用数理统计与机器学习。滴滴出行平台上有着近 3 亿乘客,超过 1500 万车主与司机。如何运用数理统计、机器学习等算法技术可准确预测出某一区域内人口流动状态,准确地预测用户需求,及时合理地调度运力是滴滴的核心课题之一。 本次分享的内容将围绕滴滴出行的“猜你想去”功能来展开。“猜你想去”是滴滴出行大数据智能预测体系的主要功能之一。通过此功能,滴滴可为一些大型商超、火车站等人流密集场所提供出行解决方案建议。目前“猜你想去”功能已覆盖了滴滴平台上 30% 的订单,预测准确率达 90%。与“猜你想去”功能相关的专利也已提交受理。 |
http://2016.qconshanghai.com//presentation/3075 |
张凌宇 |
Spotify 高度可靠的事件交付系统是如何设计与运维的 |
Spotify 的事件交付系统是 Spotify 数据基础设施的核心要素之一。该系统的一个关键需求是,应该在可预测的延迟下可靠完整地交付数据,供开发人员通过定义好的接口获取。交付的数据用于支持 Discover Weekly、Fresh Finds 和 Spotify Party 等产品功能。 目前,该系统每秒会交付100万事件。为实现系统的无缝伸缩,它被设计为一组微服务。系统使用 Google Cloud Pub/Sub 在 Spotify 的数据中心之间转移海量数据。 本次演讲将分享 Spotify 高度可靠的事件交付系统的设计与运维细节。 |
http://2016.qconshanghai.com//presentation/2988 |
Igor Maravić |
同程旅游微服务架构设计实践 |
同程旅游在技术平台升级的过程进行了微服务化实践,在微服务实践的过程中带来许多架构上的挑战,如何要求实际业务拆分微服务,服务的划分粒度,大量的微服务的治理如何处理,如何进行平滑的扩展、熔断、降级等,在多开发语言中如何更好支持各种开发语言组成的微服务群的互相平滑调用,在部署方式如何与容器完美的结合等等。这里主要分享同程微服务架构的实践过程中的一些坑事。 |
http://2016.qconshanghai.com//presentation/3003 |
王晓波 |
转型路上,苏宁技术的砥砺与涅槃 |
砥砺,谓之克难与勤勉;涅槃,谓之蜕变与奋进。苏宁作为互联网零售和 O2O 模式的领军企业,在其 6 年的转型路上,企业架构是如何演进的,又是如何治理的,传统企业如何华丽转身互联网企业? 主要介绍: 苏宁的转型之路; 苏宁的企业架构演进; 苏宁的技术路线; 苏宁技术管理组织和治理; 一些心得分享。 |
http://2016.qconshanghai.com//presentation/3014 |
乔新亮 |
聚划算无线的插件化生存之道 |
聚划算是基于淘宝和天猫生长而出的营销平台,有自己的独立客户端,同时也有天猫和手机淘宝的访问入口,活动多,动态性和实时性要求极高,对于开发团队来说,就需要在维护自己客户端迭代的同时,确保功能高效同步到多个平台;同时需要满足各个业务方随时随地无法预计的各种实时性需求。这就对传统的开发模式和构架提出了极大的挑战,在这个过程中,聚划算无线团队和手淘天猫团队一起,逐步推进了淘系 App 的插件化体系,同时由于自身的特殊性,聚划算内部也演化出了各种独有的技术方案。 分享大致分为以下几点: 如何将业务进行插件化,进行多客户端同步部署,所使用构架的发展历程; 如何将 App 自身插件化,作为容器迎接第三方的插入; 如何使用各种动态化技术提高业务的实时能力。 |
http://2016.qconshanghai.com//presentation/3033 |
金津(敛心) |
携程 redis 多数据中心实践 |
redis 在互联网公司得到了广泛的使用,携程线上业务有 2000 多组 redis 实例,每秒访问量 200 万左右(写入 10 万);更有很多业务直接将 redis 作为内存数据库使用。内存数据库的使用需求,对 redis 跨数据中心支持能力提出了强烈的需求,高并发的访问,对系统的性能提出了严峻的挑战,然而业界并没有针对 redis 多数据中心的完整可靠解决方案。基于此,携程研发了自己的 redis 跨数据中心解决方案 X-Pipe。本次演讲将分享在整个过程中做出的技术探索以及实践。 听众受益: redis 支持多数据中心的坑; 多数据中心问题解决方案比较; 携程解决 redis 多数据中心的探索以及经验。 |
http://2016.qconshanghai.com//presentation/3042 |
孟文超 |
CQRS & Event Sourcing 在点融网支付系统中的应用与实践 |
在点融网系统演化过程中,我们选择了 CQRS 和 Event Sourcing 作为系统架构设计的核心,并依托于 Axon 框架打造出支持高可用和大并发的新一代点融支付系统——Braavos,在这里主要分享一下实践过程中的收获心得以及踩过坑。 主题大纲: CQRS 的前世今生 读写分离的好处在哪里 为什么要使用 Event Sourcing Axon 框架介绍 最佳实践 同步 or 异步 核心业务数据实时分析 可疑交易实时监控 离线分析数据异步复制 踩过的坑 听众受益: 如何快速构建基于事件驱动的系统; 如何利用事件数据结合ELK进行系统分析与监控。 |
http://2016.qconshanghai.com//presentation/3056 |
姚晨 |
如何打造一个百万亿级的日志搜索引擎:Poseidon |
Poseidon 系统是一个日志搜索平台,可以在百万亿条、100PB 大小的日志数据中快速分析和检索。360 公司是一个安全公司,在追踪 APT(高级持续威胁)事件,经常需要在海量的历史日志数据中检索某些信息,例如某个恶意样本在某个时间段内的活动情况。在 Poseidon 系统出现之前,都是写 Map/Reduce 计算任务在 hadoop 集群中做计算,一次任务所需的计算时间从数小时到数天不等,大大制约了 APT 事件的追踪效率。Poseidon 系统就是解决这个需求,能在数百万亿条规模的数据集中找出我们需要的数据,只需要花费几秒钟时间,大大提高工作效率;同时,数据不需要额外存储,节省了大量存储和计算资源。该系统可以应用于任何海量(从万亿到千万亿规模)的查询检索需求。 听众受益: 大数据领域又一个简洁高效的解决方案。在数据规模达到万亿级别之后,ES 等系统就解决不好了,而且相较于 HBase 等方案,更加节省存储空间,用户友好性更好,对现有 Map/Reduce、Spark 等任务都无侵害性。 |
http://2016.qconshanghai.com//presentation/2987 |
魏自立 |
携程的推荐及智能化算法及架构体系实践 |
区别于一般电商公司,OTA(Online Travel Agent)公司的业务线繁多,各业务线的线上流程、商品数据、用户行为、用户需求和订单逻辑差异性极大,不同业务线,近似于完全不同的行业。但是同一般大型电商公司一样,OTA 的大数据营销平台也同时面对着公司跨繁多业务线的个性化推荐、进阶销售(up-selling)和交叉销售(cross-selling)的业务诉求。本次分享将介绍携程通用实时个性化推荐架构和算法体系设计方面的最新进展。 |
http://2016.qconshanghai.com//presentation/2993 |
于磊 |
打造万亿级别的数据流水线 |
Netflix 是一个数据驱动型公司,许多产品决定是基于数据分析得到的洞察。几百个微服务系统每天产生万亿条消息和 PB 级数据,数据流水线负责从生产者到消费平台(如 Hadoop/ElasticSearch/Kafka)传输如此大规模的数据。此演讲将分享我们是如何做到的。 我们首先看看 Netflix 数据流水线过去几年的演化之路,然后深入探讨新的 Keystone 数据流水线的架构和一些设计抉择,分享 Keystone 在实战中遇到的问题和得到的教训,最后浅谈对 Keystone 未来的一些想法。 |
http://2016.qconshanghai.com//presentation/3005 |
Steven Wu(吴震) |
大数据与电商四大核心要素 |
传统线下零售企业以商品,价格,服务作为三大核心要素。相比线下零售,零售电商的商品流量分配更加灵活并且易于监控效果,深受各大企业重视。本次分享将以1号店为例,分析大数据在商品,价格,流量,服务四个维度的应用为企业带来的具体收益,也会为不同类型的企业或者不同的阶段更应该侧重哪些因素提出一些自己的看法,希望能对公司合理配置资源带来启发。 听众受益:了解电商的需求预测与自动补货系统,自动定价系统,精准化推荐与订单履约等。 |
http://2016.qconshanghai.com//presentation/3020 |
杨光耀 |
使用 Apache Kafka 进行关键业务消息传输 |
Kafka 作为高可用的分布式消息系统对消息内容和格式是完全开放的。这使得 Kafka 可以被用作各种应用之间和内部的消息传输。LinkedIn 最近利用了 Kafka 进行我们内部 NoSql 数据库 Espresso 的内部冗余数据备份。在这个过程中,我们解决了许多具有挑战性的问题。这些问题涉及到消息传输的可靠性和完整性,性能和延迟优化,数据安全性以及超大消息的处理等。这些问题的解决对于利用 Kafka 来进行关键业务的数据传输是至关重要的。我们在此对我们的解决方案进行了总结和分享。 听众收益:作为使用最广泛的开源分布式消息系统,Kafka 被众多企业用于从普通消息队列到流处理存储的各种应用。本次演讲是对 LinkdedIn 使用 Apache Kafka 作为数据库备份工具的经验总结。听众将了解到使用 Kafka 的数据可靠性,性能及延迟等诸多方面的问题和解决方法。对于其他使用 Kafka 作为关键业务消息系统的场景具有很好的借鉴意义。 |
http://2016.qconshanghai.com//presentation/3021 |
秦江杰 |
阿里巴巴的数据研发体系是如何建立和管理的? |
数据研发经常会遇到这些问题: 研发人数较多(超千人),频繁上下线,如何解决开发效率的问题? 业务高速发展,数据量爆炸式的增长,如何有效控制存储与计算的线性增长? 从数据采集到数据消费的整个链路非常复杂,如何保障整个数据链路的质量与产出时间? 大数据建设的标准规范,如何制定并有效的执行? 数据浩瀚如烟、纷繁复杂,如何能够迅速的找到自己想要的数据? 经过几年的摸索,我们通过 OneData 研发体系能够比较有效的解决上述问题。OneData 定位是:一个指标一个算法,一个维度属性只有一个名字,模型规范化,从算法定义、数据研发到数据服务,可管理追溯从而规避重复建设。 听众收益: 学习面对海量数据、海量研发人员时的研发体系构建及管理; 学习如何制定规范标准及有效执行。 |
http://2016.qconshanghai.com//presentation/3036 |
张磊(宗超) |
数据平台实时化实践 |
实时化趋势与背景: Adhoc 等业务场景、在线学习 LTR 等实时需求越来越高; spark-streaming 与 flink 为代表的批流处理范式统一。 数据平台实时化实践: 苏宁数据平台——“数聚”的整体架构介绍; druid 打造实时 olap 平台与自研 sql on storm 方案介绍; 离线计算迁移到实时计算:如搜索 ndcg 计算等; 数据实时回流 LTR 改进推荐、搜索排序; 线下与线上数据融合:如摄像头实时采集门店客流数据。 听众收益: 了解数据平台实时化应用场景与苏宁数据平台实时化实践; 了解苏宁线上与线下数据的融合,协助市场、采购、营销人员提升效率降低成本。 |
http://2016.qconshanghai.com//presentation/3053 |
王富平 |