大数据?车联网?智能硬件?3位技术大牛为你深度解读其中奥秘

36日,腾讯生态圈专场邀请三位技术大咖与互联网技术人员共同探讨“技术宅的现状与未来”。



演讲嘉宾


1. 58赶集技术3.0之路
——龙诚:58赶集搜索技术部负责人

2. 车联网的数据价值发现
——吴海波:北京汇通天下CTO

3. 从工具App到健康管理平台的技术变迁
——王克:有品PicoocCTO



南极圈做为媒体支持,采编现场视频并整理现场演讲干货分享给大家:


58赶集技术3.0之路


大数据?车联网?智能硬件?3位技术大牛为你深度解读其中奥秘_第1张图片
龙诚:58赶集搜索技术部负责人


演讲内容:


首先,做个简单自我介绍,我叫龙诚,2010年加入58,负责搜索相关的技术和团队管理工作。


今天我分享的主题是58赶集技术3.0之路,讲这个主题原因是两个:一是,58赶集技术3.0是58技术发展史上最重要的、也是最有挑战的技术变革,希望通过这次分享能给大家一些经验启示。再则,技术3.0是58正在发生的事情, 也是让大家,尤其是希望加入58的同学,更好的了解58的技术现状与未来。


回首过去,58成立至今已经十年了,做个总结,我们可以把58的技术发展历程分为三个时代。


2005年~2010年【创业生存期】

公司特点:没钱,随时可能死掉。

业务特点:小流量、产品功能单一、产品小时级迭代。

团队特点:十多号人、一人多职、非科班工程师。

在这样艰苦的条件下,技术要支撑公司业务发展,能选的技术就是门槛低、上手快,主要的技术如:Windows、.NET、IIS、SQLServer,架构特点就是无架构、单机版、All In One,能满足基本功能就行。

我们把这个时期称为技术1.0时代。


2010年~2015年【高速扩张期】

公司特点:大量资金进入,人员、业务、市场都在快速扩张。

业务特点:数据量与流量过亿、众多产品线、产品功能完备、产品天级迭代。

团队特点:岗位按职能细分、少量专业人才、有基本的协作流程。

这个时期的技术对系统性能、可用性、扩展性、开发效率等方面均有进一步的高要求,主要的技术选型为:LAMJ架构,辅以提供:Web与后台服务开发框架、基础服务、公共库等。

这就是技术2.0时代。


2015年~之后【高效持续发展期】

公司特点:数万人规模的盈利性集团公司、占有绝对领先的市场份额。

业务特点:数据量及流量达到十亿级以上、多终端且移动成为主流、多业务重度垂直化、创新类产品涌现。

团队特点:横向纵向BU/BG化、多个数百人的产品技术团队。

对技术的要求:复杂业务功能的迭代周期达到天级、功能Bug的排查处理时间达到小时级、规模化的商业收入对系统稳定性的容忍度为分钟级、主流移动业务对性能要求达到毫秒级、用户对业务数据的精度要求达到零误差…等等,这所有的要求都是对效率和质量的极致追求,对技术团队而言是一个极大的挑战。对应的这个时期的技术特点为:以SOA服务治理为核心思想,打造内部服务云,其关键要素为:服务化(可管理、可维护)、系统化(重设计、分层次、可扩展)、定制化(多种架构适配)、组件化(最小模块组件)、框架化(WF,SCF框架升级,面向无线)。

这就是技术3.0时代。


从以上总结中,我们可以看到,技术2.0与3.0之间的技术思路和特点差异非常大,那么接下来的问题是:如何在保证业务快速发展的同时,又能平稳、快速的保证过度到技术3.0阶段呢?

答案是:一个、两个、三个。即:


  • 一个架构模型

一个典型的业务由展示层、业务逻辑层与核心服务层、基础数据层三层构成,每一层功能独立、各司其责,各层服务间依赖简单、清晰,完全解耦。


  • 两个分离

第一个分离,前端展示与逻辑的分离。前端展示的职责是如何将页面功能以高效、简洁、美观的方式呈现给用户,它是技术与艺术的结合。另外,我们知道用户与网站、软件交互的核心元素就是数据,那么,业务逻辑就是通过清晰的、严密的业务流程,把不同模块、不同服务中的数据,有效的组织、整合起来输出给前端,最后展示给用户。


第二个分离,在线与离线的分离。在线业务直接与用户实时交互,对响应延迟、数据精准性、系统稳定性要求极高,而离线业务主要对用户行为、系统数据进行相关的离线分析,对性能、精准度要求相对较低,因此,两者业务特性就决定了两个业务依赖的系统环境应该是完全独立的。从另一个角度来看,在线业务为离线业务产出分析的基础数据,而离线业务为在线业务的功能与效果优化提供数据支撑,因此,两者为互补关系,而非交叉关系。


  • 三个转变

第一个转变,服务模式的转变。由提供不可维护的业务Jar包,转变为提供可维护的服务,即服务化。由提供复杂功能的公共库,转变为提供单一功能的组件模块,即基础组件库。由提供程序代码模块,业务方进行二次开发的方式,转变为由专业人才提供专业的、完整的配套服务解决方案,从而减轻业务层的工作量,并进一步提升服务的质量与效率。


第二个转变,架构设计的转变。由单一的设计模式转变为多种技术架构定制,即原Mysql+Cache的方式转变为KV、KList、自定义内存结构、自定义文件系统等架构设计。由复杂的、多层级、多依赖的架构转变为简单的、少层级、少依赖的架构,核心思想为:低耦合、高内聚。


第三个转变,管理模式的转变。由服务的不可管理到可管理状态,即由原3000+的服务各自维护、随意调用转变为使用系统来管理,调用关系、响应延迟、并发数一目了然,并更进一步的提供流量波动告警、权限控制、流量控制、服务无感知扩容等高级能力。


讲到这里,可能大家仍然感觉非常的抽象,那么接下来,我将用10张图给大家讲讲58 2015年在技术3.0方面所取得的一些技术成果, 让大家有更直接的感受。


第一个,自研的WTable存储平台,目前已接入了几十个业务,每天有近百亿次的调用。与传统的MySQL比:单机性能是MySQL的10倍、单机存储空间利用率是MySQL的两倍、容灾时间由原来的分钟级变为秒级以及最重要的服务扩容由手动变成了全自动。


第二个,自研的WCache平台,目前基本上接入了58所有的业务,每天有近千亿次的调用。与传统的业务各自维护相比:新的WCache平台内存利用率提升了30%、并且最近3次服务器故障,对业务都无任何感知、还有更重要的是0维护成本(对业务方来讲)。


第三个,自研的服务管理平台,目前接入了58所有的核心业务。该平台可以对58所有基于scf框架开发的服务进行管理,提供并发量、延时、异常量等监控数据,还可提供流量控制、权限控制以及报警功能等,为服务的高效、稳定、健康的运转提供有力的保障。


第四个,前后端开发模式重构,即将业务逻辑与展示层进行了分离,该工作的主要成果为:开发效率比之前提升了30%、模板的代码量减少了50%以及新推出了本地调试平台。


第五个,IMC服务重构,该业务即58的帖子存取服务,几十亿条帖子存储量,每天有近百亿次调用。重构的主要工作是:将原MySQL的存储系统改为WTable KV存储系统。改进后:存储空间利用率提升了两倍、性能提升了167%,并且接口从原来的43个简化到7个,复杂度降低了84%。


第六个,赶集、英才、安居客搜索重构项目,即由原来使用开源的搜索引擎重构为自研的搜索内核。重构后,搜索查询性能提升了10-60倍不等,并且新开发一个搜索仅需要1-2周/人即可。


第七个,图片迁移项目,即将58原自研的图片服务迁移至某云平台。迁移后,图片下载的性能提升1倍,成本下降为原来的1/4。


第八个,列表详情重构项目,即将原58以组件方式存在的业务逻辑重构为独立的服务。重构后,列表详情页的性能提升了两倍、网络带宽下降了60%、调用依赖由原来的14次降低为两次,下降86%、jar包引用由原来的236个下降为35个,下降85%。整体来看系统得到了大幅简化,性能和质量同步得到提升。


第九个,数据平台优化,该平台目前有PB级的数据,每天有近万个任务在运行,数百开发者在使用。2015年对数据平台进行了全方位的整治,优化后:由原周均两次故障降低为半年内0故障、任务整体执行速度提升了1倍并且还节省了30%的服务器,优化成果非常显著。


最后,做个简单的成本总结:2015年通过技术3.0的重构优化、运营优化,我们节省了近亿元的硬件成本,以及大量的人力成本。从另外一个角度来看,我们的效率还是提升的,因为每个人可以做更专业的事情,所依赖的服务都是高性能的、稳定的、简单的。


最后的最后,其实才是我今天讲的重点:期望各位有志之士能够加入58赶集,与我们一起迈进技术3.0时代,一起见证58最神奇的时代。谢谢。



车联网的数据价值发现


大数据?车联网?智能硬件?3位技术大牛为你深度解读其中奥秘_第2张图片
吴海波:北京汇通天下CTO


演讲内容:


今天分享的话题是跟价值有关,在技术已经发展到这么密集,在我们技术领域,每个技术细分的区域都占领了,纯粹偏技术的情况下,我们如何发现其他的更有价值的东西,今天这个分享我希望通过我们公司的发展,换句话说,是我们自己做的业务的简单的脉络给大家一点新的启发。所以说有一句话叫我们要做个有价值的程序员,价值与金钱不一定有必然的联系,但是有正相关性。

下一个方向一定是物联网,物流车联网空间极大

说到有价值,有的人可能感觉到机会比较好,立刻变得名利双收或者有价值。大家经常听到一句话,叫做站在风口,猪也会飞,当你发现风口的时候,你变得成功或者是变得什么的时候,就是比较容易的方式,然后我相信咱们在座的各位都是从事技术领域的,往前推十年二十年,我相信这都是互联网时代,大家有没有抽空的时候想一想,下一个十年或者二十年是什么时代?物联网。


最近的CES展,有三个主题,VR、智能驾驶,还有绿色新能源,其实从这几个角度来看,就是说技术的发展,越来越社会相关而不是纯软件,所以说我们奔向你站在物联网的领域里面,基本上就站在下一个风口上。


另外我从业20年,简单回顾一下,因为技术的发展历史其实不是特别长,大概有70年,回想70年可以简单分为这几个阶段,比如在30年前或者20年前,大家看到IT的时候,其实只是给企业服务的,或者从这个角度来说,IT是连接企业,在2000年左右,或者是九几年的时候,互联网进入了人的视野,实际上这时候,IT起到了连接人的作用,IT的触角跟咱们每个人息息相关。


现在大家也都知道,每个人都有智能手机,车,iPad,穿戴设备,手环,手表,这些设备已经延伸到跟每个人接触。


从这个角度来说,一看这个过程,或者阶段的时候,你会发现,下一个方向一定是物联网,所以不知道今天大家是来想找工作还是来听听,我确实是说,如果你想创业,你看一看物联网,会发现一个新的天地,因为在这个方面,有特别多的事情需要我们去做。


说到物联网,这个产业比较大,今天我想跟大家说的是车联网,车大家都知道,是一个交通工具,可以运人,也可以运货,我们这家公司。我们说的话题主要从物流开始,2014年咱们统计的数字,整个国家的GDP是63万亿,但是在物流的有10.6万亿,占整个GDP的14%,这是一个相当,也是从物流行业产生的费用是相当大的。


在物流总费用里面,分运输保管跟仓储有关,还有物流管理费用,在运输的领域,5.6万亿,占整个物流的一半还多,这是相当庞大的市场。说到运输的时候,你比如说公路铁路航空水运,各种方式,在各种方式里边,大家会发现,公路76%,基本上占了绝大部分,铁路很忙的,大家也经常坐飞机,航空业很发达,但是铁路和航空,在这里面,其实没有发现航空,航空解决的物流的货量的占比在这里面都没有出现,因为0.05%,特别少,所以大家可以想象,因为物流是跟咱们息息相关,咱们在座的各位,吃用穿基本都是靠物流来完成的。


所以在物流运输过程中,公路占了绝大部分。这也是为什么说,给大家一个概念,是说,大家如果想创业,搞物流搞车联网,空间非常大,不是一般的大。

运输行业最关心的三点:成本、安全、时效

刚才说了物流的数字,这个是如果你想从事物流的时候,在有一个三个核心,基本上在物流这个行业里面,从运输行业就关心这三件事情,成本安全时效,为什么这么说,因为物流是一个成本的行业,不像金融房地产互联网都是你只要有一个想法概念可以拿到很多钱,物流是一个实实在在的。


你要运营的工业,如果是说你在搬运过程中不小心给你磕了碰了,都可能不行,所以不是说我保证不给你碰,不是说说就可以,所以物流这个行业是实实在在的,而且相对来说比较辛苦的行业。


如果大家想从事物联网的时候,你想的第一个事情就是可靠性,因为你做个软件,比如写个代码,搞一个网站,那这个确定性由你来决定,你的代码逻辑没有错就会有正确的结果,但你跟硬件打交道的时候,这个硬件会给你非常多的意外。


在运输过程中的三个点,简单跟大家看看物流过程中是一个非常苦的行业。大家说双十一爆仓,物流经常会出现这种情况。在运输过程中,也会经常出现一些交通事故,我相信咱们在座的我不知道有没有从事物流的,开车的时候,走在高速的时候,第一就是告诉你远离大货,真是挺可怕的。


物流行业特别苦,虽然是说占GDP这么庞大,但是这个行业也不是做起来那么容易。咱们去出差或者住在舒适的宾馆里面,他们靠在大货车底下搭个账篷,包括吃的住的都非常的恶劣。


为什么最近十年搞这个,因为我们这些人有一个愿望,就是物流这些人特别辛苦,我也知道,大家也知道,比如说马云,他创办了淘宝,让天下没有难做的生意,让大家买东西可以很方便,其实我们来说,我们也有一些小小的心愿,理想,我们想改变一下物流行业这些人的生存环境。这是我十年来坚持的基础。

车联网用GPS解决的四大问题:跟踪、回放、查超速、查停留

回到车联网本身,我在这简单跟大家说说这个过程,其实大家说搞车联网,搞GPS,或者在车上装一个设备,这个很早就出现了,不是最近几年发生的,但是当GPS在最开始的时候,用来干嘛?其实最开始的时候,因为司机跟公司的博弈过程,很复杂。


大家刚才看到图片,货车司机很辛苦,他就想尽一切办法从物流公司多挣钱,他想各种各样的招,多跑点路,找各地方停下歇会,或者多拉点货。大家知道,车开出去,你在这不知道车去哪,当你想时间你的车到哪,以前物流公司靠打电话,他们车管部的人,上午一个电话,下午一个电话,今天一共发出五十辆车轮流打一遍。后来出了GPS之后,主要用在导航,后来大家发现能够知道位置在什么地方,就用在车辆监控上,最开始一辆车加上GPS,解决了跟踪,知道车在哪。


第二是回放,这是我们经常用的词语,看一看一天你这辆车都跑过的痕迹,现在大家用地图对这个概念了解的比较多,轨迹就是知道今天车都去过什么地方。


第三就是当车队看看这辆车司机有没有超速,我也告诉大家一个数字,交通事故超速10.4%,这是最高的,在道路上所有交通事故最高的是因为超速导致的,大家觉得疲劳驾驶很重要,但是疲劳驾驶占比比较低,主要是超速导致的,所以超速可以说是杀手也差不多,超速对司机的人身安全有影响,也对货物安全有影响。


然后再一个就是停留,也就是说看看它这个车一天去过什么地方,在哪停了,是不是正常的停留,为什么要关注停留,因为大家都知道,物流公司是运货,车的行使时间,有是车最关键要管理的事情,车买来是用来跑的,不是停的,当你车停在那停一损失一天的钱,只有车转起来才盈利,大家花十万二十万或者上百万买车,是你自己的工具无所谓,物流公司的车一百万的车买来,物流本身挣一分钱特别不容易,所以所有的物流公司,买完车就是要努力让你的车每天都在跑,经过我们这么多年的经验,我也告诉大家一个数字,如果你的亲戚朋友想搞物流运输,可以记住这么两个数,这辆车无论花五十万还是一百万买来,买公里油耗低于30升一定能挣钱,这是我们这么多年的经验。

GPS给运输行业带来的新变化

所以是GPS给运输带来的变化,第一步基本可视。基本上解决了雇佣公司跟司机的博弈,但是目前做到这个之后,其实从位置服务的本身来说,目前还没有把信息发散出去,跟周边打通关系。这是服务的(二类),车上装GPS,实现了车辆跟云端的交互,有这个通道之后,在运输过程中,管车的人想看看司机是因为什么停,他想看看驾驶室是什么情况,咱们吃的生鲜水果,或者是海鲜,你的运输过程中,温度是不是高了,因为比如说你的冷藏车,温度高了之后,可能奶也好,或者海鲜就化了,送到了有可能会坏了或者不新鲜。


还有在运输过程中,会遇到一些车停下来,把门打开把货换掉,明明是好货用一些假冒伪劣的换掉,这种情况也有发生,所以有了这个能力之后,大家就想一些更多的方法或者传感设备,来感知到这个车在行使过程中所能对货物安全和车辆安全,能保证这几件事情,一些传感器的信息。这个时候给大家搞了一些在车上除了GPS做了温度传感器,可以拍照,还有油浮,防止偷油。火车油比较贵,成本基本占车辆的35%,假如你那个车有一年花一百万油费就35万,声音提醒为了提醒司机。


当有了这个之后,实际上是说还没有形成网,这个东西只是在你车上多装了一个设备,多了一种感知能力,因为站在企业的角度来说,在一个企业里面有各种业务系统,比如说(CRM),比如订单系统,财务系统,各种其他的系统,这时候这些传感设备并没有连起来。后来有了3.0。但是没有太多的改进。

大家可以看,大家搞位置的,你的车进到一个区域,到从这离开,是很容易,在地图上画个圈,你的车进入这个区域的时候,你感知到,算一个点在区域里面就是车辆进入了。之前做GPS都能做到,但是只做到这个,只是完成了对车辆的和一些基本事件的感知,换句话说,在物流运输过程中还有很多的,比如说实效,大家坐飞机,坐高铁,是定时定班的,物流没有这个概念,最早物流比较散乱,大家之前坐长途车都有感觉,说两点走,可是到三点还没走,是因为在等人,所以在物流里面,定点定时走需要很多条件。在物流里面,大家也都知道,公路上不确定性远远要高于航空和铁路,因为铁路是轨道运输,航空到了天上之后根本没人管,除了空管局。


公路要实现班线运输很难,但是回到价值发现的角度,有一个区域就是大家在看这条线路的时候,有一个起点一个终点,稍微一想就会想到,两个区域,用这种方式就可以管理整个的线路的时效。这个不增加任何成本,只是思路稍微变化,就能帮助企业改进对线路时效的管理。在咱们国内做公路航班,很好的有德邦,德邦是在咱们国内做卡车航班做的最成功,京东2.11是一个物流产品,德邦公路一个物流产品,(京纬卡行),五点出发六点到下一个卸货地,是不是准时到,或者车到之后没有准时离开是因为什么原因,通过这种方式,简单的进出区域就能知道,这是非常重要的。


同时有了这个之后,搞GPS的,只做我简单的定位看一下我在哪,没关系,这个你的感觉是说绝大部分是靠谱的,定在海淀区金融中心,差不多,但是当你把这个位置,你想要用来做结算的时候,因为搞运输,跑多少公里多找钱,就像咱们坐出租车是按公里计价,在物流里面,也是按照这个,比如吨公里多少钱。当然当你做结算的时候,麻烦就来了,因为GPS,在阴天下雨或者军事禁区,或者是什么地方,没信号,或者设备经常漂移,这时候你获得的里程就错了,所以要做到这一点非常不容易,做到这一点不是靠你单次获得的信息就能拿到,是靠你对整个设备的运营积累,靠你发现这个的特征,来去优化特性。

通过陀螺仪发现的关联性

同样是说司机的身份识别也是很重要的,是因为一般的卡车司机,通常都是两个人来开,比如发生了交通违章,到底应该算在谁身上,两个人开很难判定。简单的说通过刚才有的拍照,我们通过司机一上车打火,通过车的摄象头拍照片做人脸识别,现在大家在上出租车的时候,在前面有一个摄象头,是为了监控,在货运里面我们利用这些技术手段,不增加新的运营成本,只是你换了一个想法,利用新的技术手段实现了一些价值更高的功能。


同样也是,装卸货在物流里面是非常重要的场景,因为你什么时候装货,什么时候卸货,决定这个车辆是不是能够准时出发,装货以后只知道出发,意味着装货完成和离开如果时间特别长,也会影响时效,所以这些都是在物流里面都是非常有价值的环节,需要密切关注,装卸货在我们的设备商增加一个(陀螺仪),通过感知XYZ三个轴的加速度,因为装货的时候,车会震动,陀螺仪会感知到。这个不需要增加任何的硬件成本。物流是一个成本的行业。在这种情况下,能不增加成本就不增加成本,能利用技术手段就利用技术手段,这就是说在你做物流这个行业的时候,需要关注的一些点。


回到位置服务的进化,基本上是说GPS加上传感器加上大数据就是纯技术手段。4.0是供应链可视,我们在做,是站在一个更高的层面看待整个物流的过程和供应链的过程。举几个简单的例子,首先GPS每个车上都有,大家也都知道,GPS是10秒钟一次或者几秒一次过获取位置点画出一个轨迹,两个点比如在拐弯处,难免会产生直线,并不圆滑。当轨迹是这种形状的时候,你计算里程,都是不准的。我们优化的方式是说,我们用两块钱的东西陀螺仪,车辆在拐弯的时候,我们调整一下采样的频率,原来10秒钟一个点,改成一秒钟一个点。用这种方式去优化路径,这样算出来的里程基本上是准确的,现在在我们算下来我们算出来的里程和实际里程偏差在1%


车上不增加任何设备,紧紧依靠陀螺仪,这张图上有电瓶线,就是设备要跟电源接上,还有打火的线,还有速度,车上有GPS你会知道你的速度,同时我们的设备里面有陀螺仪。司机一启动,绿色的电源线忽上忽下,这是因为车辆在打火的时候,对电平的冲击比较厉害,在打火的时刻,电平的电压下降比较厉害。启动之后在这有一个打火过程。我们的陀螺仪得出来的数据是这辆车在那个时刻来回的震动,过了一段时间之后,紫色的速度线也有,证明是在这段时间,装了货,在这段时间开始行使了,用一个简单的过程,让你坐在办公室里面,你不知道外面发生了什么,但是当你看到这个数据的时候,就像演电影一样,装卸货的场景在你眼前就出现了。


大数据?车联网?智能硬件?3位技术大牛为你深度解读其中奥秘_第3张图片


不科学的车辆运行状态。按照我们的常识,On线上是有电的,在运行过程中,我们发现一种现象,On线在之前,绿色的电源是车在行使,也有速度,结果发现岇线一会高一会低。从某种程度上说,车况不是特别好,因为照常理说,岇线可能接触不良,在前面运行的时间都是好好的,后来就出现了这个问题。所以说用设备拿到的数据你可以做更有价值的分析。不用我们派人去看接触没接

触好。


大数据?车联网?智能硬件?3位技术大牛为你深度解读其中奥秘_第4张图片


回到一开始,做个有价值的程序员的话题上来说,除了你的理想能力之外,还有很多方面,我刚跟大家说的接下来用技术解决已有问题的时候,你需要多从几个维度考虑,就是对非正常情况保持敏感,这会让你发现别人发现不了的东西。第二是关注信息的相关性。在座的很多开发人员,通常会听产品经理或者需求人员,今天产品经济告诉你做个页面,我们可能很大部分用这种方式来去工作。但是在接下来信息的相关性除了他告诉你的,你自己再考虑一下,这个东西跟其他东西有没有关联,当你发现信息之间的关联性的时候,你可能就发现了潜在的价值。始终保持一颗好奇的心。

车联网还将遇到哪些挑战

简单说说我们搞这个事情面对的一些挑战。搞这个东西不容易,我们做这个东西面临非常多的挑战。首先搞这个事用户要求特别苛刻,比如说我的车用你们的平台用来管理,我看的时候,我的车辆离线了,是我的车真出了事故还是什么,所以这个设备要尽可能在线,如果出了五分钟的故障,设备离线了,如果客户要去看的时候,发现车不在,他会问因为什么,这个时候你怎么解释。所以说高性能是每一个平台要做到的,还有设备的可靠性,这一点上跟做消费的不一样,在做硬件的时候,出点小故障可能心里上会接受,觉得没有太多关系,比如说电子秤,出点小问题无所谓。但是给到企业的数据必须是客观真实的,不能今天告诉他50,明天告诉他一百,那没法用。还有任何的创造的价值都是有成本的,那个成本不能基于资源无限大做事情,任何事情都要在有限的资源内,做物流的对每分钱都特别敏感,所以合理的成本是重要的事情。


非常重要的一点,小概率事件,特别特别多,就是我们遇到的这些需要解决的也都是小概率事件,在这我也想借着这个话题跟大家分享一下,大家可以回想一下,我不知道咱们在座的各位都从事哪些方面的,比如拿软件的角度来说,你可能写好就始终在运行,出问题的可能性基本上来自程序的bug,或者服务器网络出问题,这个维度相对来说,在技术发展到这种程度,还是可以解决,换句话说,还是可以控制和管理的,但是当你面对成千上万,甚至上百万运行在全国范围内,各种硬件设备的时候,这个变得无比的困难,在这种过程中,小概率事件是非常痛苦的一件事情。


简单说说我们目前的平台,物联网数据规模非常庞大,基本上毋庸置疑,一台GPS设备,每10秒跟平台交互一次位置数据,不包括其他,如果加上其他的,数据规模会更大,基本上20的设备简单按照这个逻辑算每天有16亿,一年下来非常多。同时因为你要维持所有设备都要随时跟你的平台进行连接,另外你的设备过程中,也会有各种各样的设备,拍照温度等等的。


平台架构图,前面区域跟设备连接,在DSP平台,把所有硬件信息传上来,下级平台做了对硬件设备的抽象,抽象成一些业务事件,比如超速离线,进出区域,装卸货这样一个场景。在业务平台开发各种物流企业的物流产品,中间是说大数据的实时计算,下面是大数据的分析。


我们2015年11月6号,一天在我们的平台上车跑出来的轨迹。基本上把中国的公路网全都覆盖到了咱们国家的城市间的道路总里程460万公里,我们车基本上一天都跑遍了。大家可以看到,在我们平台上这些车每天都在画一张中国地图。

大数据?车联网?智能硬件?3位技术大牛为你深度解读其中奥秘_第5张图片

我们接下来要继续去做的,就是基于全球网络的感知平台,因为刚刚大家在看到的时候,位置服务的1.0、2.0、3.0,只是解决了单车线路,是运输环节的某一个环节,接下来我们要做的是要站在全球运输网络的角度去建造网络感知平台。


今天我根大家说的简单回顾一下,第一要做一个有价值的程序员站在下一个风口,物联网是各种人都再说,很多技术领域都在说,物联网是下一个风口。顺带说了车载终端的进化过程,也做一些车联网平台挑战说了一下,还有最后稍微给大家看了看我们整个G7平台的大概的样子。这是我今天给大家要分享的内容,谢谢大家。


说实话,物流是一个特别辛苦的行业,从事物流的人特别少,我也希望咱们在座的各位,如果你有兴趣,或者是有意愿,我们希望我们一起为改造物流的生态环境出一点力,我也特别乐意,如果你有什么,但凡是跟物流快递快运,冷链,有这方面想交流的,咱们都可以随时。谢谢大家。



从工具App到健康管理平台的技术变迁


大数据?车联网?智能硬件?3位技术大牛为你深度解读其中奥秘_第6张图片
王克:有品Picooc CTO


演讲内容:


今天跟大家交流的是有品体脂秤,怎么从工具APP到健康管理平台的技术变迁。


首先做一个自我介绍,2015年加入有品Picooc,之前在阿里妈妈专注做无线广告,还有创新工厂的友盟负责广告技术团队。做了四五年的2B的市场,面对广告主和媒体流量方面的,感觉离终端用户越来越远,所以在2015年看到是智能硬件和健康领域的飞速发展,就投身智能领域。当然这比波叔的车联网晚了一些。


有品在2013年成立国内首家推进智能体脂秤,有品目前已经有S1、S2和C1、CC多款智能体脂秤产品,2015年后半年销量同比增长7倍,成为智能体脂秤品类无可争议的第一名。这意味着,致力于成为值得用户信赖的健康管理平台的有品也向着自己的终极目标前进了一大步。


这里详细介绍下体脂秤的重点功能,云端数据交叉分析的能力,从9个维度挖掘身体的状态,比如常见的体重,还有内脏脂肪和皮下脂肪,解释一下,什么叫内脏脂肪,就是人体腹腔内的脂肪,我们知道有一些人到中年之后年检时候发现轻度或重度脂肪肝就是指内脏脂肪,还有一个就是皮下脂肪,两个区别是皮下脂肪可以通过运动减下去。还有其他方面的数据,比如蛋白质、水分、骨密度,还有BMI身体得分。有这样的数据之后在APP提供深度的健康报告让你知道身体状态,对身体预警。

早期的工具APP演变:重客户端轻服务端造成头重脚轻

接下来我们侧重一些技术方面的交流。早期的工具APP在技术上怎么发展,这是我加入有品首先思考的问题,智能硬件当然是提供最基本的体重的数据的采集,以及包括用户的体脂的分析。APP有一些基础,比如它和这样的秤进行一些通信,有一些蓝牙、wifi的接触,用采集到的数据做人体相应的人体分析。


这种情况下能看到原来的时候,秤是硬件是数据采集入口,在用户的客户端,在你真正的数据的分析,模型的处理可以在客户端做,早期工具APP很容易陷入的困境是把很多数据处理模型分析全部放在客户端,下面依赖的是很简单的服务,做数据的存储这样的情况。这样的话就会造成整体的特别技术的架构容易是一个头重脚轻的架构,很多时候是把设计放在APP,服务端,变得非常的轻,这里举的例子是整个系统的架构的话,基本上会偏前端,像一个大头儿子一样,我们学物理知道,头重脚轻的是人到后面会发展越来越不稳定。


另外轻服务端的设计的缺点就是原来公司网站、BBS,还有最重要的是APP服务端原来是混合部署在一起,这样如果遇到相应的问题和瓶颈的时候,可能很难去分析调试。另外一个除了APP提供人体分析之外,也在跟踪每天的运动计步,每个人每天有几万条运动数据数据,这样的架构很难保证APP服务的稳定性和可靠性。

早期的工具APP演变:客户端轻量化、服务云端化、数据平台化

针对前面讲的整个头重脚轻的架构设计,很容易导致客户端越来越重,数据分析处理的模型会越来越难以更新。这时候要思考的问题是我们重要的是做一个离线的APP工具,还是一个数据的收集和分析的平台。所以针对这个情况,我们在2015年经过慎重的考虑做了三件事,首先对客户端提了一个客户端轻量化的方式,对刚才提到的我们后端的服务其实是做服务的云端化,服务更多面向切口做服务的切口的拆分,最后我们收集用户的真实数据做平台化的分析,这样三个方向,这三个方向大家听着很虚,讲一下具体我们各个方面如何做哪些事情。


对客户端来说,做两方面,一个是我们对客户端的版本支持小版本的客户迭代,对客户端身体数据的模型去弱化。我们以前有PHP人员还有支持我们运营的系统的构建。成立了数据的平台的组,这个组主要是收集我们基本上有百万的用户的身体数据,然后去做用平台化的方式去处理用户的数据。前面讲完了就是说,我们重要的三个方向,就是从客户端从服务端从数据方面。后面就是我们规划的技术的架构图,这和刚才龙诚和波叔大家都异曲同工,另外在去年底,阿里也宣布了很大一个技术调整,就是讲淘宝架构拆分为小前台大中台的架构,将前端业务和后端基础清晰的拆分。所以我们也不能把所有的东西全都放在客户端,要建立一个强大的中台的服务端以及还有更复杂的数据分析的平台。


客户端一个是数据的展示和交互,侧重在称重和身体分析的数据的采集以及还有基础传输、蓝牙通信等,身体模型和算法更多放在服务端去处理,有wifi的匹配,原来很多都是放在客户端处理的。包括下面我们也做了不同的拆分,将原来的PHP团队去做运营和内容,搭建统一的服务,将我们收集到用户的身体数据和运动数据,还有第三方的数据统一采集到我们的数据中心去处理。

我们在云端化的数据分析,在APP给用户提供运动的解决方案或者分析结果,我们刚才还提到了客户端头重脚轻,做客户端轻量化,我们在2015年后半年发布整个版本,客户端轻量化bug平均水平在下降。下降的好处是客户端更稳定,也会让客户端发展更快。现在在安卓和IOS里面,很多公司想以更快的速度翻板,但是很多受制于APP的功能。


接下讲下架构的扩展,我们也是从原来的混合部署的模式往这样一个完全的分层的结构去处理,包括腾讯云的LVS还有服务层,还有下面的我们会用数据仓库去处理。这样大家对分层结构很常见,但是对纯APP的同学或者是公司会发现,原来很多团队没有网络的服务的意识。比如对接口设计的RESTFUL方式使用、日志的记录重要性都需要提升。


最后分享下有品用户的数据,现在有品的智能体脂秤销售有50多万台,用户量达到一百多万,和大家分享几个我们从百万用户身体数据分析结果。

数据分享:10个男人7个胖,10个女人4个胖

我们对一百多万用户的分析,发现用户主流的身高,女性的身高在1.6米,男性在1.7米左右。这个数据大家原来在互联网上看到中国身高每五年增长多少,很多只能来源于医院或者体检中心,现在我们可以从智能硬件设备获取到。用户的肥胖的数据是多少,我们分析了中年男性,也就是30岁到50岁的,随着中国的整体经济的发展,和生活条件的改善,中年男性十个里面有7个偏旁,女性相对来说会好很多,一半是正常的,肥胖也占到40%,有一个指标女性在45岁以后体重很容易飙升,40岁以后女性要多注意。

大数据?车联网?智能硬件?3位技术大牛为你深度解读其中奥秘_第7张图片

数据分享:早上称重晚上运动

我们之前收集到用户的身高体重数据,用户在使用我们智能体脂秤习惯的数据,我们每天称重时段的分布,随着大家城市化的发展是一样的,大家使用称的时候,每天在早高峰,交通的早高峰之前,晚上在交通的晚高峰之后,早上在七点在起床和上班之前,晚上是大家晚饭以后。另外有品除了提供身体数据的分析,也提供了用户运动的数据统计,我们收集到用户的计步数据高峰在早上八九点,中午十二点到下午一点,晚上在十八点到十九点,这个在每天和大家上班和午饭时间、下班时间非常吻合。

大数据?车联网?智能硬件?3位技术大牛为你深度解读其中奥秘_第8张图片

上面是我们分析的几个数据,我们做了很多维度的分析,未来我们也会第三方共同发布更全面的人体的健康报告。原来体检这是一个非常低频的数据,因为很多人可能一年就体检一次,可能不知道你的脂肪身体的准备,是否处于亚健康状态,有了有品智能体脂秤之后,你有能了解自己身体的状态和变化。目前我们还是在经历技术从1.0到2.0的大变迁,架构上有很多有挑战的问题等待解决,有海量的数据等待挖掘和分析,对这里的技术挑战感兴趣的同学等会可以交流一下。好,谢谢大家。


更多细节请看视频





扫码查看更多腾讯生态圈岗位,立即加入

大数据?车联网?智能硬件?3位技术大牛为你深度解读其中奥秘_第9张图片


你可能感兴趣的:(大数据?车联网?智能硬件?3位技术大牛为你深度解读其中奥秘)