数据采集与埋点

1) 什么是埋点

埋点技术是一种数据采集技术，特指针对用户行为或时间进行捕获、处理和上报的相关技术及其实施过程。

2) 埋点模型

埋点模型采用的是事件模型，事件模型描述了一个人做某件事情所需要的几个重点要素：人物（who）、时间（when）、地点（where）、途径（how）、结果（what）,完成对每个事件的维度/属性/字段的采集,对事件的发生形成一个快照.

3) 埋点分类

按端口主要分为: 1.Web埋点 2.APP埋点 3.接口埋点

1. Web埋点主要是通过先在Web页面上注入一段Javascript代码,然后对收集的数据进行上报的技术. Web埋点技术经历了网页信息、增加Cookie、增加事件三个阶段，在大数据运营之后，Web埋点更多的关注事件，同时上报用户信息，这样可以对用户兴趣点进行挖掘。
2. APP埋点是通过在代码中注入一段特殊的代码或者引入一个SDK,对APP中的信息进行收集的一种技术.
3. 接口埋点不同于其他埋点,它不是通过数据库系统直接存储,而是通过日志系统存储,然后通过ETL保存到数据仓库. (用于实时接口的监控,快速发现接口的异常. 如运维的报警系统很多都是接口埋点实现的)

按是否可视化分为:1. 代码埋点 2.可视化埋点(全埋点/无埋点)

1. 代码埋点：代码埋点是根据具体埋点需求进行数据采集的方式，分为前端代码埋点和后端代码埋点. 前端代码埋点在前端里嵌入SDK代码,对于每一个关键行为,我们需要调用SDK代码,将必要的事件名,属性字段等写入代码,然后发送到后台服务器.后端代码埋点则将相关事件和属性通过后端模块调用SDK的方式,发送到后台服务器. 前端埋点主要采集用户行为，后端埋点更多采集的是业务数据。
2. 可视化埋点(全埋点/无埋点) : 全埋点类似于前端埋点,不同的是,全埋点通过对前端界面配置的方式对关键行为进行定义完成圈选过程, 引用SDK, 接下来就会自动完成全面采集.
   更多细节参考:https://growingio.kf5.com/hc/kb/article/1336131/
   https://www.cnblogs.com/fakeCoder/p/9900595.htm

数据采集除了埋点,还有一个方法是导入辅助工具,为了减少系统耦合性,我们还可采集日志,数据库的方式生成数据,然后对数据进行转换,通过实时或批量工具完成数据导入.(例如将日志格式的数据通过Logagent模块实时传入后台服务器,也会采用分布式抓取的方式,定时将数据从源头下载到数据服务器)

4) 埋点方式的对比

代码埋点和全埋点比较:

image.png

前端埋点和后端埋点比较:

image.png

5) 埋点技术的选择

公司刚启动，技术人员少，人员流动大，公司初步扩张中，尚未进入精细化运营阶段。可以选择无埋点技术。
项目在天使轮阶段之后的融资阶段，业务复杂度高，App应用的技术多样。使用有埋点技术。
公司流量巨大，业务复杂度高。需要有埋点技术和无埋点技术联合使用。对无埋点技术也要进行一定的修改，上报阶段要通过后台配置项进行配置上报。

为了埋点数据全&准的两个准则，一般可以采取两种方式组合的方式，重点业务、非重点页面采用代码埋点，重点页面非重点业务采用无埋点，合理分配两种埋点策略做到不丢不漏在合理的维护成本范围内，尽可能多而全的采集。

6) 埋点上报如何做到全面

以UI设计为底,以业务价值为依据,以事件为起点,以'要义'为目标进行埋点,就可以保证目标收集的必要和全面

1. 依赖交互设计图,任何有交互的元素都要考虑是否埋点. 决定是否埋点的依据是这个交互是否有业务意义.有意义就埋.
2. 以事件驱动,需要上报的信息包括事件本身,触发事件的用户信息(包含设备信息),以及触发元素本身所在实体(对于客观世界物体的抽象)的信息. 如我们在电商平台收藏一个商品,那么点击收藏的这个点击事件就是我们要埋的点.