无埋点技术总结

最近无埋点技术很是流行，抽空研究了下诸葛IO，talkingData以及百分点这些业内知名公司的无埋点SDK，抽取其中重要的信息供大家参考：
1、首先什么是无埋点呢，其实所谓无埋点就是开发者无需再对追踪点进行埋码，而是脱离代码，只需面对应用界面圈圈点点即可追加随时生效的事件数据点。

无埋点的好处

其实无埋点并不是完全不用写代码，而是尽可能的少写代码。开发者将SDK集成到项目中，配置并初始化SDK之后，接下来就可以进行可视化操作。这个可以不依赖开发者，一些实施人员都是通过后台的配制，就达到埋点的配制，还有新增埋点改动都是很方便的实现。最后就是配制和代码，可以很灵活地扩展，动态地更新。
2、上面我们写道无埋点要进行可视化操，参考百分点、talkingData采用相对简单可行的办法是对当前的屏幕进行截图，截图完了以后做一些处理。做一些压缩，然后传到服务端，服务端进行展现，就把屏幕截图展现出来。屏幕截图做完了，下一步，需要在管理界面进行配置，对于可点击的组件进行配置，就需要把这些界面框起来展现给使用者。下面是截取的talkingData的可视化操作为例，为大家展示可视化埋点的流程：
项目嵌码之后，进入可视化链接页面，摇一摇连接设备：

摇一摇，连接设备

链接成功之后，平台获取当前界面截图：

平台自动获取连接设备当前界面

为要统计的界面元素命名事件，添加追踪点，至此埋点操作完成：

选择界面中的元素来追加事件

这里需要指出一下，无埋点只是针对一些简单的操作统计，如按钮点击的次数、时间等。如果是比较复杂的应用场景，例如支付事件，需要统计商品名称、价格、数量等，这就需要通过埋点来收集详细的参数。
3、无埋点实现方式：
整个技术里面比较关键的一点是怎么拿到屏幕控件信息。这一块儿主要就是三个问题。第一，就是获取时机。第二，就是拿控件什么信息，什么信息是需要用到的。第三，就是比较关键的，如何生成控件的唯一ID，ID是在程序内部生成。需要保证在不同的手机上面，这些ID是一样的。还要保证每一次启动ID都是不变。
首先是Android：

然后，接下来我们可以看一下iOS，同样的，也是面临三个问题：

iOS无埋点的核心技术是利用苹果的runtime机制，把系统事件、点击事件的指针替换成我们自己的函数来监测用户的操作，我们在自己的函数中采集并发送需要的数据。
4、遇到的问题和解决办法
第四部分，讲一下我们在实现无埋点技术的时候，遇到了什么坑？以及采用什么方法来解决这些坑。
长连接断开的问题，我们之前是设计每隔5秒发送一次截图，一般不会产生断开。但是，后面做了一些优化，我们不会每隔5秒就发，这样就会导致这个链路长时间没有数据。然后，我们解决方法也是采取了业界通用的方法，发一个心跳，通过发一个心跳来保证这个链路一直是活着的。
第二个问题就是摇一摇遇到的问题，我们遇到的问题是这样的，你拿着手机摇一摇，什么时候连接成功呢？你得给用户一个反馈，要不用户就是一直摇下去，我们后来想的方法是，摇成功给他一个振动，振动了，用户有反馈，就知道这个连接成功了，不需要摇了。然后，就是带来另外一个问题。有时候运动当中，又会产生一些误操作，就是导致手机会振一下。这个怎么解决呢？我们就想了一下，可以通过给服务端有一个交互，管理界面里面发现有一个请求过来要连了会有一个确认的按钮，用户确认之后，SDK收到确认消息以后，我们再去振动。这样的话，既可以给用户反馈，也不会说在它误操作情况下振动。这样就不会造成误操作，也不会无缘无故地进行振动。
界面传输的优化，因为在整个配制过程当中，传输数据量最大的就是屏幕的截图。怎么把这个优化一下？就可以更好地提升我们的体验度，还有流畅性。图片采用jpeg格式，把图片质量选择0.6，刚好是可以看清楚的。然后，也最大限度地降低了这个图片大小。
然后，整个传输效率，有这样一个问题。我在当前界面，默认就是5秒传一次。我点了一下，我在当前一个列表界面，点了一下切换到详情界面。最坏的情况下就是等5秒，加上网络传输效果，管理界面就看到新的屏幕。这种体验是很差的，因为实时性太差。所以，这一块做了一个优化。尽量让它实时传过去，我们在屏幕切换的时候，主动发一次截图。这样的话，等的时间就是网络传输的时间，不用等5秒固定的时间。这一块用户体验上面就是更流畅一些。
有的时候屏幕界面没有任何的变化的，这个时候每隔5秒传一次没有必要的。所以，我们把屏幕截图做一个md5进行保留，传输时对比md5，当切换到下一个的时候，我们就发新的屏幕截图。这样就会减少很多不必要的屏幕的传输。然后，也会节省很多的流量。
控件ID重复的问题。前面说过我们的ID生成规则可以解决90%的问题，但是，有一些问题还是解决不了。生成ID重复，重复的话就会产生一个什么样的效果和问题？同样两个按纽，一个注册，对于注册定义了一个埋点，就是注册点击，用户实际操作的时候点登陆的时候也是发过来一个注册点击消息。这样就是统计不准，因为这种比较的特殊，我们采用的解决方案，通过服务端发一些特殊配制。把这些配制里面，因为这两个button里的text不一样，一个是注册，一个是登陆。我们把text信息放在ID的这个生成规则里面，最终生成两个不同的ID，也是可以解决这个问题。
还有一个难点通过可视化埋点的事件名称会先通过平台传到服务器，服务器再传给所有用户APP中的SDK，SDK进行判别是哪个界面的哪个事件被动态埋点了，然后进行统计，并发送数据到后台进行统计分析。判断某个界面的某个事件应该会比较棘手，在这里先做一个标记。
当然在写SDK的过程中肯定还有很多的坑，我会在以后的时间里一一记录下来，同时也欢迎大家提出自己的见解