搭建用户行为分析系统（二）——数据采集

搭建用户行为分析系统（二）——数据采集

数据采集的重要性这里就不过多赘述。
数据采集的方式：

• 服务端数据采集
• 客户端数据采集

本文主要是针对客户端(Web)进行数据采集。
类似于GA和百度统计等。
Google Analytics与百度统计原理
大家在看之前可以先体验下百度统计。

埋点脚本

我们先来体验下埋点的脚本:

其中_xy 是一个 FIFO (先进先出)的队列，用来存储使用者的配置信息，如图中_setAccount配置项为被统计 web 应用的标识 id，这个标识由服务端生成，对应一个被监测应用。这段代码的核心代码为匿名函数中包裹的片段，它的主要目标是引入一个外部的JavaScript文件，即数据收集脚本文件，本文中为 xy.js 文件。具体方式是通过 DOM（文档对象模型）动态创建一个 script 元素，该元素根据 HTTP 或者 HTTPS 协议指向 xy.js，并且设置 async 属性为 true，即异步加载此文件，然后将这个元素插入页面的 dom 树。

数据收集脚本

xy.js

(function () {

    var $LIB = "js", // SDK类型
        $LIB_VERSION = "1.0.0"; //SDK版本
    var params = {};
    params.lib = $LIB;
    params.libVersion = $LIB_VERSION;

    // Screen对象数据
    if (window && window.screen) {
        // 分辨率
        params.resolution = (screen.width || 0) + '×' + (screen.height || 0);
        // 颜色深度  screen.colorDepth 等价于 screen.pixelDepth
        params.screenColorDept = screen.colorDepth || 0;

        // 视图高度 这是百度统计脚本里面的一段代码
        var a;
        a = a || document;
        params.viewHeight =  parseInt(window.pageYOffset || a.documentElement.scrollTop || a.body && a.body.scrollTop || 0, 10)
            + parseInt(window.innerHeight || a.documentElement.clientHeight || a.body && a.body.clientHeight || 0, 10)
    }

    // Document对象数据
    if (document) {
        // 页面标题
        params.title = document.title || '';
        // 前向地址 (页面来源)
        params.referrer = document.referrer || '';
        // 路径 如：www.baidu.com/XX/XX
        params.url = document.URL || '';
        // 域名 如：www.baidu.com
        params.domain = document.domain || '';

    }

    // navigator对象数据
    if (navigator) {
        // 是否支持Cookie
        params.suCookie = navigator.cookieEnabled ? 1 : 0;
        // 是否支持Java
        params.suJava = navigator.javaEnabled()? 1 : 0;
        // 获取所用语言种类
        params.language = navigator.language || '';
        // 设备电池状态
        navigator.getBattery().then(function(battery) {
            params.betteryLevel = battery.level || '';
        });
    }

    // performance.navigation对象数据
    if (performance) {
        // 重定向次数
        params.redirectCount = 0 + performance.navigation.redirectCount;
        // 导航类型
        params.navType = performance.navigation.type;
    }
    // 解析_xy配置
    if (_xy) {
        // 获取埋点阶段，传递过来的用户行为
        for (var i in _xy) {
            switch (_xy[i][0]) {
                case '_setAccount':
                    params.account = _xy[i][1];
                    break;
                default:
                    break;
            }
        }
    }

    // 计时器
    var second = 0;
    window.setInterval(function () {
        second ++;
    }, 1000);
  
})();

在写脚本前我们需要明确我们要从前端采集什么数据
这个简单的系统没有涉及到性能数据和异常数据的采集，只对基础数据进行了采集。下面图中的数据第四列,是百度统计脚本中的简写,大家可以稍微参考下。

这部分数据可以在后台通过HTTP请求头获取到UserAgent的信息，所以前端页面不需要在基础数据中包含下面的数据。

这里不讲理论的东西，主要是讲怎么去实现，理论这方面大家可以自己去百度搜。

搭建用户行为分析系统(一)——概述