电商API接口|数据采集技术

电商API接口

一、定义

数据的定义：数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态及相互关系等进行记载的物理符号或这些物理符号的组合，是构成信息或者知识的原始材料。

商务数据的定义：商务数据主要是指记载商业、经济等活动领域的数据符号。当然，不同数据的获取途径、分析目的、分析方法都不尽相同，不同行业、不同企业在数据分析中也都各有偏好。 

数据分析是指对大量数据进行整理后，利用适当的统计分析方法，把隐藏在数据背后的信息提炼出来，并加以概括总结的过程。 

数据分析包括如下几个主要内容 

现状分析：分析已经发生了什么。

原因分析：分析为什么发生某一现状。

预测分析：分析将来可能发生什么。 

二、数据分析的应用场景

1. 客户分析：主要对客户的基本数据信息进行商业行为分析。

   首先，界定目标客户，根据客户的需求，目标客户的性质，所处行业的特征以及客户的经济状况等基本信息使用统计分析方法和预测验证法，分析目标客户，提高销售效率。

   其次，了解客户的采购过程，根据客户采购类型、采购性质进行分类分析制定不同的营销策略。

   最后，根据已有的客户特征，进行客户特征分析、客户忠诚分析、客户注意力分析、客户营销分析和客户收益分析。

2. 营销分析：包括：产品分析，价格分析，渠道分析，广告与促销分析这四类分析。

   产品分析主要是竞争产品分析，通过对竞争产品的分析制定自身产品策略。

   价格分析又可以分为成本分析和售价分析，成本分析的目的是降低不必要成本，售价分析的目的是制定符合市场的价格。

   渠道分析目的是指对产品的销售渠道进行分析，确定最优的渠道配比。

   广告与促销分析能够结合客户分析，实现销量的提升，利润的增加。 

3. 社交媒体分析：以不同社交媒体渠道生成的内容为基础，实现不同社交媒体的用户分析，访问分析，互动分析等。同时，还能为情感和舆情监督提供丰富的资料。用户分析主要根据用户注册信息，登录平台的时间点和平时发表的内容等用户数据，分析用户个人画像和行为特征。访问分析是通过用户平时访问的内容，分析用户的兴趣爱好，进而分析潜在的商业价值。互动分析根据互相关注对象的行为预测该对象未来的某些行为特征。 

三、商务数据分析的流程

第一步：明确分析目的。首先要明确分析目的，并把分析目的分解成若干个不同的分析要点，然后梳理分析思路，最后搭建分析框架。

第二步：数据采集。一般可以通过数据库、第三方数据统计工具、专业的调研机构的统计年鉴或报告以及市场调查等方式来采集数据。 

第三步：数据处理。数据处理主要包括：数据清洗、数据转化、数据抽取以及数据计算等处理方法，将各种原始数据加工成数据分析所要求的样式。

第四步：数据分析。常用的数据分析工具包括：Excel、Python、R等。 

第五步：数据可视化。一般能用图说明问题的就不用表格，能用表说明问题的就不用文字。

四、数据采集

数据的采集流程

1. 明确采集要求 2. 明确分析对象 3. 按需求采集数据 

商务数据的采集方法

数据采集主要是针对定性数据和定量数据这两种数据的采集。其中，定性数据主要采用问卷调查和用户访谈的方式获取，而定量数据则分为内部数据

问卷调查是一项有目的的研究实践活动，其调研的信息一般是不确定性的用户信息或无法通过后合数据获取的信息。此外，问卷调查需要用有限的问题来获取有价值的信息，因此，在进行问卷调查时首先应考虑样本的容量，然后再设计内容，最后按照确定目标进行问卷投放、收集汇总和结果分析等工作。

在访谈之前，运营人员首先要确定访谈目标:其次设计访谈提纲，并选择访谈对象:最后对访谈结果进行记录和分析。在分析访谈结果时，一般采取关键词提炼法，即对每位用户、每个问题的反馈进行关键词提炼，然后对所有访谈对象反馈的共性关键词进行汇总分析。

第三方数据统计分析平台有很多，如CNZZ (友盟)、百度统计和神策数据等。前两个平台是免费的，主要采集前端数据，其优点是操作简单，缺点是采集的数据比较粗糙;最后一个平台是收费的，可采集前后端数据，其优点是采集的数据更精准，缺点是操作比较复杂。

网络爬虫( Web crawler)是一种按照定的规则自动抓取 互联网信息的程序或脚本。它们可以自动采集所有能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。

网站日志是网站的用户点击信息和其他访问信息的汇总。通过网站日志可以清楚得知用户在何时、用何种操作系统和浏览器访问网站的哪一一个页面。其优点是保证用户的使用行为可以被查询，同时针对用户的一些误操作还可以通过日志文件进行恢复。

一般的互联网平台后端都有业务数据库，里面存储了订单详情、用户注册信息等数据。通过此种方式获得的数据都是实时、准确的，可以直接用于衡量网站的绩效和目标。但由于数据表单数量过多，增加了分析难度，会导致数据的使用价值变低。

五、数据采集的典型应用场景

电商网站的商品数据 微博、微信等数据进行采集 新闻文本 学术信息