竞品数据偷窥

2011年的时候，我在 Qing 做产品设计师。

刚入行时最长做的任务就是竞品分析，当时国内的轻博客产品有很多，Qing、点点、Lofter、人人小站等，如何分析竞品的数据变为一个重要的问题。

这类内容开放的产品，一般搜索引擎的爬取率很高。当时突发奇想是不是我通过搜索 Google 高级搜索来获取竞品的数据。

首先，我们来了解下 Google 的高级搜索功能。

传送门： http://www.google.com.hk/advanced_search

表单功能很强大，可以通过关键词进行搜索，也可以选择字词出现的位置。比如，我们现在想看有多少文章。根据文章的链接，http://www.jianshu.com/p/cba3e43cd5b0

我们可设置参数，包含关键字： "p" ，域名为："www.jianshu.com"。

allinurl:  "p" site:www.jianshu.com

可以看出大概 1,100,000 条发布的文章，那么这个数据是不是准确的呢？除了 Google 这个渠道，还有另外获得数据的方式么！

通常我们还可以通过 URL 来看数据，以知乎的链接为例，很多网站的链接中均会包含数字，有些数字是未经过处理的自增 ID 。也就是说你想知道该产品的数据，可以通过创建一个用户、一个文章、一个问题的方式，来让对象+1，然后查看链接中的数字，就可以大致判断出。

https://www.zhihu.com/question/24325481

但对于这种在 URL 中做过放爬处理的产品，就很难看出，这个时候我们可以通过 API 调用来查看，比如喜爱文章、关注用户等。

http://www.jianshu.com/p/cba3e43cd5b0

正常情况下，产品很难把所有的路径都堵上。比如虽然在 URL 和前端 API 上都做了 hash 处理。但是当用户新建文章时，URL中依然有对应的文集ID、文章ID。

http://www.jianshu.com/writer#/notebooks/3126817/notes/2938972

由此通过重新创建用户创建文章，可推测出文集数为 3126817（通过文集数可以大致推测用户数），文章数为 2938972。

这与我们通过 Google 获取的数据相比，差了3倍左右。可能的原因：一是搜索引擎没有全量抓取，二是有大量的草稿被创建而没有发布。

尽管通过这些方式获得的数据不是完全准确，但是也可以通过数据曲线的变化，了解产品发展的趋势。

完