数据不说谎：用网络爬虫探秘虎扑步行街

前言

前一阵子虎扑步行街内部举行的步行街女神投票大赛在网络上引发了不小的骚动，最终邱淑贞力压高圆圆成为新一届步行街女神，而高圆圆也继首届决赛惜败贾静雯后蝉联总亚军。比赛的赛况被微博大V和各大微信公众号疯狂转载，让众多女性网民开始重新认识真正的“直男审美”，也让步行街这个小众论坛走进了大众视野。

除了著名的“直男一条街”，步行街还有诸如“绿化一条街”、“985一条街”、“最坑爹小舅子/丈母娘一条街”、“平均年薪30万一条街”等神秘传说。作为一名热爱篮球的资深虎扑JR，逛步行街的时间却是不多，平时看过很多大神写的数据分析文章，自己也想玩玩爬虫，本着好奇 + 练手的初衷，便用我的主语言Java写了一个爬虫，并做了简单的数据分析，看看步行街是不是真如传说中一样神奇。

数据分析

我从步行街的首页开始，爬取了100页主题帖、帖子中被点亮的评论、每个帖子中前十页评论的作者，做了数据去重后得到了17万+用户数据、1万+个主题帖和10万+个评论，持久化到本地数据库中，并做了简单的可视化分析。  这是还没有进行分析的评论数据：

早年步行街以“很黄很温暖”的文化著称，虎扑用户有一个统一的名字叫 “JR”，官方主旋律版本的解释是缩写自“家人”，而实际上 JR 真正的意思是“贱人”，扫一眼这密密麻麻的文字，我已经能感受到这溢出屏幕的步行街独特气质了。

我吹了一杯防弹咖啡，收拾了一下心情，继续写代码来进行数据分析。

首先看一下用户数据，我们来看看步行街的男女比例：

由于有超过半数的用户没有填写性别资料，这里只显示了剩下的用户数据，虽然知道步行街用户以男性居多，但是当数据摆在我面前时，这惊人的男女比例还是让我留下了感动的泪水，再考虑到资料显示为女性的用户中可能还有些故意错填性别的女装大佬……“直男一条街”的称号真的是名副其实，难怪每次有女JR发帖，不管有没有爆照，下面的回复都像发现了新大陆一样激动……

再来看一下JRs的地域分布：

北京和上海作为一线城市，用户数量已经比很多人口大省还要多，拥有两个一线城市的广东省，则在总数量上遥遥领先，看来更modern的一线城市，更容易发掘虎扑这样新潮、小众的APP。

东部沿海地区的用户明显构成了JRs的主力军，且南方的JRs比北方更多，这跟虎扑发源于地处长三角的上海有一定关系，且东部沿海地区相比内陆经济更为发达，互联网的普及度更高，这也是影响用户数量的因素。

可以看到，有为数不少的生活在灯塔国的JR，看来虎扑用户已经有国际化的趋势了。

此外，北京的女JR人数是所有地区里最高的，莫非是帝都的女生比较有男友力，更容易融入“直男一条街”的文化？

再来看一下虎扑个人主页访问量最高的十个JR：

张公子不愧是虎扑的门面，有近八千万的访问量，比第二名的前任步行街总版主落洛整整领先了一个数量级，很多人都是在知乎和豆瓣等地了解到张公子，而不知道他最初其实是作为一个篮球写手发迹于虎扑的。上榜的还有很多JRs耳熟能详的名字，基本上都是虎扑各大版块的版主，还有一些虎扑网红，比如球衣女孩系列作者大皇蟒，懂车帝卡卡卡卡特等等。

让人吃惊的是，备受JRs爱戴的羊总（ID：我干过羊）居然只有200多万访问量，遗憾未能上榜。

此外，在浏览爬下来的数据时，我还看到了一个熟悉的名字：

也有近80万访问量，经验证确实是NBA球星林书豪本尊，可以说凭借一己之力拉高了JRs的平均球技了。前几天豪哥遭遇了导致赛季报销的伤病，在这里也祝福他早日康复，返厂升级后重归赛场。

分析完用户数据，我们再来看看步行街的帖子都在说些什么。

先来看看JRs的发帖时标题里出现的热点词汇：

我已经能用这些词造出几句非常符合步行街气质的标准发帖格式了：

我女朋友喜欢XXXX，在街上什么水平？

求问各位jrs，今年刚考上大学，XXXX专业，想买台电脑，大家有推荐的吗？

（某新闻标题）+ zt（zt是转帖的缩写）

下面再来看看事实上回复数最高的主题帖：

可以看到一些专题集中楼占据了大半榜单，没想到排第一的是《Fate》系列动漫的官方手游《FGO》的讨论专楼，韩国女团的应援楼也是热度惊人，看来步行街的死宅比我想象的要多很多。

最后来看看所有帖子下的亮评都在说些什么吧：

这些是过滤了助词、语气词等后的热点词汇，它们也比较完整地反映了步行街平日里聊的话题，包括两性关系（热点词汇里居然没有出现“绿”？）、家庭矛盾（emmm……）、日常见闻（各种囧事竞争年度MVP……）、社会热点（指点江山，激昂文字）等等，同时还喜欢给城市、大学、公司等等来排个座次争个高下，这也体现了虎扑篮球论坛的基因。

结语

本次分析采集到的数据样本有限，实际的结果可能有些许偏差，不过应该足以说明一些问题了，最后附上项目源码：GitHub：MagicToe和我的博客地址Crow Home，喜欢这篇文章的话可以帮我在Github上点个star，阿里嘎多！