成长会不完全大数据-Python爬虫案例

成长会是由 Scalers，游走在口译世界的IT从业者，发起的面向成长、实践行动，且凝聚了来自全球各地各行各业从业者的社群。ScalersTalk成长会目前有成员1000余名，社群小组20多个。成长会论坛是成员行动记录、交流的平台。（QQ群论坛，需要登录）

这个小长假，看了一些Python爬虫相关的东西，就开始着手练习，把成长会论坛拿来练手。刚好一位小童靴想找考研的信息，问我能不能把成长会“考研”，“上外”，“广外”，“MTI”相关的信息爬下来。

完成后，我顺手也爬取了一些其他数据，汇总在下面文章中。

Python爬虫分别从主题贴和成长记录贴中分别抓取数据，主题贴中抓取了个人信息，成长计划，帖子访问量（人气）相关数据，从成长记录贴中抓取统计打卡记录数量。共计抓取947人的帖子，爬取成长打卡记录帖10835个。

你不是一个人在战斗！

考研数据

成长会有过考研或正在准备考研的有 303 人，占32%，其中二战考研的23人。考研是一个艰辛和成长的过程，祝各位收获到满意的学校。同时考研也不是一条唯一的、甚至快速的成长路。

你游走了吗？

成长会在做编程开发或准备学习编程的有 127 人，大大低于各种外语学习的人数。其中在学Python或想学Python的有 63 人。

查看一些帖子的记录，发现不少同学已经放弃编程的学习，不知道这个坑什么时候能填上？还有一位同学在帖子的建议中提到，编程开发的学习小组，不如外语类的那么热闹，成员大多比较闷。编程技能的自学效果显现得更漫长一些。

你的成长记录写了吗？

成长记录也是每天的行动打卡记录。截至到5月8日17:00，更新成长帖前3名的帖子数分别是142，131和123。56.71%的成员只更新了一条或两条记录，经常的人更新的只占5.5%，也就是说对大多数人，成长会论坛不是目前记录的主要地方。

目前成长会各种小组也挺多，成长记录的方式也越来越多样化，如手机APP、手帐、微信公众号、豆瓣等，而且行动也会不断出现疲惫期，所以在成长会论坛持续的记录量不会呈增加的趋势。

对于数据分析和成长会来说，统一的打卡记录和成长贴都是一份很好的跟踪记录，可追溯，可以分析。对于个人来说，未经记录的日子，就像流沙，倏忽而过，总有一种负罪感。

需求层次多样化，小组会越来越多

检索了一下对常用办公软件的需求。

我一边查看爬虫爬取的数据，也查看一些成长贴，检查一下是否有统计检索bug。最后把我在帖子中看到Scalers的回复作为结束。

“ 　持续行动中一定记住是自己的事情，找个人作伴是一件很有tricky的事情。如果是一个能持续行动的根本不需要其他人为伍，找一个比你更没意志的倒经常会把你拉下水。

“　看了你的文字，我想努力修正一点的是，其实我和我的文章，并不强调于一种方法，我的理解更多的是一种体系，是基于逻辑的推演和构建。
... ....
因为方法的本质上是一系列的操作步骤，而这个步骤本身就是因环境、对象、问题而变的。