数据采集和分析

文/曹门霞客行

分享一款数据抓取工具——八爪鱼，图示化操作和云计算，有专业版和旗舰版，付费即可，小白入门，基础版先入门，图文教学网址。

• 2017年9月18日，学习如何抓取采集单个网页内容，比如抓取某篇文章的标题和正文。

• 2017年9月18日，学习如何抓取单个列表页面，比如抓取首页文章的标题和专题，只是有一个小问题，只抓取了20条数据，其中来自“在路上”专题的文章有四篇。

• 2017年9月19日，学习表格信息采集，增加了“创立一个元素列表以处理一组元素”的步骤。

• 2017年9月19日，学习采集单网页列表详细信息，采集列表式电影排名，并进入子链接内容，抓取相关信息。因为进入子链接抓取内容，比单页面抓取内容，速度慢很多。

---

http://www.bazhuayu.com/tutorial.aspx?type=0&page=0&tag=实战案例

1.搜索引擎多关键词内容抓取

2.豆瓣电影信息采集

3.淘宝商品评论采集

4.天猫商品信息采集

5.大众点评商家信息采集

6.点击元素采集内容实战

用处：

1.首页文章：专题占比比重？文章标题的字数？签约作者占比？阅读量、评论、点赞、赞赏的比重？

2.优质作者的爬取

3.单个作者文章关键词分析

4.朋友圈所有头像

5.专题投稿：时间段（每日、每周）、文章数量、作者数量

6.专题收录：审稿时间段（每日、每周）、文章数量、作者数量。专题优质作者。

7.分享微博、朋友圈的情况

8.专题活动的参与情况，多少作者、多少文章、覆盖多少用户、深度参与的情况（评论、点赞、赞赏、文章等）

9.专题列表、专题关注用户、专题收录多少篇文章