webscraper 抓数据需求文档

一、如何判断自己要抓的东西爬虫能完成？

如果你要抓一个东西

1. 你必须提供一个 网址（也可以叫链接、或者 URL），有了这个网址，我才能开始抓数据。

例如：http://www.zsxq100.com/

2. 你需要把第一步提供的网站，放到浏览器的地址栏里访问一下，看看你要抓取的信息，能不能用眼睛看到。

如果能看到，那就 99% 能抓，如果看不到，那就抓不了。

二、抓数据需要提供的信息

为了提高沟通效率，下面这些信息请您认真查看

1、要抓取的网址链接。为什么要提供这个，参看第一点。
2、要抓取的信息字段，为了不产生歧义，需要截图标注清楚
3、如果有多页，要说明抓多少页

举例——
需求概述：小明要抓取淘宝上关于酸奶的商品信息。
需要提供：

1. 网站链接 —— 如何获取？进入淘宝 www.taobao.com，然后搜索“酸奶”，出现的这个链接，就是爬虫需要的链接，结果链接如下：
   https://s.taobao.com/search?q=%E9%85%B8%E5%A5%B6&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.2017.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170306

image.png

2. 需要抓取这个页面的所有商品，每个商品需要抓取的信息：

• 产品名称
• 价格
• 购买人数

具体截图如下：

image.png

3. 搜索结果一共有 100页，只需要抓取前 5 页即可。

image.png

ps:上面是个例子，具体情况，可以根据需求改变。比如抓取的字段不同，或者抓取页数不一样等