爬虫入门L1 | 数据url

数据分析的毕业项目从爬数据开始，尝试了几种软件和方式，碰到各种问题，也没有达到预期效果，所以爬虫课伊始，仍从之前未解决的问题开始，只是这次把工具换成了python。

L1.作业要求：

数据类别
数据源网站
数据URL
数据的筛选规则（可选）

Let's start.

目标是比较四个家居品牌的床品：

四个品牌的床品比较

具体信息分列如下：

数据类别：

先从被套这个品类开始。
收集的数据类别有产品名称，价格，规格，成分，尺寸，详细描述，保养说明，图片地址。
其中价格是数值，其他都是文字。

对应的数据源网站：

首选四个品牌的官网作为数据源。IKEA和H&M都没有问题，但是ZARA HOME官网是英文的，考虑到方便比较，改用其天猫店。
MUJI也是官网和天猫店都有。区别是天猫店按照款式分，到详细页面再选择各种颜色和尺寸，数据条目显得比较少，而官网把颜色尺寸都各自算成一个款式，数据分散，而且无货产品也全部在列。虽然天猫的信息采集会比较麻烦，但是有购买数据和反馈，比较后还是采用天猫店作为数据源。

左边天猫右边官网

四家网站：
IKEA 网络商城主页
https://www.ikea-sh.cn/?utm_source=IRW%5FPC%5FIcon&utm_medium=IRW&utm_content=PC&cid=ms|cn|cn_ecommerce|201608311217570417_1

H&M Home主页
http://www2.hm.com/zh_cn/home.html

ZARAHOME 天猫店
https://zarahome.tmall.com/shop/view_shop.htm?spm=a220m.1000862.1000730.2.7c054992NFBe3k&user_number_id=2573808084&rn=29cd642d56bc19646b9dbfe82e1c80de

MUJI 天猫店
https://muji.tmall.com/?spm=a1z10.3-b-s.1997427721.d4918089.296a9a0Jp6IBI

采集数据的URL：

IKEA 被套和枕套页面
https://www.ikea-sh.cn/home-furnishing/home-textile-products/bedlinen/quilt-cover.html

H&M Home 床品页面
http://www2.hm.com/zh_cn/home/shop-by-product/bed-linen.html?product-type=home_bedlinen_all&sort=stock&offset=0&page-size=30

ZARAHOME 天猫店被套页面
https://zarahome.tmall.com/category-1280691939.htm?spm=a1z10.5-b-s.w4006-15477299109.1.36ef4509DGznBt&search=y&parentCatId=1280689855&parentCatName=2017+%B4%BA%CF%C4%CE%D4%CA%D2%D3%C3%C6%B7&catName=%B1%BB%CC%D7&scene=taobao_shop#bd

MUJI 天猫店被套页面
https://muji.tmall.com/category-910240908.htm?spm=a1z10.5-b-s.w4011-14901318931.60.FK5XtO&search=y&catName=%B1%BB%D7%D3%2F%C7%DE%BE%DF&scene=taobao_shop#TmshopSrchNav

数据的筛选规则:

根据老师解释，个人理解筛选规则是指要找到需采集的信息在页面上的具体位置。

前段时间做项目，采集数据的时候为了定位采集，按照建议装了Firefox浏览器，以及Firebug和FirePath扩展插件，这样可以看到实际的url。比如我要看产品名称，就把鼠标移到要采集的这个字段上，点击右键，选择查看元素就能看到网页的具体信息，或者选择inpect in Firepath能看到具体的定位。

以下是四个网站上产品名称字段的具体位置。