震惊！C杯的你，已经超过85%的人了！

  女票觉得自己胸小，凭空安慰不了，只好找数据说话。

本次爬取了京东商城5000余种bra，共计24万评论。（爬取步骤在文末）

得出以下结果：

一、只要是C杯就超过了85%的人！

罩杯比例图

1）B杯人数占了近70%，人群庞大，所以B杯的妹子不要自卑，你是千千万人群中的一个，该自卑的应该的A（斜眼）

2）D杯以上只占了4%，所以电视电影里标配的D估计和标配20CM一样稀有。

3）其实罩杯大并不代表大，那什么是大呢？

不用我多说了吧

二、bra最受欢迎的7种配色，黑色最流行！

1）在24万评论中，我们筛选出了数量超过1万的配色，其中黑色以56295拔得头筹。当然并不是纯黑色bra，因为有这些款式：

2）其他6色势均力敌，粉色和红色很多可能是一个阵营的。

3）其实以上7大配色只占了60%，剩下40%有以下配色，这些配色销量为什么还辣么多。。

4）所以！根据数据显示，我决定做以下这款bra，肯定能卖进福布斯（手动斜眼）

注：1）样本小，2）尺码大的女士可能会更加倾向于实体店购，3）只买不评论等原因，数据不够准确，仅供娱乐。

---

能看到这里的帅哥美女，我告诉你这篇文章真正的标题的是：

Scrapy框架爬取京东商城商品评论

一、爬取目的

爬取京东商城内衣-文胸频道前85页商品评论

二、主要思路

1）设置起始页（按照销量排序），遍历到85页，每页60个商品信息，共计5100个。

2）因为评论最多只是显示100页（10个/页），85页后的商品评价已经很少了，所以估算评论会在30万左右

3）找到加载评论的js，选择本商品评论，以及时间排序

4）接口JS里，找到最大页，构造并遍历请求

5）输出到MYSQL

三、遇到的一些问题

1）输出缺少输出数据

解决：css遍历需要选定了所有需要遍历的标签

2）存储到数据库的数据有重复

一步步排查

输出并无问题

解决：原来是数据插入mysql时重复，应该是Twisted异步操作太快，浅拷贝还么来得及插入就被替换了，将写入步骤修改为深拷贝，问题解决

3）评论输出少了第一页

解决：因为两次scrapy.Request相同的网址，导致去重机制生效，把其中一项去掉用不到的参数。

github地址:https://github.com/GuoBinxs