京东全网手机爬虫scrapy_redis及决策树数据分析

京东全网手机爬虫scrapy_redis及决策树数据分析

参考了实验楼并进行延伸

SqlServer版本:13.0.1742.0 (也可使用mongodb)
Python版本3.7.1
软件:Pycharm , Navicat , SSMS,RedisDesktopManager

项目架构:

爬虫scrapy_redis框架:Jdphone
jd_category.py (手机分类的名称以及网址) jd_product.py(手机详细信息)
数据分析:test
data_clean.py 清洗数据 analysis.py 图表分析
DesicionTree.py 决策树预测 GraphvizTree 决策树可视化
数据库表:
phone_url.sql phone_info.sql 清洗后:phone_info_cleaned.csv
京东全网手机爬虫scrapy_redis及决策树数据分析_第1张图片

京东手机销售数据分析:(回归CART)

第一步:爬虫爬京东手机各项数据(品牌,屏幕材料,内存,存储空间,电池容量
摄像头数,屏幕大小,评分,价格,评论数等)
第二步:存储到SqlServer数据库,转换输出成csv文件进行分析
第三步:通过pandas清洗数据,统计csv文件各类属性的数量
第四步:通过matplotlib以图表的形式可视化分析
第五步:用回归决策树(Regression Decision Tree) 预测 品牌,重量,评论等属性对价格的影响

问题及解决方案:

1.爬虫抓取手机参数,价格和评论写在动态js里,而其他属性大多在html里用xpath可以抓取。两个要同时兼并,最后把js的url写到html方法进行返回从而抓取。
2.保存数据到SqlServer数据库,之前保存到MongoDB全部当字符串即可,而sql需要考虑是否空值,如果强行获取不能存入数据库。还有pyssml模块导入由于python版本问题会有警告问题,可以忽略。(提前在数据库中建好表,再用insert语句插入)
3.数据清洗,首先把数据库文件以csv形式导出,然后用pandas和numpy对数据进行规范,因为决策树回归算法等需要用数值型,所以要把字符型转换,同时剔除无关词汇,思路简单但过程繁琐。
4.数据分析,数据项太多比如品牌 以至于图可能信息展示不完全。
5.运用决策树预测分析,由于部分数据为空以及差异太大,比如价格低至-1,高至4w,导入部分品牌平均绝对误差可能会大,但是绝大部分都在正常范围。

爬取:(7853, 25)
7853条手机数据,25条属性
分析:

品牌词云图
京东全网手机爬虫scrapy_redis及决策树数据分析_第2张图片

品牌饼图
京东全网手机爬虫scrapy_redis及决策树数据分析_第3张图片
结论:网商市场占比 华为>apple>飞利浦>小米>vivo>opple
和线下销售情形基本符合

属性关联度影响热图
京东全网手机爬虫scrapy_redis及决策树数据分析_第4张图片
结论: 此图只考虑了数值类属性,未考虑字符串如 年份 品牌 等
与价格关联度最高的有 好评率0.77 差评率0.7 评论数0.64 (可以都理解为评论数)
其他属性如 摄像头数 0.66 运行内存RAM 0.45 物理内存ROM 0.45
而 屏幕大小 重量 和 长度这些因素对价格的影响没有那么大

京东全网手机爬虫scrapy_redis及决策树数据分析_第5张图片

手机品牌对应价格图
结论:根据手机价格中位数来大致估计各品牌。
价格最高的是Vertu(奢侈品)–25000
偏高的有 8848 gemry(詹姆士) royole(柔宇) vetas kreta --均价12000 (轻奢)
大众品牌:苹果 --7000 华为 --3000 一加–4000 三星–6000 vivo–2000
而像 诺基亚 菲利普 这种品牌大多都是老人机 和我们固有的印象相符,平均价格在200,300左右

京东全网手机爬虫scrapy_redis及决策树数据分析_第6张图片
屏幕材料对应价格图

结论:从手机屏幕材料对应手机价格来判断关联度,如图示
价格依次排序:
OLED折叠屏–28000 XDR AMOLED-- 15000 a-si LCD --14000
Dynamic AMOLED (三星)–7000 OLED(华为) - 4000
LCD (vivo/小米) / LTPS (华为)–2000 IPS–1000 TFT(荣耀)–500

京东全网手机爬虫scrapy_redis及决策树数据分析_第7张图片
部分屏幕材料对应价格图
结论:由上图总结抽选了部分代表来分析价格分布。红色部分为IPS和TFT,这些材料大多应用于像诺基亚这种老年机和华为的低端机,基本价格都在1000多,而绿色部分为Dynamic AMOLED,对应的是三星这种屏幕好的手机,大多价格在4000多,而蓝色部分对应的是OLED ,对应的是苹果手机平均价格在7000左右,这和我们平常的认知相符。

通过DecisionTreeRegressor回归树分析一下模型的平均误差:
(总数据大概为7800条,下图为缺失数据,由上文中热图属性来分析重要属性,运存和内存缺失了三分之一,摄像头数缺失一半,评论虽然未缺失,但是未处理0这个数据可能会造成误差)
京东全网手机爬虫scrapy_redis及决策树数据分析_第8张图片

分析准确性:(以品牌为索引,分析其他属性对价格影响的平均误差率)
1.总评论数 和 好评数 以及重量的影响误差:
大部分误差都小于百分之十,说明评论和重量对价格的影响切实有效
京东全网手机爬虫scrapy_redis及决策树数据分析_第9张图片

2.运存 和 内存 的影响误差:
京东全网手机爬虫scrapy_redis及决策树数据分析_第10张图片

结论:可能因为运存和内存缺少数据二分之一太多,导致误差变大。

可视化
京东全网手机爬虫scrapy_redis及决策树数据分析_第11张图片

你可能感兴趣的:(可视化,决策树,python,数据分析,数据库)