R语言实战：预测钻石的价格

作者：刘小芬，R语言中文社区专栏作者。知乎专栏：https://www.zhihu.com/people/liu-xiao-fen-10/columns

数据来源：R中的ggplot2包的自带数据diamond

数据分析目的：建模，预测钻石的价格。

数据分析思路：

1.单变量跟价格的关系：分别探讨克拉、颜色、纯度、深度、体积、切割跟价格的关系。

2.多变量跟价格的关系：分别探讨多个维度跟价格的关系。

数据分析过程：

一、导入数据

library(ggplot2)
data(diamonds)
View(diamonds)
names(diamonds)

理解数据：

carat：克拉

cut：切割（Levels: Fair < Good < Very Good < Premium < Ideal）

color：颜色（Levels: D < E < F < G < H < I < J）

clarity：纯度（Levels: I1 < SI2 < SI1 < VS2 < VS1 < VVS2 < VVS1 < IF）

depth：深度

table：台面

price：价格

二、数据分析

加载包：

library(dplyr)
library(ggplot2)
library(gridExtra)
library(RColorBrewer)
library(GGally)
library(scales)
library(memisc)
library(lattice)
library(MASS)
library(car)
library(reshape2)
library(RCurl)
library(bitops)

因为数据分析的目的建模预测价格，所以首先画讨价格直方图，探讨价格的分布规律：

###价格直方图
qplot(x=price,data = diamonds,fill=I("skyblue"))+
  scale_x_continuous(breaks = seq(0,20000,1000))+
  ggtitle("The Price Of Diamonds")

大部分价格是分布在2000元以下，对这部分画图：

qplot(x=price,data =subset(diamonds,price < 2000),col=I("skyblue"),fill=I("pink"),binwidth=20)+
  scale_x_continuous(limits = c(0,2000),breaks = seq(0,2000,100))+
  ggtitle("The Low Price Of Diamonds")

可以看出，大部分的价格是分布在700-800元之间。

接下来开始分析各变量跟价格的关系：

2.1分析切割跟价格的关系

qplot(x=price,data = diamonds,col=I("black"),fill=factor(cut),binwidth=200)+
  facet_wrap(~cut,nrow = 3,scales="free_y")+
  scale_x_continuous(limits = c(0,20000),breaks = seq(0,20000,4000))+
  ggtitle("The Price Of Diamonds By Cut")

可以看出，仍然是低价格的占据最多，那么哪个切割水平钻石最贵、最便宜？

by(diamonds$price,diamonds$cut,summary)

最贵的钻石的切割水平为Premium，最便宜的钻石的切割水平为Ideal和Premium。也就是说切割水平跟钻石的价格没有太直接的关系。

考虑每克拉钻石的价格跟切割水平是否有关系：

diamonds$perprice <- diamonds$price/diamonds$carat
qplot(x=perprice,data = diamonds,col=I("black"),binwidth=.02,
      fill=factor(cut))+
  facet_wrap(~cut,scales = "free_y",nrow = 3)+
  scale_x_log10()+
  ggtitle("The Perprice Of Diamonds By Cut")

可以看出根据切割水平分类，每克拉的价格呈现正态分布，也就是两者呈现正态关系。

2.2分析深度跟价格的关系

ggplot(data = diamonds,aes(x=price,y=depth))+
  geom_point(alpha=1/100)+
  scale_x_continuous(breaks = seq(0,15000,2000))+
  ggtitle("The Price Vs Depth")
cor.test(diamonds$price,diamonds$depth)

cor.test(diamonds$price,diamonds$depth)

价格跟深度是负相关，也就是说价格越高，深度越低。跟图表示的意思相同。

2.3分析克拉跟价格的关系

为了确保数据的可靠性，将离散值去掉，主要是去最高1%的价格和克拉：

ggplot(data =diamonds,aes(x=price,y=carat))+
  geom_point()+
  scale_x_continuous(lim=c(0,quantile(diamonds$price,0.99)))+
  scale_y_continuous(lim=c(0,quantile(diamonds$carat,0.99)))+
  ggtitle("The Price Vs carat")

如图所示，克拉跟价格呈现线性关系，且价格越高，克拉数越大。

cor.test(diamonds$price,diamonds$carat)

价格跟克拉属于正相关，而且还是强正相关，符合图所表示的意思。

2.4分析体积跟价格的关系

diamonds$volume <- with(diamonds,x*y*z)
ggplot(data = diamonds,aes(x=price,y=volume))+
  geom_point()+
  ggtitle("The Price Vs Volume")

有两个离散值，去掉离散值，选择体积数在0-800之间：

ggplot(data = subset(diamonds,volume < 800 & volume > 0),
       aes(x=price,y=volume))+
  geom_point(alpha=1/100)+
  ggtitle("The Price Vs Volume")

同样的，体积跟价格也是呈现线性关系，我们添加一条曲线看看：

ggplot(data = subset(diamonds,volume < 800 & volume > 0),
       aes(x=price,y=volume))+
  geom_point(alpha=1/100)+
  geom_smooth()+
  ggtitle("The Price Vs Volume")

可以看出，体积跟价格属于正相关关系。

2.5分析纯度跟价格的关系

将价格按照纯度进行分类，同时计算每组分类中的价格均值、价格最大值、价格最小值、价格中位数。

diamondsByClarity <- diamonds %>%
  group_by(clarity) %>%
  summarise(mean_price=mean(price),
            median_price=median(price),
            min_price=min(price),
            max_price=max(price),
            n=n())

总共分成了八组。从均值、中位数、最大值和最小值看，价格跟纯度并不存在相关关系，就是说纯度越高并不意味着价格更高或更低等等。

2.6分析颜色跟价格的关系

ggplot(aes(x=log(price)),data = diamonds)+
  facet_wrap(~color,scales="free_y")+
  geom_histogram(aes(color=cut,fill=cut))+
  ggtitle("The Price VS Color")

从图中可以看出，两者关系并不大。

接下来分析多变量跟价格的关系：

抽取1000个样本，比较各变量之间的相关性。

set.seed(789)
diamonds_samp <- diamonds[sample(1:length(diamonds$price),1000),]
ggpairs(diamonds_samp)

价格跟克拉的相关性最大，所以，接下来分析纯度、切割、颜色与克拉同时对价格的影响。

2.7分析纯度、克拉跟价格的关系

同时考虑纯度、克拉对价格会有什么影响：

ggplot(aes(x=carat,y=price,color=clarity),data = diamonds)+
  geom_point(alpha=0.5,size=1,poosition="jitter")+
  scale_color_brewer(type = "div",
                     guide=guide_legend(title = "Clarity",
                                        reverse = T,
                                        override.aes = list(alpha=1,size=2)))+
  scale_x_continuous(trans = cuberoot_trans(),
                     limits = c(0.2,3),
                     breaks = c(0.2,0.5,1,2,3))+
  scale_y_continuous(trans = log10_trans(),
                     limits = c(350,15000),
                     breaks = c(350,1000,5000,10000,15000))+
  ggtitle("Price (log10) by Cube-Root of Carat and Clarity")

纯度、克拉对价格的影响是呈现线性正相关关系，即相同的克拉下，纯度越高价格越高，同样的，相同的纯度下，克拉越高价格越高。

2.8分析克拉、切割跟价格的关系

同时考虑克拉、切割对价格的影响：

ggplot(aes(x=carat,y=price,color=cut),data = diamonds)+
  geom_point(alpha=0.5,size=1,poosition="jitter")+
  scale_color_brewer(type = "div",
                     guide=guide_legend(title = "cut",
                                        reverse = T,
                                        override.aes = list(alpha=1,size=2)))+
  scale_x_continuous(trans = cuberoot_trans(),
                     limits = c(0.2,3),
                     breaks = c(0.2,0.5,1,2,3))+
  scale_y_continuous(trans = log10_trans(),
                     limits = c(350,15000),
                     breaks = c(350,1000,5000,10000,15000))+
  ggtitle("Price (log10) by Cube-Root of Carat and Cut")

切割、克拉对价格的影响是呈现线性正相关关系，即相同的克拉下，切割等级越高价格越高，同样的，相同的切割等级下，克拉越高价格越高。

2.9分析克拉、颜色跟价格的关系

同时考虑克拉、颜色对价格的影响：

ggplot(aes(x=carat,y=price,color=color),data = diamonds)+
  geom_point(alpha=0.5,size=1,poosition="jitter")+
  scale_color_brewer(type = "div",
                     guide=guide_legend(title = "color",
                                        reverse = F,
                                        override.aes = list(alpha=1,size=2)))+
  scale_x_continuous(trans = cuberoot_trans(),
                     limits = c(0.2,3),
                     breaks = c(0.2,0.5,1,2,3))+
  scale_y_continuous(trans = log10_trans(),
                     limits = c(350,15000),
                     breaks = c(350,1000,5000,10000,15000))+
  ggtitle("Price (log10) by Cube-Root of Carat and Color")

可以看出，颜色、克拉对价格的影响是呈现线性正相关关系，即相同的克拉下，颜色越趋于无色等级价格越高，同样的，相同的颜色等级下，克拉越高价格越高。

至此，可以得出钻石中的4C，即颜色、切割、纯度、克拉都会对价格造成影响。

接下来是建模，构建模型，预测钻石的价格。

三、建模，预测价格

因为颜色、切割、纯度、克拉都会对价格造成影响，因此构建的回归模型，将这几个变量都纳入模型中：

modeldiamonds <- lm(I(log(price))~I(carat^(1/3))+I(carat)+I(cut)
                    +I(color)+I(clarity),data = diamonds)

查看模型：

模型公式为：

log(price)=0.145+9.14*carat^1/3-1.09*carat+（...*color+...*clarity+...*cut）+Q

但是由于数据不多，且是属于2008年的钻石数据，并不能代表所有的钻石，对于钻石的预测还是有一定的误差，因此在 https://github.com/solomonm/diamonds-data下载bigdiamonds数据，选取价格小于10000且属于GIA发布的数据，进行建模：

diamondsbig <- load("BigDiamonds.rda")
diamondsbig$logprice <- log(diamondsbig$price)
modeldiamondsbig <- lm(logprice ~ I(carat^(1/3))+
                         carat+cut+color+clarity,
                       data = diamondsbig[diamondsbig$price < 10000 &
                                            diamondsbig$cert == "GIA",])

模型公式为：

log(price)=-0.46+8.32*carat^1/3-0.76*carat+（...*color+...*clarity+...*cut）+Q

接下来是利用模型对钻石价格进行预测：

预测钻石：

carat为1.01，cut为Ideal，color为E，clarity为VS2的钻石的价格，置信区域为0.95：

thisDiamond <- data.frame(carat=1.01,cut="Ideal",
                       color="E",clarity="VS2")
modelEdtimate <-predict(modeldiamondsbig,newdata = thisDiamond,
                      interval = "prediction",level = .95)
exp(modelEdtimate)

在置信区域95时，此类钻石的价格在5099.363~9310.083之间浮动，浮动点的值为6890.246元。

四、总结

这个价格的预测模型只是基于4C基础下作出的预测，但是价格还会受到其他因素的影响，例如商家的利润、购买时间、购买优惠度等等，所以，即使有模型也不能过分的依赖模型，还是需要考虑其他因素

公众号后台回复关键字即可学习

回复 R               R语言快速入门免费视频 
回复 统计          统计方法及其在R中的实现
回复 用户画像   民生银行客户画像搭建与应用 
回复 大数据      大数据系列免费视频教程
回复 可视化      利用R语言做数据可视化
回复 数据挖掘   数据挖掘算法原理解释与应用
回复 机器学习   R&Python机器学习入门