- 数据地址：Airbnb短租数据集分析
- listings: 数据为北京短租房源基础信息，包括房源、房东、位置、类型、价格、评论数量和可租是时间等等。明细版中包含更多房源相关细节。
- calendar: 数据为短租房源时间表信息，包括房源、时间、是否可租、租金和可租天数等等。
- reviews: 数据为短租房源的评论信息。汇总版中仅包括房源 listing_id和评论日期，用来时间序列和数据可视化分析。明细版还包括评论相关的内容和作者信息。
- neighbourhoods: 数据为北京的行政区划。
listings 数据分析
1. 先简单查看数据
df = pd.read_csv("data/listings.csv")
df.head()
df.info()
从上面可以看出该数据集共有16列，分别为：房子id、房子名字，房东ID、房东姓名、所属行政区、经纬度、房间类型、价格、最小可租天数、评论数量、最后一次评论时间、每月评论占比、可出租房屋、每年可出租天数。
2. 查看缺失值和异常值
- 查看缺失值
df.isnull().sum()
df[df["number_of_reviews"]==0].count()
其中 neighbourhood_group 这一列全部为空，房子名称有一个为空值，最后评论时间和每月评论占比在评论数为0时为空值。
- 异常值分析
df.describe()
通过结果可以初步分析：
- 价格存在0，明显是异常数据；且标准差过大，表明数据波动较大；平均数明显大于中位数，甚至75%的数据仍然小于平均数，存在许多数值比较大的数据。
- 在可用天数中，0也是异常数据。
我们通过箱型图来具体查看：
从图中可以看出，存在着远离正常价位的异常值。如果是使用1.5IQR来看，超过1500的房价都存在问题，但是实际上存在着不少超过10k的房价，这里需要考虑是不是计算了一个月的房价或者一周的房价。这样的话将价格超过10k的房源除以30得到的应该就是正常的房源数据。
- 处理异常值，处理后再来观察一下箱型图
df['price'] = [i // 30 if i > 5000 else i for i in df['price']]
df = df[df['price'] > 0].reset_index(drop=True)
df = df[df['availability_365'] > 0].reset_index(drop=True)
经过处理后的房源价格和正常价位的偏离值少了，但还是有高于正常价位的值，可以视为正常情况。同时各个区的价位也存在一定的差距，这里就暂时这么处理了，如果需要的话可以对每个区进行单独处理。
- 然后我们来分析一下各个区的房租价格以及出租数量
通过上图可以发现房源数量最多的是朝阳区，说明该区域人口了集中，数量最少的是平谷区，说明该区域比较偏远或者住宅少。房源均价最高的是怀柔区，均价最低的是通州区。
- 接着分析可租用时长以及最短可租时间
通过分析可以发现可租用时长主要集中在2-3个月、5-6个月和11-12个月这3个时间段附近。而最低可租时间主要集中在1-3天，说明选择1-3天的占了主要部分，由此可以得出该地区Arbnb的顾客以短租为主，很大概率是景区1日游。
- 最后再来看看各区不同类型房源的房价
从图中可以发现，Entire home/apt 类型房源价格最高且数量最多，Shared room价格最低，同时数量最少。说明来北京的人更愿意选择 Entire home/apt 类型房源，并且这类顾客的消费能力都还不错。
从图中可以发现，怀柔区和延庆县的均价最高，可能与这几个区的地理位置有关；丰台和通州的整体房价最低，位置可能比较偏僻；房山区的 Shared room 房价明显偏高，可能该区域位置偏僻且位于景点且同类型房源很少。
相关性分析-房源价格
- 首先进行线性相关性分析-分析和房源价格的相关特征
# 查看正负相关的 k 个特征
corrmat = df.corr()
k = int(df.shape[1] // 2)
cols_pos = corrmat.nlargest(k, 'price')['price'].index
cols_neg = corrmat.nsmallest(k, 'price')['price'].index
cols = cols_pos.append(cols_neg)
cm = np.corrcoef(df[cols].values.T)
sns.set(rc={'figure.figsize': (12, 10)})
sns.set(font_scale=1.25)
sns.heatmap(cm, cbar=True, annot=True, square=True, fmt='.2f', annot_kws={'size': 10},
yticklabels=cols.values, xticklabels=cols.values)
plt.show()
从上图来看，和价格线性相关的特征只有 room_type 一个，看来房源的价格主要还是和房源类型以及地理位置有关。
数据建模-利用lightGBM对价格进行大致预测
- 将租房所在地区，租房类型，租房经纬度作为特征值，建立模型进行价格预测。
y = df['price']
X = df[["neighbourhood", "room_type", "latitude", "longitude"]]
X_ = X.to_dict(orient="records")
X_train, X_val, y_train, y_val = train_test_split(X_, y, test_size=0.2, random_state=42)
transfer_dic2 = DictVectorizer()
x_train = transfer_dic2.fit_transform(X_train)
x_val = transfer_dic2.transform(X_val)
model = lgb.LGBMRegressor(random_state=90)
model.fit(x_train, y_train)
y_pred = model.predict(x_val)
print(mean_absolute_error(y_val, y_pred))
- 对数据进行预测
def predict_price(neighbourhood, room_type, latitude, longitude):
data = pd.DataFrame([[neighbourhood, room_type, latitude, longitude]],
columns=["neighbourhood", "room_type", "latitude", "longitude"])
data = data.to_dict(orient="records")
data = transformer.transform(data)
return model.predict(data)
假设该地区有人开Airbnb，可以输入房源参数，可以给出一个适合的出租价位给房东；如果是游客想要在该地区租房，可以通过参数了解当地的房源价格，便于游客安排。
小结：实际上，模型还不够完善。首先，没有分析每个房源附近的交通设施是否便利，未了解房源周边的景区和商场的情况，这些都是影响房源价格的重要因素。其次，租客对房源的评价也会影响房屋的出租，这部分可以继续深入，比如平台对问题的反馈效率，服务效率等等，这都会影响租客对房源的选择。
总结
- 租房价格因素主要有：所处的环境，同类竞争者数目，面向人群类别及房子类型。
- 靠近风景区租房一般价格较高，但还要考虑附近同类竞争者的影响，竞争压力大会导致租房价格相应的降低。
- 租房主要面向人群是短期游客，主要是1-3日游。而且这部分游客一般比较愿意掏钱，多数会选择Entrie home类型房源。