python晋江文学城数据分析（二）——数据预处理

晋江文学城数据分析（一）——爬虫（BeautifulSoup正则）_kpl_22b的博客-CSDN博客

        承接上文，将爬好的数据用python和jupyter进行处理分析。

目录

1初步探索

2数据清洗

2.1重复值处理

 2.2缺失值处理

 2.3字段类型转换

3特殊处理

4结果

---

1初步探索

        数据导入后，用data.head()和data.info()查看数据。

        1.标签下简介和标签应分离；

        2.类型下可用“-”分离为四个属性方便后续数据分析；

        3.发表时间可具体分离为发表日期和发表时间；

        4.大部分列数据都是46953条，除了当前被收藏数、文案、视角。文案、视角是允许空白的，当前被收藏数空白是爬取的问题，数量不多，直接删去。

        5.本该为数值型的总书评数、当前被收藏数、营养液数目前不是数值型，应转换。

        问题分析如上，但实际操作中，并不一定按上面的顺序处理问题。

2数据清洗

2.1重复值处理

        有些数据里面的样本id是不允许重复的，比如订单ID在电商系统中是不会重复使用的。而有些情况下，样本id重复是被允许的。

data.nunique()

data.nunique()==data.shape[0]

 

         本文中，链接充当了id的角色，可以看出，存在重复的数据，应去除。

data = data.drop_duplicates(subset=['链接'], keep='first')
data.nunique()==data.shape[0]

 2.2缺失值处理

data.isnull().sum()

        有缺失值的主要是总书评数、当前被收藏数、营养液数、文案、视角，由于数量值较小，直接删除。

data=data.dropna(axis=0)
data.isnull().sum()

 2.3字段类型转换

        将总书评数、当前被收藏数、营养液数转换为数值型。

#把非字符串格式改为字符串格式
data['总书评数']=data['总书评数'].apply(str)
data['当前被收藏数']=data['当前被收藏数'].apply(str)
data['营养液数']=data['营养液数'].apply(str)

#将包含非数字的字符串去除
data = data[data.总书评数.str.contains("^[0-9]")]
data = data[data.当前被收藏数.str.contains("^[0-9]")]
data = data[data.营养液数.str.contains("^[0-9]")]

#转换为数值型
data["总书评数"] = pd.to_numeric(data["总书评数"], errors='coerce')
data["当前被收藏数"] = pd.to_numeric(data["当前被收藏数"], errors='coerce')
data["营养液数"] = pd.to_numeric(data["营养液数"], errors='coerce')
data.info()

3特殊处理

        此次分析主要针对小说，将类型为随笔、未知、评论的数据删去。

data = data.drop(index = data[(data.类型 == '随笔')].index.tolist())
data = data.drop(index = data[(data.类型 == '未知')].index.tolist())
data = data.drop(index = data[(data.类型 == '评论')].index.tolist())
data.info()

         简介与标签分离：

# 将简介和标签分离
data_biao=data['标签'].str.split('\n',expand=True)
data['简介']=data_biao[0]
data['标签']=data_biao[1]
data['标签']=data['标签'].str.replace('标签：','')
data['简介']=data['简介'].str.replace('简介：','')

        将类型分离为原创性、性向、时代、类型：

#将类型分离为原创性、性向、时代、类型
data_type=data['类型'].str.split('-',expand=True)
data['原创性']=data_type[0]
data['性向']=data_type[1]
data['时代']=data_type[2]
data['类型']=data_type[3]

        处理发表时间：

data_time=data['发表时间'].str.split(' ',expand=True)
data['发表日期']=data_time[0]
data['发表时间']=data_time[1]
data['发表日期'] = pd.to_datetime(data['发表日期'], format='%Y-%m-%d', errors='coerce')   #转换
data['发表时间'] = pd.to_datetime(data['发表时间'], format='%H:%M:%S', errors='coerce')   #转换
data.info()

        删去时代、性向未知的

#删去时代、性向未知的
data = data.drop(index = data[(data.时代 == '未知')].index.tolist())
data = data.drop(index = data[(data.性向 == '未知')].index.tolist())

4结果

         最后得到46844条数据。