【python】pandas read_json读取json格式文件,dataframe中list的处理方法

json文件内容是从豆瓣电影中爬取的用户评论
上代码

import pandas as pd
import numpy as np

filepath='C:/python/data_src/CommentsSpider.json'
data=pd.read_json(filepath,orient='values',encoding='utf-8') 

若json文件中有中文，必须加上encoding参数，赋值'utf-8'，否则会报错

image.png

看数据发现有些不对劲，虽然pandas read_json都出了json文件内容，但每个单元格都是一个list列表，我们需要将所有这些列表展开，生成新的dataframe

展开方法比较粗暴，遍历每个的单元格，一个一个展开。

def frame(i):
    j=0 #初始化j
    col_index=[] #初始化col_index
    for j in range(len(data.columns)):
        col_index.append(data.iloc[i,j])
    data_index=pd.DataFrame(col_index,index=data.columns).T
  #col_index是要给Series列表，把Series列表转换为DataFrame表格
    return data_index

df_all=pd.DataFrame(columns=data.columns) #初始化一个空的dataframe
i=0  #初始化i
for i in range(len(data.index)):
    df_one=frame(i)
    df_all=df_all.append(df_one) #append()方法不会改变原值，需要进行重新赋值

运行上述代码后，正确的结果如下图所示，是我们想要的。

正确的结果（前12行）