遇到的问题
最近在对文本进行切词之后存为dataframe，然后用爆炸函数explode把一行拆分成多行，但是如果把切词结果存到电脑本地，再用pd.read_csv或pd.read_excel读取进来之后，explode的函数就没有用了。百度和问ChatGPT都没有得到直接的答案，折腾了好久才解决了这个问题，所以特别记录一下。
读取本地文件
image.png
使用爆炸函数explode，发现没有用
-
读取CSV数据无论有没有把 keyword 和 pos 设置为 object 格式，explode函数都没有用
image.png
尝试过的办法
- 分裂再explode
data1 = data.assign(column_name=data['keyword'].str.split(',')).explode('keyword')
- 转变数据格式，但是报错了，python没有这种用法
data['keyword'] = data['keyword'].astype(turple)
data['keyword'] = data['keyword'].astype(list)
- melt 函数
data1= data.melt(id_vars=['clue_code', 'create_date'], value_vars=['keyword'])
data1['value'] = data1['value'].astype(str).str.split(",")
data1= data1.explode('value')
解决办法
- 使用 eval 函数先把字段转换为list 格式，这样就可以成功用爆炸函数explode了
data['keyword'] = data['keyword'].apply(eval)
data1 = data.explode('keyword').reset_index(drop=True)
image.png
- 其实2018年的做文本分析的时候有用过，但是当时是别人告诉我这个方法的，没有深入研究，虽然也有找当时的脚本再看，但因为自己也记不清自己要找什么了，所以没有找到，知道这个方法之后再重新搜一下之前的脚本就搜到了，所以说：纸上得来终觉浅，绝知此事要躬行啊！所以这里也记录一下eval的一些用法。
eval是Python的一个内置函数
这个函数的作用是，返回传入字符串的表达式的结果。想象一下变量赋值时，将等号右边的表达式写成字符串的格式，将这个字符串作为eval的参数，eval的返回值就是这个表达式的结果。eval()函数用来执行一个字符串表达式，并返回表达式的值。
语法
eval(expression[, globals[, locals]])
expression：表达式。
globals：变量作用域，全局命名空间，如果被提供，则必须是一个字典对象。
locals：变量作用域，局部命名空间，如果被提供，可以是任何映射对象。基本的数学运算
result = eval("1 + 1")
print(result) # 2
- 字符串转字典
string = "{'name':'linux','age':18}"
print(type(string), type(eval(string)))
输出结果：
- 传递全局变量
print(eval("{'name':'linux','age':age}", {"age": 1822}))
输出结果：{'name': 'linux', 'age': 1822}
- 传递本地变量
age = 18
print(eval("{'name':'linux','age':age}", {"age": 1822}, locals()))
输出结果：{'name': 'linux', 'age': 18}
不要滥用eval
- 在开发时千万不要使用eval直接转换input的结果
- eval虽然方便，但是要注意安全性，可以将字符串转成表达式并执行，就可以利用执行系统命令，删除文件等操作。
假设用户恶意输入。比如：
input_number = input("请输入：")
print(eval(input_number))
上面代码执行后输入：__import__('os').system('ls) ，按回车执行
上面代码会把当前目录下所有文件都显示出来
又比如：
上面代码执行后输入：__import__('os').system('touch train.py')，按回车执行
上面代码会在当前目录下创建一个文件名为train.py的文件。
又比如：
上面代码执行后输入：__import__('os').system('cat train.py')，按回车执行
上面代码会让你写的代码甚至是账户密码文件都给人看了。
又比如：
上面代码执行后输入：__import__('os').system('rm -rf *')，按回车执行
上面代码会删除在当前目录下的所有文件。