python ast.literal_eval函数反序列化报错分析

前言

最近接了个爬虫的活，顺便接触一下python的scrapy库，爬取网站、数据持久化确实很方便。写好文件以后只需要scrapy crawl -L ERROR -O result.jl就可以将数据按行保存，处理数据时也只需要简单的for line in file就行。

按行处理数据时，使用ast.literal_eval(line)就可以将上述数据转化为字典。不过在实际测试的时候出现了很多奇怪的问题，这里做以总结。

错误汇总

ValueError(msg + f’: {node!r}’)

ValueError: malformed node or string
这个错误是由于部分字面量无法转化为python类型的词法报错，比如s{"successFlag": false,"result"=null}，处理时可以先将line做一个replace("null","None").replace("false","False").replace("true","True")，将json的小写转为python的语法。

SyntaxError: invalid decimal literal

属于单双引号的匹配有误，比如{"content":"padding:\"0px\",margin:\"1px\""}，其中0px左侧的双引号（即便不使用转义的反斜线）是语法错误，可以用单双引号交替的形式来避免。

测试发现一种奇怪的解析：

rest = """{"content":"padding:""0px"",margin"}"""
ast.literal_eval(rest)  # 结果为 {'content': 'padding:0px,margin'}

另外比较奇怪的是，scrapy默认生成的jl里面对于嵌套字符串的处理也是使用反斜线，却可以正常解析……

补充

使用replace进行转化时，需要注意处理的先后顺序，比如对网站文本去空白时，可以考虑先把不影响文本长度的操作、处理文本较长的操作放前面，比如先将null替换为None，再将\n去除，再将空白去除。

测试时遇到的一个例子：原文本为\n ul li，如果先去空白再替换null，就会变成\Nonei，然后因为\N报错。这里还有一个坑，就是如果把null换为""的话，就会有\""i，产生上文提到的SyntaxError: invalid decimal literal的错误。

最后如果需要插入数据库，可以将单引号替换为双引号，并在文本后面追加一个空格。替换双引号是出于这么一种考虑：python写sql时外层用双引号，sql语法用单引号包裹字符串，如果文本内还有单引号就会造成sql截断。追加空格是出于这么一种考虑：文本可能以反斜线结束，如果直接跟上单引号就会造成转义。即，可以将"update set = '%s' where "%content 替换为 "update set = '%s ' where "%(content.replace("'",'"')) （这里假设其他去空白已经做过了）