python奇葩反爬-你是故意的还是不小心的

问题

在挖掘数据时，数据存在于js文件内，所以主要思路就是，把数据提取出来，直接转json格式，通过字典的键索引获取数据。奈何在转json格式的时候一直报错。

报错：Expecting value: line 1 column 2012 (char 2011)
我总不能一个一个字符地数吧！！

问题分析

通过json在线解析定位到了错误位置，然后发现这有个反爬。这个反爬并不涉及参数加密、混淆等手法。纯属是针对爬虫开发语言规则做出的反爬。
部分页面源码如下：

这里的\u0022指的就是双引号("),转换一下就是"introduction":"{"html":"我司是一家拥有多年羊毛衫生产经验的专业生产厂家"}"

不难发现，这里有一个错误，就是双引号套双引号"{"html":"..."}",我们只需要用replace把双引号替换成单引号就可以了。

解决方案

# reInfo是获取到的文本
reInfo = reInfo.replace("\"html\":\"", "\'html\':\'"))

麻了，真不知道前端程大哥是故意的还是不小心的！！！