前几天有粉丝在私信里问了一个json文件处理的问题。
看上去他只需要follower和ddate这两个字段下的对应的值。
我们知道json是一种常见的数据传输形式,所以对于爬取数据的数据解析,json的相关操作是比较重要的,能够加快我们的数据提取效率。
关于这个问题,倒不是很难,三个方法,第一个是pd处理或者正则表达式,第二个是json处理,第三个是jsonpath,总之方法很多,这里给出4个处理方法,希望下次粉丝们再遇到类似问题的时候,有章可循。
1、正则表达式
这个方法可以看看,通过匹配的方法进行提取,代码如下所示:
import re
import json
file = open('漫画.txt', 'r', encoding='utf-8')
content = file.readline()
ddate_result1 = re.findall('"ddate":"(\d+\-\d+\-\d+)"', content)
ddate_result2 = re.findall('"ddate":"(.*?)"', content)
follower_result1 = re.findall('"follower":(\d+),"', content)
print(ddate_result1)
print(ddate_result2)
print(follower_result1)
运行之后,可以得到结果:
关于ddate,follower获取的方法肯定还有很多其他写法,这里只是抛砖引玉,欢迎大家多多尝试。
2、jsonpath方法一
from jsonpath import jsonpath
import json
"""follower和ddate"""
with open("漫画.txt", encoding="utf-8") as file:
file_json = json.loads(file.readline())
follower = jsonpath(file_json, "$..follower")
ddate = jsonpath(file_json, "$..ddate")
print(follower)
print(ddate)
代码运行之后,就会得到想要的数据,如下图所示:
这个..就和xpath里面的//一样,子孙节点,$是根节点。
3、jsonpath方法二
这个是另外一个用法了
import json
import jsonpath
# obj = json.load(open('罗翔.json', 'r', encoding='utf-8')) # 注意,这里是文件的形式,不能直接放一个文件名的字符串
file = open('漫画.txt', 'r', encoding='utf-8') # 注意,这里是文件的形式,不能直接放一个文件名的字符串
obj = json.loads(file.readline())
follower = jsonpath.jsonpath(obj, '$..follower') # 文件对象 jsonpath语法
ddate = jsonpath.jsonpath(obj, '$..ddate') # 文件对象 jsonpath语法
print(follower)
print(ddate)
代码运行之后,也可以得到预期的结果。
当然了,如果你的文件本来就是json文件,也可以直接读取,代码类似:
import json
import jsonpath
obj = json.load(open('罗翔.json', 'r', encoding='utf-8')) # 注意,这里是文件的形式,不能直接放一个文件名的字符串
# file = open('罗翔.json', 'r', encoding='utf-8') # 注意,这里是文件的形式,不能直接放一个文件名的字符串
# obj = json.loads(file.readline())
follower = jsonpath.jsonpath(obj, '$..follower') # 文件对象 jsonpath语法
ddate = jsonpath.jsonpath(obj, '$..ddate') # 文件对象 jsonpath语法
print(follower)
print(ddate)
运行之后,也可以得到预期的结果:
4、jsonpath方法三
import json
import jsonpath
with open("罗翔.txt", 'r', encoding="UTF-8") as fr:
file_json = eval(fr.read().replace('\n\u200b', '')) # 读取的str转为字典
follower = jsonpath.jsonpath(file_json, '$..follower') # 文件对象 jsonpath语法
ddate = jsonpath.jsonpath(file_json, '$..ddate') # 文件对象 jsonpath语法
print(follower)
print(ddate)
方法大同小异,运行之后,也可以拿到预取的目标数据,如下图所示。
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
检查学习结果。
这份完整版的Python全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码【免费获取】。