python jsonl文件读取(jsonlines)

python jsonl文件读取(jsonlines)

写入

import jsonlines
def parse(self, response):
    jsonresponse=json.loads(response.text)
    with jsonlines.open('output.jsonl',mode='a') as writer:
        writer.write(jsonresponse)

读取

import jsonlines
with open("xxxx.jl", "r+", encoding="utf8") as f:
    for item in jsonlines.Reader(f):
        print(item)

json lines文件是一种便于存储结构化数据的格式，可以一次处理一条记录。可以用作日志文件或者其他。每条json数据之间存在一个"\n"分隔符。

具体信息可以查看jsonlines官网

1、jsonlines，文档：github地址：

2、json-lines, github地址：
看这里

import json_lines
with open('fileName.jsonl', 'rb') as f: 
   for item in json_lines.reader(f):
       print(item)