什么是JSONL（NDJSON）？

什么是JSONL（NDJSON）？

介绍

JSONL (JSON Lines)和NDJSON (Newline Delimited JSON)基本上是同一个概念的两个不同名字。它们分别有专门的网站：https://jsonlines.org/和https://ndjson.org/。 下文统一使用名称JSONL。

JSONL是一种方便存储结构化数据的文本格式，特别适用于处理日志文件或数据流。其基本概念和特点如下：

1. 每行一个JSON对象：JSONL文件中的每一行包含一个完整的JSON对象，这与标准JSON文件中所有数据通常包含在一个大的JSON数组或对象中不同。这种格式使得每一行都是独立的，可以单独读取或写入，极大地方便了大数据的处理和流式传输。

2. 简单易读：由于每行都是一个有效的JSON对象，因此人和机器都可以轻松读取和解析。这使得JSONL非常适合日志记录、数据导出、数据共享等。

3. 追加友好：在JSONL文件中追加新数据非常简单，只需在文件末尾添加一个新行即可。这与传统的JSON格式相比，后者需要解析和重写整个文件来添加新数据。

4. 流式处理：JSONL格式非常适合于流式处理和逐行处理，因为你不需要读取整个文件就能开始处理数据。这对于大规模数据处理和实时数据处理尤其重要。

5. 兼容性：尽管JSONL是一种相对较新的格式，但它仍然保持了与标准JSON的兼容性。大多数现代编程语言和数据处理工具都能处理JSONL格式的数据。

6. 高效存储：与其他文本基的数据交换格式相比，JSONL由于其结构简单，通常可以更高效地存储和压缩。

7. 易于分割：在需要分布式处理数据时，JSONL文件可以很容易地被分割成更小的部分，每个部分都是独立的、有效的JSONL文件。

因此，JSONL是一个简单、高效且易于处理的数据格式，非常适合日志记录、大规模数据处理和实时数据流等用途。

文件示例

下面是一个简单的JSON Lines (JSONL) 文件示例，假设这是一个存储用户信息的文件，每行包含一个用户的数据：

{"id": 1, "name": "Alice", "email": "[email protected]"}
{"id": 2, "name": "Bob", "email": "[email protected]"}
{"id": 3, "name": "Carol", "email": "[email protected]"}

在这个示例中：

• 每一行都是一个独立的JSON对象。
• 每个对象代表一个用户的信息，包括用户的ID、姓名和电子邮件地址。
• 没有逗号或其他分隔符将这些行连接起来，每行就是一个完整的JSON记录。
• 文件可以继续添加更多的行来表示更多的用户，每添加一个用户信息只需增加一行。

这种格式使得文件易于逐行读取和写入，非常适合日志记录、大数据处理和流式传输场景。

相关工具

前面“介绍”部分列出的网站上有相关工具的列表。由于JSONL文件的每一行都是JSON格式，因此使用文件解析和JSON库就可以处理JSONL文件文件。

以下是一个使用Python标准库中的json模块来解析JSON Lines (JSONL) 文件的简单示例。假设你有一个名为data.jsonl的文件，每行包含一个JSON对象，我们将逐行读取并解析这些对象：

import json

# 文件路径
file_path = 'data.jsonl'

# 打开文件进行读取
with open(file_path, 'r') as file:
    # 逐行读取和解析
    for line in file:
        # 解析JSON数据
        data = json.loads(line)
        
        # 假设我们想打印每个用户的名字
        print(data['name'])

这个脚本简单明了，可以作为处理任何JSONL文件的起点。根据你的具体需求，你可以添加额外的逻辑来分析数据，或者将其存储到数据库中等等。