【jq】如何优雅在shell脚本处理json?

jq 是一款命令行的 json 处理工具。类似于 lodash 一样,它可以对 json 做各种各样的处理: pick,get,filter,sort,map…
如果需要更多的细节,可以参考官方文档
jq 主要可以分作两部分,options 即选项,filter 即各种转换操作,类似于 lodash 的各种函数

option

常用以下几个选项

  • -s: 把读取的 jsonl 视作 JSON 数组来处理 (如 group, sort 只能以数组作为输入)
  • -c: 不对输出的 json 做格式化,一行输出
  • –stream: 对 json 逐字段输出

filter

filter 拥有 JSON 处理的各种操作,如 get,map,filter,map,pick,uniq,group 等操作

  • . : 代表自身
  • .a.b: 相当于 _.get(input, ‘a.b’)
  • select(bool): 相当于 _.filter(boolFn)
  • map_values: 相当于 _.map,不过 jq 无法单独操作 key
  • sort
  • group_by
jq [options...] filter [files]

举例说明

下面以demo.json为例子

{
  "name": "shanyue",
  "age": 24,
  "friend": {
    "name": "shuifeng"
  }
}
{
  "name": "shuifeng",
  "age": 25,
  "friend": {
    "name": "shanyue"
  }
}
  1. 如何把 JSON 转化为 JSONL
cat demo.json | jq '.[]'
  1. 如何把 JSONL 转化为 JSON
cat demo.jsonl | jq -s '.'
  1. 如何使 JSONL 只输出特定的字段
cat demo.jsonl | jq '.name'

如何筛选 JSONL 特定字段进行输出

cat demo.jsonl | jq 'select(.age > 24) | {name}'

如何与 less/tail 结合使用
例如,如果 JSON 数据过大时,可选择使用 less 查看数据,如果在 less 中需要语法高亮时,可使用 jq -C

cat demo.json | jq -C '.' | less

例如,在后端写 API 接口时,生产环境的日志往往通过 JSONL 格式进行文件存储,此时可通过 tail -f 实时查看日志

tail -f demo.jsonl | jq '.'

如果只关注某个参数的话,也可以进行筛选

 tail -f demo.jsonl | jq '{name}'

你可能感兴趣的:(linux,操作系统,json,前端)