shell脚本操作http请求的返回值——shell处理json格式数据

日常工作中,我们经常会遇到http请求会返回大量格式固定的数据,而我们只需要其中的一部分,那么怎么提取我们想要的字段呢。
这里会介绍一种用shell脚本处理http请求返回,或者处理json格式数据的方式。
这里我们用到了

  1. jq这个强大的命令行JSON处理器
  • 使用.data.list选择JSON数据中的list数组。
  • 使用map(select(...))对数组中的每个对象进行筛选,只保留那些element字段包含"/base"的对象。
  • 使用map(.num)选择每个筛选后对象的num字段。
  • 使用add将所有筛选出来的coverageClassTotalNumber相加,得到总和。
  • 使用-r选项让jq输出原始文本,而不是JSON格式的字符串。
  1. if - fi:判断语句,
  2. -ne:不等于的判断,
  3. echo: 输出信息到屏幕语句,
  4. -z:字符串长度为0的判断,

例如:有一个url,这个url的id参数是可支持修改传入的:

https://abcdefg.com/api?id=$id

他的返回为:

{
    "status": 200,
    "message": "success",
    "data": {
        "total": 80,
        "list": [
            {
                "element": "/base",
                "num": 11
            },
            {
                "element": "/handler",
                "num": 132
            },
            ...
            {
                "element": "/dao",
                "num": 231
            } ,
            {
                "element": "/runner",
                "num": 145
            }         
            ]
    },
    "timestamp": 1716818758408
}

这个返回值的“data”有上千行,而我门只需要其中所有"element"为“/base"路径,且字段为“num“的值的和。
这时,我们就可以用一个shell脚本来实现我们的诉求。

count.sh代码如下:

#!/bin/bash 

# 检查是否提供了参数  
if [ -z "$1" ]; then  
    echo "请提供参数."  
    exit 1  
fi  
  
id="$1"  

# URL  
url="https://abcdefg.com/api?id=$id"  
  
# 发送curl请求并捕获输出到临时文件  
curl --location "$url" --header 'accept: */*' --header 'accept-language: zh-CN,zh;q=0.9' > temp_response.json  
  
# 检查curl的返回值,确保请求成功  
if [ $? -ne 0 ]; then  
    echo "curl请求失败"  
    exit 1  
fi  

# 使用jq计算符合条件的num之和  
totalNumber=$(jq -r ".data.list | map(select(.element | contains("base"))) | map(.num) | add" temp_response.json)  

# 检查jq命令是否成功执行  
if [ $? -ne 0 ]; then  
    echo "jq命令执行失败"  
    exit 1  
fi  
  
# 打印结果或保存到文件  
echo "符合条件的总数为: $totalNumber%"  
# 如果需要保存到文件,可以这样做:  
echo "$totalNumber" > totalNumber.txt  
  
# 清理临时文件  
rm temp_response.json

可以在终端使用下面命令来执行

sh count.sh 123
  • 如果你收到错误 jq: command not found,这意味着你的系统中没有安装 jq 工具。jq 是一个强大的命令行 JSON 处理器,它允许你解析、过滤、查询和修改 JSON 数据。
    为了解决这个问题,你需要安装 jq。以下是在不同操作系统上安装 jq 的方法:

在 Debian/Ubuntu 系统上安装 jq:
使用 apt-get 安装:

sudo apt-get update  
sudo apt-get install jq

在 Red Hat/CentOS 系统上安装 jq:
使用 yum 安装(对于较新版本的 CentOS,可能需要使用 dnf 代替 yum):

sudo yum install jq  
sudo dnf install jq

在 macOS 上安装 jq:
使用 Homebrew 安装:

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"  
brew install jq

你可能感兴趣的:(shell,shell)