Python执行Curl命令

最近想用Python爬取IBM X-Force的漏洞数据,在发现该网站提供免费的API后,便开始尝试使用该API直接获取数据。
但是在使用API的时候遇到了一个小问题,它提供的使用案例是以Curl命令的格式给出的:

curl -X 'POST' \
  'https://api.xforce.ibmcloud.com/api/vulnerabilities' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -H 'Authorization: XXXXXXXXXX' \
  -d '["CVE-2014-2601","CVE-2017-0001"]'

如果直接使用Python的pycurl库来执行Curl命令的话过于麻烦且啰嗦,因此我尝试用Requests库来代替。
这又引出了一个问题,Curl命令的参数和Requests库的参数格式并不一致。我一度放弃了这个方案,直到我看到了StackOverflow上的这个回答:execute-curl-command-within-a-python-script。
该回答推荐了一个工具:curlconverter,可以将Curl命令直接转换为等效的 Python代码,例如,上述Curl命令会被转换为:

import requests

headers = {
    'accept': 'application/json',
    # Already added when you pass json=
    # 'Content-Type': 'application/json',
    'Authorization': 'XXXXXXXXXX',
}

json_data = [
    'CVE-2014-2601',
    'CVE-2017-0001',
]

response = requests.post('https://api.xforce.ibmcloud.com/api/vulnerabilities', headers=headers, json=json_data)

这完美的解决了我的问题。
该工具同时还可以将Curl命令转换为Java、C、R等语言的代码,源码托管在GitHub中。

你可能感兴趣的:(数据收集,python,爬虫)