Python爬虫利器 ——代码转换

背景

写爬虫时经常要为程序添加请求头,参数,cookie等信息,但是这些信息的添加都需要手动的去浏览器中找,然后一项一项的复制粘贴,效率非常的低。
今天就分享一个开源项目网站,解决这些问题,让你脱离这些没有丝毫意义的劳动时间。

网站:curlconverter

除了Python,还支持Go,Java,PHP,Rust等等语言。
Python爬虫利器 ——代码转换_第1张图片

示例

三步走原则

1、打开网页,百度 为例

网页打开百度,按F12,右键点击 “Copy as cURL (bash)” ,复制请求头等信息。
Python爬虫利器 ——代码转换_第2张图片

2、进行转换为代码

将复制的请求头放到 curlconverter网站,复制到curl command下面的文字框里面。
Python爬虫利器 ——代码转换_第3张图片

3、将转化的代码直接复制到Python的IDE

复制curlconverter转化的结果,直接复制到IDE里面,打印就出来了~
Python爬虫利器 ——代码转换_第4张图片

Python爬虫利器 ——代码转换_第5张图片

你可能感兴趣的:(Python,爬虫)