推荐博主私藏的1个神奇网站

爬虫在很多地方其实是有相似的，他们大部分都是三板斧，获取网站，解析网站，存储数据。既然他们的结构有相似性，那么其中就会有一些是机械性的劳动。我就在想，我已经熬夜熬得这么秃了要是能少写几行代码早点睡不美滋滋吗 。于是就去github上逛逛，咱转着转着还真就发现个可以节省一点任务量的东西。就想着分享给大家

介绍一个在Github上发现的对写python爬虫非常友好的工具

这个项目在Git-hub3066star，可以说还是非常不错的一个项目大家可以先看一下项目的主页然后我们开始介绍它为什么好用。上面的是这个项目的网页连接下面的是github主页连接

https://curl.trillworks.com/
https://github.com/NickCarneiro/curlconverter/

这是这个项目的主页

上面是它项目的主页 我们可以下载，也可以线上通过访问他（csells ）做的网站直接使用它的功能下面开始介绍

首先放链接：

https://curl.trillworks.com/

进入这样一个界面，它支持多种转化，我们这里介绍它转化成python request。他可以让我们以后少写一个header。

步骤说明

拿CSDN的一篇博客举例子，https://blog.csdn.net/weixin_45950372/article/details/104643491现在我们要爬取这个网页的信息，进入这个网页右键选择查看元素（查看）
然后选择Network刷新网页，然后右键第一个文件，Copy，选择Copy as cURL（cmd）。然后点进我推荐的哪个网站

就是这个网站，并粘贴到左边的方框中
它自动生成了 一个headers，我们不用手写headers了！！！摸着自己日渐稀疏的头发，我真有种相见恨晚的感觉…
不说了再说就真秃了