你是如何用python写下第一个爬虫的？

大家好，我是鸟哥，今天不聊技术，主要想给大家分享一下我在第一次python爬虫之前的学习经历，因为最近总是有朋友在问我到底怎么才能快速入门python爬虫，希望我的经历能给初学者点启发。

从接触python到现在，也有三四年了，虽然算不上大牛，但也大大小小完成了数百个小项目，中间曾走过一些弯路，也曾有过迷茫，不过我感觉这些都是初学者的必经之路，毕竟学习总是痛苦的。

在我看来，python爬虫入门少不了以下4个阶段：

你要记住，没有哪一门编程语言是轻轻松松就能学会的，虽然python相对简单，但是也要下点功夫。

下面根据上图详细介绍一下我学习过程的4个阶段：

1.初识python基础

初次听说python，是在大学的某次讲座上，1位学长在讲台上侃侃而谈，说他怎么用python完成微信跳一跳的自动化测试脚本逗女朋友开心。说实话当时我心里羡慕极了，暗暗下定决心要学习python。

我的第一本学习资料是《python编程：从入门到实践》：

感觉这本书很适合小白学习，它的第一部分从浅入深讲解了python的基础知识，从python的安装到最终代码的测试，非常简单易懂，而且容易上手

作为小白中的小白，我连编辑器是什么都不知道，就靠python自带的IDLE敲完了整本书的代码（真的是一行一行的敲的），耗时1个月，硬啃下python的基础知识部分

（ps：现在觉得边学边敲代码是很有用的，因为单看书的效果是不太好的，最重要的是动手实践，只有实践了，才会发现自己哪里容易出错，才会让自己越学越有底气）

学完后，已经能够用python做1些简单的题目，例如做个猜数字的小游戏啊、计算少量的数据啊，但是整体还处于迷茫的状态，不知道下一步还能干些什么。

2.巩固基础知识

学python的人对下面这张图都不陌生，这就是经典的python游戏《飞机大战》

这是我第一个完成的python项目，也是对着书本一点一点敲的，虽然过程比较懵逼，但是当最后游戏动起来的时候，内心还是非常兴奋的，到处炫耀，开心的像个200斤的胖子。

其实写这种游戏项目对巩固基础知识是很有用的，虽然你敲代码的时候很难受，因为有很多不懂的地方，但是这在无形之中提高了你的编程能力，能帮助你系统地巩固之前学习的基础知识。

建议刚入门python的朋友可以试一下，当然也可以采取其他方式练手。

3.学习爬虫的基础知识

上面3方面知识是你在学习爬虫之前必须要了解掌握的，并不需要学的很深，如果仅仅为了入门爬虫，只需了解个大概就行，后续真正搞懂爬虫原理之后可以再深入学习一下。

学HTTP和HTML5是很有意思的，我当时学着学着差点想转行。

4.开始第一个爬虫

学完基础知识后，我特意在网上找了一个简单的爬虫教学视频，是爬贴吧美女图片的，老师讲的很详细，主要用到requests和Beatifulsoup库，然后再加上之前学的爬虫基础知识，按照以下步骤，很容易就搞定了：

这是我总结的入门爬虫基本流程，看起来还是很简单的，但是里面还要很多知识要学，不过迈出第一步后面就好办了。

我觉得爬虫的精髓在于分析数据接口，这也是爬虫最难的地方。简单的爬虫，例如静态网页，只需1个固定的url就可以获取数据；但是难的爬虫，它的url由各种加密的参数组成，爬这种网站不仅要学python，还要学习JavaScript逆向分析，因为这些参数都是通过它来加密的，后面更难的还有APP逆向分析，不过这些都是后话了。

好了，今天就先聊到这了，都是个人学习过程中的一些感悟，感觉对你有帮助的，请点个“在看”；若有不当之处，请在后台留言或者加我微信沟通交流。