Python爬取各种职业的面试经验

Python爬取各种职业的面试经验

分享如何使用Python编写一个简单的爬虫程序，从牛客网上爬取任意职业方向的面试经验，无论是NLP、CV等领域的算法，还是百度、阿里等大厂的面试经验。只需选择不同的搜索关键词，就可以轻松爬取所需的面经。

导 言

在求职的过程中，拥有丰富的面试经验对于求职者来说至关重要。然而，从网站上阅读面试经验往往不够方便。

这里我将向大家分享一个简单方法，只需修改搜索关键词，就能够用Python轻松地爬取任何方向的面试经验。无论您是准备应聘算法工程师、前端开发工程师还是其他职位，这个方法都能够帮助您快速获取到相关的面试经验。

主要步骤分为：

1. 选定需要爬取的关键内容，设置查询关键词。

2. 确定待爬取的网页和后端接口。

3. 使用Python爬取网页面经并保存为Markdown文件。

实现方法

确定要爬取的面经关键词

首先，我们需要明确希望获取哪些主题的面试经验。例如：

• 小明是一名算法工程师，他对网站上关于“算法面经”的内容非常感兴趣。

• 小李是一名前端开发工程师，她对“前端面经”的内容更感兴趣。

• 小王打算应聘X公司的Java开发工程师职位，他最感兴趣的是网站上的“X公司Java面经”。

确定待爬取的网页和后端接口

确定了感兴趣的方向后，可以在首页搜索框中输入我们感兴趣的主题。例如“NLP算法”，找到我们想要爬取的网页地址。如果你有想要获取的面经可以将搜索词换成你感兴趣的主题。

页面搜索结果

在搜索结果页，我们可以使用F12打开网页的源码，从中找到页面后端实际调用的接口。通过分析这些接口的请求体和响应体，我们可以使用Python模拟浏览器上的访问行为，爬取所有的面经信息。

接口分析

使用Python爬取网页面经并保存为Markdown文件

确定待爬取和分析的接口后，我们开始使用Python进行爬取。首先，我们需要安装一些必要的库，如常用的调用接口的库requests和html转markdown文档的库html2text，在命令行中输入以下命令进行安装：

pip install requests
pip install html2text

接下来，编写一个简单的爬虫程序。首先导入所需的库：

import os
import re
import requests
import html2text as ht

然后，我们定义一个函数，用于获取牛客网上关键词搜索结果。其中，headers是从网页的请求header中复制下来的，而query是搜索关键词，page为当前的页面数，id:"818" 表示搜索类型为搜索面经。

接口获取搜索结果

获取了NLP算法搜索结果后，分析接口的响应结果，发现接口返回体中只包含面经文章的ID，但是文章的标题和内容等信息都没有。

接口响应

我们只能先点开面经，查看具体的接口，发现面经的内容网址由特定的网址前缀和面经ID组成。

面经接口

于是，我们先收集面经的所有ID信息：

面经ID

最后，通过拼接网址和面经ID获取最终需要爬取的面经网址，并通过解析得到面经的具体内容。为了更好地对面经进行分类，我们还将网站识别的面经关键词也爬取下来，以便进行下一步分析。

解析面经内容

最终，我们将爬取的面经保存为Markdown格式的文件，以便阅读。

markdown面经内容

总 结

希望这个方法能够帮助大家轻松获取丰富的面试经验，并在求职过程中取得更好的结果，找到理想的工作，实现自己的职业梦想！加油！