Python 爬虫进阶必备 | 关于某租房网站数据加密的分析（送两本 Python 书）

关于某租房网站数据加密的分析

aHR0cHM6Ly93d3cubWFvbWFvenUuY29tLw==

抓包分析

先看看这个网站的首页数据

可以看到首页的 html 是压缩的，但是格式化之后没有看到需要的首页数据。

过滤 xhr 请求看到一个 index.json的请求

可以看到这个请求的请求参数以及返回值都是密文

返回的结果是一串密文，所以只有定位这个请求的返回值的解密代码，才可以拿到这个数据。

加密定位

因为这个请求是一个 xhr 请求，之前介绍过的 xhr 断点可以用上了，所以先打上断点测试一下，看能不能找到什么

断上之后，可以看到在请求send的地方已经生成了密文了，所以我们需要在堆栈里往前寻找加密的地方

在堆栈区可以看到有很多的堆栈，先看看能不能从堆栈里找到什么关键的地方

可以看到在异步前，有一个 r.request 这个是存疑的地方，先打上断点。

重新加载页面，断点的位置还是没有看到很清晰的逻辑，但是可以看到这里对每一个请求都使用了拦截器，好像有点要定位到加密了，所以继续单步调试进去看看有没有什么能分析的地方。

经过几次的单步调试，果然在then这个方法里有我们想要的东西

可以看到在上面传入了data并且调用了aes_decrypt这个方法进行了解密。

分析加密

这个加密其实很清晰，关于 aes 的原理、加解密相关的知识我在夜幕的系列课程里都反复提及了。

按照这个网站上的代码提示，把加解密的代码都抠出来也行，或者自行找到关于 key 和 iv 之后带入 aes 中也是可以的。

总结与送书

这篇文章的加密很简单，也是定位出加密逻辑的位置比较麻烦，这个例子在我打断点调试的过程中，看到不少关于 hook 请求加请求头之类的操作，并且对请求和返回都用上了拦截器，在拦截器中做数据加解密的操作。

类似的网站大家可以参考某APP数据网站它的操作也是类似的。

这次准备了两本 Python 书籍，一本是爬虫相关的，一本是人工智能相关的。希望大家能够喜欢，喜欢就来个三连吧。

感谢赞助方：北京大学出版社

《Python 3.x网络爬虫从零基础到项目实战》介绍了如何使用Python来编写网络爬虫程序，内容包括网络爬虫简介、发送请求、提取数据、使用多个线程和进程进行并发抓取、抓取动态页面中的内容、与表单进行交互、处理页面中的验证码问题及使用Scrapy和分布式进行数据抓取，并在最后介绍了使用本书讲解的数据抓取技术对几个真实的网站进行抓取的实例，旨在帮助读者活学活用书中介绍的技术。

本书提供了与图书内容全程同步的教学录像。此外，还赠送了大量相关学习资料，以便读者扩展学习。

本书适合任何想学习Python爬虫的读者，无论您是否从事计算机相关专业，是否接触过Python，均可以通过学习本书快速掌握Python爬虫的开发方法和技巧。

《Python人工智能开发从入门到精通》主要介绍了Python进行人工智能开发所需的技术、基础设施、核心理念、实施方法与流程，以及实战操作应用。

全书共分3篇。1篇主要讲解了人工智能开发中常用Python编程语言相关入门知识，包括：1章 关于Python与开发环境配置、第2章 Python编程基础、第3章 Python编程进阶；第2篇主要讲解了人工智能开发相关知识的应用，包括：第4章 人工智能简介、第5章 机器学习理论基础、第6章 Python机器学习常用库的应用、第7章 第一个机器学习项目、第8章 典型的机器学习算法及应用实战、第9章 深度学习算法理论、第10章 深度学习之TensorFlow；第3篇通过3个综合案例，以神经网络在计算机视觉问题中的重要应用为线索，介绍深度学习人工智能技术在计算机视觉任务中的实践，包括：第11章 人工智能识万物、第3篇：第12章 人工智能知万物、第13章 人工智能绘万物。

参与赠书

以上就是今天的全部内容啦，咱们下次再会~

Love & Share 

[ 完 ]