618京东到家APP-门详页反爬实战

一、背景与系统安全需求分析

618京东到家APP-门详页反爬实战_第1张图片

1. 系统的重要性

        上图所示是接口所属位置、对电商平台或在线商店而言,分类查商品都是很重要的,通过为用户提供清晰的商品分类,帮助他们快速找到所需产品,节省浏览时间,提升购物效率,是购物结算产生GMV的核心环节。那么电商平台为什么都很看重商品信息的爬取?

        a. 数据收集和分析:这些数据对于市场研究、竞争分析、价格比较等方面非常有价值。可获得有关产品趋势、消费者偏好、价格波动等信息,有助于企业进行决策和制定营销策略。

        b. 价格监控和动态调整:可以实时跟踪和监控竞争对手的价格变化。企业可以根据市场情况及时调整自己的产品定价,保持竞争力,并更好地满足消费者需求等。

2. 风险评估

        a. 系统安全、以及触发各种报警

        b. 数据安全

        c. 带宽和服务器资源消耗

        d. 不良竞争等;

3. 618期间的爬虫问题

        由于这个接口还比较特殊,我们在3个版本前刚迁移color网关,其他低版本使用的是另一个物理网关我们暂且称: B网关,另外在B网关还由于一些历史原因区分了Get 和 Post 两个接口对客户端提供。所以一共是3个接口。

        客户端有多平台:h5, 微信小程序、支付宝小程序、android、ios、rn.

        a. 爬虫曲线明显从监控上看得出规律,另外性能也随之报警,并且不太确定是登陆爬虫还是不登陆爬虫。

        b. 后台服务监控这3个接口过来的流量监控未区分color网关和B网关,还需要确定爬虫来源是从哪儿来

        c. 各个平台的客户端都有爬虫,android的性能受影响更大,

        d. 另外各端迁移color网关的情况不太一致,有个别端有问题降级为B网关,另外h5和rn不存在版本的问题,一切全切,而ios、android、小程序还存在老版本调老接口的问题。

618京东到家APP-门详页反爬实战_第2张图片



二、反爬策略选择

1. 可选择的反爬策略

B网关可使用的策略

        a. 登录态-未登录拦截

        b. 反人类策略-频控用户pin维度频控

你可能感兴趣的:(★,后端技术,java,后端,爬虫)