反爬虫某某查,备忘

目标是爬取某某查的公司基础信息,但是在爬的时候遇到一些小问题,解决后来记录下,备忘。
1、第一应该就是user-agent,这个东西如果不改,服务器立马就是到你是谁,所以这个是必须修改的。python可以考虑fake-agent这个库,其实我觉得服务器应该在限制下一个用户最多同一时间使用3个浏览器,如果超过3个也应该算爬虫。
2、账号,某某查搜索关键字是必须要登陆的,所以账号是必须得有的,如果需求量大的话就去一些免费的接短信的平台,多注册一些账号,然后批量登陆存下cookie就行了。注意登陆完成后一般还有滑动解锁。
3、好像没啥了,可能是我的业务需求量比较小.....

你可能感兴趣的:(反爬虫某某查,备忘)