爬虫技术整理

---

前言

提示：主要是收集爬虫技术相关的资料，给有需要的同学看看

爬虫是作为互联网时代产生的工具技术，最开始应用于搜索引擎，用来做网站的信息收集。随着业态发展，一些内容平台也大量运用爬虫技术从其他网站获取高质量内容，一些单独的数据分析、算法研究项目也应用爬虫技术去获取信息来源和数据输入。本文将重点整理爬虫技术相关的技术资料，以待不时之需。

---

一、爬虫架构

见https://blog.csdn.net/weixin_68042636/article/details/123458429

二、爬虫相关技术栈

见https://wenku.baidu.com/view/2e98c55d504de518964bcf84b9d528ea80c72f53.html

三、爬虫使用场景

见https://zhuanlan.zhihu.com/p/370231251

四、如何自建爬虫程序

见https://blog.csdn.net/zihong522/article/details/122348086

五、如何使用开源爬虫

见https://blog.csdn.net/ivan820819/article/details/73555622
https://www.lmlphp.com/user/16517/article/item/531275/
https://www.zhangshengrong.com/p/noXQbE8v1G/

六、如何使用云爬虫

见https://cloud.baidu.com/product/dc.html
https://oxylabs-china.net/products/scraper-api/web

七、海量数据爬虫优化

见https://xueshu.baidu.com/usercenter/paper/show?paperid=16110j20vm4n0xs09h5h0a10km233080&site=xueshu_se
https://www.jianshu.com/p/0975f6a85f33
http://blog.itpub.net/69980628/viewspace-2889358/

八、使用爬虫的法律风险

见https://it.sohu.com/a/551751706_775498
https://3g.163.com/dy/article/GREFD3340552IHN5.html

总结

不得不说，爬虫技术对获取海量互联网信息至关重要，相信会一直处于发展进步的状态，不断产生新的爬虫技术。