快手

高级爬虫工程师 

工作职责:

1.负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析；

2.设计爬虫策略和防屏蔽规则，提升效率和质量；

3.抓取数据进行去重、分类、垃圾过滤、质量分析；

工作要求:

1. 计算机科学或其他相关专业（统招）211本科及以上学历 扎实的算法和编程能力;

2. 熟悉linux开发环境，精通java和python中的一种。

3. 具有三年以上网络爬虫开发经验，熟悉网络数据抓取的工作原理及工作流程

4. 对常见的反爬虫策略有一定的研究，能够分析总结不同网站的数据特点及规律

5. 具有海量数据处理和分布式计算开发经验者优先"