爬虫工作总结----2018年

3月面试朋友内推进入一家数据公司做爬虫工程师，继续摸索Java爬虫技巧,后面开始接触APP相关的爬虫，以前自学过Android，搞起来会顺手点，到现在不算精通也算熟练吧。

APP爬虫优势总结以下几点：
1. 数据结构简单，解析方便高效
2. APP爬虫比web端稳定，高效

APP爬虫难度大主要体现以下几点：

1. App有自定义证书，抓包难度大
2. APP大部分都是加固的，没有脱壳无法反编译　
3. APP参数大部分有加密，有简单的Java层加密，也有复杂的.so加密
4. APP有些需要加载https证书，没有证书无法发送网络请求，爬取的时候需要带上https证书

2018年工作的主要内容有：

1. web端爬虫
2. 了解APP脱壳相关知识，脱壳APP，逆向参数解密
3. APP抓包方法（多种办法解决APP抓包问题），包括Xposed打印请求参数
4. Java 相关技术等

2019年工作计划

1. 继续深造Java相关核心知识
2. 掌握大数据相关知识，工作倾向大数据