面试中现学现用的第一个爬虫程序（原生java+手动导包）
为了不浪费大家的时间，防止大家沉迷而导致荒废，大家可以按需观看，毕竟第一次写博客，字数有点多内容有点杂。
重点内容
爬虫原理（个人理解）
网页的编写是有规律的，我们爬取资源的时候应该按照规律去进行一些判定，从而筛选出我们想要的部分。
怎么爬取
现在的网站都是多层的结构，我们经常需要在每一层获取需要的资源，或者是到最下层获取资源，以上重点理解
举个例子，比如我要爬取豆瓣里面小组前50页帖子的照片（现学现用）因为帖子的上层是分页，所以完成需求就得获取前50页的链接，然后进入每一个分页中找到每个帖子的链接，在每个帖子中找到图片的位置并将图片保存到本地。以上就是我的这次面试题目的完整解题大纲了。
底层逻辑
如何通过一个链接得到链接网址的静态页面？怎么从静态页面中得到所需的标签？怎么从得到的标签内获取所需的内容？详细步骤在2.2中。
先简单说明事情的起因经过吧
- 准大四狗在网课中空虚而
裸面找工作的作死路程。 - 找的是后端开发c#，在校期间学的纯java，但是自我感觉良好，所以。。。
- 面试共有4轮，一轮网面，二轮考基础，先为自己点个赞，题目都会，就是自己时间没安排好（下面详说），导致解题总有一些小问题。
- 故事的悲伤发生在第三面，要求是在第二天的上机考核中实现一个爬虫，
求一个只停留在听过爬虫的狗子的心理阴影面积
那我们就开始正题吧
在一顿猛如虎的操作中，我成功进入了最终面，题目简单抽象就是爬取豆瓣一个小组中的照片，并按照帖子标题+发布时间+文件大小保存到硬盘制定文件夹内。
首先因为是隔天考，当天中午才到深圳，下午面试，晚上找房子，所以到上机那一刻，我都是一个新鲜的 无知萌新。
- 早上九点开始上机，从毫无头绪到找到思路用了4小时。
- 下午一点开始码到五点大致完成。
- 目前重新复盘一下快速学习的方法论，期望从中提取出有价值的快速学习方法。
1.上机后的四小时我都做了啥子！？！
首先作为一个只学过原生java和平常只刷刷Leecode没做过项目的人来说，这四小时注定没有答案。
人的思维是跳跃联想不连续的，除非刻意才能表现出逻辑性。所以以下的内容我将尽量的展现我思考的原始面貌，以期待能为大家提供帮助。
1.1安装需要的工具
在上机后的第一件事就是下载JDK和eclipse，毕竟其他都。。。
这是第一个痛点：大学教育的脱节导致在我说明我用的是eclipse的时候，我迎来了惊叹“这应该是老一辈人才还在用的了”
都是小问题。。。我们继续
首先重申一下，只学过原生java，什么框架spring，数据仓库maven都不会用。。。
1.2查询如何进行爬虫
1.2.1maven+框架
在我猴急的一顿“Java爬虫”中，度娘为我提供了热情的服务，在度娘的服务中我知道了可以用一些GitHub上面优秀的框架来完成爬虫，简单快捷又方便， 哇呜~好吧我看不懂，你的热情又打了水漂。
1.2.2可以只用maven不用框架
在我第二次提裤上阵的时候，度娘再次热情的接待了我，这次我的需求是“Java爬虫无框架！！！”，在这次度娘的狂热服务中，我索取了近十多次。。。网页。最终明白了爬虫不是非得用框架，可以用maven自动导包，用原生java就能解决问题。
说干就干，查询了maven的安装使用教程后，我经历了两个小时的入门到放弃。
怪不得，怪不得，这特么对第一次太不友好了，怪不得eclipse会被嫌弃，这波操作果断劝退了我。
####1.2.3 原生java就能搞定，需要就百度下载包然后导包
在我扶着墙最后一次走近度娘时。。。。我终于悟了。
不会maven就不会嘛，反正自己不会就下载包不就得了。。。这才是啥子都不会的雏，也就是我的正确操作。
2.进入本次的高潮，说说我是怎么通过原生java和简单的导包完成一次爬虫的操作
建议先看完第四步再从第一步开始，不然出错别找我
2.1第一步，分析并归纳步骤
首先既然不准备选择框架，自己手撕就意味着需要自己整理逻辑，并得到一个可行的解决方案。
2.1.1分析题目需求
题目需要我们对一个网站进行爬取图片并保存到本地的一个操作，我们就可以采用分治法把这个大问题分解，从而得到我们所能解决的小问题，再最终整合得到这个问题的答案。
第一个问题，怎么爬取资源？第二个问题，爬取后的资源怎么保存到本地？
上机后的四小时注定不是无用功，虽然没学过爬虫，但是爬取资源的操作大致就了解了。
2.1.2爬虫的原理
网页的编写是有规律的，我们爬取资源的时候应该按照规律去进行一些判定，从而筛选出我们想要的部分。
按照这个原理我们就可以可以把爬取这个问题再细分。
2.1.3怎么爬取
现在的网站都是多层的结构，我们经常需要在每一层获取需要的资源，或者是到最下层获取资源，以上重点理解。
举个例子，比如我要爬取豆瓣里面小组前50页帖子的照片（现学现用）因为帖子的上层是分页，所以完成需求就得获取前50页的链接，然后进入每一个分页中找到每个帖子的链接，在每个帖子中找到图片的位置并将图片保存到本地。以上就是我的这次面试题目的完整解题大纲了。
下面是具体子问题
- 获取前50个分页的链接
- 由一个分页链接得到分页内所有帖子的链接
- 由帖子的链接得到帖子内所需图片的链接
2.1.4怎么保存到本地
每张图片的链接打开后即是一个下载路径，我们用java打开后，用IO流传输到本地即可。
2.2第二步，逐步完成所需方法
通过第一步我们得到我们需要实现的四个方法
- 爬取前50分页链接
每个网站的分页一般网站的target值会不一样，修改网址的target值就可以得到每个分页的网址链接 - 爬取单个分页内帖子的链接
分页贴子一般是通过表格实现的，而且帖子的class属性名都是一样的，通过筛选class属性即可得到每个贴子的网址。 - 爬取帖子里图片的链接
同上，贴子中的图片的class值往往都是相同的，也可以通过class值筛选需要的图片链接。 - 通过图片链接保存到本地的io流方法
要实现以上方法，我们需要解决下面的问题，当完成下面的问题，这些方法就都能迎刃而解。
问题来了：如何通过一个链接得到链接网址的静态页面？怎么从静态页面中得到所需的标签？怎么从得到的标签内获取所需的内容？
三个问题一次解决
下面的代码的功能是找到url（网址）内class标签为title的第一个子标签属性href的值，保存在集合中。
重点中的重点！！这个代码块就是爬虫的核心
百度下载 这个包jsoup-1.7.2.jar，导包教程百度有
import java.util.ArrayList;
import java.io.*;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
//集合保存获取到的数据
ArrayList<String> arrayURL = new ArrayList();
String url = "在这输入你要查的网址";
String title = "在这输入你要查找的标签的class属性的值";
try {
//获取url网址
Document doc= Jsoup.connect(url).get();
Elements items = doc.getElementsByClass(title);
for (Element e : items) {
//获取标签的内容
//e.val();
//获取标签的子标签, i 为位置
//e.child(i);
//获取标签内属性的值,s为属性名称
//e.attr(s);
arrayURL.add(e.child(0).attr("href"));
}
} catch (IOException e) {
e.printStackTrace();
}
通过以上代码再结合问题就能做出一个简单的爬虫了，我的问题的具体代码就不贴出了，毕竟网站不同没有参考性。但是这个方法是切实有效的。
2.3第三步，调用方法完成爬虫
以我的问题为例子：将特定豆瓣小组里面的前50页帖子的图片保存到本地。
我的步骤是先得到第一页的网址，对比和第二页的网址发现target值不一样，修改target值就得到前50页的链接
每个分页里面的帖子的class值我查看了网页的html后发现都为title，所以通过上面代码块的方法得到了每个分页的帖子的链接，遍历50个分页得到50个分页内所有帖子的链接。
进入帖子之后，通过多个帖子的比对，我也发现了帖子里面图片的class值是相同的，同上就可以获取到每个图片的链接。
每次获取到一个图片的链接后，通过IO流进行本地保存，具体的话百度挺多的，就不贴出了，有点懒了。
2.4第四步，完成工作并放弃治疗
在很嗨的保存了4000张图片后，正式宣布我的IP被封了，因为爬太凶了。。。这不能怪我啊，我之前又没爬过
怎么知道还有这骚操作，各位引以为戒，为了表达我的悔改之意，我准备献出我珍藏多年的另一个代码
`imeUnit.MILLISECONDS.sleep(5000); //毫秒级延时请求，反反爬
直接让子弹多飞一会就行了，5秒抓取一个网页你还能封我？？
当然具体应该放哪里合适就请各位老司机自行掌握了，当然在爬虫过程中可能有时会出现格式乱码现象，这时就得。。。。自己百度了我没事，嘿嘿嘿
3.总结
大学期间不能只停留在完成学习的任务上，或者参与暑期实习了解社会现象，或许上Leecode刷题加强底蕴，或许上GitHub参与开源项目积累经验。
最后，写代码前拜雍正。
