用Java实现网络爬虫一之项目介绍

title: 用Java实现网络爬虫一之项目介绍
tags: Java 网络爬虫 Spider Crawler
categories: Java 网络爬虫 Spider Crawler

---

网络爬虫(Web crawler)也叫网络爬虫(Web spider)、蚂蚁（ant）、自动检索工具(automatic indexer)，或者(在FOAF软件概念中)网络疾走(WEB scutter)，是一种“自动化浏览网络”的程序，或者说是一种网络机器人。它们被广泛用于互联网搜索引擎或其他类似网站，以获取或更新这些网站的内容和检索方式。它们可以自动采集所有其能够访问到的页面内容，以供搜索引擎做进一步处理（分检整理下载的页面），而使得用户能更快的检索到他们需要的信息。

用Java实现网络爬虫系列

这系列文章我打算用5篇博客来完成，源代码见我github上的project

一览表:

• 1.用Java实现网络爬虫一之项目介绍
• 2.用Java实现网络爬虫二之Java正则表达式
• 3.用Java实现网络爬虫三之开始爬取
• 4.进阶段:用Java实现网络爬虫四之将爬取内容存入数据库
• 5.进阶段:开始使用框架实现网络爬虫

制作网络爬虫主要的步骤就是:

• 1.通过输入流获取到网页源码
• 2.利用正则表达式在源码中找到自己想要的内容

正因为正则表达式在制作网络爬虫中的重要，所以这里我有必要把Java正则表达式拿出来单独写篇博客，当然基础好的可以直接忽略跳到第三篇。

• 3.将自己找到的内容输出来并查看

后续进阶可以对第三步进行改善，如将自己爬到的内容不是打印出来，而是通过JDBC存入MySQL中然后在MySQL中进行查看(见第四篇文章)。

需要用到的知识

• Java IO流
• Java 正则表达式
• html/css 的基本了解

我的爬虫目标

制作网络爬虫爬取知乎网上提的问题、问题链接、问题描述以及回答内容，并将它们打印在输出台。(后续进阶我选择将这些内容存入MySQL数据库，而不是)

2018.3.19更

欢迎加入我的Java交流1群:659957958。群里目前已有1800人，每天都非常活跃，但为了筛选掉那些不怀好意的朋友进来搞破坏，所以目前入群方式已改成了付费方式，你只需要支付9块钱，即可获取到群文件中的所有干货以及群里面各位前辈们的疑惑解答；为了鼓励良好风气的发展，让每个新人提出的问题都得到解决，所以我将得到的入群收费收入都以红包的形式发放到那些主动给新手们解决疑惑的朋友手中。在这里，我们除了谈技术，还谈生活、谈理想；在这里，我们为你的学习方向指明方向，为你以后的求职道路提供指路明灯；在这里，我们把所有好用的干货都与你分享。还在等什么，快加入我们吧！

2018.4.21更:如果群1已满或者无法加入，请加Java学习交流2群：305335626 。群2作为群1的附属群，除了日常的技术交流、资料分享、学习方向指明外，还会在每年互联网的秋春招时节在群内发布大量的互联网内推方式，话不多说，快上车吧！

联系

If you have some questions after you see this article,you can tell your doubts in the comments area or you can find some info by clicking these links.

• Blog@codingXiaxw's blog

• Weibo@codingXiaxw

• Zhihu@codingXiaxw

• Github@codingXiaxw