java分页抓取数据_网页分页数据抓取的几种方式

相信所有个人网站的站长都有抓取别人数据的经历吧，目前抓取别人网站数据的方式无非两种方式：

一、使用第三方工具，其中最著名的是火车头采集器，在此不做介绍。

二、自己写程序抓取，这种方式要求站长自己写程序，可能对对站长的开发能力有所要求了。

本人起初也曾试着用第三方的工具抓取我所需要的数据，由于网上的流行的第三方工具不是不符合我的要求，就是过于复杂，我一时没有搞明白怎么用，后来索性决定自己写吧，现在本人基本上半天可以搞定一个网站(只是程序开发时间，不包括数据抓取的时间)。

经过一段时间的数据抓取生涯，也曾遇到了很多困难，其中最常见的一个就是关于分页数据的抓取问题，原因在于分数据分页的形式有很多种，下面我主要针对三种形式介绍一下抓取分页数据的方法，此类文章虽然在网上见过很多，但每次拿别人的代码总也总是有各种各样的问题，下面各种方式的代码都是能正确执行，并且我目前也正在使用中的。本文中代码实现是用C#语言来实现的，我想其他语言原理大致相同

下面切入正题：

第一种方式：URL地址中包含分页信息，这种形式是最简单的，这种形式使用第三方工具抓取也很简单，基本上不用写代码，对于我这种宁可自己花个半天时间写代码也懒得学第三方工具的人，还是通过自己写代码实现了；

这种方式就是通过循环生成数据分页的URL地址 如： 这样通过HttpWebRequest访问对应URL地址，返回对应页面的html文本，接下来的任务就是对字符串的解析，将需要的内容保存到本地数据库内；抓取的代码可参考下面：

public