webmagic采集CSDN的Java_WebDevelop页面

项目中使用到了webmagic，采集论坛一类的页面时需要一些特殊的配置。在此记录一下

先来看看我要采集的页面

点击第2页可以看到它的url是http://bbs.csdn.net/forums/Java_WebDevelop?page=2

点击尾页可以看到它的url是http://bbs.csdn.net/forums/Java_WebDevelop?page=758

也就是说我们需要采集的范围是从2到758页

这样我们就可以通过自己拼接一个url来模拟所有 的连接了代码如下：

	List list=new ArrayList();

        for (int i=2;i<758;i++){
            list.add("http://bbs.csdn.net/forums/Java_WebDevelop?page="+i);
        }

再来看看如何匹配页面的所有title

page.putField("title", page.getHtml().css(".title>a","text").all().toString());

其中css方法的第二个参数是选择a标签的text内容而不包括标签本身

总体代码如下：

package us.codecraft.webmagic;

import org.apache.http.HttpHost;
import org.apache.http.auth.UsernamePasswordCredentials;
import us.codecraft.webmagic.pipeline.ConsolePipeline;
import us.codecraft.webmagic.processor.PageProcessor;

import java.util.ArrayList;
import java.util.List;

/**
 * Created by hepan on 2016/5/23.
 */
public class CSDNJavaWebDevelopProcessor implements PageProcessor {
    private Site site = Site.me().setRetryTimes(3).setSleepTime(1000)
            .setHttpProxy(new HttpHost("192.168.2.49", 8080))
            .setUsernamePasswordCredentials(new UsernamePasswordCredentials("hepan", "abcdef"));
    /**
     * process the page, extract urls to fetch, extract the data and store
     *
     * @param page page
     */
    @Override
    public void process(Page page) {
        List list=new ArrayList();

        for (int i=2;i<700;i++){
            list.add("http://bbs.csdn.net/forums/Java_WebDevelop?page="+i);
        }

        page.addTargetRequests(list);
        page.putField("title", page.getHtml().css(".title>a","text").all().toString());
    }

    /**
     * get the site settings
     *
     * @return site
     * @see Site
     */
    @Override
    public Site getSite() {
        return site;
    }


    public static void main(String[] args) {

        Spider.create(new CSDNJavaWebDevelopProcessor())
                //设置采集的起始页面
                .addUrl("http://bbs.csdn.net/forums/Java_WebDevelop")
                //输出
                .addPipeline(new ConsolePipeline()).thread(5).run();
    }
}

最后输出结果：

D:\Java\jdk1.8.0_45\bin\java -Didea.launcher.port=7533 "-Didea.launcher.bin.path=D:\JetBrains\IntelliJ IDEA 15.0\bin" -Dfile.encoding=UTF-8 -classpath "D:\Java\jdk1.8.0_45\jre\lib\charsets.jar;D:\Java\jdk1.8.0_45\jre\lib\deploy.jar;D:\Java\jdk1.8.0_45\jre\lib\ext\access-bridge-64.jar;D:\Java\jdk1.8.0_45\jre\lib\ext\cldrdata.jar;D:\Java\jdk1.8.0_45\jre\lib\ext\dnsns.jar;D:\Java\jdk1.8.0_45\jre\lib\ext\jaccess.jar;D:\Java\jdk1.8.0_45\jre\lib\ext\jfxrt.jar;D:\Java\jdk1.8.0_45\jre\lib\ext\localedata.jar;D:\Java\jdk1.8.0_45\jre\lib\ext\nashorn.jar;D:\Java\jdk1.8.0_45\jre\lib\ext\sunec.jar;D:\Java\jdk1.8.0_45\jre\lib\ext\sunjce_provider.jar;D:\Java\jdk1.8.0_45\jre\lib\ext\sunmscapi.jar;D:\Java\jdk1.8.0_45\jre\lib\ext\sunpkcs11.jar;D:\Java\jdk1.8.0_45\jre\lib\ext\zipfs.jar;D:\Java\jdk1.8.0_45\jre\lib\javaws.jar;D:\Java\jdk1.8.0_45\jre\lib\jce.jar;D:\Java\jdk1.8.0_45\jre\lib\jfr.jar;D:\Java\jdk1.8.0_45\jre\lib\jfxswt.jar;D:\Java\jdk1.8.0_45\jre\lib\jsse.jar;D:\Java\jdk1.8.0_45\jre\lib\management-agent.jar;D:\Java\jdk1.8.0_45\jre\lib\plugin.jar;D:\Java\jdk1.8.0_45\jre\lib\resources.jar;D:\Java\jdk1.8.0_45\jre\lib\rt.jar;E:\workspace\webmagic\webmagic-samples\target\classes;E:\workspace\webmagic\webmagic-core\target\classes;E:\.m2\repository\org\apache\httpcomponents\httpclient\4.3.3\httpclient-4.3.3.jar;E:\.m2\repository\org\apache\httpcomponents\httpcore\4.3.2\httpcore-4.3.2.jar;E:\.m2\repository\commons-logging\commons-logging\1.1.3\commons-logging-1.1.3.jar;E:\.m2\repository\commons-codec\commons-codec\1.6\commons-codec-1.6.jar;E:\.m2\repository\com\google\guava\guava\15.0\guava-15.0.jar;E:\.m2\repository\org\apache\commons\commons-lang3\3.1\commons-lang3-3.1.jar;E:\.m2\repository\us\codecraft\xsoup\0.3.1\xsoup-0.3.1.jar;E:\.m2\repository\org\slf4j\slf4j-api\1.7.6\slf4j-api-1.7.6.jar;E:\.m2\repository\org\slf4j\slf4j-log4j12\1.7.6\slf4j-log4j12-1.7.6.jar;E:\.m2\repository\log4j\log4j\1.2.17\log4j-1.2.17.jar;E:\.m2\repository\commons-collections\commons-collections\3.2.1\commons-collections-3.2.1.jar;E:\.m2\repository\org\jsoup\jsoup\1.8.3\jsoup-1.8.3.jar;E:\.m2\repository\commons-io\commons-io\1.3.2\commons-io-1.3.2.jar;E:\.m2\repository\com\jayway\jsonpath\json-path\0.8.1\json-path-0.8.1.jar;E:\.m2\repository\net\minidev\json-smart\1.1.1\json-smart-1.1.1.jar;E:\.m2\repository\commons-lang\commons-lang\2.6\commons-lang-2.6.jar;E:\.m2\repository\com\alibaba\fastjson\1.1.37\fastjson-1.1.37.jar;E:\workspace\webmagic\webmagic-extension\target\classes;E:\.m2\repository\redis\clients\jedis\2.0.0\jedis-2.0.0.jar;E:\.m2\repository\commons-pool\commons-pool\1.5.5\commons-pool-1.5.5.jar;D:\JetBrains\IntelliJ IDEA 15.0\lib\idea_rt.jar" com.intellij.rt.execution.application.AppMain us.codecraft.webmagic.CSDNJavaWebDevelopProcessor
16-05-23 09:48:32,245 INFO  us.codecraft.webmagic.Spider(Spider.java:307) ## Spider bbs.csdn.net started!
16-05-23 09:48:32,297 INFO  us.codecraft.webmagic.downloader.HttpClientDownloader(HttpClientDownloader.java:87) ## downloading page http://bbs.csdn.net/forums/Java_WebDevelop
get page: http://bbs.csdn.net/forums/Java_WebDevelop
title:	[热烈祝贺CSDN社区大联欢上海站圆满结束, 【新手提问导读】提问的艺术, sturts2 s标签的问题 大神快来, 大神们，一个jsp问题求助，两个字符串对比，不同的部分用红色显示，怎么实现呢, JAVA 网站服务器开发, 将oracle语句改为mysql 急用，大神们帮忙吧！, 想知道报这个错的原因是什么..., 既然mybtis更换数据库sql语句要变，为啥还有那么多公司用mybatis?, 关于页面答题分数总结的问题, Dbutils.QueryRunner的继承问题, 如何用java获得当前网页的url呢, s2sh购物网站的版本控制version，遇到update就出错, SSH注解整合问题, myBatis如何通过@Autowired方式注入多数据源, 刚学easyui，使用datagrid数据不显示，页面数据空白，但记录数对的, myeclipse项目, 读取大量数据文件更新到数据库。, 关于表单提交后跟ajax请求, java web上传文件功能的问题, solr高亮问题, java web上传文件到项目里自动刷新项目后才能读取到, 求教一个手机网站开发问题, 用MyEclipse做图书管理系统出现HTTP Status 500 - , 新人请教个jsp传值给servlet的问题, 请大家帮帮我，谢谢，耽误你们点时间，帮我指导指导，我做了2天都没有做出来，明天就要交作业了，请大家帮帮我。 , 请教hibernate排序问题, java 权限管理, 如何实现在jsp页面中选择txt文件，点击下载时进行下载, 帮忙注释下面代码，谢谢, HIBERNATE HQL查询问题请教, 第一次发帖，求各位大神帮忙解决个tomcat问题。, 大家帮忙看下写的工具类有没有问题，或者能不能改善，多谢？, 新手跪求大神帮忙啊！！, 能不能读取struts2标签获得的值，然后写入数据库？, Selenium 测试用例异常，求大神指点, hibernate无法进行查询更新操作是为什么, axis2客户端程序接收不到cxf服务端发来的报文, mvc+spring+hibernate在tomcat启动时报错，求大神。, myeclipse 安装问题, mybatis入门helloworld项目，出现异常。, jquery Json解析, 求json大神帮我看看这个格式的json如何解析, 求助：jsp+easyUI保存多个同类型model, 关于PWC6033: Unable to compile class for JSP问题的求助, 关于在同一个页面。点击查询按钮，下面会出现表格, tomcat https 单向认证配置, ssh整合+websocket报错org.springframework.beans., jsp页面传值，把查询出来的表格选择数据传到添加表单, iframe三级嵌套相关问题, ssh框架，能上传视频文件吗？, 将一个类路径放到classpath中，jsp文件编译时找不到该类，但普通java程序却可以, Tomcat开启了SSL启动报错误 Keystore was tampered with, or password was incorrect]
16-05-23 09:48:35,258 INFO  us.codecraft.webmagic.downloader.HttpClientDownloader(HttpClientDownloader.java:87) ## downloading page http://bbs.csdn.net/forums/Java_WebDevelop?page=2
16-05-23 09:48:35,258 INFO  us.codecraft.webmagic.downloader.HttpClientDownloader(HttpClientDownloader.java:87) ## downloading page http://bbs.csdn.net/forums/Java_WebDevelop?page=4
16-05-23 09:48:35,259 INFO  us.codecraft.webmagic.downloader.HttpClientDownloader(HttpClientDownloader.java:87) ## downloading page http://bbs.csdn.net/forums/Java_WebDevelop?page=5
16-05-23 09:48:35,258 INFO  us.codecraft.webmagic.downloader.HttpClientDownloader(HttpClientDownloader.java:87) ## downloading page http://bbs.csdn.net/forums/Java_WebDevelop?page=3
16-05-23 09:48:35,258 INFO  us.codecraft.webmagic.downloader.HttpClientDownloader(HttpClientDownloader.java:87) ## downloading page http://bbs.csdn.net/forums/Java_WebDevelop?page=6
get page: http://bbs.csdn.net/forums/Java_WebDevelop?page=3
title:	[button点击事件，怎么做？急！！, 谁有java实现的邮件的接收与发送系统，可以给一下源代码吗, 判断json 是否有重复数据, 急！！新手求助, MyEclipse导入maven项目，包名多了main.java, ssh项目，求帮忙！！, 请问如何设置SVN的权限, 腾讯视频 根据腾讯视频的vid获取视频信息, 求教activiti关于普通表单的理解~, mmGrid提交数据到struts action, 菜鸟求助！对接多个银行这样设计合不合理呢？, 这是什么错？？Resource Path Location Type , 一台服务器请求，另一台服务器中直接重定向，请求的服务器会重定向新的页面吗？, java jsoup 爬虫爬asp.net网站遇到_doPostBack不能获取翻页数据, 前台通过ajax传空的字符串到后台，但是springmvc却变成了null，报空指针异常, 新手求助，急！！, tomcat7在eclipse中启动maven项目后不能访问, 一个高深莫测的面试题, 请问这是什么路径"sysmng.logon.do?userID=", spring mvc 异常处理 HandlerExceptionResolver 不能返回到视图, echarts动态设置X轴的值时，始终无法显示相关值, .jsp, spring mvc 表单类, DriverManager.getConnection()返回值类型问题, 阿里大鱼API文档实现, Myeclipse导入工程出错, spring aop 做日志记录功能, 求大神, 通过网页访问.jsp出现HTTP Status 500 - Unable to compile class for JSP 新手比较急 , spring mvc ajax异步请求找不到路径, MyBatis关联映射，关联字段的展示问题, 求助，ssh整合后，tomcat启动listener失败, 如何组装微信中MediaId的语音消息？, 单位排班维护界面怎么开发，急 急 急, 请问高手，关于xstream插件的问题, JSP中if-else-if语句多的时候，运行就会报错！, myeclipse导入web项目出错, 求助：怎么将一个有web项目目录结构的java项目部署到tomcat中访问？, 一台机器上面部署两个Tomcat没有成功, JAVA FTP下载文件前如何选择最新版本文件下载, service层是多余的吗？求各位水友指点迷津, Tomcat在windows管理的服务中启动，但其他终端不能访问, 安装Tomcat出现问题，求大神解救！, JDBC保存数据报错, java.lang.IllegalStateException: ApplicationEventMulticaster not initialized - c, 求推荐一个开源适合新手学习的基于java的cms系统,  新手求各位大佬 pdfbox 将pdf首页转为图片出错, Struts框架启动报错，新手求教，查了很久没搞定。, oracle12cORA-28040: No matching authentication protocol错误, 求解]
get page: http://bbs.csdn.net/forums/Java_WebDevelop?page=4
title:	[各位大神，apache-tomcat-6.0.39重新部署总是出现这个问题怎么解决啊？, POI读取docx格式文档报错：Package should contain a content type part [M1.13], 高手看一下String转byte[] 数据丢失, spring配置文件从web移到kernel包之后，启动报错找不到配置文件, springmvc报错, 将网页上面的表以excel形式导出时候的数字问题, 怎么让一个jsp网站的java程序时刻运行, org.apache.jasper.JasperException: An exception occurred processing JSP page , struts2 拦截器怎么修改返回的jsp路径, spring hibernate 如何捕获DataIntegrityViolationException, dom4j asXML 后空元素自闭和如何解决, There is no Action mapped for namespace /customer and action name toCustomerList, HTTP Strtus 500错误怎么解决, 遇到问题，解决两天了，不知道哪里错了，应该是外键和映射的问题，但是改不出来，，求帮助, 不同系统之间的信息推送, Base64编码后再解码汉字变成乱码, 项目部署到weblogic出错, 已整理了一个中奖概率算法，请问是否有更好的？, 求助，获取上传本地图片的宽高, 请教关于加大文本框字符显示间隔的方法, 求助！spring实现同一个账号，重复登陆，后一个会把前一个挤掉，删除session的问题，附我的源代码！, 一套程序根据需求不同切换不同功能, spring+mybatis的问题，关于SqlSessionTemplate的, java 注解, java.lang.NoSuchMethodError: java/util/Collections.emptyIterator()Ljava/util/Ite, srping用hibernateTemplate提交数据问题, MYSQL提交数据后，等一会才能生效，是怎么回事呢？, 求一个完整的java web 学习视频！, 用java如何在获得jquery展现的数据以及及时更新问题, 怎么使用jQuery获取servlet的值？, 如何检测和修复IE控件、根证书、IE设置等等, 初学, Hibernate, 报错,找不到域namingStrategy, jdbc连接Oracle数据库，结果是数据库驱动有问题, MyEclipse2014找不到Install JPA Facet选项, springMVC整合Hibernate开发，properties文件的键值对莫名其妙变成其他的值, svg2gfx.xsl报错Xpath is invalid, tomcat部署,axis2报错, dtd 对xml约束问题，虽然知道，但是有个细节不是很懂啊, 求解点击一个”添加“按钮出现一个文本框然后输入信息再点一次按钮能在当前jsp页面添加一条新的记录(删除按钮直接删除这一行记录)怎么写, 如何对list进行分页?, Java程序员的瓶颈，求帮助。, springmvc中的使用jquery的$("#name").val()获取不到值输入框的值, spring3.2+quartz2.21,怎么实现动态配置cronExpression？, mysql中的my.ini和my-default.ini中文无法显示或者操作, 自学小白求助！！！, Hibernate 5.1.0 final SchemaExport求助, 请问怎样关联struts, REDIS提问，一个redis可以分表吗？, JSP和SERVLET的理解, 菜鸟一枚，求助，关于tomcat和eclipse配置问题已经绝望]
get page: http://bbs.csdn.net/forums/Java_WebDevelop?page=5
title:	[tomcat启动出错, jsp怎样进行两数相加？, shiro 注解@RequiresPermissions("user:insert")不起作用, 请教问Mybatis 如何打印SQL语句, 3DES自定义密钥问题, 如何开发一款app后台接口, extjs 做一个下载文件 我后台使用struts 做的 交互的有问题, ModelAndView传参问题, 做一个app服务器开发，求解决客户端登录时给它j加个标记的问题, 社区问答第22期：架构探险, 本人新手 看了马士兵老师的视频 部署srvlet 在Servlet中直接连接数据库，并查询显示信息一直出错, awt问题, 大神们求帮忙, ant编译tomcat原码报错，请知道的给以援助，谢谢！, struts升级到2.3.28出现的问题, jquery.datatable插件如何给每一行绑定鼠标单击事件, tomcat6.0无法访问页面, 请教大神：SSM框架在本地测试的时候一切都没有问题，但是在部署到阿里云上的时候由于Mybatis导致出错了。详情如下，恳请诸位大神指教！拜谢, oscache怎么缓存jsp页面中input标签中输入的内容, tomcat下直接考别到webapp下的文件, 求大神！JSP页面中调用matlab函数将结果显示在Jsp页面上, select如何从数据库中选取初值？, 用FTPClient实现ftp操作过程中出现的一个异常, a 链接通过action跳转 出现There is no Action mapped for namespace [/blog] and action name, 请教各位大神教怎么部署这个网盘系统, webservice xfire错误, 只用Myeclipse和sql坐jsp时，做增加语句，出现 ：该语句没有返回结果集。, iframe内嵌,,弹出窗口“Not Found“,怎么处理掉弹窗，或者跳转, 关于实体类之间的映射。, 这样的表怎么创建，数据库啊数据库，谢谢, spring3 mvc 不能调用controller, 启动报错，配置文件古怪问题求解救！, 如何将一个datagrid保存传到另一个datagrid同时根据数据找出另一条数据保存到同页面下的另一个datagrid下？求指教, jdbc接口实现问题，来大神, 新手 Myeclipse运行时出现以下错误 有没大神帮下 在线等, 求解，怎么获得@responsebody后的 response响应值, 有对MethodParameter这个类熟悉的人吗？请教个问题, firefox无法发送Referer信息,怎么解决?, 用maven管理的项目中如何实现不打war包就能部署, springmvc 访问路径要不要加项目名？, java web开发需要学那些工具, 为什么我的Servlet无法获取jquery ajax传过去的值呢？, Servlet配置web.xml，使用通配符出问题, 这两种断点有什么区别, javaWEB知道文件的全路径，可不可以直接上传到服务器,可以用ajaxfileupload吗, 奇怪的问题！提交表单到springMVC不能有update、delete、select等关键字！, 毕设，求救！黑名单功能, java.lang.ClassNotFoundException: org.apache.commons.beanutils.Converter, 关于stucts中action的问题, select多次点击不叠加option]
get page: http://bbs.csdn.net/forums/Java_WebDevelop?page=2
title:	[java mysql数据已经插入成功！数据库有值为什么还报错？, 哪位好心人来帮帮忙啊!org.springframework.beans.factory.BeanCreationException, JSP页面中有一个按钮 点击之后执行JAVA文件, 求教关于servlet里链接数据库的问题, 请教Struts2 动态方法调用！, java 连接sql server 2008 驱动问题 [, SSH整合_Unable to instantiate Action, employeeAction, defined for 'emp-list' in na, 用httpclient进行post请求到云巴，云巴返回给ios的中文是？？？？？，乱码, bootstrap的table控件自定义的搜索框，java后台接收不到有关page的参数，初始化的时候参数传过去了, 从SVN导入代码的问题, @RequestMapping post 数组怎么在controller接受, 关于条件查询的类里面有三个表, 一个简单的JSP按钮权限问题,  jsp使用数据源连接数据库，出现 Cannot create resource instance, jsp页面传值，把查询出来的表格选择数据传到添加表单, 从SVN中检出的项目报错，求大神解决，在线等！！！！！！！, 简单的多态问题, hibernate和struts2.0分页, 菜鸟请教，经常看到大神们开着SecureCRT, myeclipse使用lombok, 使用GET方法时报错,  求大神 废品回收系统 用Javaweb 做 有会做的吗？, 如何将4字节utf-8的emoji表情转换为unicode字符编码, java统计ip访问量, 关于SSH中使用EhCache缓存问题？, 创建的过滤器不能显示在线人数，一直报错, 我这个项目用的是什么框架啊，为什么那么多功能类却只有这么几个？, axis2客户端可以调用axis1写的webservice服务吗, HttpsURLConnection 访问URL中指定端口, 阿里巴巴API调用, 如何大家一个agularjs框架 求大神指导, HttpClient post请求接口报the current request is not multipart request, jquery 的datatables插件动态表头如何实现, java通过tess4j调用tesserat-ocr,报错：java lang error,invalid memeory access, spring mvc ，Required String parameter 'usercode' is not present, tomcat8下jsp被截断，tomcat7没有, 求大神解答一下session问题，急！！！, java web 请教前辈, 新手求帮忙~连接数据库的问题, SpringMVC中mvc:resources没有作用,  activemq延迟发送，消费者会实时得到消息, 求解决方案，List>大小10W时排序, spring mvc HelloWorld.jsp不显示，新手求解答, 多重c:foreach循环怎么统计总的循环次数, IE有时会报ext events为空或不是对象，请大侠帮忙看看, 求助：大型网站高并发pv文章阅读数实现, SPRINGMVC如何显示字段的关联值, 高分求助：例如有个字符串001或者0010，用了BigDecimal类的toPlainString方法后前面的00就没有了，怎么让00不消失？, 判断json 是否有重复数据, javaweb项目当域用户登录到域中以后，可以直接登录到web项目中去，不需要输入用户名和密码。, 请教怎么在单个jsp页面实现分页查询]
16-05-23 09:48:36,822 INFO  us.codecraft.webmagic.downloader.HttpClientDownloader(HttpClientDownloader.java:87) ## downloading page http://bbs.csdn.net/forums/Java_WebDevelop?page=7
16-05-23 09:48:36,828 INFO  us.codecraft.webmagic.downloader.HttpClientDownloader(HttpClientDownloader.java:87) ## downloading page http://bbs.csdn.net/forums/Java_WebDevelop?page=8
16-05-23 09:48:36,831 INFO  us.codecraft.webmagic.downloader.HttpClientDownloader(HttpClientDownloader.java:87) ## downloading page http://bbs.csdn.net/forums/Java_WebDevelop?page=9
16-05-23 09:48:36,869 INFO  us.codecraft.webmagic.downloader.HttpClientDownloader(HttpClientDownloader.java:87) ## downloading page http://bbs.csdn.net/forums/Java_WebDevelop?page=10
get page: http://bbs.csdn.net/forums/Java_WebDevelop?page=9
title:	[自己搭建Spring+hibernate4可以保存数据，但无法删除数据, JHeatbugs运行时的javaswarm.dll是32位，与64位系统不匹配, java中关于在Linux中用sftp上传文件异常问题, 关于java后台往android、ios推送的问题, 支付宝转账和批量付款功能, 关于微信支付成功回调后,怎么给微信返回值, idea启动tomcat出现异常, JSP开发, 第一次做ssh2整合不知道怎么处理这个问题，求助大神们。, 各类拦截器分别适合什么时候用, java 接口方法定义, 在IE8中用window.open的问题，弹出一个页不是当前页，怎么才能把window.open打开的页面作为当前页面？？, axis2 在was下发布的问题, 急。求助, 请问18位的组织机构代码怎么验证啊！！, java, Spring AOP 和 Spring拦截器Interceptor有什么区别和联系呢?, ios微信浏览器如何一直显示关闭按钮, 关于EL, jetty:run的时候总是无法打开mvc-dispatcher-servlet.xml, jsp 中用jfreechart 运行出错 求大神解答 或求折线例子, mvn一个父项目打war包，命令行怎么写才能为不同子工程设置不同target？, 写了个发邮件的功能，却收不到，有会的吗？, maven编译报错-source 1.5 中不支持 diamond 运算符, ms的.net framework 4.0安装时候第二个进度条一直不动, ie11下的session问题, Java Web 项目RSA加密的流程, Shiro unauthorizedexception返回500 Internal Server Error, springmvc和hibernate集合后web.xml配置问件问题,  mybatis selectlist 问题 , 获取request中的内容报错,  上次做了一个淘宝一样类似的购物网站，有没有大神帮我看看下面这些功能怎么实现？, DAO session factory not selected错误问题, struts2 在执行完处理方法之后跳转到某一页面，此页面乱码, 使用@WebServl可以正确访问页面，但是用web.xml配置之后发布就找不到资源，为什么？新手求教, spring 和 struts2 的配置问题, 求助 有没有 上传和下载文件的例子, 解析json的问题, spring security登录问题 , java生成word的方案请大家推荐一下, Build path is incomplete. Cannot find class file for org/aspectj/weaver/refl, 各位！！poi 处理word 超链接如何对应到当前文档某个文字标签, 大神们，小弟求助！, 萌新问一个浏览器打开JSP文件，中文乱码或者显示问号的如何解决, 关于resp.addCookie(cookie)空指针问题, JAVA WEB问题。在JSP页面一个按钮调用扫描仪, 是struts2的配置问题吗，老是出错，请教各位大神, 用java另存visio为htm, 在springMVC中怎样判断性别是否选择, 求助在spring中访问不了controller]
get page: http://bbs.csdn.net/forums/Java_WebDevelop?page=6
title:	[HTTP Status 500 - java.lang.NullPointerException 什么问题~？, java爬虫拿到的页面和和用浏览器的页面源码不一致, java Web项目Filter在xml配置完成后，部署到linux服务器tomcat后报404, Spring框架 JAX-WS集成webservice客户端调用出现问题，特来请教, resin启动异常 , 求微信公众号获取用户当前定位 java实现代码, jsp页面查询条件保存，下次登陆时默认显示上一次的查询条件，有什么方法可以实现, springmvc和ajax交互, 收银台开发是自建CA还是使用CFCA的证书？, ORCLE保存Emoji表情乱码问题, 面试题：上亿用户同时访问一个网站，如何保证网络不拥挤，还要保证用户的体验？, 为什么刷新后sesion失效了？, WebSphere8.5 + CXF2.5.2启动报错：Error creating bean with name 'cxf' defined in class, window.open post到新窗口, 求大神解决org.springframework.beans.factory.BeanCreationException:, tomcat 部署发布项目 浏览器输入地址没反应, 关于java抢购机制的实现, A.jsp页面通过按钮C用jQuery的load方法加载B.jsp页面到A.jsp页面的一个div区域时的问题, 关于websocket外网连接建立服务器没有反应的问题, 关于tomcat的问题-环境变量都配置好了，点击startup也可以显示，无闪退现象，但是访问http://localhost:8080/却提示错误, java服务器端解析MultipartEntity这种数据流, （Jenkins持续集成）ANT 打tar包是不是不支付中文文件名, 为什么老是SSH，有没有更简便的快速开发框架？, mybatis传递常量谁用过吗？, 扫描二维码图片 java zxing, 字符串、json对象, struts2迭代标签的问题, 关于spring整合hibernate有问, 可不可以帮忙解释一下这些代码是什么意思？是三大框架里的spring的搭建吗？最近刚学实在看不懂, 表单登录问题，中文用户名登录不成功, Spring整合Hibernate的问题, hibernate插入语句出错, Tomcat设置了禁止某些IP访问，即deny，怎么自定义403页面呢？, java web 验证码问题 ，刷新能显示，点击看不清就不会显示, 【Spring oxm问题】oxm可以marshaller，但是在unmarshaller中提示root elements无法找到, web页面在手机端获取手机号或者手机识别码, Activiti 3 字节的 UTF-8 序列的字节 3 无效, 求救求救啊　下面这段数据库操作的代码有什么错。之前用还好，最近总是出现问题，在于那个invoke上。, 急急急：java Web项目在linux上的tomcat部署, tomcat 配置host name为域名或IP后找不到DNS，求解，急。。。。, 急！！shiro权限注解，无法跳转！！, java web开发中，如何得到server.xml中的数据库的配置信息, java实现后台自动打开网页并触发事件, URLConnection 无法正常读取到html的内容啊, 添加了struts2-core-2.3.28.1以后出现的问题, java com.sshtools.j2ssh.SshClient访问linux中文文件问题, 求一个集成SSH+JBPM6.3的实例 能够运行的, 使用负载均衡和读写分离之后 数据库的行锁和同步方法(Java)还有没有用?, 空指针错误 求解答, 映射文件出问题]
16-05-23 09:48:38,393 INFO  us.codecraft.webmagic.downloader.HttpClientDownloader(HttpClientDownloader.java:87) ## downloading page http://bbs.csdn.net/forums/Java_WebDevelop?page=11
16-05-23 09:48:38,396 INFO  us.codecraft.webmagic.downloader.HttpClientDownloader(HttpClientDownloader.java:87) ## downloading page http://bbs.csdn.net/forums/Java_WebDevelop?page=12
get page: http://bbs.csdn.net/forums/Java_WebDevelop?page=10
title:	[报Unknown column 'uid' in 'field list', HTTP Status 500 - Servlet execution threw an exception, 关于web项目引入CSS,JS 出现的问题, 这样设计登录合理吗？, 一个jsp系统注册功能出现500错误, EL表达式调用函数报错 实际部署没有问题是为什么呢, ajax连接数据库，数据库内容更新了，获取的内容还是旧内容, 如何用java提取网页页面中JS内的数据, JAVAWEB关于JSP页面转向的问题, sendRedirect重定向问题, 我在myeclipse里建立包为啥最后一个自动给建了个目录？怎么才能一排？, js中这是什么问题呢, java web怎么实现套打功能, Java将xml格式的word文档另存为普通word文档的问题, 怎么让html显示jsp的东西？, 一个网上书店系统，SQL server + eclipse，运行时提示Http500内部服务器错误, 怎么把值传到圣诞框里面啊, 求助大神这是什么错误造成的, frameset session丢失, 怎么基于云存储服务，开发云存储Web应用和Android移动客户端, 这里有什么问题啊, 使用tomcat8和websocket进行消息推送失败, Spring webosket 握手拦截器中获取不到session, 用JSP新写了个网站，大家来测试一下有没有错误, 利用spring+quartz配置执行定时任务，大概一小时后就会莫名其妙不执行, SSH框架如何配置action?, the selected package might contain files that will be overwritten by artifact , 关于tomcat发布项目设置IP问题, SpringEL求助:, 小概率遇到点登录，没反应，然后刷新发现已经登录上了, 主从库中默认库的选择讨论, 求解controller中一个方法，测试均已通过，在页面中实施不成功, 如何扩大 iframe 标签中 截取的字体大小 急急急~！！！！, 怎么用java实现doc文档模板插入数据和表格并导出？急急急，在线等, war包部署到tomcat问题, mybatis怎么实现时间段查询, netty-socketio的跨域问题, 导入工程报错，请问该如何处理, 破解后的MyEclipse为什么配置不了Tomcat？？, tomcat启动时出现问题，大神帮忙看看是啥问题, 关于用io流输出问题, 原始sql语句转换成jpql语句 , 请教jetty的X-Frame-Options 怎么设置, 通过FormData向java后台传文件（图片）+string后台接收如何写, 我们做的网站mac系统不显示, Java 访问access, 死循环, a 标签的 href 问题, axis调用webservice接口, 一次特别的求助]
get page: http://bbs.csdn.net/forums/Java_WebDevelop?page=8
title:	[过滤器初始化两次问题, xfire调用webservice时hibernate的懒加载机制报错 求大神！！！, hibernate 数据库访问, JSONP如何验证调用 ？, web 应用，在web.xml中配置servlet filter报错, 关于eclipse打开文件问题, 上传文件时遇到这个问题 An exception occurred processing JSP page /docUploadConvertAction.js, [分享]tomcat设置https双向协议, 读取word并显示在页面上乱码, 怎样可以关闭正在传输数据的stream而不会导致异常？, jsp中js代码的执行顺序, 百度UEditor 上传图片问题, spring boot 发布到tomcat的问题, JS，或者jquery怎么在前端判断手机是否安装某个app, 初学hibernate框架，连接了第一个sql server 2005 数据库，出现一个问题, 关于FastJson bean转json首字母大写的问题, nginx＋tomcat 应该如何部署war包, org.dom4j.Element是什么意思？, java 初学者求助有关struct配置的问题 "Invalid path /startExam was requested", 微信支付出现失败, 银联无跳转接口使用, Spring AOP中如何获取HttpServletResponse?, IO 异常 上传失败（用的是ueditor）, 急！Spring JPA分页动态查询问题，自动做cross join查询, myeclipes报错500, 项目中spring的所有jar包如果版本不一致，编译一直报错。, HttpsURLConnection连接网站返回英文乱码问题, shh小项目500报错, 只能输入中文数字中文英文./()-字符，但是不允许全部都是数字./()-的正则表达式, 错：Usage: java javassist.tools.web.Webserver  , 微信支付问题get_brand_wcpay_request fail jsp页面, 新人求大神指教。问题是java方面的传送后文件的获取问题。, struts2查询List输出到jsp无显示, Spring Struts2整合 注解无法生效的问题, 微信公众号 支付 报错, 网页选中文字后可以高亮显示，下次打开依然可以记录，类似做笔记, java web怎么实现限制登录？, 关于多表关联情况下保存数据的问题, spring mvc 注入报错, 关于用户密码加密问题, 小白求教从JSP页面向oracle数据库中插入中文，在数据库中显示为乱码, cfca工具包 加解密问题, flex tree选中某个节点，使该节点颜色发生变化, JDBC 读取ORACLE blob字段时，程序卡在执行sql语句处，在线急等, ssh配置相关问题, CentOS7下的Tomcat部署的JSP可以在本机访问在局域的别的电脑上访问不了，求大神, jquery事件委托疑问(delegate), POI导出EXCEL怎么工作表标签的颜色 , 把项目从一个linux服务器复制到另一个linux服务器后，无法读取xml文件中的$，改成%就识别了, easyui treegrid排序，按正序或逆序]
get page: http://bbs.csdn.net/forums/Java_WebDevelop?page=7
title:	[freemarker导出word太大了，另存为的XML也很大, 请问：要想在个人网页上实现在线支付功能，一般是自己找银行还是找第三方支付公司买接口呀？, myeclipse2013中如何导入tomcat 源码??? 求指教, myeclipse里使用freemarker宏报错, 求助，关于struts实现一个简单页面链接的问题, java调用webservice服务org.apache.axis2.AxisFault: Read timed out问题, eclipse下如何编译项目, JSP页面返回的问题, dwr2 反向推送消息到前台，前台无响应, SOLR配置IkAnalyzer如果关闭IkAnalyzer默认分词功能，只用mydict.dic中的扩展分词？, 关于keep alive, 关于多次请求返回画面的问题, struts2中怎么我压入值栈中的list显示为空？, 关于ajaxFileUpload 异步上传完刷新页面的问题, 求助！请大神帮忙解决一下中文乱码问题，百度上的都不适合我出现的这种情况, Java Cipher类DES加密问题, 部署完的项目，404错误~, MYSQL left join逗号,问题（超变态，一般人勿进）, 求大神帮助！！！！jeecms二次开发问题, html做修改功能，怎么传值？, 求大神帮帮忙，着急啊。。。, 如何根据本地的时间进行国际化 要求在外国显示外国的时间格式, js打印html页面中的一个div时，页面的值没有打印显示出来，而且点击打印以后，原始页面也没有相应的值了，怎么回事，求大神解决！！, 最近要交作业要用到websocket 尝试了tomcat下面的websocket例子，但是都提示Info: WebSocket closed., 求助！Websphere的项目，请问怎么迁移到tomcat上去？, jsp报错问题 Syntax error, insert "}" to complete Block, 用IntelliJ IDEA发布到Tomcat，JSP文件不编译为什么？, Spring+Hibernate+Oracle 报错： Caused by: org.hibernate.MappingException: entity..., 毕业设计救急：Java怎么提取PD文件里面文章的标题、作者等元数据, SSH+注解+配置多对一关系报错, shiro前后台分开登录怎么实现, 关于baseServlet , 求一个用javaEE7实现的websocket的例子，什么例子都可以能跑通就行, 关于DWZ查找带回 lookup, 各位大神，请教个问题，session如何通过cookie实现跨域, filter过滤输出的问题, 求各位大神指教，后台数据显示不出来显示JSON错误, SSH注解式Injection of autowired dependencies failed求教, 怎么隐藏frame的滚动条？, Mybatis基于注解的Mapper如何使用动态sql？, ssh项目，Properties类修改*.properties配置文件时，“：”和“=”被转义怎么解决？, 如何使用wdatePicker日期插件, 关于apache 配置openssl的疑问, Spring 整合 Hibernate，运行时错误：could not init listeners , mybatis调用Oracle存储过程的时候不能加载配置文件，求大神~, 拦截器拦截方法 替换敏感词, 新手求问！hibernate连接数据库sql server 2005,想要在数据库里添加一个图片字段，用Blob创建image对象，出现一个问题, 'sessionFactory' or 'hibernateTemplate' is required, 关于mySQl的时间与java时间 的转化, 获取应用所在的服务器IP地址]
16-05-23 09:48:39,750 INFO  us.codecraft.webmagic.downloader.HttpClientDownloader(HttpClientDownloader.java:87) ## downloading page http://bbs.csdn.net/forums/Java_WebDevelop?page=13
16-05-23 09:48:39,998 INFO  us.codecraft.webmagic.downloader.HttpClientDownloader(HttpClientDownloader.java:87) ## downloading page http://bbs.csdn.net/forums/Java_WebDevelop?page=14
16-05-23 09:48:40,161 INFO  us.codecraft.webmagic.downloader.HttpClientDownloader(HttpClientDownloader.java:87) ## downloading page http://bbs.csdn.net/forums/Java_WebDevelop?page=15
get page: http://bbs.csdn.net/forums/Java_WebDevelop?page=12
title:	[java web Tamcat服务器启动不了, spring mvc和hibernate整合配置问题, 用户设置内容模板，类似于理财产品的风险提示书，后台将模版中的理财产品代码替换成正在操作的实际产品代码, 大神求助，weblogic安装不了，急！！, java生成和解析二维码demo源码, js json转list 出错, springMVC 添加了分页功能就一直报错, java web项目与执行java文件读取文件后字节码不同的问题, SSH框架怎样封装联合查询的结果？, spring data jpa @query 无法传表名, 大家说说用ssh的好处, JavaWEB使用RSA加密解密数据,项目启动运行几个小时后,加密和解密速度极慢, 学习马士兵老师的网上商城项目，但是向mysql插入时间是报错，求解答, Spring AOP事务 不生效，求解答在线等。, jenkins启动浏览器，界面后台运行怎么办？, jsp里的一些css、js文件加载很慢, java连接数据库问题求助，不知道问题出在哪（初学者）, List

如果想采集更多的东西，可以将循环体放入main中。然后link的地方使用选择器匹配，进入每一页进行详细信息采集。