Heritrix3.1.0

Heritrix3.1.0的使用

1.在cmd下面进入Heritrix的bin目录下输入heritrix-aadmin:admin，弹出新窗口，新窗口中运行heritrix2.浏览中输入https://localhost:8443/得到界面如下第一个输入框中写入任意Job名称，如s第二个输入框如果不写则默认存储在bin目录下的jobs文件夹下3.点击create后：4.点击"s"任务：crawler-beans.cxml是配置本次
jiang617325814·2020-08-24 14:06

How Tomcat Works（一）

如果说Heritrix3.1.0系统主要涉及的是客户端的SOCKET编程，那么本系列的How Tomcat Works主要涉及的是服务器端的SOCKET编程 目前关于解析Tomcat源码的文章比较多，
·2015-11-01 15:29

Heritrix 3.1.0 源码解析（二十八）

Heritrix3.1.0系统里面的组件以及对象之间总是存在千丝万缕的联系，本人为了表述某个功能的具体实现总是不得不牵涉到相关的对象及其实现，不然本人无法将该功能实现的逻辑描述清楚；可是在逻辑上本人又不得不考虑到话题的连贯性
·2015-11-01 15:28

Heritrix 3.1.0 源码解析（十八）

从本文开始，我们来分析与Heritrix3.1.0系统的处理器相关的源码，在Heritrix系统里面，待处理的CrawlURI cURI对象经过系统里面的处理器的重重处理最后才得以修成正果 因为处理器很多
·2015-11-01 15:26

Heritrix 3.1.0 源码解析（十九）

本文继续分析与heritrix3.1.0系统的处理器相关的源码 我们照例先来浏览一下class uml图 所有的处理器都继承自抽象父类Processor，其中重要的方法如下 /**
·2015-11-01 15:26

Heritrix 3.1.0 源码解析（十）

本文要分析的是Heritrix3.1.0的Frontier组件，先熟悉一下相关的UML类图 通过浏览该图，我们可以清楚的看出Frontier组件的相关接口和类的继承和调用关系，不必我再文字描述了&
·2015-11-01 15:24

Heritrix 3.1.0 源码解析（三十六）

接下来本文还要继续分析Heritrix3.1.0系统中的CrawlController类及BdbFrontier类，因为本人觉得前面部分对相关逻辑还没用理清头绪，更重要的原因是由于每篇文章的关注点不同，
·2015-11-01 11:29

How Tomcat Works（一）

如果说Heritrix3.1.0系统主要涉及的是客户端的SOCKET编程，那么本系列的How Tomcat Works主要涉及的是服务器端的SOCKET编程 目前关于解析Tomcat源码的文章比较多，
·2015-11-01 11:28

Heritrix 3.1.0 源码解析（二十五）

Heritrix 3.1.0 源码解析（二十三）中我们分析了Heritrix3.1.0系统是怎样扩展HttpClient组件的HttpConnection连接对象和相应的管理接口HttpConnectionManager
·2015-10-31 09:10

Heritrix 3.1.0 源码解析（二十二）

本文继续分析Heritrix3.1.0系统的源码，其实本人感觉接下来待分析的问题不是一两篇文章能够澄清，本人不能因为迫于表述而乱了问题本身的章法，接下来的分析的Heritrix3.1.0系统封装HttpClient
·2015-10-31 09:10

Heritrix 3.1.0 源码解析（二十三）

上文分析了Heritrix3.1.0系统是怎么扩展HttpClient组件的ProtocolSocketFactory接口用于创建HTTP和HTTPS连接的SOCKET对象的 接下来我们分析Heritrix3.1.0
·2015-10-31 09:10

Heritrix 3.1.0 源码解析（二十七）

上文分析了Heritrix3.1.0系统的对请求认证机制的封装，本文接下来分析Heritrix3.1.0系统对cookies的处理的封装 Heritrix3.1.0系统提供了CookieStorage
·2015-10-31 09:10

Heritrix 3.1.0 源码解析（二十六）

上文分析了Heritrix3.1.0系统对HttpClient组件的请求处理类的封装，本文接下来分析Heritrix3.1.0系统是怎样封装请求证书的 Heritrix3.1.0系统的package
·2015-10-31 09:10

Heritrix 3.1.0 源码解析（十五）

本文分析Heritrix3.1.0系统里面的WorkQueue队列（具体是BdbWorkQueue）的调度机制，这部分是系统里面比较复杂的，我只能是尝试分析（本文可能会修改） 我在Heritrix 3.1.0
·2015-10-31 09:09

Heritrix 3.1.0 源码解析（十四）

CrawlURI caURI)、CrawlURI next() 、void finished(CrawlURI cURI)方法是，其实还有一些相关环境没有分析，其实我是有点疲倦 本文接下来分析在多线程环境中Heritrix3.1.0
·2015-10-31 09:09

Heritrix 3.1.0 源码解析（十一）

上文分析了Heritrix3.1.0系统是怎么添加CrawlURI curi对象的，那么在系统初始化的时候，是怎么载入CrawlURI curi种子的呢？
·2015-10-31 09:09

Heritrix 3.1.0 源码解析（三）

如果从heritrix3.1.0系统的静态逻辑结构入手，往往看不到系统相关对象的交互作用；如果只从系统的对象动态结构 分析，则又看不到系统的逻辑轮廓 所以源码分析需要动静兼顾，使我们更容易理解它的逻辑与交互
·2015-10-31 09:08

Heritrix 3.1.0 源码解析（二）

上文Heritrix 3.1.0 源码解析（一）实际上是讲述Heritrix3.1.0在eclipse中的环境搭建，还属于对Heritrix3.1.0 源码解析的热身阶段，本文接着分析Heritrix
·2015-10-31 09:08

Heritrix 3.1.0 源码解析（九）

Heritrix3.1.0系统里面Frontier组件管理链接队列，采用的是BDB数据库，利用BDB数据库来存储CrawlURI对象，首先我们来看Heritrix3.1.0是怎么实现BDB模块的 我们知道
·2015-10-31 09:08

Heritrix 3.1.0 源码解析（四）

在对象之间相互通信时，首先应该了解对象的状态；最基本的入手方式就是 了解它的构造函数或者初始化方法以及执行相关方法后状态的变化，其次是相应方法的输入参数（发送消息） 当我们在后台建立一个爬行任务时，在Heritrix3.1.0
·2015-10-31 09:08

Heritrix 3.1.0 源码解析（三十七）

今天有兴趣重新看了一下heritrix3.1.0系统里面的线程池源码，heritrix系统没有采用java的cocurrency包里面的并发框架，而是采用了线程组ThreadGroup类来实现线程池的（
·2015-10-21 12:16

Heritrix maven

Heritrix是一个比较经典的开源爬虫，本人打算用它来做一些数据采集应用网上关于heritrix系列的博文大多是老版本的（1.14.4版本），Heritrix3.1.0版本的文章则极其稀少由于新的版本相对老版本改动比较大
m635674608·2015-06-18 11:00

Heritrix3.1.0的使用

阅读更多1.在cmd下面进入Heritrix的bin目录下输入heritrix-aadmin:admin，弹出新窗口，新窗口中运行heritrix2.浏览中输入https://localhost:8443/得到界面如下第一个输入框中写入任意Job名称，如s第二个输入框如果不写则默认存储在bin目录下的jobs文件夹下3.点击create后：4.点击"s"任务：crawler-beans.cxml是
jkbjxy·2012-09-12 10:00

Heritrix3.1.0的使用

1.在cmd下面进入Heritrix的bin目录下输入heritrix-aadmin:admin，弹出新窗口，新窗口中运行heritrix2.浏览中输入https://localhost:8443/得到界面如下第一个输入框中写入任意Job名称，如s第二个输入框如果不写则默认存储在bin目录下的jobs文件夹下3.点击create后：4.点击"s"任务：crawler-beans.cxml是配置本次
jkbjxy·2012-09-12 10:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他