guoyunsky
guoyunsky

Heritrix源码分析(一) 包介绍

本博客属原创文章,欢迎转载！但转载请务必注明出处:http://guoyunsky.iteye.com/blog/613249
本博客已迁移到本人独立博客: http://www.yun5u.com/
欢迎加入Heritrix群(QQ)：109148319,10447185（已满）  , Lucene/Solr群(QQ) :  118972724

    之前说过要分享下我的爬虫经验，但一直找不到突破口，现在才感觉写点东西真的很难，所以大家真的要感谢那些无私的前辈们，在网上留下的一篇篇可以指点迷津的文章。
想了很久，还是先从Heritrix的包开始说起，然后再说类，最后讲下如何加工Heritrix，也就是将其打造成自己想要的爬虫，这里补充下，我用的版本是1.14.3.
    同时欢迎加入我建的Heritrix爬虫群一起讨论学习: 10447185
   
序号 包名                                   说明
1   org.apache.commons.httpclient     封装了apache的httpclient用于Fetch网页内容
2 org.apache.commons.httpclient.cookie 封装了apache的httpclient用于Fetch网页内容,这里主要处理Cookie
3 org.apache.commons.pool.impl 封装了apache的httpclient用于Fetch网页内容,还待研究
4 org.archive.crawler Heritrix程序运行的入口包,如Heritrix运行可以直接抓取
5 org.archive.crawler.admin Heritrix的管理包,比如CrawlJob表示一个抓取任务job,CrawlJobHandler管理JOB,以及日志统计等
6 org.archive.crawler.admin.ui 服务于UI管理界面,如Job参数的设置
7 org.archive.crawler.datamodel Heritrix的数据模型包,如在Heritrix中代表一个URL的CandidateURI
8 org.archive.crawler.datamodel.credential 管理Heritrix数据模型中的凭证,如抓取某些网站需要用户名和密码
9 org.archive.crawler.deciderules Heritrix的规则包,如决定哪些URL可以抓取可以调度
10 org.archive.crawler.deciderules.recrawl 还待研究,应该是决定哪些URL需要重新抓取
11 org.archive.crawler.event 事件管理,如Heritrix的暂停、重启、停止等
12 org.archive.crawler.extractor Heritrix的造血器,通过它抽取新的URL再次进行抓取
13 org.archive.crawler.fetcher Heritrix的获取包,如获取HTTP、DNS、FTP数据
14 org.archive.crawler.filter Heritrix的过滤器,如配合Rule过滤一些不要的URL
15 org.archive.crawler.framework Heritrix的框架包,存放一些核心类,一般是父类,如Heritrix控制类CrawlController;调度器类Frontier
16 org.archive.crawler.framework.exceptions Heritrix框架异常包,通常这里的异常抛出会导致Heritrix的停止
17 org.archive.crawler.frontier Heritrix的调度器,决定抓取哪个URL
18 org.archive.crawler.io Heritrix的IO格式包,感觉取名不合理,这里只是定义一些格式,如统计数据的格式,错误日志的格式
19 org.archive.crawler.postprocessor 辅助处理器包,感觉取名也不合理,这里只是对处理URL前后进行一些处理,如URL重定向
20 org.archive.crawler.prefetch Heritrix的预处理器包,如确定一个URL是否已经解析了DNS
21 org.archive.crawler.processor 还没接触到,待研究
22 org.archive.crawler.processor.recrawl 还没接触到,待研究
23 org.archive.crawler.scope Heritrix抓取范围管理,如种子
24 org.archive.crawler.selftest 管理Heritrix的Web工程self.war
25 org.archive.crawler.settings 管理Heritrix配置文件order.xml中的各项配置
26 org.archive.crawler.settings.refinements 管理Heritrix自己对数据格式的标准,如时间格式
27 org.archive.crawler.url 还没怎么接触到,待研究
28 org.archive.crawler.url.canonicalize Heritrix的URL规范化,用于规范每一个URL
29 org.archive.crawler.util Heritrix用于抓取的工具包,如BDB操作工具,IO操作工具
30 org.archive.crawler.writer Heritrix的下载包,用于将抓取的URL内容写入硬盘
31 org.archive.extractor 还没接触到,待研究
32 org.archive.httpclient Heritrix为结合httpclient量身打造的包,让自身更好的获取网页内容
33 org.archive.io Heritrix的IO包,自己封装的一些IO操作类
34 org.archive.io.arc 针对arc格式的IO操作包
35 org.archive.io.warc 针对warc格式的IO操作包
36 org.archive.net Heritrix扩展了java.net的包,主要扩展java.net.URI类
37 org.archive.net.md5 Heritrix对URL MD5加密包,所用不多,待研究
38 org.archive.net.rsync 还没接触到,待研究
39 org.archive.net.s3 还没接触到,待研究
40 org.archive.queue 还没接触到,待研究
41 org.archive.uid Heritrix ID管理,主要针对URI
42 org.archive.util 整个Heritrix的工具类
43 org.archive.util.anvl 还没接触到,待研究
44 org.archive.util.bdbje Heritrix对BDB的封装
45 org.archive.util.fingerprint 还没接触到,待研究
46 org.archive.util.iterator Heritrix自身封装的迭代器
47 org.archive.util.ms 还没接触到,待研究
48 st.ata.util 扩展的其他包,待研究            


Heritrix自己的包有48个之多,还有它导入的第三方包也有30多个,可见其复杂性...

你可能感兴趣的:(apache,.net,qq,配置管理,Solr)

  • 【diffusers极速入门（四）】EMA 操作是什么？ 多恩Stone DiffusionAIGCTransformer人工智能深度学习pytorchpythonAIGCdiffusers
    系列文章目录【diffusers极速入门（一）】pipeline实际调用的是什么？call方法!【diffusers极速入门（二）】如何得到扩散去噪的中间结果？Pipelinecallbacks管道回调函数【diffusers极速入门（三）】生成的图像尺寸与UNet和VAE之间的关系本文将介绍diffusers中常见的EMA操作。提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章
  • 【diffusers极速入门（六）】缓存梯度和自动放缩学习率以及代码详解 多恩Stone AIGCDiffusion编程学习diffuserspytorchAIDeeplearningAIGCpython
    系列文章目录【diffusers极速入门（一）】pipeline实际调用的是什么？call方法!【diffusers极速入门（二）】如何得到扩散去噪的中间结果？Pipelinecallbacks管道回调函数【diffusers极速入门（三）】生成的图像尺寸与UNet和VAE之间的关系【diffusers极速入门（四）】EMA操作是什么？【diffusers极速入门（五）】扩散模型中的Schedul
  • Flink访问Kerberos环境下的Hive 我若成风zhb flinkflinkkerberoshivehadoop
    目录测试环境工程搭建示例代码及运行总结本文主要介绍如何使用Flink访问Kerberos环境下的Hive。测试环境1.hive版本为2.1.12.flink版本为1.10.0工程搭建使用IDE工具通过Maven创建一个Java工程，具体创建过程就不详细描述了。1.在工程的pom.xml文件中增加如下依赖org.apache.flinkflink-java${flink.version}provid
  • 【spark床头书系列】如何在YARN上启动Spark官网权威详解说明 BigDataMLApplication sparkspark大数据分布式
    【spark床头书系列】如何在YARN上启动Spark官网权威详解说明点击这里看全文文章目录添加其他JAR文件准备工作配置调试应用程序Spark属性重要说明KerberosYARN特定的Kerberos配置Kerberos故障排除配置外部Shuffle服务使用ApacheOozie启动应用程序使用Spark历史服务器替代SparkWebUI官网链接确保HADOOP_CONF_DIR或者YARN_C
  • Ubuntu 网卡启动及配置 草莓奶忻 #Linuxubuntulinux
    文章目录问题分析查看网卡信息启动网卡配置网卡应用更改参考问题分析打开虚拟机后发现没有网卡网络。查看网卡信息sudoiplinksetens33up得到本机的所有网卡信息，例如我这边网卡为ens33启动网卡启动网卡后发现依然网卡没有IP地址。配置网卡ubuntuserver20.04采用读yaml配置文件的方式修改网卡配置，文件在/etc/netplan/下，一般为00-installer-conf
  • 【ELM回归预测】蜣螂算法优化极限学习机DBO-ELM数据回归预测【含Matlab源码 3566期】 Matlab仿真科研站 matlab
    欢迎来到Matlab仿真科研站博客之家✅博主简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，Matlab项目合作可私信。个人主页：Matlab仿真科研站博客之家代码获取方式：扫描文章底部QQ二维码⛳️座右铭：行百里者，半于九十；路漫漫其修远兮，吾将上下而求索。⛄更多Matlab神经网络预测与分类（仿真科研站版）仿真内容点击Matlab神经网络预测与分类（仿真科研站版）⛄一、蜣螂算法优化
  • 1.6 在7类LSA中利用FA地址解决次优路径问题 2301_80344964 网络
    1.实验目的了解OSPF的7类LSA的FA地址的作用2.实验拓扑3.基础配置R1[R1]discu[V200R003C00]#sysnameR1#interfaceGigabitEthernet0/0/0ipaddress10.0.13.1255.255.255.0#interfaceGigabitEthernet0/0/1ipaddress10.0.12.1255.255.255.0#inter
  • QRCNN-BiLSTM卷积神经网络-双向长短期记忆神经网络分位数回归区间预测附Matlab完整源码 天天酷科研 分位数回归区间预测（QR）QRCNN-BiLSTM卷积双向长短期记忆神经网络分位数回归区间预测
    效果模型描述QRCNN-BiLSTM卷积神经网络-双向长短期记忆神经网络分位数回归区间预测附Matlab完整源码QRCNN-BiLSTM（QuantileRegressionConvolutionalNeuralNetwork-BidirectionalLongShort-TermMemory）是一种结合了卷积神经网络（CNN）和双向长短期记忆神经网络（BiLSTM）的分位数回归模型，用于区间预测
  • XXL-RPC v1.9.0 | RPC服务框架
    ReleaseNotes1、【优化】服务底层代码重构优化，精简依赖、减少依赖包体；2、【调整】内置注册中心XxlRpcRegister(xxl-rpc-admin)迁移，整合至XXL-CONF：XXL-CONF：一站式服务管理平台（配置中心、注册中心），提供动态配置管理、服务注册及发现能力；降低中间件认知及运维成本。Github：https://github.com/xuxueli/xxl-con
  • Apache Airflow 2.1.2：开源工作流管理系统的全面指南 銀河鐵道的企鵝
    本文还有配套的精品资源，点击获取简介：ApacheAirflow2.1.2是一个开源的工作流管理系统，用于编排、调度和监控复杂的业务逻辑。它基于DAG（有向无环图）概念，通过Python代码定义任务的Operator，定义任务的执行顺序和条件。该版本提供了任务调度、监控、错误处理、插件扩展和多环境管理等核心功能。解压后包含许可证文件、文档和源代码目录等，且介绍了安装和运行步骤。Airflow适用于
  • 神经网络入门推荐知识,神经网络入门书籍推荐 快乐的小肥熊 ai智能写作神经网络matlab人工智能python
    适合初学者的神经网络和遗传算法资料遗传算法（GeneticAlgorithm）是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法。遗传算法是从代表问题可能潜在的解集的一个种群（population）开始的，而一个种群则由经过基因（gene）编码的一定数目的个体(individual)组成。每个个体实际上是染色体(chromosome)带
  • qml显示加载QWidget窗口 令狐掌门 QML入门进阶教程qml显示QWidget
    本篇博客介绍如何在qml界面里显示QWidget窗口，开发环境Qt6.5.3qml.视频讲解：https://edu.csdn.net/learn/40003/654001?spm=3001.4143qml和QWidget是两套独立的开发方式，二者的窗口可以相互嵌套显示，本篇博客介绍把QWidget窗口封装为动态库，然后在QML的窗口里显示出来，并且在qml窗口里可以链接QWidget界面类的方法
  • .NET 网页或json数据抓取系列：1 - 发送请求 RonaldRooney 网络数据抓取json.net
    1.创建HttpWebRequest发送请求，添加Headers信息，例如User-Agent,token,Authorizationvarclient=(HttpWebRequest)WebRequest.Create(newUri(url));client.Method=method;//Post或者Getclient.Headers.Add("User-Agent","Mozilla/5.0
  • 请大神指导android调用.NET后台的Json格式？？ 火星撞地球2012 .Nethttp接口.net接口android
    比如说做登录，需要到数据库里查询，这时，不是应该有一个后台，android发送一个请求给后台，后台以http接口形式反馈json数据给前台所以，我想问问后台怎么做？用.net的语言,最好有个Demo给小弟，只要实现一个接口的就行了，麻烦大家了。谢谢先。
  • asp.net json参数请求接口方法 suxuelian asp.netc#
    废话不多说，直接上源码调用代码：//请求实体varmodel=newPersonnel(){Name="赵思文",Sex="男"};//请求接口varhtml=PostHtmlByJson("http://www.test.api.com",JsonConvert.SerializeObject(model));请求方法//////post请求方法//////请求地址///json参数///pub
  • .Net HTTP 请求封装代码 code36 C#&.Net开发http网络协议.net
    有了这些方法请求第三api接口就不用慌了，拷贝就可以用了定义了一个请求的接口IHttpClientMananger：1）POST请求泛型数据//////POST请求泛型数据//////请求的对象///地址///参数///头部数据///TaskPostEntityAsync(stringurl,HttpContenthttpContent,Dictionaryheads=null);2）Form表单
  • 【SpringCloud微服务实战04】Nacos 配置中心 李维山 javaspringcloudspringboot
    一、Nacos配置添加二、Nacos配置读取1、引入Nacos的配置管理客户端依赖：com.alibaba.cloudspring-cloud-starter-alibaba-nacos-config2、在客户端服务中的resource目录添加bootstrap.yml引导文件，添加配置如下：（优先级高于application.yml）spring:application:
  • 探索Json.NET：高效JSON处理的首选库 毕习沙Eudora
    探索Json.NET：高效JSON处理的首选库项目地址:https://gitcode.com/gh_mirrors/ne/Newtonsoft.Json项目介绍Json.NET是一个强大且高度可定制的JSON库，专为.NET开发者设计。它由JamesNewton-King创建并维护，以其卓越的性能和易用性赢得了广泛的赞誉。作为最受欢迎的.NETJSON库之一，Json.NET提供了从JSON到.
  • .net 如何处理网页的Json请求？ 周山至水数翠峰 .netjson服务器
    一、传变量客户端请求客户端一般是用Jscript写的，传送变量，代码如下：functionsave(i){//这是用PostMethod使用var1=value1&var2=value2格式传送数据varcount=chkCount.value;varchk0="";for(k=0;kSave1(stringchk0){intn=0;string[]sa=chk0.Split(",");Listc
  • 【win11】amd全大核CPU调度异常，或inter大小核自定义调度配置 东哥他爸 windows
    前言台式机一般使用高性能，笔记本一般是平衡或oem提供的电源选项不建议修改选项，但在内部很多设置被隐藏了，需要手动打开隐藏的设置惠普战99为例驱动装完了以后默认设置都大小核，但CPU是AMD锐龙7系列所以是全大核，需要进行调整，命令如下：CPU核心调度配置管理员运行CMD命令行输入如下命令：生效的异类策略powercfg-attributesSUB_PROCESSOR7f2f5cfa-f10c-4
  • 【蓝牙学习笔记一】三种实现蓝牙架构 理茶德 蓝牙蓝牙协议栈BLE蓝牙蓝牙架构
    实现蓝牙的三种架构实现蓝牙的三种架构通过阅读这篇博文的学习总结https://blog.csdn.net/iini01/article/details/799439081.Host+controller双芯片标准架构：将host和controller放在两个芯片上面这种双芯片架构通常用在手机上的蓝牙应用实现。手机里面有很多SoC(systemonchip系统级芯片)和模块，这些SoC和模块都有自己
  • 使用Jmeter进行压力测试 海人_IOes Jmeterjmeter压力测试服务器
    文章目录一、压力测试关注点1、压力测试分为两种测试场景2、压测参数设置3、压测结果查看4、压测结果分析5、影响性能的主要参考因素二、压测脚本的编写1、创建线程组2、配置元件3、取样器4、响应断言5、添加监听器6、执行测试测试计划，查看测试报告7、命令行执行测试计划，查看测试报告参考地址：https://blog.csdn.net/weixin_45189665/article/details/12
  • Kubernetes满足高性能计算 qichengzong_right kubernetes云原生linuxlinux云原生kubernetes
    Kubernetes满足高性能计算Kubernetes满足高性能计算HPC工作负载的独特挑战打破容器和HPC之间的界限现有方法Kubernetes上的混合工作负载在IHME部署混合工作负载链接文章内容大部分翻译自kubernetes官方博文KubernetesMeetsHigh-PerformanceComputing，文章编写时间较早，结合自身认知对内容进行标注解释。Kubernetes满足高性
  • 关于在GitLab的CI/CD中用docker buildx本地化多架构打包dotnet应用的问题 公西雒 linuxC#gitlabci/cddockerdotnetQEMU
    关于在GitLab的CI/CD中用dockerbuildx本地化多架构打包dotnet应用的问题这是一个DevOps综合性问题dockerbuildx多架构打包.NET应用的问题用QEMU模拟多架构环境打包这是一个DevOps综合性问题网络上的方案都是细分的领域，未见一个集成了GitLab+docker+dotnet的多架构DevOps方案。由此，才产生了这篇文章，来说一说，我在自动化持续交付的过
  • 使用GitLab CI/CD部署应用到Kubernetes集群的方案 拿我格子衫来 GitLabCI/CD教程ci/cdkubernetesdevops
    最近业余时间调研了一下在GitLabCI/CD中部署应用到Kubernetes的方案。这是一个老生常谈的话题，很多粉丝和读者问我如何部署应用到K8s中。其实思路是很清晰的，只是其中又很多点大家可能无法串起来。那么本篇文章就带领大家实践一下如何做CD的方案。本方案的好处就是，读者不需要了解太多关K8s相关知识也可以实现该方案。Kubernets的命令行工具是kubectl。就像我们使用docker命
  • JMeter在Mac下的安装使用 晓风残月Yuperman 系统安全软件工程jmeter
    博主介绍：大家好，我是想成为Super的Yuperman，互联网宇宙厂经验，17年医疗健康行业的码拉松奔跑者，曾担任技术专家、架构师、研发总监负责和主导多个应用架构。技术范围：目前专注java体系，有多年java、golang、.Net、DDD、软件架构、redis、nginx、tomcat、mysql、oracle等经验业务范围：对传统业务应用技术转型，从数字医院到区域医疗，从院内业务系统到互联
  • Apache Hive 聚合函数与 OVER 窗口函数：从基础到高级应用 大鳥 sqlhiveapachehivehadoop
    在大数据时代，ApacheHive是处理和分析海量数据的强大工具。Hive提供了丰富的聚合函数和强大的OVER窗口函数，能够帮助我们高效地进行数据分析。本文将综合介绍Hive的聚合函数和OVER窗口函数，结合实际使用场景和代码示例，帮助读者深入理解这些功能，尤其是它们在时间序列分析中的应用。一、Hive聚合函数基础聚合函数是Hive中用于对一组数据进行计算并返回单个值的函数。它们在数据分析中非常常
  • ping命令第1版主流程的源码分析
    我们知道，ping命令是通过ICMP（InternetControlMessageProtocol，互联网控制消息协议）来检测网络连通性和延迟的。执行ping命令的主机（源主机）会向目标主机发送ICMPEchoRequest报文，目标主机收到该报文后，应响应ICMPEchoReply报文。如果源主机能够收到目标主机返回的ICMPEchoReply报文，就说明目标主机可达。再根据当前时间戳与发送时间
  • Linux上安装Apache HTTP服务器 华科℡云 linux运维服务器
    ApacheHTTPServer，简称Apache，是世界上最流行的开源Web服务器软件之一。它以其高度的可靠性、强大的功能和广泛的兼容性而闻名。在Linux操作系统上安装Apache服务器是一个相对简单的过程，无论是用于个人网站托管、企业服务部署，还是作为开发测试环境，Apache都是一个不错的选择。以下是在Linux上安装ApacheHTTP服务器的详细步骤。1.更新软件包列表在安装任何新软件
  • 在Linux系统上使用nmcli命令配置各种网络（有线、无线、vlan、vxlan、路由、网桥等） m0_74823983 面试学习路线阿里巴巴linux网络服务器
    1、更新于2024/5/13，新增VethPair配置2、更新于2024/5/19，修复NetworkManager接管网络配置无效的错误3、更新于2024/5/20，新增Ubuntu两种版本下NetworkManager接管网络的配置目录一、配置NetworkManager接管网络（选）安装Network-Manager并启动netplan管理网络的系统ifupdown管理网络的系统二、nmcl
  • 分享100个最新免费的高匿HTTP代理IP mcj8089 代理IP代理服务器匿名代理免费代理IP最新代理IP
      推荐两个代理IP网站：   1. 全网代理IP：http://proxy.goubanjia.com/   2. 敲代码免费IP：http://ip.qiaodm.com/     120.198.243.130:80,中国/广东省 58.251.78.71:8088,中国/广东省 183.207.228.22:83,中国/
  • mysql高级特性之数据分区 annan211 java数据结构mongodb分区mysql
    mysql高级特性 1 以存储引擎的角度分析，分区表和物理表没有区别。是按照一定的规则将数据分别存储的逻辑设计。器底层是由多个物理字表组成。 2 分区的原理 分区表由多个相关的底层表实现，这些底层表也是由句柄对象表示，所以我们可以直接访问各个分区。存储引擎管理分区的各个底层 表和管理普通表一样(所有底层表都必须使用相同的存储引擎)，分区表的索引只是
  • JS采用正则表达式简单获取URL地址栏参数 chiangfai js地址栏参数获取
    GetUrlParam:function GetUrlParam(param){ var reg = new RegExp("(^|&)"+ param +"=([^&]*)(&|$)"); var r = window.location.search.substr(1).match(reg); if(r!=null
  • 怎样将数据表拷贝到powerdesigner (本地数据库表) Array_06 powerDesigner
    ================================================== 1、打开PowerDesigner12，在菜单中按照如下方式进行操作 file->Reverse Engineer->DataBase 点击后，弹出 New Physical Data Model 的对话框 2、在General选项卡中 Model name:模板名字，自
  • logbackのhelloworld 飞翔的马甲 日志logback
    一、概述 1.日志是啥？ 当我是个逗比的时候我是这么理解的：log.debug()代替了system.out.print(); 当我项目工作时，以为是一堆得.log文件。 这两天项目发布新版本，比较轻松，决定好好地研究下日志以及logback。 传送门1：日志的作用与方法： http://www.infoq.com/cn/articles/why-and-how-log 上面的作
  • 新浪微博爬虫模拟登陆 随意而生 新浪微博
    转载自：http://hi.baidu.com/erliang20088/item/251db4b040b8ce58ba0e1235     近来由于毕设需要，重新修改了新浪微博爬虫废了不少劲，希望下边的总结能够帮助后来的同学们。      现行版的模拟登陆与以前相比，最大的改动在于cookie获取时候的模拟url的请求
  • synchronized 香水浓 javathread
        Java语言的关键字，可用来给对象和方法或者代码块加锁，当它锁定一个方法或者一个代码块的时候，同一时刻最多只有一个线程执行这段代码。当两个并发线程访问同一个对象object中的这个加锁同步代码块时，一个时间内只能有一个线程得到执行。另一个线程必须等待当前线程执行完这个代码块以后才能执行该代码块。然而，当一个线程访问object的一个加锁代码块时，另一个线程仍然
  • maven 简单实用教程 AdyZhang maven
    1. Maven介绍  1.1. 简介 java编写的用于构建系统的自动化工具。目前版本是2.0.9，注意maven2和maven1有很大区别，阅读第三方文档时需要区分版本。 1.2. Maven资源 见官方网站；The 5 minute test，官方简易入门文档；Getting Started Tutorial，官方入门文档；Build Coo
  • Android 通过 intent传值获得null aijuans android
    我在通过intent 获得传递兑现过的时候报错，空指针,我是getMap方法进行传值，代码如下 1 2 3 4 5 6 7 8 9 public void getMap(View view){            Intent i =
  • apache 做代理 报如下错误：The proxy server received an invalid response from an upstream baalwolf response
    网站配置是apache＋tomcat,tomcat没有报错，apache报错是： The proxy server received an invalid response from an upstream server. The proxy server could not handle the request GET /. Reason: Error reading fr
  • Tomcat6 内存和线程配置 BigBird2012 tomcat6
    1、修改启动时内存参数、并指定JVM时区 （在windows server 2008 下时间少了8个小时） 在Tomcat上运行j2ee项目代码时，经常会出现内存溢出的情况，解决办法是在系统参数中增加系统参数：  window下， 在catalina.bat最前面 set JAVA_OPTS=-XX:PermSize=64M -XX:MaxPermSize=128m -Xms5
  • Karam与TDD bijian1013 KaramTDD
    一.TDD         测试驱动开发（Test-Driven Development,TDD）是一种敏捷（AGILE）开发方法论，它把开发流程倒转了过来，在进行代码实现之前，首先保证编写测试用例，从而用测试来驱动开发（而不是把测试作为一项验证工具来使用）。         TDD的原则很简单： a.只有当某个
  • [Zookeeper学习笔记之七]Zookeeper源代码分析之Zookeeper.States bit1129 zookeeper
    public enum States { CONNECTING, //Zookeeper服务器不可用，客户端处于尝试链接状态 ASSOCIATING, //？？？ CONNECTED, //链接建立，可以与Zookeeper服务器正常通信 CONNECTEDREADONLY, //处于只读状态的链接状态，只读模式可以在
  • 【Scala十四】Scala核心八：闭包 bit1129 scala
    Free variable A free variable of an expression is a variable that’s used inside the expression but not defined inside the expression. For instance, in the function literal expression (x: Int) => (x
  • android发送json并解析返回json ronin47 android
    package com.http.test; import org.apache.http.HttpResponse; import org.apache.http.HttpStatus; import org.apache.http.client.HttpClient; import org.apache.http.client.methods.HttpGet; import
  • 一份IT实习生的总结 brotherlamp PHPphp资料php教程php培训php视频
    今天突然发现在不知不觉中自己已经实习了 3 个月了，现在可能不算是真正意义上的实习吧，因为现在自己才大三，在这边撸代码的同时还要考虑到学校的功课跟期末考试。让我震惊的是，我完全想不到在这 3 个月里我到底学到了什么，这是一件多么悲催的事情啊。同时我对我应该 get 到什么新技能也很迷茫。所以今晚还是总结下把，让自己在接下来的实习生活有更加明确的方向。最后感谢工作室给我们几个人这个机会让我们提前出来
  • 据说是2012年10月人人网校招的一道笔试题-给出一个重物重量为X,另外提供的小砝码重量分别为1，3，9。。。3^N。 将重物放到天平左侧，问在两边如何添加砝码 bylijinnan java
    public class ScalesBalance { /** * 题目： * 给出一个重物重量为X,另外提供的小砝码重量分别为1，3，9。。。3^N。 （假设N无限大，但一种重量的砝码只有一个） * 将重物放到天平左侧，问在两边如何添加砝码使两边平衡 * * 分析： * 三进制 * 我们约定括号表示里面的数是三进制，例如 47=(1202
  • dom4j最常用最简单的方法 chiangfai dom4j
    要使用dom4j读写XML文档,需要先下载dom4j包,dom4j官方网站在 http://www.dom4j.org/目前最新dom4j包下载地址:http://nchc.dl.sourceforge.net/sourceforge/dom4j/dom4j-1.6.1.zip 解开后有两个包,仅操作XML文档的话把dom4j-1.6.1.jar加入工程就可以了,如果需要使用XPath的话还需要
  • 简单HBase笔记 chenchao051 hbase
     一、Client-side write buffer 客户端缓存请求 描述：可以缓存客户端的请求，以此来减少RPC的次数，但是缓存只是被存在一个ArrayList中，所以多线程访问时不安全的。 可以使用getWriteBuffer()方法来取得客户端缓存中的数据。 默认关闭。 二、Scan的Caching 描述： next( )方法请求一行就要使用一次RPC,即使
  • mysqldump导出时出现when doing LOCK TABLES daizj mysqlmysqdump导数据
    　　执行　mysqldump -uxxx -pxxx -hxxx -Pxxxx database tablename > tablename.sql　 导出表时，会报 mysqldump: Got error: 1044: Access denied for user 'xxx'@'xxx' to database 'xxx' when doing LOCK TABLES 解决
  • CSS渲染原理 dcj3sjt126com Web
      从事Web前端开发的人都与CSS打交道很多，有的人也许不知道css是怎么去工作的，写出来的css浏览器是怎么样去解析的呢？当这个成为我们提高css水平的一个瓶颈时，是否应该多了解一下呢？          一、浏览器的发展与CSS           
  • 《阿甘正传》台词 dcj3sjt126com
    Part Ⅰ: 《阿甘正传》Forrest Gump经典中英文对白 Forrest: Hello! My names Forrest. Forrest Gump. You wanna Chocolate? I could eat about a million and a half othese. My momma always said life was like a box ochocol
  • Java处理JSON dyy_gusi json
    Json在数据传输中很好用，原因是JSON 比 XML 更小、更快，更易解析。 在Java程序中，如何使用处理JSON，现在有很多工具可以处理，比较流行常用的是google的gson和alibaba的fastjson，具体使用如下： 1、读取json然后处理 class ReadJSON { public static void main(String[] args)
  • win7下nginx和php的配置 geeksun nginx
    1.  安装包准备 nginx :  从nginx.org下载nginx-1.8.0.zip php： 从php.net下载php-5.6.10-Win32-VC11-x64.zip， php是免安装文件。 RunHiddenConsole: 用于隐藏命令行窗口   2. 配置 # java用8080端口做应用服务器，nginx反向代理到这个端口即可 p
  • 基于2.8版本redis配置文件中文解释 hongtoushizi redis
    转载自： http://wangwei007.blog.51cto.com/68019/1548167        在Redis中直接启动redis-server服务时, 采用的是默认的配置文件。采用redis-server   xxx.conf 这样的方式可以按照指定的配置文件来运行Redis服务。下面是Redis2.8.9的配置文
  • 第五章 常用Lua开发库3-模板渲染 jinnianshilongnian nginxlua
    动态web网页开发是Web开发中一个常见的场景，比如像京东商品详情页，其页面逻辑是非常复杂的，需要使用模板技术来实现。而Lua中也有许多模板引擎，如目前我在使用的lua-resty-template，可以渲染很复杂的页面，借助LuaJIT其性能也是可以接受的。   如果学习过JavaEE中的servlet和JSP的话，应该知道JSP模板最终会被翻译成Servlet来执行；而lua-r
  • JZSearch大数据搜索引擎 颠覆者 JavaScript
    系统简介： 大数据的特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。网络日志、视频、图片、地理位置信息等等。第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——Volume，Variety，Value，Velocity。大数据搜索引
  • 10招让你成为杰出的Java程序员 pda158 java编程框架
    如果你是一个热衷于技术的  Java 程序员， 那么下面的 10 个要点可以让你在众多 Java 开发人员中脱颖而出。 　　 1. 拥有扎实的基础和深刻理解 OO 原则 　　对于 Java 程序员，深刻理解 Object Oriented Programming（面向对象编程）这一概念是必须的。没有 OOPS 的坚实基础，就领会不了像 Java 这些面向对象编程语言
  • tomcat之oracle连接池配置 小网客 oracle
    tomcat版本7.0 配置oracle连接池方式： 修改tomcat的server.xml配置文件： <GlobalNamingResources> <Resource name="utermdatasource" auth="Container" type="javax.sql.DataSou
  • Oracle 分页算法汇总 vipbooks oraclesql算法.net
        这是我找到的一些关于Oracle分页的算法，大家那里还有没有其他好的算法没？我们大家一起分享一下！ -- Oracle 分页算法一 select * from ( select page.*,rownum rn from (select * from help) page -- 20 = (currentPag
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他