lionzl
lionzl

基于Web-Harvest抓取

基于Web-Harvest抓取

  (2012-02-11 10:34:24)
转载▼
标签： 

web-harvest

 

抓取

 

代码

 

xml

 

工具

 

杂谈

 分类： 信息抽取
1.建立工程，导入相应的包 
编写配置文件 

<?xml version="1.0" encoding="UTF-8"?> 

<config charset="UTF-8"> 

<!-- iterates over all collected apartments and extract desired data --> 
<file action="write" path="archstone/listings.xml" charset="UTF-8"> 
<![CDATA[ <catalog> ]]> 

<!-- loop through all collected links on the downloaded page --> 
<loop item="state"> 
<list> 
<xpath expression="//select[@id='ctl00_ctl09_m_findAnApartment_cboStateSearchAsyncAction']/option[position()>1]/@value"> 
<html-to-xml> 
<http url="http://www.archstoneapartments.com"></http> 
</html-to-xml> 
</xpath> 
</list> 

<body>
<empty> 
<var-def name="listings" id="listings"> 
<xpath expression="//div[@id='ctl00_DefaultContent_vBodyResults']//tr[(@class='item' or @class='altitem') and (position() mod 2 = 0)]"> 
<html-to-xml> 
<http url="http://www.archstoneapartments.com/Search_Results.htm?state=${state}"></http> 
</html-to-xml> 
</xpath> 
</var-def> 
</empty> 

<loop item="item" index="i"> 
<list> 
<var name="listings"></var> 
</list> 

<body> 
<xquery> 
<xq-param name="item" type="node()"> 
<var name="item"></var> 
</xq-param> 

<xq-expression> 
<![CDATA[ 
declare variable $item as node() external; 

let $headline := data($item//td[@class='details-column']/div/div[1]/a/text()) 
let $addr1 := data($item//td[@class='details-column']/div/div[2]/text()) 
let $area := data($item//td[@class='details-column']/div/div[3]/text()) 

return 
<listing> 
<headline>{normalize-space($headline)}</headline> 
<address>{normalize-space($addr1)}</address> 
<area>{normalize-space($area)}</area> 
</listing> 
]]> 
</xq-expression> 
</xquery> 
</body> 
</loop> 

</body> 
</loop> 

<![CDATA[ </catalog> ]]> 
</file> 

</config> 


2.编写Java代码 

import java.io.IOException; 

import org.webharvest.definition.ScraperConfiguration; 
import org.webharvest.runtime.Scraper; 

public class Test { 

public static void main(String[] args) throws IOException { 

ScraperConfiguration config = new ScraperConfiguration("c:/archstone.xml"); 
Scraper scraper = new Scraper(config, "c:/tmp/"); 
scraper.setDebug(true); 

System.out.println("running ); 
long startTime = System.currentTimeMillis(); 
scraper.execute(); 
System.out.println("time elapsed: " + (System.currentTimeMillis() - startTime)); 

} 
} 

3.查看执行结果 
<catalog> 
<listing> 
<headline>Archstone Arrowhead</headline> 
<address>7701 W. St. John Rd.</address> 
<area>Glendale, AZ 85308</area> 
</listing> 
<listing> 
<headline>Archstone Desert Harbor</headline> 
<address>8885 W Thunderbird Rd.</address> 
<area>Peoria, AZ 85381</area> 
</listing> 
<listing> 
<headline>Archstone Tempe Groves</headline> 
<address>909 W. Grove Pkwy.</address> 
<area>Tempe, AZ 85283</area> 
</listing> 
<listing> 
<headline>Ironwood Apartments at SanTan</headline> 
<address>2910 S. Greenfield Rd.</address> 
<area>Gilbert, AZ 85295</area> 
</listing> 
... 
</catalog> 

4.结论 
Web-harvest很酷，可以对这个结果进行进一步使用和分析。到后来怎么获取数据呢？请看下面的简单代码：就是通过scraper去获取配置文件中的变量，并转化为java中的变量类型就行可以了 

Variable title = (Variable) scraper.getContext().get("headline"); 
return title.toString(); 

在使用完一个scraper之后，要记得通过scraper.dispose()方法来释放，要不然会使用的内存越来越多，最后outofmemory！ 
支持中文的也不错，关键是要合理选择好字符集！ 

你可能感兴趣的:(基于Web-Harvest抓取)

  • AutoScraper: 智能、自动、快速的Python网页抓取利器
    AutoScraper简介在当今数据驱动的时代,网页抓取已成为获取大量在线数据的重要手段。然而,传统的网页抓取方法往往需要编写复杂的代码,并且在面对不同网站结构时缺乏灵活性。AutoScraper应运而生,它是一个智能、自动、快速且轻量级的Python网页抓取库,旨在简化网页抓取过程,让数据获取变得更加便捷。AutoScraper的核心理念是"学习"抓取规则。用户只需提供目标网页的URL或HTML
  • 【Python入门】极速爬取：用Python Autoscraper库简化网络数据抓取
    ️极速爬取：用PythonAutoscraper库简化网络数据抓取你是否梦想过能够以闪电般的速度从网上抓取数据，而无需深入了解复杂的爬虫技术？️是否想要一个简单易用的工具，让你快速上手网络爬虫，而不必担心代码的繁琐？如果你的答案是肯定的，那么这篇文章将是你的加速器。让我们一起探索Python的Autoscraper库，学习如何用它来简化网络数据抓取的过程。引言在信息爆炸的时代，能够快速从互联网上抓
  • 【EI复现】基于深度强化学习的微能源网能量管理与优化策略研究（Python代码实现）
    欢迎来到本博客❤️❤️博主优势：博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。⛳️座右铭：行百里者，半于九十。本文目录如下：目录1概述一、微能源网能量管理的基本概念与核心需求二、深度强化学习（DRL）在微能源网中的应用优势三、关键技术挑战四、现有基于DRL的优化策略案例五、相关研究文档的典型结构与撰写规范六、结论与未来方向2运行结果2.1有/无策略奖励2.2训练结果12.2训练结果23参考文献
  • Python实例题：基于 Python 的简单爬虫与数据可视化 狐凄 实例python开发语言
    目录Python实例题题目要求：解题思路：代码实现：Python实例题题目基于Python的简单爬虫与数据可视化要求：使用Python构建一个简单的爬虫程序，支持以下功能：从指定网站抓取数据（如新闻、商品信息等）解析HTML内容并提取所需信息将数据存储到文件或数据库对抓取的数据进行统计和可视化分析使用requests和BeautifulSoup进行网页爬取和解析。使用pandas和matplotl
  • 基于Python的气象数据分析及可视化研究
    气象数据作为地球系统科学的核心要素，其分析与可视化在气候研究、灾害预警、农业生产等领域具有战略性意义。本文以Python技术栈为基座，系统探讨气象数据的采集预处理、多维度分析模型及可视化表达范式，通过3000+字深度研究揭示Pandas时序处理、Xarray多维计算、Cartopy地理可视化等工具的核心方法论。内容涵盖全球再分析数据挖掘、极端天气模式识别、动态热力图构建等实战场景，并引入机器学习预
  • Windows10/11 轻度优化 纯净版，12个版本！
    系统介绍镜像包均基于微软官方原版系统精心制作，确保系统的原汁原味与稳定性。Windows10/11，都集成了最新的补丁。版本选对，一键安装到位，全自动无人值守安装模式。系统特点系统进行优化提供了12个系统版本集成了运行库、网卡驱动、首次联网更新补齐驱动系统版本介绍️1.Windows_11_24H2_64位_LTSC企业版【版本号26100.4349】MD5：48F2C6E9FF98F14187C
  • 第G1周：生成对抗网络（GAN）入门
    本文为365天深度学习训练营原作者：K同学啊基础任务：1.了解什么是生成对抗网络2.生成对抗网络结构是怎么样的3.学习本文代码，并跑通代码进阶任务：调用训练好的模型生成新图像一、理论基础生成对抗网络（GenerativeAdversarialNetworks,GAN）是近年来深度学习领域的一个热点方向。GAN并不指代某一个具体的神经网络，而是指一类基于博弈思想而设计的神经网络。GAN由两个分别被称
  • 3、使用Zappa构建基于Flask的REST API js777 FlaskZappaRESTAPI
    使用Zappa构建基于Flask的RESTAPI1.技术要求与环境搭建在开始构建基于Flask的RESTAPI之前，我们需要确保开发环境已经准备好。以下是构建和部署无服务
  • 深入了解Transformer模型及其优缺点
    目录前言1Transformer结构特点1.1注意力机制（Self-Attention）1.2编码器-解码器架构1.3位置编码和基于注意力的损失函数2Transformer模型优缺点分析2.1Transformer模型的优点2.2Transformer模型的缺点3应用领域结语前言在当今人工智能领域，自然语言处理的关键问题之一是解决文本理解和生成中的挑战。传统的循环神经网络虽然在处理序列数据方面取得
  • SciPy 安装使用教程 小奇JAVA面试 安装使用教程scipy
    一、SciPy简介SciPy（ScientificPython）是基于NumPy的开源科学计算库，提供了数值积分、优化、信号处理、线性代数、统计分析等高级科学计算功能。它是构建Python科学计算生态系统的核心组件之一，常用于科研、工程、数据分析等领域。二、安装SciPy2.1使用pip安装（推荐）pipinstallscipy2.2使用Anaconda安装（科学计算推荐）condainstall
  • 【Linux】电脑安装 Ubuntu 系统
    如何安装Linux(Ubuntu)系统文章目录前言一、Ubuntu桌面镜像二、安装步骤1.下载iso镜像2.基于balenaEtcher写入镜像文件3.U盘启动安装总结前言多数情况下，我们通过虚拟机，如Vmware安装linux系统，但有时候为了更好的分配电脑的CPU或GPU性能，我们需要将电脑直接刷成linux系统。本篇介绍如何安装Ubuntu系统。一、Ubuntu桌面镜像Linux系统多数情况
  • YOLOv11安全检测项目_人员、安全帽、安全服、普通服装、头部、模糊服装、模糊头部目标检测 qq1309399183 计算机视觉实战项目集合YOLO目标检测人工智能深度学习计算机视觉
    YOLOv10与YOLOv11安全检测项目项目概述Safety本项目基于SF数据集（50,559张图像/7类别）对YOLOv10和YOLOv11模型进行对比研究，重点优化安全帽、安全服及模糊目标的工业场景检测性能。核心要素组件配置说明模型架构YOLOv10vsYOLOv11双模型对比数据集[SF)检测类别人员、安全帽、安全服、普通服装、头部、模糊服装、模糊头部训练参数•迭代周期：100epochs
  • mysql窗口函数详解 半桶水专家 mysqlmysql数据库
    .窗口函数概述窗口函数（WindowFunctions）用于在不分组的情况下对查询结果中的数据进行计算。不同于GROUPBY，窗口函数不会对结果进行聚合，而是对每一行数据进行计算，并且可以基于某个窗口（window）定义计算范围。语法结构：窗口函数()OVER([PARTITIONBY分区列][ORDERBY排序列][ROWS|RANGE选项])PARTITIONBY：对数据进行分区，类似GROU
  • springboot中使用websocket
    1、websocket的简介WebSocket是一种网络协议，用于在客户端和服务器之间进行实时、双向的通信。它与传统的HTTP协议不同，HTTP协议是基于请求-响应模式的，即客户端发送请求，服务器返回响应，通信完成后连接断开。而WebSocket在建立连接后，可以保持长时间的连接，双方可以通过该连接进行实时的数据传输。下面是WebSocket的一些特点和工作原理：双向通信：WebSocket允许服
  • 开源精粹：基于Qt+FFmpeg打造高效视频播放神器 尤钧竹Edwina
    开源精粹：基于Qt+FFmpeg打造高效视频播放神器项目地址:https://gitcode.com/open-source-toolkit/ee9df在多媒体应用领域，一个强大而简单的视频播放器是开发者的必备工具。今天，我们要向您推荐一款基于Qt与FFmpeg技术栈的视频播放器开源项目，这是一款旨在简化多媒体集成，加速产品开发进程的宝藏代码库。项目介绍这款视频播放器，通过结合Qt的图形界面优势和
  • 什么是多bin？对LoRa项目有什么价值？ javascript
    在物联网（IoT）项目中，固件升级（OTA升级）是维护和优化设备功能的重要环节。然而，对于使用LoRa技术的项目来说，由于通信速率有限、数据包大小受限（最大255字节），传统的基于IP的OTA升级方式并不适用。因此，多bin方案应运而生，成为LoRa项目中实现高效、低功耗固件升级的关键技术。什么是多bin？多bin方案的核心思想是将固件升级包分割成多个小的bin文件，通过多次LoRa通信将这些小包
  • 《python 数据分析 从入门到精通》读书笔记｜了解数据分析｜数据分析基础知识
    《python数据分析从入门到精通》读书笔记第一章：了解数据分析1.1什么是数据分析数据分析是利用数学、统计学理论与实践相结合的科学统计分析方法，对Excel数据、数据库中的数据、收集的大量数据、网页抓取的数据进行分析，从中提取有价值的信息并形成结论进行展示的过程。数据分析实际上是通过数据的规律来解决业务问题，以帮助实际工作中的管理者做出判断和决策。数据分析包括以下几个主要内容：（1）现状分析：分
  • SQL的底层逻辑解析 追逐此刻 SQLsql数据库
    SQL的底层逻辑涉及数据库管理系统(DBMS)如何解析、优化和执行SQL查询，主要包括以下几个层面：查询处理流程解析器(Parser)：将SQL语句转换为语法树查询优化器(Optimizer)：基于统计信息和成本模型生成最优执行计划执行引擎(Executor)：按照执行计划访问数据并返回结果存储引擎层面数据存储结构：通常基于B+树索引或LSM树等结构事务处理：通过锁机制或MVCC实现ACID特性缓
  • SpringCloud和SpringBoot版本对应关系 码农小麦 spring系列spring
    springcloud是基于springboot的，所以两者的版本关系需要兼容，否则会出现一些异常，以下是两者大版本的对应关系
  • Nuxt 2万字全面解析：从基础概念到高级部署与版本演进 睡不着的可乐 nuxt前端
    一、Nuxt框架概述1.1Nuxt简介与核心价值Nuxt是一个免费的开源框架，它以直观且可扩展的方式，基于Vue.js创建类型安全、高性能且适用于生产环境的全栈Web应用程序和网站(1)。作为Vue生态系统中最受欢迎的元框架之一，Nuxt提供了开箱即用的解决方案，简化了现代Web应用的开发流程，同时保持了Vue.js的灵活性和表现力。Nuxt的核心价值在于将Vue.js从一个视图层库扩展为完整的应
  • 14、基于扎根理论的抽象设计知识创建 info6 人机交互前沿：CHIRA2017精选论文集扎根理论抽象设计知识设计科学
    基于扎根理论的抽象设计知识创建1引言在设计科学领域，创建抽象设计知识是至关重要的。抽象设计知识不仅能够指导具体的设计实践，还能为理论研究提供坚实的基础。扎根理论作为一种质性研究方法，因其能够从具体的数据中归纳出理论，而成为创建抽象设计知识的理想工具。本文将探讨如何利用扎根理论的方法，系统地创建和提炼抽象设计知识，从而为设计科学提供理论支持。扎根理论强调从数据中归纳出理论，这种方法非常适合处理复杂的
  • 浅析基于深度学习算法的日语OCR技术原理及其应用场景 AI人工智能+ TEL18600524535ocr文字识别人工智能
    在全球数字化进程加速的今天，日语作为世界第九大使用语言，其文字处理的自动化需求日益凸显，日语OCR技术应运而生。中科逸视日文OCR技术是一款基于先进人工智能技术的专业光学字符识别(OCR)解决方案，专门针对日语文本的数字化需求设计开发。能够将纸质文档、图片中的日文内容快速准确地转换为可编辑、可搜索的电子文本，大幅提升日文资料的处理效率，为企业国际化运营和个人日语学习提供强有力的技术支持。技术原理中
  • 浅析通用文字识别OCR技术的工作过程及其应用场景 AI人工智能+ TEL18600524535人工智能ocr计算机视觉图像处理文字识别
    通用文字识别技术作为人工智能领域的重要分支，正深刻地改变着人们的生活与工作方式。通用文字识别技术基于光学字符识别（OCR）技术发展而来，其核心原理是通过对图像中文字的特征提取与分析，将其转化为计算机能够理解和处理的文本信息。这一过程涉及多个关键步骤：图像预处理：输入的图片可能存在光照不均、倾斜、模糊等问题，预处理阶段会对图像进行灰度化、降噪、二值化、倾斜校正等操作，以提高文字的清晰度和可识别性。例
  • 基于Spring Boot + MyBatis-Plus + Thymeleaf的评论管理系统深度解析 召田最帅boy javaspringbootmybatis后端
    你好呀，我是小邹。个人博客系统日渐完善，现在的文章评论以及留言数量逐渐增多，所以今天重构了管理后台的评论列表（全量查询->分页条件搜索）。示例图网页端手机端一、系统架构设计与技术选型系统采用前后端分离架构，但后端保留模板渲染能力（Thymeleaf），兼顾管理后台的快速开发与前后端协作的灵活性。核心选型如下：层次技术/框架选择理由后端SpringBoot2.7.x简化配置、自动装配、内置Tomca
  • 可观测性大脑：Pyroscope+Tempo实现代码级根因定位 Star_Sea_77 云原生可观测性根因分析性能剖析分布式追踪智能运维
    可观测性大脑：Pyroscope+Tempo实现代码级根因定位摘要本文针对传统可观测性方案“指标、链路、性能数据割裂”的痛点（某电商故障定位平均耗时3.5小时），提出基于Pyroscope+Tempo的“可观测性大脑”方案。通过Prometheus告警触发性能热点与分布式链路的智能关联，实现从“指标异常”到“代码级根因”的一键定位：Pyroscope生成CPU火焰图锁定耗时代码方法，Tempo追溯
  • 基于 OpenCV 的图像 ROI 切割实现
    一、引言在计算机视觉领域，我们经常需要处理各种各样的图像数据。有时候，我们只对图像中的某一部分区域感兴趣，例如在一张人物照片中，我们可能只关注人物的脸部。在这种情况下，将我们感兴趣的区域从整个图像中切割出来，不仅可以节省计算量，还能提高程序的运行速度。这就是我们所说的ROI（RegionofInterest，感兴趣区域）切割。二、ROI切割的原理2.1图像数据的存储在使用OpenCV进行图像读取时
  • 蒙特卡罗方法与深度学习的关系 AGI大模型与大数据研究院 AI大模型应用开发实战计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    蒙特卡罗方法与深度学习的关系作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来蒙特卡罗方法和深度学习都是近年来在计算科学和人工智能领域取得重大突破的技术。蒙特卡罗方法是一种基于随机抽样的数值计算方法，广泛应用于物理、工程、金融等领域。深度学习则是一种基于人工神经网络的学习方法，在图像识别、语音识别、自然语言处理等领域取得了显
  • 六种扎根理论的编码方法 大锤资源 学习经验分享
    一、实境编码1.概念：实境编码是一种基于参与者原生语言的质性编码方法，其核心在于直接采用研究对象在访谈、观察或文本中使用的原始词汇、短语或独特表达作为分析代码。该方法通过保留数据的"原生态"语言形式（如方言、隐喻、习惯用语），强制研究者摒弃预设范畴，从底层捕捉参与者的真实认知框架和文化语境。2.目的：通过保留参与者的原始语言，实境编码帮助研究者保持对参与者生活经验的忠实表达，并避免解释性偏差。3.
  • 蒙特卡洛方法：随机抽样的艺术与科学 大千AI助手 人工智能Python#OTHER机器学习人工智能贝叶斯概率蒙特卡洛随机
    本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！蒙特卡洛算法（MonteCarloMethod）是一类基于随机抽样解决确定性问题的计算方法，其核心思想是：通过大量随机实验的统计结果逼近复杂数学问题的解。它得名于摩纳哥的蒙特卡洛赌城（象征随机性），由冯·诺依曼、乌拉姆等科学家在曼哈顿计划中首次系统化应
  • 一篇文章了解_docker weixin_30729609 php测试python
    （一）Docker介绍2018年10月6日星期六15:04什么就Docker?Docker是一个开源项目，诞生于2013年初，最初是dotCloud公司内部的一个业余项目。它基于Google公司推出的Go语言实现。项目后来加入了Linux基金会，遵从了Apache2.0协议，项目代码在GitHub上进行维护。Docker项目的目标是实现轻量级的操作系统虚拟化解决方案。Docker的基础是Linux
  • 解读Servlet原理篇二---GenericServlet与HttpServlet 周凡杨 javaHttpServlet源理GenericService源码
    在上一篇《解读Servlet原理篇一》中提到，要实现javax.servlet.Servlet接口（即写自己的Servlet应用），你可以写一个继承自javax.servlet.GenericServletr的generic Servlet ，也可以写一个继承自java.servlet.http.HttpServlet的HTTP Servlet（这就是为什么我们自定义的Servlet通常是exte
  • MySQL性能优化 bijian1013 数据库mysql
            性能优化是通过某些有效的方法来提高MySQL的运行速度，减少占用的磁盘空间。性能优化包含很多方面，例如优化查询速度，优化更新速度和优化MySQL服务器等。本文介绍方法的主要有：         a.优化查询         b.优化数据库结构  
  • ThreadPool定时重试 dai_lm javaThreadPoolthreadtimertimertask
    项目需要当某事件触发时，执行http请求任务，失败时需要有重试机制，并根据失败次数的增加，重试间隔也相应增加，任务可能并发。 由于是耗时任务，首先考虑的就是用线程来实现，并且为了节约资源，因而选择线程池。 为了解决不定间隔的重试，选择Timer和TimerTask来完成 package threadpool; public class ThreadPoolTest {
  • Oracle 查看数据库的连接情况 周凡杨 sqloracle 连接
    首先要说的是，不同版本数据库提供的系统表会有不同，你可以根据数据字典查看该版本数据库所提供的表。 select * from dict where table_name like '%SESSION%'; 就可以查出一些表，然后根据这些表就可以获得会话信息 select sid,serial#,status,username,schemaname,osuser,terminal,ma
  • 类的继承 朱辉辉33 java
    类的继承可以提高代码的重用行，减少冗余代码；还能提高代码的扩展性。Java继承的关键字是extends 格式:public class 类名（子类）extends 类名（父类）{ } 子类可以继承到父类所有的属性和普通方法，但不能继承构造方法。且子类可以直接使用父类的public和 protected属性，但要使用private属性仍需通过调用。 子类的方法可以重写，但必须和父类的返回值类
  • android 悬浮窗特效 肆无忌惮_ android
    最近在开发项目的时候需要做一个悬浮层的动画，类似于支付宝掉钱动画。但是区别在于，需求是浮出一个窗口，之后边缩放边位移至屏幕右下角标签处。效果图如下：   一开始考虑用自定义View来做。后来发现开线程让其移动很卡，ListView+动画也没法精确定位到目标点。   后来想利用Dialog的dismiss动画来完成。   自定义一个Dialog后，在styl
  • hadoop伪分布式搭建 林鹤霄 hadoop
    要修改4个文件    1: vim hadoop-env.sh  第九行    2: vim core-site.xml            <configuration>     &n
  • gdb调试命令 aigo gdb
    原文：http://blog.csdn.net/hanchaoman/article/details/5517362   一、GDB常用命令简介   r run 运行.程序还没有运行前使用 c             cuntinue 
  • Socket编程的HelloWorld实例 alleni123 socket
    public class Client { public static void main(String[] args) { Client c=new Client(); c.receiveMessage(); } public void receiveMessage(){ Socket s=null; BufferedRea
  • 线程同步和异步 百合不是茶 线程同步异步
    多线程和同步 : 如进程、线程同步，可理解为进程或线程A和B一块配合，A执行到一定程度时要依靠B的某个结果，于是停下来，示意B运行；B依言执行，再将结果给A；A再继续操作。 所谓同步，就是在发出一个功能调用时，在没有得到结果之前，该调用就不返回，同时其它线程也不能调用这个方法   多线程和异步:多线程可以做不同的事情,涉及到线程通知     &
  • JSP中文乱码分析 bijian1013 javajsp中文乱码
            在JSP的开发过程中，经常出现中文乱码的问题。         首先了解一下Java中文问题的由来：         Java的内核和class文件是基于unicode的，这使Java程序具有良好的跨平台性，但也带来了一些中文乱码问题的麻烦。原因主要有两方面，
  • js实现页面跳转重定向的几种方式 bijian1013 JavaScript重定向
            js实现页面跳转重定向有如下几种方式： 一.window.location.href <script language="javascript"type="text/javascript"> window.location.href="http://www.baidu.c
  • 【Struts2三】Struts2 Action转发类型 bit1129 struts2
     在【Struts2一】 Struts Hello World http://bit1129.iteye.com/blog/2109365中配置了一个简单的Action，配置如下   <!DOCTYPE struts PUBLIC "-//Apache Software Foundation//DTD Struts Configurat
  • 【HBase十一】Java API操作HBase bit1129 hbase
    Admin类的主要方法注释：   1. 创建表 /** * Creates a new table. Synchronous operation. * * @param desc table descriptor for table * @throws IllegalArgumentException if the table name is res
  • nginx gzip ronin47 nginx gzip
    Nginx GZip 压缩 Nginx GZip 模块文档详见：http://wiki.nginx.org/HttpGzipModule 常用配置片段如下： gzip on; gzip_comp_level 2; # 压缩比例，比例越大，压缩时间越长。默认是1 gzip_types text/css text/javascript; # 哪些文件可以被压缩 gzip_disable &q
  • java-7.微软亚院之编程判断俩个链表是否相交 给出俩个单向链表的头指针，比如 h1 ， h2 ，判断这俩个链表是否相交 bylijinnan java
    public class LinkListTest { /** * we deal with two main missions: * * A. * 1.we create two joined-List(both have no loop) * 2.whether list1 and list2 join * 3.print the join
  • Spring源码学习-JdbcTemplate batchUpdate批量操作 bylijinnan javaspring
    Spring JdbcTemplate的batch操作最后还是利用了JDBC提供的方法，Spring只是做了一下改造和封装 JDBC的batch操作： String sql = "INSERT INTO CUSTOMER " + "(CUST_ID, NAME, AGE) VALUES (?, ?, ?)";
  • [JWFD开源工作流]大规模拓扑矩阵存储结构最新进展 comsci 工作流
        生成和创建类已经完成,构造一个100万个元素的矩阵模型,存储空间只有11M大,请大家参考我在博客园上面的文档"构造下一代工作流存储结构的尝试",更加相信的设计和代码将陆续推出.........     竞争对手的能力也很强.......,我相信..你们一定能够先于我们推出大规模拓扑扫描和分析系统的....
  • base64编码和url编码 cuityang base64url
    import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.PrintWriter; import java.io.StringWriter; import java.io.UnsupportedEncodingException;
  • web应用集群Session保持 dalan_123 session
    关于使用 memcached 或redis 存储 session ，以及使用 terracotta 服务器共享。建议使用 redis，不仅仅因为它可以将缓存的内容持久化，还因为它支持的单个对象比较大，而且数据类型丰富，不只是缓存 session，还可以做其他用途，一举几得啊。1、使用 filter 方法存储这种方法比较推荐，因为它的服务器使用范围比较多，不仅限于tomcat ，而且实现的原理比较简
  • Yii 框架里数据库操作详解-[增加、查询、更新、删除的方法 'AR模式'] dcj3sjt126com 数据库
        public function getMinLimit () {        $sql = "...";        $result = yii::app()->db->createCo
  • solr StatsComponent（聚合统计） eksliang solr聚合查询solr stats
    StatsComponent 转载请出自出处：http://eksliang.iteye.com/blog/2169134 http://eksliang.iteye.com/ 一、概述        Solr可以利用StatsComponent 实现数据库的聚合统计查询，也就是min、max、avg、count、sum的功能   二、参数
  • 百度一道面试题 greemranqq 位运算百度面试寻找奇数算法bitmap 算法
    那天看朋友提了一个百度面试的题目：怎么找出{1,1,2,3,3,4,4,4,5,5,5,5}  找出出现次数为奇数的数字.   我这里复制的是原话，当然顺序是不一定的，很多拿到题目第一反应就是用map,当然可以解决，但是效率不高。   还有人觉得应该用算法xxx,我是没想到用啥算法好...！   还有觉得应该先排序...   还有觉
  • Spring之在开发中使用SpringJDBC ihuning spring
      在实际开发中使用SpringJDBC有两种方式：   1. 在Dao中添加属性JdbcTemplate并用Spring注入；     JdbcTemplate类被设计成为线程安全的，所以可以在IOC 容器中声明它的单个实例，并将这个实例注入到所有的 DAO 实例中。JdbcTemplate也利用了Java 1.5 的特定(自动装箱，泛型，可变长度
  • JSON API 1.0 核心开发者自述 | 你所不知道的那些技术细节 justjavac json
    2013年5月，Yehuda Katz 完成了JSON API(英文，中文) 技术规范的初稿。事情就发生在 RailsConf 之后，在那次会议上他和 Steve Klabnik 就 JSON 雏形的技术细节相聊甚欢。在沟通单一 Rails 服务器库—— ActiveModel::Serializers 和单一 JavaScript 客户端库——&
  • 网站项目建设流程概述 macroli 工作
    一.概念 网站项目管理就是根据特定的规范、在预算范围内、按时完成的网站开发任务。 二.需求分析 项目立项 　　我们接到客户的业务咨询，经过双方不断的接洽和了解，并通过基本的可行性讨论够，初步达成制作协议，这时就需要将项目立项。较好的做法是成立一个专门的项目小组，小组成员包括：项目经理，网页设计，程序员，测试员，编辑/文档等必须人员。项目实行项目经理制。 客户的需求说明书 　　第一步是需
  • AngularJs 三目运算 表达式判断 qiaolevip 每天进步一点点学习永无止境众观千象AngularJS
    事件回顾：由于需要修改同一个模板，里面包含2个不同的内容，第一个里面使用的时间差和第二个里面名称不一样，其他过滤器，内容都大同小异。希望杜绝If这样比较傻的来判断if-show or not，继续追究其源码。 var b = "{{", a = "}}"; this.startSymbol = function(a) {
  • Spark算子：统计RDD分区中的元素及数量 superlxw1234 sparkspark算子Spark RDD分区元素
    关键字：Spark算子、Spark RDD分区、Spark RDD分区元素数量     Spark RDD是被分区的，在生成RDD时候，一般可以指定分区的数量，如果不指定分区数量，当RDD从集合创建时候，则默认为该程序所分配到的资源的CPU核数，如果是从HDFS文件创建，默认为文件的Block数。   可以利用RDD的mapPartitionsWithInd
  • Spring 3.2.x将于2016年12月31日停止支持 wiselyman Spring 3
                  Spring 团队公布在2016年12月31日停止对Spring Framework 3.2.x（包含tomcat 6.x）的支持。在此之前spring团队将持续发布3.2.x的维护版本。          请大家及时准备及时升级到Spring
  • fis纯前端解决方案fis-pure zccst JavaScript
    作者：zccst FIS通过插件扩展可以完美的支持模块化的前端开发方案，我们通过FIS的二次封装能力，封装了一个功能完备的纯前端模块化方案pure。 1，fis-pure的安装 $ fis install -g fis-pure $ pure -v 0.1.4 2，下载demo到本地 git clone https://github.com/hefangshi/f
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他