试用Web-Harvest 使用手册

Web-Harvest是一个Java开源Web数据抽取工具。它能够收集指定的Web页面并从这些页面中提取有
用的数据。Web-Harvest主要是运用了像XSLT,XQuery,正则表达式等这些技术来实现对text/xml的操作。
       个人感觉，这个工具的设计构想很好，利用写好的xml脚本把指定的html转化成xml，然后再利用xml
解析器从中抽取信息。这样在编写网页信息抽取工具时，我们就不用担心网页格式的变化，会影响到信息
抽取的结果，因为整个抽取信息的部分都是通过配置对应的脚本实现的，我们只要修改脚本就可以了，不
用更改程序代码。
 下面是我按照这个开源工具自己带的例子改写的一个提取yahoo搜索信息的脚本，用Web-Harvest执行它
，可以提取以"KMS"为关键字在yahoo搜索引擎上搜索得到的结果。

脚本xml：
<?xml version="1.0" encoding="UTF-8"?>
<config charset="ISO-8859-1">
   
    <include path="functions.xml"/>
   
    <var-def name="search">KMS</var-def>
 <var-def name="url">
     <template>http://search.yahoo.com/search?p=${search}</template>
 </var-def>
           
    <!-- collects all tables for individual products -->
    <var-def name="products">   
        <call name="download-multipage-list">
            <call-param name="pageUrl"><var name="url"/></call-param>
            <call-param name="nextXPath">//big[.='Next']/a/@href</call-param>
            <call-param name="itemXPath">//ol/li</call-param>
            <call-param name="maxloops">10</call-param>
        </call>
    </var-def>
   
    <!-- iterates over all collected products and extract desired data -->
    <file action="write" path="myyahoo.xml" charset="UTF-8">
        <![CDATA[ yahoo ]]>
        <loop item="item" index="i">
            <list><var name="products"/></list>
            <body>
                <xquery>
                    <xq-param name="item"><var name="item"/></xq-param>
                    <xq-expression><![CDATA[
                            let $name := data($item//div[1]/a[1])
                            let $src := data($item//div[1]/a[1]/@href)
                            let $abs := data($item//div[2])
                                return
                                    <product>
                                        <name>{normalize-space($name)}</name>
                                        <src>{normalize-space($src)}</src>
                                        <abs>{normalize-space($abs)}</abs>
                                    </product>
                    ]]></xq-expression>
                </xquery>
            </body>
        </loop>
        <![CDATA[ yahoo ]]>
    </file>

</config>

结果xml：
<yahoo><product>
   <name>KMSResearch</name>
   <src>http://rds.yahoo.com/_ylt=A0geuodL05lFpaEArQxXNyoA;_ylu=X3oDMTB2b2gzdDdtBGNvb
G8DZQRsA1dTMQRwb3MDMQRzZWMDc3IEdnRpZAM-/SIG=11fph2etm/EXP=1167795403/**http%3a//www.kmshaircare.com/</src>
   <abs>Learn about each subbrand which has its own purpose and look to support your way of
life, mood, or whim.</abs>
</product>
.
.
.
<product>
   <name>Summer - KMS promotional items</name>
   <src>http://rds.yahoo.com/_ylt=A0geupZ705lFwVkAMQZXNyoA;_ylu=X3oDMTExYm1vY2p0BGNvb
G8DZQRsA1dTMQRwb3MDMTAwBHNlYwNzcgR2dGlkAw--/SIG=11q4tb45p/EXP=1167795451/**http%3a//kms-fra.com/en/products/sommer/</src>
   <abs>KMS Design. Special designs. Onpacks and Inpacks ... KMS presents the smallest solar
charger available. ... The KMS SoftFrisbee - this UFO is foldable! ...</abs>
</product></yahoo>

        如果你对xml,xpath,xquery这些技术都有了解，在看过Web-Harvest的帮助(http://web-harvest.sourceforge.net/manual.php)后，相信上面的脚本xml应该不难理解。
       在整个试用过程中，我也发现了Web-Harvest的一些问题，比如他使用tagsoup对html网页进行清洗
，会造成一些格式不太规范的网页数据丢失（比如google的搜索页面）,希望Web-Harvest的开发者能够
注意到这个问题，毕竟现在能够严格遵守HTML4.0规范的网页并不多，更多的是xml出现之前就已经存在
的网页。现在的web信息抽取使用xml技术实现无疑是最理想的，而Web-Harvest已经为我们搭建了一个
可供选择的抽取模型，如何解决对大量不规范网页的无损xml转换，将是这个工具能否运用到实际中的关
键环节。
        还有，由于本人水平有限，在利用Web-Harvest抽取中文的网页，还没发现完全没有乱码的网页。
        这篇文章的目的是希望能够抛砖引玉，能有更多的人关注Web-Harvest这个工具。因为Web-Harvest
还有很多高级的应用我还没有研究；还有很多需要改进的地方。但它至少给我一个启示，完全结构化的，
动态化的网页信息抽取是可以实现的，而且并不难。
参考文献：
Web-Harvest：http://web-harvest.sourceforge.net/
XPath教程：http://www.zvon.org/xxl/XPathTutorial/Output_chi/introduction.html
XQuery教程：http://www.w3pop.com/tech/school/xquery/default.asp

你可能感兴趣的:(Web)

  • 图形化数据报文转换映射工具 光芒再现0394 数据交换SwingETL数据格式转换数据映射xml转jsonjson转xml
    目录概要整体架构流程技术名词解释技术细节小结概要在当今数字化时代，数据的处理和分析是企业、科研机构以及各类组织日常运营的核心环节。数据来源广泛，格式多样，常见的数据格式包括XML（可扩展标记语言）和JSON（JavaScript对象表示法）。XML以其结构化和可扩展性强的特点，被广泛应用于配置文件、数据交换以及复杂数据结构的描述；而JSON则因其简洁、易读易解析的特性，在Web开发、API接口以及
  • 【Web3企业出海】奇墨科技为企业出海提供云安全、ITQM智能运维及云MSP一站式服务 奇墨 ITQM 科技运维
    1月15日，Web3嘉年华在四川成都成功举办。此次活动为探索企业出海的发展及创新机遇提供平台。活动现场，奇墨科技团队与在场嘉宾共商2025年企业出海的合作创新之道。奇墨科技，作为数字化领域的积极探索者与创新实践者，聚焦安全服务、奇墨ITQM智能运维、云MSP服务，为企业出海安全提供更具核心竞争力的技术支持。.云安全：极致性价比的企业云安全托底保障有底云安是奇墨科技旗下的云安全产品品牌，有底云安搭建
  • SpringBoot + Vue 前后端分离开发项目源码 左李滢Just
    SpringBoot+Vue前后端分离开发项目源码SpringBootVue前后端分离开发项目源码本仓库提供了一个完整的SpringBoot+Vue前后端分离开发项目的源码。该项目展示了如何使用SpringBoot作为后端框架，Vue作为前端框架，实现前后端分离的开发模式。通过本项目，您可以学习到如何搭建一个高效、可扩展的Web应用架构项目地址:https://gitcode.com/open-s
  • Javaweb--SpringBoot 顾以沫 Javawebspringbootjava数据库
    1.SpringBoot入门简化Spring开发的一个框架，SpringBoot旨在帮助开发者快速搭建Spring框架。整个Spring的一个合集，可以简化配置2.微服务（1）微服务就是一种架构风格（2）微服务就是把一个项目拆分成独立的多个服务，并且多个服务是可以独立运行的，而每个服务都会占用线程。（3）通过HTTPS的方式进行互通每一个功能元素都是一个可以独立替换和独立升级的软件单元微服务(ma
  • python面试情景题_50道python笔试面试真题大集合 我是史迪仔 python面试情景题
    Python爬虫人工智能100GBweb爬虫数据分析人工智能视频免费领题目后面有50道题答案领取方式哦1、一行代码实现1--100之和利用sum()函数求和2、如何在一个函数内部修改全局变量利用global修改全局变量3、列出5个python标准库os：提供了不少与操作系统相关联的函数sys:通常用于命令行参数re:正则匹配math:数学运算datetime:处理日期时间4、字典如何删除键和合并两
  • nutzboot框架入门 优人qaq spring
    引言NutzBoot是基于Nutz框架开发的一款轻量级、高效的JavaWeb开发脚手架，它旨在简化JavaWeb应用的开发与部署流程，为开发者提供便捷、高效的开发体验。核心特性自动配置：NutzBoot具备类似于SpringBoot的自动配置功能。它能够依据项目的依赖和配置，自动完成各类组件的初始化与配置。例如，若项目中添加了数据库相关依赖，NutzBoot会自动配置数据源和数据库连接池，极大减少
  • 快手可灵视频生成大模型全方位测评 人工智能llm
    快手视频生成大模型“可灵”（Kling），是全球首个真正用户可用的视频生成大模型，自面世以来，凭借其无与伦比的视频生成效果，在全球范围内赢得了用户的热烈追捧与高度评价。截至目前，申请体验其内测版的用户数量已突破70万大关，累计生成的视频作品更是高达700万。可灵在持续创新的道路上也从未停下脚步，在七月份举办的世界人工智能大会（WAIC）期间，可灵再次迎来重大升级。新功能包括上线web端、基础模型效
  • WPF 使用webView显示浏览器网页 她说彩礼65万 wpf
    在WPF中显示一个可以操作的浏览器界面，你可以使用WebBrowser控件或WebView2控件。WebBrowser控件是基于IE内核的，而WebView2是基于Chromium内核的，推荐使用WebView2，因为它更现代且支持最新的Web标准。使用WebBrowser控件WebBrowser控件是WPF内置的控件，使用起来比较简单，但功能有限。在XAML中添加WebBrowser控件：在代码
  • nginx闲谈 沉默monkey nginx运维
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录介绍特点高并发轻量级模块化设计应用场景web服务器反向代理正向代理（类似机场）配置demo负载均衡缓存处理https与ssl/tlsapi网关介绍nginx高性能（同比tomcat性能高20%），轻量的weib服务器和反向代理服务器，能解决大量并发连接（C10K问题），高并发，高可靠，低内存消耗，支持多功能模块（如前端静态资源
  • 在 ASP.NET Core 6.0 Web API 中将 Excel 文件数据上传并保存到数据库中 csdn_aspnet Net6.0excel数据库.Net6.0webapi
    本文示例代码：https://download.csdn.net/download/hefeng_aspnet/90174856本文将探讨使用ASP.NETCoreWebAPI上传Excel文件并将其数据保存到数据库的分步过程。我们将利用NPOI库和EntityFrameworkCore来实现此功能。安装所需的库首先，我们必须从NuGet包管理器安装NPOI库：接下来，我们还将安装EntityFr
  • xiaozhi-esp32 - 基于 ESP32 的 AI 聊天机器人 小众AI AI开源开源人工智能AI编程
    xiaozhi-esp32是一款基于ESP-IDF开发框架的开源硬件项目，旨在利用低成本硬件打造个人专属的AI聊天机器人。它通过WebSocket或UDP协议与LLM、TTSAPI服务连接，实现实时语音交互功能，无需在设备上运行LLM，支持中文在内的多国语言、语音识别用户身份、自定义提示词和音色等功能，兼容多款ESP32开发板。3500Stars545Forks19Issues12贡献者MITLi
  • 最受欢迎的WebAssembly Web开发框架：Blazor前端开发 ScriptWELL wasm前端
    WebAssembly（简称Wasm）是一种用于在Web平台上运行高性能代码的二进制格式。它可以在现代Web浏览器中以原生速度执行，并为开发人员提供了使用其他编程语言编写Web应用程序的能力。在WebAssembly的推动下，出现了许多与其兼容的Web开发框架，其中最受欢迎的之一是Blazor。Blazor是一个由微软开发的Web开发框架，它允许开发人员使用C#语言编写前端Web应用程序。Blaz
  • 快递物流订阅与推送API：自动获取物流信息 api
    前言随着互联网技术的飞速发展，电子商务已经成为人们日常生活的重要组成部分。随之而来的是消费者对物流信息透明度的需求日益增长，他们希望随时了解包裹的最新状态。为了满足这一需求，快递物流订阅与推送API应运而生，为物流服务提供了一种高效、实时的信息更新方式。一、快递物流订阅与推送API的基本概念快递物流订阅与推送API是一种基于Web服务的接口，允许用户通过编程方式订阅特定包裹的物流信息，并在物流状态
  • WebRTC协议学习之一（WebRTC简介） 音视频开发老马 webrtc学习网络
    什么WebRTCWebRTC，名称源自网页即时通信（英语：WebReal-TimeCommunication）的缩写，是一个支持网页浏览器进行实时语音对话或视频对话的API。它于2011年6月1日开源并在Google、Mozilla、Opera支持下被纳入万维网联盟的W3C推荐标准。谷歌2011年6月3日宣布向开发人员开放WebRTC架构的源代码。这个源代码将根据没有专利费的BSD（伯克利软件发布
  • 使用基于 WebRTC 的 JavaScript API 在浏览器环境里调用本机摄像头
    Python中的class体内定义方法时，如果没有显式地包含self参数，有时候依然可以被调用。这是一个非常有趣的话题，因为它涉及到对Python中类与对象之间关系的更深理解。要理解为什么这种情况下方法依然能够被调用，我们需要逐步拆解Python类的构造方式以及方法绑定的原理。
  • 分布式微服务搭建 Xi-Tong 微服务架构云原生linuxcentosbashjdk
    分布式微服务架构搭建（举出一个项目搭建的例子，其他项目可参考本文档）基于Nginx作为web服务器、JDK作为Java运行环境、MySQL作为关系型数据库、Nacos作为服务发现和配置中心、Maven作为项目管理工具、Redis作为缓存和消息中间件（视具体需求而定）、Node.js与npm作为某些微服务（如前端服务或特定业务逻辑服务）的开发和依赖管理工具，可以搭建一个完整的分布式微服务架构项目。以
  • python dash框架 时雨h 数学建模python信息可视化dash数据分析
    Dash是一个用于创建数据分析型web应用的Python框架。它由Plotly团队开发，并且可以用来构建交互式的web应用程序，这些应用能够包含图表、表格、地图等多种数据可视化组件。Dash的特点：易于使用：Dash使用Python语法，对于熟悉Python的用户来说很容易上手。交互性：Dash支持用户交互，例如点击事件、下拉列表选择等。服务器端渲染：Dash应用程序在服务器端渲染，然后将结果发送
  • React 前端框架开发详细操作 编码小袁 前端框架
    一、引言在当今的web开发领域，React作为一款流行的前端框架，以其高效的组件化开发模式、虚拟DOM带来的高性能以及灵活的生态系统，受到了广大开发者的青睐。无论是开发小型的单页应用还是大型的企业级项目，React都能展现出强大的能力。本文将详细介绍React前端框架的操作使用方法，帮助开发者快速上手并深入理解React开发。二、环境搭建在开始使用React进行开发之前，需要先搭建好开发环境。以下
  • 前端开发是随着互联网的发展而逐渐兴起的一种新的开发领域。它一直在不断地发展和演变，经历了许多重要的里程碑事件和技术革新，下面就来回顾一下前端开发的历程和发展趋势。 21级应用技术UI3班何珍锋 前端javascript前端框架
    一、Web1.0时代1990年代末到2000年代初，Web1.0时代是Web发展的初期阶段，这个阶段的Web界面设计以简单的文本和图像为主，用户的互动性和用户体验都很低。在这个时代，浏览器的前端技术主要是基于HTML和CSS的，HTML指的是超文本标记语言，而CSS则指的是层叠样式表。由于这些技术的简单性，前端开发者往往需要手动编写HTML和CSS代码，并进行基本的样式设计。二、Web2.0时代随
  • Web安全：缓存欺骗攻击；基于缓存、CDN的新型Web漏洞 Fly不安全 Web安全基础web安全缓存缓存欺骗攻击NginxCDNweb
    基于缓存、CDN的新型Web漏洞漏洞原理利用方式解决方法Web缓存欺骗漏洞（WebCacheDeception）是一种利用不安全的缓存机制来泄露用户敏感信息的攻击方式。攻击者通过操控请求URL诱导缓存系统将敏感信息缓存并对其他用户公开，可能导致用户数据泄露等严重问题。漏洞原理缓存：现代大多数Web应用会在应用前置CDN或缓存代理，再通过URL来决定是否缓存内容。下面这里放一个Nginx的例子loc
  • Web 性能入门指南-2.4 理解和改进累积布局偏移 (CLS) 前端后花园 Web性能入门指南前端javascriptWeb性能性能监控chrome
    累积布局偏移量衡量页面的视觉稳定性。人性化的定义是，CLS可帮助您了解页面给浏览者带来不顺畅、不愉快体验的可能性。CLS是一种基于公式的指标，它考虑了网页的视觉内容在视口内的移动量，以及这些视觉元素移动的距离。CLS可以通过合成和RUM来衡量。Google建议您的网页的CLS分数不超过0.1。什么因素导致CLS恶化？累积布局偏移的好处之一是，它让我们跳出通常的基于时间的指标的思维，而是让我们思考未
  • 如何将3D模型嵌入正在Web网页？支持什么模型格式？ mirrornan 3d
    在Web网页中嵌入3D模型，通常涉及以下几个步骤，并且支持多种模型格式。以下是详细的指南：一、嵌入步骤1、准备3D模型：确保你有要嵌入的3D模型文件。常见的支持模型格式包括obj、fbx、stl、glb、gltf、dae、3ds等。2、选择平台或工具：你可以选择专业的3D模型展示平台，如51建模网等，平台提供模型上传、编辑（如材质定制、热点添加、爆炸效果设置等）以及内嵌代码生成服务。3、上传模型：
  • Web3D技术应用的场景有哪些？有何优势？ mirrornan 3D行业资讯web33D模型三维扫描3D建模3d
    Web3D技术，即将三维图形技术与Web技术结合，使用户无需额外软件即可通过浏览器体验三维场景。其应用场景广泛，且具备诸多优势，以下是对Web3D技术应用场景及其优势的详细阐述：一、应用场景电商领域：Web3D技术可以提供3D商品展示，让消费者能够全面了解商品的每一个细节，并且进行定制等交互操作，提升购物体验。51建模网的Web3D展示引擎，让3D交互展示制作更简单，轻松赋予用户制作Web3D的能
  • Web3D技术有哪些优势？应用场景有哪些？ mirrornan 3D行业资讯3D建模3D营销3D展示3d3D模型web3
    Web3D技术具有多方面的优势，这些优势使得它在多个领域得到了广泛的应用。51建模网为各行业web3D展示提供技术支持。以下是对Web3D技术优势的详细阐述及其应用场景的归纳：一、Web3D技术的优势1、跨平台兼容性：Web3D技术可以在不同的平台和设备上运行，包括桌面、移动设备和虚拟现实设备等，用户可以随时随地访问3D内容。2、强大的交互性：Web3D技术允许用户与3D模型进行全方位的交互，如旋
  • Web和H5网页中的3D模型交互展示，是如何制作的？ mirrornan 3D行业资讯3dwebgl科技
    在网页中交互展示3D产品模型，已成为现代营销和销售不可或缺的一环，不仅极大地提升了用户体验和参与度，更成为吸引潜在客户、促进销售转化的不可或缺的一环。那么，网页中如何实现3D交互展示？按照制作流程可分为以下几个关键步骤：步骤1：3D建模要创建产品的3D模型，首先需要选择一款适合的3D建模软件。市面上有众多选项可供选择，如Blender、Maya、3dsMax、C4D等。也可以通过3D扫描仪进行扫描
  • 日志收集平台day01：项目设计 intqao 日志收集平台项目linuxkafkazookeepernginxpython
    一、项目需求本项目的目的是模拟生产环境下对web服务器产生的日志进行收集并存入数据库，最终以web应用方式展示日志数据。二、技术选型环境：CentOs7web服务器：nginx/1.20.1（仅测试使用）消息队列：kafka2.12分布式应用程序协调服务软件：zookeeper3.6.3生产者：filebeat-7.17.5-1.x86_64消费者：使用python中的模块pykafka实现消费者
  • Nginx 性能优化技巧与实践（一） 计算机毕设定制辅导-无忧学长 #Nginxnginx性能优化dubbo
    一、引言在当今数字化时代，Web服务已成为人们生活和工作中不可或缺的一部分。无论是日常浏览的新闻资讯网站，还是便捷的在线购物平台，背后都离不开强大的Web服务器支持。而Nginx，作为一款高性能的HTTP和反向代理服务器，凭借其卓越的性能、丰富的功能和出色的稳定性，在Web服务领域占据了举足轻重的地位。Nginx的诞生，旨在解决传统Web服务器在处理高并发请求时的性能瓶颈问题。它采用了事件驱动的异
  • Nginx 性能优化技巧与实践（二） 计算机毕设定制辅导-无忧学长 #Nginxnginx性能优化运维
    五、性能优化之负载均衡篇5.1负载均衡算法介绍Nginx作为一款强大的Web服务器和反向代理服务器，其负载均衡功能是提升Web服务性能和可靠性的关键。Nginx支持多种负载均衡算法，每种算法都有其独特的原理和特点，适用于不同的业务场景。轮询（RoundRobin）是Nginx的默认负载均衡算法，它就像一个有条不紊的调度员，按照顺序将请求依次分发到后端服务器。比如，假设有三个后端服务器A、B、C，当
  • WEB性能测试用例设计模型 啊Sei 笔记测试工程师
    性能测试用例设计通常不会一次设计到位，是一个不断迭代完善的过程，即使在使用过程中，也不是完全按照设计好的测试用例来执行，需要根据需求的变化进行调整和修改；WEB性能测试用例设计模型是一个内容全面比较容易组织和调整的模型架构。1.预期性能指标测试用例指一些十分明确的，在系统需求设计阶段预先提出的，期望系统达到的，或者向用户保证的性能指标，针对每个指标都要编写一个或者多个测试用例来验证系统是否达到要求
  • SpringBoot项目修改内置tomcat版本 egegerhn javajava后端
    覆盖掉tomcat版本8.5.51org.apache.tomcat.embedtomcat-embed-core${tomcat.version}org.apache.tomcattomcat-juli${tomcat.version}忽略掉spring-boot-starter-web里的tomcatorg.springframework.bootspring-boot-starter-web
  • [黑洞与暗粒子]没有光的世界 comsci
         无论是相对论还是其它现代物理学,都显然有个缺陷,那就是必须有光才能够计算      但是,我相信,在我们的世界和宇宙平面中,肯定存在没有光的世界....      那么,在没有光的世界,光子和其它粒子的规律无法被应用和考察,那么以光速为核心的 &nbs
  • jQuery Lazy Load 图片延迟加载 aijuans jquery
    基于 jQuery 的图片延迟加载插件，在用户滚动页面到图片之后才进行加载。 对于有较多的图片的网页，使用图片延迟加载，能有效的提高页面加载速度。 版本： jQuery v1.4.4+ jQuery Lazy Load v1.7.2 注意事项： 需要真正实现图片延迟加载，必须将真实图片地址写在 data-original 属性中。若 src
  • 使用Jodd的优点 Kai_Ge jodd
    1.  简化和统一 controller ，抛弃 extends SimpleFormController ，统一使用 implements Controller 的方式。 2.  简化 JSP 页面的 bind, 不需要一个字段一个字段的绑定。 3.  对 bean 没有任何要求，可以使用任意的 bean 做为 formBean。   使用方法简介
  • jpa Query转hibernate Query 120153216 Hibernate
    public List<Map> getMapList(String hql, Map map) { org.hibernate.Query jpaQuery = entityManager.createQuery(hql); if (null != map) { for (String parameter : map.keySet()) { jp
  • Django_Python3添加MySQL/MariaDB支持 2002wmj mariaDB
    现状 首先，[email protected] 中默认的引擎为 django.db.backends.mysql 。但是在Python3中如果这样写的话，会发现 django.db.backends.mysql 依赖 MySQLdb[5] ，而 MySQLdb 又不兼容 Python3 于是要找一种新的方式来继续使用MySQL。 MySQL官方的方案 首先据MySQL文档[3]说，自从MySQL
  • 在SQLSERVER中查找消耗IO最多的SQL 357029540 SQL Server
    返回做IO数目最多的50条语句以及它们的执行计划。 select top 50   (total_logical_reads/execution_count) as avg_logical_reads,  (total_logical_writes/execution_count) as avg_logical_writes,  (tot
  • spring UnChecked 异常 官方定义！ 7454103 spring
      如果你接触过spring的 事物管理！那么你必须明白 spring的 非捕获异常！ 即 unchecked 异常！ 因为 spring 默认这类异常事物自动回滚！！ public static boolean isCheckedException(Throwable ex) { return !(ex instanceof RuntimeExcep
  • mongoDB 入门指南、示例 adminjun javamongodb操作
    一、准备工作 1、 下载mongoDB 下载地址：http://www.mongodb.org/downloads 选择合适你的版本 相关文档：http://www.mongodb.org/display/DOCS/Tutorial 2、 安装mongoDB A、 不解压模式： 将下载下来的mongoDB-xxx.zip打开，找到bin目录，运行mongod.exe就可以启动服务，默
  • CUDA 5 Release Candidate Now Available aijuans CUDA
    The CUDA 5 Release Candidate is now available at http://developer.nvidia.com/<wbr></wbr>cuda/cuda-pre-production. Now applicable to a broader set of algorithms, CUDA 5 has advanced fe
  • Essential Studio for WinRT网格控件测评 Axiba JavaScripthtml5
    Essential Studio for WinRT界面控件包含了商业平板应用程序开发中所需的所有控件，如市场上运行速度最快的grid 和chart、地图、RDL报表查看器、丰富的文本查看器及图表等等。同时，该控件还包含了一组独特的库，用于从WinRT应用程序中生成Excel、Word以及PDF格式的文件。此文将对其另外一个强大的控件——网格控件进行专门的测评详述。 网格控件功能 1、
  • java 获取windows系统安装的证书或证书链 bewithme windows
          有时需要获取windows系统安装的证书或证书链，比如说你要通过证书来创建java的密钥库  。 有关证书链的解释可以查看此处 。   public static void main(String[] args) { SunMSCAPI providerMSCAPI = new SunMSCAPI(); S
  • NoSQL数据库之Redis数据库管理(set类型和zset类型) bijian1013 redis数据库NoSQL
    4.sets类型         Set是集合，它是string类型的无序集合。set是通过hash table实现的，添加、删除和查找的复杂度都是O(1)。对集合我们可以取并集、交集、差集。通过这些操作我们可以实现sns中的好友推荐和blog的tag功能。         sadd：向名称为key的set中添加元
  • 异常捕获何时用Exception，何时用Throwable bingyingao
    用Exception的情况 try {        //可能发生空指针、数组溢出等异常         } catch (Exception e) {          
  • 【Kafka四】Kakfa伪分布式安装 bit1129 kafka
    在http://bit1129.iteye.com/blog/2174791一文中，实现了单Kafka服务器的安装，在Kafka中，每个Kafka服务器称为一个broker。本文简单介绍下，在单机环境下Kafka的伪分布式安装和测试验证   1. 安装步骤   Kafka伪分布式安装的思路跟Zookeeper的伪分布式安装思路完全一样，不过比Zookeeper稍微简单些(不
  • Project Euler bookjovi haskell
    Project Euler是个数学问题求解网站，网站设计的很有意思，有很多problem，在未提交正确答案前不能查看problem的overview，也不能查看关于problem的discussion thread，只能看到现在problem已经被多少人解决了，人数越多往往代表问题越容易。     看看problem 1吧： Add all the natural num
  • Java-Collections Framework学习与总结-ArrayDeque BrokenDreams Collections
            表、栈和队列是三种基本的数据结构，前面总结的ArrayList和LinkedList可以作为任意一种数据结构来使用，当然由于实现方式的不同，操作的效率也会不同。         这篇要看一下java.util.ArrayDeque。从命名上看
  • 读《研磨设计模式》-代码笔记-装饰模式-Decorator bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.io.BufferedOutputStream; import java.io.DataOutputStream; import java.io.FileOutputStream; import java.io.Fi
  • Maven学习(一) chenyu19891124 Maven私服
        学习一门技术和工具总得花费一段时间，5月底6月初自己学习了一些工具，maven+Hudson+nexus的搭建，对于maven以前只是听说，顺便再自己的电脑上搭建了一个maven环境，但是完全不了解maven这一强大的构建工具，还有ant也是一个构建工具，但ant就没有maven那么的简单方便，其实简单点说maven是一个运用命令行就能完成构建，测试，打包，发布一系列功
  • [原创]JWFD工作流引擎设计----节点匹配搜索算法(用于初步解决条件异步汇聚问题) 补充 comsci 算法工作PHP搜索引擎嵌入式
    本文主要介绍在JWFD工作流引擎设计中遇到的一个实际问题的解决方案，请参考我的博文"带条件选择的并行汇聚路由问题"中图例A2描述的情况(http://comsci.iteye.com/blog/339756),我现在把我对图例A2的一个解决方案公布出来，请大家多指点 节点匹配搜索算法(用于解决标准对称流程图条件汇聚点运行控制参数的算法) 需要解决的问题：已知分支
  • Linux中用shell获取昨天、明天或多天前的日期 daizj linuxshell上几年昨天获取上几个月
    在Linux中可以通过date命令获取昨天、明天、上个月、下个月、上一年和下一年 # 获取昨天 date -d 'yesterday'  # 或 date -d 'last day' # 获取明天 date -d 'tomorrow'   # 或 date -d 'next day' # 获取上个月 date -d 'last month' #
  • 我所理解的云计算 dongwei_6688 云计算
          在刚开始接触到一个概念时，人们往往都会去探寻这个概念的含义，以达到对其有一个感性的认知，在Wikipedia上关于“云计算”是这么定义的，它说：        Cloud computing is a phrase used to describe a variety of computing co
  • YII CMenu配置 dcj3sjt126com yii
    Adding id and class names to CMenu We use the id and htmlOptions to accomplish this. Watch. //in your view $this->widget('zii.widgets.CMenu', array( 'id'=>'myMenu', 'items'=>$this-&g
  • 设计模式之静态代理与动态代理 come_for_dream 设计模式
    静态代理与动态代理        代理模式是java开发中用到的相对比较多的设计模式，其中的思想就是主业务和相关业务分离。所谓的代理设计就是指由一个代理主题来操作真实主题，真实主题执行具体的业务操作，而代理主题负责其他相关业务的处理。比如我们在进行删除操作的时候需要检验一下用户是否登陆，我们可以删除看成主业务，而把检验用户是否登陆看成其相关业务
  • 【转】理解Javascript 系列 gcc2ge JavaScript
    理解Javascript_13_执行模型详解 摘要: 在《理解Javascript_12_执行模型浅析》一文中,我们初步的了解了执行上下文与作用域的概念，那么这一篇将深入分析执行上下文的构建过程，了解执行上下文、函数对象、作用域三者之间的关系。函数执行环境简单的代码:当调用say方法时，第一步是创建其执行环境，在创建执行环境的过程中，会按照定义的先后顺序完成一系列操作:1.首先会创建一个
  • Subsets II hcx2013 set
    Given a collection of integers that might contain duplicates, nums, return all possible subsets. Note: Elements in a subset must be in non-descending order. The solution set must not conta
  • Spring4.1新特性——Spring缓存框架增强 jinnianshilongnian spring4
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • shell嵌套expect执行命令 liyonghui160com
        一直都想把expect的操作写到bash脚本里,这样就不用我再写两个脚本来执行了,搞了一下午终于有点小成就,给大家看看吧.   系统:centos 5.x   1.先安装expect yum -y install expect   2.脚本内容: cat auto_svn.sh   #!/bin/bash
  • Linux实用命令整理 pda158 linux
    0. 基本命令 　　linux 基本命令整理 　 　1. 压缩 解压 　　tar -zcvf a.tar.gz a   #把a压缩成a.tar.gz 　　tar -zxvf a.tar.gz     #把a.tar.gz解压成a 　 　2. vim小结 　　2.1 vim替换 　　:m,ns/word_1/word_2/gc  
  • 独立开发人员通向成功的29个小贴士 shoothao 独立开发
    概述：本文收集了关于独立开发人员通向成功需要注意的一些东西,对于具体的每个贴士的注解有兴趣的朋友可以查看下面标注的原文地址。 明白你从事独立开发的原因和目的。 保持坚持制定计划的好习惯。 万事开头难，第一份订单是关键。 培养多元化业务技能。 提供卓越的服务和品质。 谨小慎微。 营销是必备技能。 学会组织，有条理的工作才是最有效率的。 “独立
  • JAVA中堆栈和内存分配原理 uule java
    1、栈、堆 1.寄存器：最快的存储区, 由编译器根据需求进行分配,我们在程序中无法控制.2. 栈：存放基本类型的变量数据和对象的引用，但对象本身不存放在栈中，而是存放在堆（new 出来的对象）或者常量池中（字符串常量对象存放在常量池中。）3. 堆：存放所有new出来的对象。4. 静态域：存放静态成员（static定义的）5. 常量池：存放字符串常量和基本类型常量（public static f
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他