guoyiqi
guoyiqi

试用Web-Harvest 使用手册

Web-Harvest是一个Java开源Web数据抽取工具。它能够收集指定的Web页面并从这些页面中提取有
用的数据。Web-Harvest主要是运用了像XSLT,XQuery,正则表达式等这些技术来实现对text/xml的操作。
       个人感觉，这个工具的设计构想很好，利用写好的xml脚本把指定的html转化成xml，然后再利用xml
解析器从中抽取信息。这样在编写网页信息抽取工具时，我们就不用担心网页格式的变化，会影响到信息
抽取的结果，因为整个抽取信息的部分都是通过配置对应的脚本实现的，我们只要修改脚本就可以了，不
用更改程序代码。
 下面是我按照这个开源工具自己带的例子改写的一个提取yahoo搜索信息的脚本，用Web-Harvest执行它
，可以提取以"KMS"为关键字在yahoo搜索引擎上搜索得到的结果。

脚本xml：
<?xml version="1.0" encoding="UTF-8"?>
<config charset="ISO-8859-1">
   
    <include path="functions.xml"/>
   
    <var-def name="search">KMS</var-def>
 <var-def name="url">
     <template>http://search.yahoo.com/search?p=${search}</template>
 </var-def>
           
    <!-- collects all tables for individual products -->
    <var-def name="products">   
        <call name="download-multipage-list">
            <call-param name="pageUrl"><var name="url"/></call-param>
            <call-param name="nextXPath">//big[.='Next']/a/@href</call-param>
            <call-param name="itemXPath">//ol/li</call-param>
            <call-param name="maxloops">10</call-param>
        </call>
    </var-def>
   
    <!-- iterates over all collected products and extract desired data -->
    <file action="write" path="myyahoo.xml" charset="UTF-8">
        <![CDATA[ yahoo ]]>
        <loop item="item" index="i">
            <list><var name="products"/></list>
            <body>
                <xquery>
                    <xq-param name="item"><var name="item"/></xq-param>
                    <xq-expression><![CDATA[
                            let $name := data($item//div[1]/a[1])
                            let $src := data($item//div[1]/a[1]/@href)
                            let $abs := data($item//div[2])
                                return
                                    <product>
                                        <name>{normalize-space($name)}</name>
                                        <src>{normalize-space($src)}</src>
                                        <abs>{normalize-space($abs)}</abs>
                                    </product>
                    ]]></xq-expression>
                </xquery>
            </body>
        </loop>
        <![CDATA[ yahoo ]]>
    </file>

</config>

结果xml：
<yahoo><product>
   <name>KMSResearch</name>
   <src>http://rds.yahoo.com/_ylt=A0geuodL05lFpaEArQxXNyoA;_ylu=X3oDMTB2b2gzdDdtBGNvb
G8DZQRsA1dTMQRwb3MDMQRzZWMDc3IEdnRpZAM-/SIG=11fph2etm/EXP=1167795403/**http%3a//www.kmshaircare.com/</src>
   <abs>Learn about each subbrand which has its own purpose and look to support your way of
life, mood, or whim.</abs>
</product>
.
.
.
<product>
   <name>Summer - KMS promotional items</name>
   <src>http://rds.yahoo.com/_ylt=A0geupZ705lFwVkAMQZXNyoA;_ylu=X3oDMTExYm1vY2p0BGNvb
G8DZQRsA1dTMQRwb3MDMTAwBHNlYwNzcgR2dGlkAw--/SIG=11q4tb45p/EXP=1167795451/**http%3a//kms-fra.com/en/products/sommer/</src>
   <abs>KMS Design. Special designs. Onpacks and Inpacks ... KMS presents the smallest solar
charger available. ... The KMS SoftFrisbee - this UFO is foldable! ...</abs>
</product></yahoo>

        如果你对xml,xpath,xquery这些技术都有了解，在看过Web-Harvest的帮助(http://web-harvest.sourceforge.net/manual.php)后，相信上面的脚本xml应该不难理解。
       在整个试用过程中，我也发现了Web-Harvest的一些问题，比如他使用tagsoup对html网页进行清洗
，会造成一些格式不太规范的网页数据丢失（比如google的搜索页面）,希望Web-Harvest的开发者能够
注意到这个问题，毕竟现在能够严格遵守HTML4.0规范的网页并不多，更多的是xml出现之前就已经存在
的网页。现在的web信息抽取使用xml技术实现无疑是最理想的，而Web-Harvest已经为我们搭建了一个
可供选择的抽取模型，如何解决对大量不规范网页的无损xml转换，将是这个工具能否运用到实际中的关
键环节。
        还有，由于本人水平有限，在利用Web-Harvest抽取中文的网页，还没发现完全没有乱码的网页。
        这篇文章的目的是希望能够抛砖引玉，能有更多的人关注Web-Harvest这个工具。因为Web-Harvest
还有很多高级的应用我还没有研究；还有很多需要改进的地方。但它至少给我一个启示，完全结构化的，
动态化的网页信息抽取是可以实现的，而且并不难。
参考文献：
Web-Harvest：http://web-harvest.sourceforge.net/
XPath教程：http://www.zvon.org/xxl/XPathTutorial/Output_chi/introduction.html
XQuery教程：http://www.w3pop.com/tech/school/xquery/default.asp

 

 

你可能感兴趣的:(Web,xml,正则表达式,Yahoo,脚本)

  • 贝锐花生壳简单3步映射金蝶KIS接口，实现财务凭证远程同步 内网穿透金蝶
    在现代企业财务管理中，实现财务凭证的远程同步和第三方系统对接是提高工作效率和数据准确性的关键。金蝶KIS作为广泛使用的财务管理软件，提供了丰富的WebAPI接口，允许第三方业务系统调用以生成财务记账凭证。然而，对于财务信息这些敏感数据，一旦泄露，对于企业的损失可能不可估量。因此许多企业倾向于将它们部署在公司内部的服务器上，而非云服务器，以确保这些重要、敏感数据安全，但如何安全地将这些接口暴露给远程
  • Open GL ES -＞GLSurfaceView+离屏渲染滤镜作用的Bitmap+动态顺序叠加滤镜作用链的RecyclerView Yang-Never OpenGLESandroidstudioandroid图像处理开发语言javakotlin
    XML文件Activity代码classMainActivity4:AppCompatActivity(){privatelateinitvarglSurfaceView:FilterSurfaceViewprivatelateinitvarintensityTextView:TextViewprivatelateinitvarintensitySeekBar:SeekBarprivatelate
  • WebGL 的简易入门教程，实现一个旋转的彩色立方体 后端
    目录前言第一节绘制出了一个点效果演示逐行解释向量类型第二节动态传递点数据变量修饰符完整代码第三节缓冲区和画线类型化数组绘制的方式完整代码第四节彩色线段精度修饰符完整代码第五节单个buffer渲染颜色完整代码m.ximalaya.com/sound/827330334/?14=1m.ximalaya.com/sound/827330328/?jh7=yiCm.ximalaya.com/sound/8
  • Ai工作流工具有那些如Dify、coze扣子等以及他们是否开源 橙-极纪元JJYCheng AI人工智能开源
    Dify（https://difycloud.com/）核心定位：专业级LLM应用开发平台，支持复杂AI工作流构建与企业级管理。典型场景：企业智能客服、数据分析系统、复杂自动化流程构建等。适合需要深度定制、企业级管理和复杂AI逻辑的开发者，强调灵活性与扩展性。技术深度：支持自定义插件开发（如Python脚本）、私有部署（Kubernetes集群），适合需要深度控制AI逻辑的企业。Dify功能模型兼
  • vue2中引入elementui 康620 elementui前端javascript
    npm安装推荐使用npm的方式安装，它能更好地和webpack打包工具配合使用。npmielement-ui-S引入：importVuefrom'vue';importElementUIfrom'element-ui';//1import'element-ui/lib/theme-chalk/index.css';//2importAppfrom'./App.vue';Vue.use(Elemen
  • Web期末作业：网页设计与开发全记录 点我头像干啥 Aiwebsocketweb安全web3.py
    前言在当今数字化时代，网页设计已成为一项基础而重要的技能。作为计算机相关专业的学生，掌握网页开发技术不仅能够提升个人竞争力，也能为未来职业发展打下坚实基础。本次Web期末作业要求我们设计并实现一个完整的网页项目，同时撰写一篇不少于2000字的博客记录整个开发过程。本文将详细记录从构思到实现的每一个环节，包括需求分析、技术选型、设计过程、编码实现、测试优化以及最终成果展示。一、项目需求分析1.1作业
  • springboot项目整合springSecurity框架流程 拉我下地狱 springboot后端java
    1.导入依赖org.springframework.bootspring-boot-starter-security2.编写配置类在config文件夹下创建MySpringSecurityConfiguration作为本项目对于SpringSecurity框架的配置类，并添加@Configuration注解。继承框架WebSecurityConfigurerAdapter并重写两个configur
  • 猿大师办公助手对比其他WebOffice在线编辑Office插件有什么优势 猿大师办公助手 网页内嵌微软Office网页内嵌WPSOffice猿大师办公助手chromeword前端
    1.原生Office功能完整嵌入，排版一致性保障猿大师办公助手直接调用本地安装的微软Office、金山WPS或永中Office，支持所有原生功能（如复杂公式、VBA宏等），确保网页编辑与本地打开的文档排版完全一致。提供OLE嵌入和完整嵌入两种模式，后者支持文档对比、全功能操作及更流畅的加载体验。2.无浏览器插件依赖，长期兼容性优势猿大师办公助手基于专利内嵌技术（专利号ZL201911323165.
  • 2024年新一代WebOffice内嵌网页组件——猿大师办公助手 猿大师办公助手 网页内嵌微软Office网页内嵌WPSOffice猿大师办公助手wordchromevue.jsexcelwps
    背景WebOffice控件这个中间件软件产品已存在二十余年，在国内众多大中小型企业、各级政府机关、科研机构和学校等事业单位的OA、ERP、文档系统、云盘等信息化B/S系统中得到了大量使用，为我国的信息化事业也做出了不小贡献。随着操作系统、浏览器及Office软件的不断升级和更新换代，加上国家对信息化、信创化、数字化系统要求的不断提升，一些厂家的WebOffice控件产品不断被淘汰出局，而现存的几个
  • 根据正则表达式，过滤项目中中文代码，去除注释和@注解 SuperChen12356 正则表达式正则表达式javaintellij-idea
    packagecom.*.util;importcn.hutool.core.collection.CollectionUtil;importlombok.extern.slf4j.Slf4j;importjava.io.IOException;importjava.nio.file.Files;importjava.nio.file.Path;importjava.nio.file.Paths;
  • Python（7）Python通配符完全指南：从基础到高阶模式匹配实战（附场景化代码） 一个天蝎座 白勺 程序猿 python开发语言
    目录一、通配符技术背景与核心价值二、Python通配符技术矩阵对比三、四大核心模块深度解析1.fnmatch精准模式匹配2.glob文件系统实战3.pathlib面向对象操作4.正则表达式增强版通配符四、六大工业级应用案例案例1：智能日志归档系统案例2：自动化图片分类器案例3：敏感文件检测系统五、性能优化与安全实践1.性能对比测试（10万次匹配）2.安全防护要点六、总结与扩展应用1.技术选型指南‌
  • js webpack 配置路径_vue使用webpack配置路径别名 赤衿 jswebpack配置路径
    原始的文件引用方式的缺点要拼写一个巨长无比的字符串，而且每引用一次都要拼写一次。如果这个文件位置变了，我就要把所有引用它的文件都修改一次。下面介绍一种很优雅的方式，使用webpack的resolve.alias。以下面的目录结构为例：-src-components-navBar.vue-main.js复制代码vue-cli2.0中如何使用？在vue-cli2.0的工程中，在\build\webpa
  • 如何通过less在vue2中达到切换皮肤的目的 隐含 less前端css
    先装lessnpminstalllessless-loader--save-dev然后将该loader添加到webpack的配置中去，例如：webpack.config.jsmodule.exports={module:{rules:[{test:/\.less$/i,use:[//compilesLesstoCSS'style-loader','css-loader','less-loader'
  • 前端批量导入方式 蒜香拿铁 前端
    webpack批量导入webpack中使用require.context实现自动导入constfiles=require.context('./modules',false,/\.ts$/);constmodules={};files.keys().forEach((key)=>{if(key==='./index.ts'){return;}modules[key.replace(/(\.\/|\
  • BUUCTF-web刷题篇 sszdlbw web刷题WPwebbuuctf
    1.EASYSQL破解密码万能公式：1'and1=11'and'1'='11'or1=11'or'1'='1解释：payloadSELECT*FROMtablesWHEREusername='1'or'1'='1'andpassword='1'or'1'='1'优先级排序：and优先级高于or，所以要计算and然后再计算orusername='1'--->false'1'='1'--->truep
  • 【Webpack--00201】配置文件路径别名 Sam9029 Webpackwebpack前端node.js
    Sam9029的CSDN博客主页:Sam9029的博客_CSDN博客-前端领域博主‍若此文你认为写的不错，不要吝啬你的赞扬，求收藏，求评论，求一个大大的赞！*文章若有错误或某个内容有更优的解决方案，还望指正！*更多webpack入门知识，详细解读webpack的基本使用、进阶优化等；请阅读专栏：sam9029–CSDN博客—Webpack入门笔记或者访问作者个人博客网站：sam9029.asia—
  • Webpack 中无法解析别名路径的原因及解决方案 几何心凉 前端小常识webpack运维前端
    Webpack中无法解析别名路径的原因及解决方案文章目录Webpack中无法解析别名路径的原因及解决方案1.引言2.理解别名路径（Alias）2.1什么是别名路径？2.2别名路径的优势3.如何在Webpack中配置别名路径3.1基本配置3.2使用别名路径4.Webpack无法解析别名路径的常见原因4.1配置文件位置错误4.2路径解析错误4.3未正确设置`resolve.extensions`4.4
  • 如何使用Babel将ES6+代码转为ES5？ 几何心凉 前端小常识es6前端ecmascript
    如何使用Babel将ES6+代码转为ES5？文章目录如何使用Babel将ES6+代码转为ES5？1.引言2.Babel简介3.安装与配置Babel3.1安装Babel及相关依赖3.2配置Babel3.2.1使用.babelrc文件3.2.2使用babel.config.js文件4.与构建工具的集成4.1与Webpack集成4.2与其他工具集成5.使用Promise和async/await优化代码结
  • 用Unity实现UDP客户端同步通信 DamnF-- Unity网络开发基础udp网络协议网络
    制作UDPNetMgr网络管理模块这段代码定义了一个名为UDPNetMgr的Unity脚本类，用于管理UDP网络通信，它作为单例存在，在Awake方法中创建收发消息的线程，Update方法处理接收到的消息；StartClient方法启动客户端连接，ReceiveMsg和SendMsg方法分别用于接收和发送消息，Send方法将消息加入发送队列，Close方法关闭套接字并发送退出消息，同时在脚本销毁时
  • 如何在Webpack中配置别名路径？ 几何心凉 前端小常识webpack前端node.js
    如何在Webpack中配置别名路径？文章目录如何在Webpack中配置别名路径？1.引言2.配置别名路径的基本原理3.如何配置别名路径3.1基本配置3.2结合Babel与TypeScript3.2.1Babel配置3.2.2TypeScript配置3.3适用场景与最佳实践4.调试与常见问题4.1路径解析错误4.2扩展名问题4.3配置同步5.总结1.引言在大型前端项目中，模块路径往往很长且复杂，使用
  • 玩转网络数据：用 Python 实现简单 Web 爬虫的全景实战指南 清水白石008 pythonPython题库python前端爬虫
    玩转网络数据：用Python实现简单Web爬虫的全景实战指南在这个信息爆炸的时代，数据几乎无处不在，而如何从浩如烟海的网络中提取有效数据，已成为开发者、数据科学家和产品经理们的一项必备技能。Python以其简洁易懂的语法和强大的第三方生态，在Web爬虫领域大放异彩。本文将带领大家从基础到进阶，全方位讲解如何利用Python的requests与BeautifulSoup库构建一个简单的Web爬虫，既
  • 前端代码中请求参数应该如何封装？ json
    在前端开发中，正确封装请求参数是避免414Request-URITooLarge错误的关键步骤之一。当请求参数过多或过长时，应该将它们封装在请求体中，而不是附加在URL中。以下是一些常见的前端框架和库中如何封装请求参数的方法。一、使用POST请求封装参数（一）原生JavaScript在原生JavaScript中，可以使用XMLHttpRequest或fetchAPI来发送POST请求，并将参数封装
  • node-red sanzk node-red
    Node-Red-简书一、node-red简介  Node-RED是一个构建物联网应用的开源可视化界面开发工具，提供了一个基于浏览器的流程编辑器，通过拖拽连接节点的编程方式，快速连接硬件和设备到Web服务和其他软件，可以一键部署运行，创建好的流程还可以通过导出导入JSON文件轻松实现程序移植。  它是基于Node.js构建的轻量级开源工具，非常适合运行在RaspberryPi等低成本边缘设备以及云
  • C# WebForm显示bootstrap模态对话框 boluo_people12345 c#bootstrap开发语言asp.net
    1、在aspx中添加，将依赖添加进来2、添加模态对话框的divModaltitle...CloseSavechanges3、我封装了两个C#函数来显示和隐藏bootstrp的对话框publicvoidshowModal(stringid){stringscript="varmyModal=newbootstrap.Modal(document.getElementById('"+id+"'),{\
  • Python + Chrome 爬虫：如何抓取 AJAX 动态加载数据？ 小白学大数据 pythonpythonchrome爬虫开发语言
    在现代Web开发中，AJAX（AsynchronousJavaScriptandXML）技术被广泛应用于动态加载数据，使得网页能够在不刷新的情况下更新内容。然而，这也给传统爬虫带来了挑战——使用requests+BeautifulSoup只能获取初始HTML，而无法捕获AJAX返回的动态数据。解决方案：Selenium+ChromeDriver：模拟浏览器行为，等待AJAX数据加载完成后再抓取。直
  • python ffmpeg剪辑视频_python利用ffmpeg将一段大视频等份的切成多个小视频段 weixin_39715926 pythonffmpeg剪辑视频
    在剪辑视频的过程中发现部分手机拍摄的视频是带有rotate旋转矫正参数的，一般的opencv脚本剪辑出来的视频是歪的。查询了大量的资料找到一种使用ffmpeg剪辑的方法，将opencv和ffmpeg结合使用可以剪辑目前绝大多数的手机视频。defcutVideo(path,filename):video_full_path=path+r'\\'+filenamevideo_full_path_new
  • python把视频切成2秒_python利用ffmpeg将一段大视频等份的切成多个小视频段 墨墨张 python把视频切成2秒
    在剪辑视频的过程中发现部分手机拍摄的视频是带有rotate旋转矫正参数的，一般的opencv脚本剪辑出来的视频是歪的。查询了大量的资料找到一种使用ffmpeg剪辑的方法，将opencv和ffmpeg结合使用可以剪辑目前绝大多数的手机视频。defcutVideo(path,filename):video_full_path=path+r'\\'+filenamevideo_full_path_new
  • Nginx源码分析 编程界的谢菲尔德 nginx运维
    目录解析auto:configure编译的脚本html：默认htmlobjs：执行configure之后产生的src：源码conf：默认配置文件contrib:一些使用工具e.vim的高亮语法man：帮助文件auto文件：cc:＃检各种编译器的脚本lib:＃检各种编译依赖库的脚本os:＃检各种操作系统的脚本types:＃检平台相关的基本类型的脚本src文件core数据结构定义和核心代码event事
  • nginx源码安装及各模块（自我学习）（一） 马总123 linuxcentos7linuxnginxcentos
    目录nginx介绍（出身及现状）特点及优缺点优点缺点正向代理介绍举例反向代理介绍举例负载均衡轮询（rr）加权轮询（wrr）ip_hashurl_hashnginx介绍（出身及现状）世界第二大web服务器软件，以高并发、低消耗著称，源自于俄罗斯，创建者Igor（伊戈尔），2004年开源，最早以代理服务器的身份出现，2015成立nginx公司，2019年以6.7亿被F5Networks公司收购。特点及
  • Rust Web开发新选择：探索轻量级框架Hyperlane的高效实践 LTPP 前端rust网络javajavascript开发语言
    RustWeb开发新选择：探索轻量级框架Hyperlane的高效实践引言：Rust生态中的Web开发演进在当今云原生时代，Rust语言凭借其卓越的性能和内存安全性，在系统编程领域大放异彩。但您可能不知道的是，Rust在Web后端开发领域同样展现出惊人潜力。本文将带您深入探索一个新兴的RustWeb框架——Hyperlane，通过实际案例演示如何用它构建高性能的现代Web服务。一、Hyperlane
  • Java常用排序算法/程序员必须掌握的8大排序算法 cugfy java
    分类： 1）插入排序（直接插入排序、希尔排序） 2）交换排序（冒泡排序、快速排序） 3）选择排序（直接选择排序、堆排序） 4）归并排序 5）分配排序（基数排序） 所需辅助空间最多：归并排序 所需辅助空间最少：堆排序 平均速度最快：快速排序 不稳定：快速排序，希尔排序，堆排序。 先来看看8种排序之间的关系：   1.直接插入排序 （1
  • 【Spark102】Spark存储模块BlockManager剖析 bit1129 manager
    Spark围绕着BlockManager构建了存储模块，包括RDD，Shuffle，Broadcast的存储都使用了BlockManager。而BlockManager在实现上是一个针对每个应用的Master/Executor结构，即Driver上BlockManager充当了Master角色，而各个Slave上(具体到应用范围，就是Executor)的BlockManager充当了Slave角色
  • linux 查看端口被占用情况详解 daizj linux端口占用netstatlsof
    经常在启动一个程序会碰到端口被占用，这里讲一下怎么查看端口是否被占用，及哪个程序占用，怎么Kill掉已占用端口的程序   1、lsof -i:port port为端口号   [root@slave /data/spark-1.4.0-bin-cdh4]# lsof -i:8080 COMMAND   PID USER   FD   TY
  • Hosts文件使用 周凡杨 hostslocahost
         一切都要从localhost说起，经常在tomcat容器起动后，访问页面时输入http://localhost:8088/index.jsp，大家都知道localhost代表本机地址，如果本机IP是10.10.134.21，那就相当于http://10.10.134.21:8088/index.jsp，有时候也会看到http: 127.0.0.1:
  • java excel工具 g21121 Java excel
    直接上代码，一看就懂，利用的是jxl： import java.io.File; import java.io.IOException; import jxl.Cell; import jxl.Sheet; import jxl.Workbook; import jxl.read.biff.BiffException; import jxl.write.Label; import
  • web报表工具finereport常用函数的用法总结（数组函数） 老A不折腾 finereportweb报表函数总结
    ADD2ARRAY ADDARRAY(array,insertArray, start):在数组第start个位置插入insertArray中的所有元素，再返回该数组。 示例： ADDARRAY([3,4, 1, 5, 7], [23, 43, 22], 3)返回[3, 4, 23, 43, 22, 1, 5, 7]. ADDARRAY([3,4, 1, 5, 7], "测试&q
  • 游戏服务器网络带宽负载计算 墙头上一根草 服务器
    家庭所安装的4M，8M宽带。其中M是指，Mbits/S 其中要提前说明的是： 8bits = 1Byte 即8位等于1字节。我们硬盘大小50G。意思是50*1024M字节，约为 50000多字节。但是网宽是以“位”为单位的，所以，8Mbits就是1M字节。是容积体积的单位。 8Mbits/s后面的S是秒。8Mbits/s意思是 每秒8M位，即每秒1M字节。 我是在计算我们网络流量时想到的
  • 我的spring学习笔记2-IoC（反向控制 依赖注入） aijuans Spring 3 系列
    IoC（反向控制 依赖注入）这是Spring提出来了，这也是Spring一大特色。这里我不用多说，我们看Spring教程就可以了解。当然我们不用Spring也可以用IoC，下面我将介绍不用Spring的IoC。 IoC不是框架，她是java的技术，如今大多数轻量级的容器都会用到IoC技术。这里我就用一个例子来说明： 如：程序中有 Mysql.calss 、Oracle.class 、SqlSe
  • 高性能mysql 之 选择存储引擎(一) annan211 mysqlInnoDBMySQL引擎存储引擎
    1 没有特殊情况，应尽可能使用InnoDB存储引擎。   原因：InnoDB 和 MYIsAM 是mysql 最常用、使用最普遍的存储引擎。其中InnoDB是最重要、最广泛的存储引擎。她   被设计用来处理大量的短期事务。短期事务大部分情况下是正常提交的，很少有回滚的情况。InnoDB的性能和自动崩溃   恢复特性使得她在非事务型存储的需求中也非常流行，除非有非常
  • UDP网络编程 百合不是茶 UDP编程局域网组播
      UDP是基于无连接的,不可靠的传输   与TCP/IP相反       UDP实现私聊,发送方式客户端,接受方式服务器 package netUDP_sc; import java.net.DatagramPacket; import java.net.DatagramSocket; import java.net.Ine
  • JQuery对象的val()方法执行结果分析 bijian1013 JavaScriptjsjquery
            JavaScript中，如果id对应的标签不存在（同理JAVA中，如果对象不存在），则调用它的方法会报错或抛异常。在实际开发中，发现JQuery在id对应的标签不存在时，调其val()方法不会报错，结果是undefined。        
  • http请求测试实例（采用json-lib解析） bijian1013 jsonhttp
            由于fastjson只支持JDK1.5版本，因些对于JDK1.4的项目，可以采用json-lib来解析JSON数据。如下是http请求的另外一种写法，仅供参考。 package com; import java.util.HashMap; import java.util.Map; import
  • 【RPC框架Hessian四】Hessian与Spring集成 bit1129 hessian
    在【RPC框架Hessian二】Hessian 对象序列化和反序列化一文中介绍了基于Hessian的RPC服务的实现步骤，在那里使用Hessian提供的API完成基于Hessian的RPC服务开发和客户端调用，本文使用Spring对Hessian的集成来实现Hessian的RPC调用。   定义模型、接口和服务器端代码 |---Model    &nb
  • 【Mahout三】基于Mahout CBayes算法的20newsgroup流程分析 bit1129 Mahout
    1.Mahout环境搭建  1.下载Mahout http://mirror.bit.edu.cn/apache/mahout/0.10.0/mahout-distribution-0.10.0.tar.gz    2.解压Mahout  3. 配置环境变量 vim /etc/profile export HADOOP_HOME=/home
  • nginx负载tomcat遇非80时的转发问题 ronin47
    　　nginx负载后端容器是tomcat（其它容器如WAS,JBOSS暂没发现这个问题）非８０端口，遇到跳转异常问题。解决的思路是：$host:port        详细如下： 　　 该问题是最先发现的，由于之前对nginx不是特别的熟悉所以该问题是个入门级别的： ? 1 2 3 4 5
  • java-17-在一个字符串中找到第一个只出现一次的字符 bylijinnan java
    public class FirstShowOnlyOnceElement { /**Q17.在一个字符串中找到第一个只出现一次的字符。如输入abaccdeff，则输出b * 1.int[] count:count[i]表示i对应字符出现的次数 * 2.将26个英文字母映射：a-z <--> 0-25 * 3.假设全部字母都是小写 */ pu
  • mongoDB 复制集 开窍的石头 mongodb
    mongo的复制集就像mysql的主从数据库，当你往其中的主复制集(primary)写数据的时候，副复制集(secondary)会自动同步主复制集(Primary)的数据,当主复制集挂掉以后其中的一个副复制集会自动成为主复制集。提供服务器的可用性。和防止当机问题             mo
  • [宇宙与天文]宇宙时代的经济学 comsci 经济
        宇宙尺度的交通工具一般都体型巨大，造价高昂。。。。。      在宇宙中进行航行，近程采用反作用力类型的发动机，需要消耗少量矿石燃料，中远程航行要采用量子或者聚变反应堆发动机，进行超空间跳跃，要消耗大量高纯度水晶体能源      以目前地球上国家的经济发展水平来讲，
  • Git忽略文件 Cwind git
         有很多文件不必使用git管理。例如Eclipse或其他IDE生成的项目文件，编译生成的各种目标或临时文件等。使用git status时，会在Untracked files里面看到这些文件列表，在一次需要添加的文件比较多时（使用git add . / git add -u），会把这些所有的未跟踪文件添加进索引。 ==== ==== ==== 一些牢骚
  • MySQL连接数据库的必须配置 dashuaifu mysql连接数据库配置
    MySQL连接数据库的必须配置   1.driverClass：com.mysql.jdbc.Driver   2.jdbcUrl：jdbc:mysql://localhost:3306/dbname   3.user：username   4.password：password   其中1是驱动名；2是url，这里的‘dbna
  • 一生要养成的60个习惯 dcj3sjt126com 习惯
    一生要养成的60个习惯 第1篇 让你更受大家欢迎的习惯 1 守时，不准时赴约,让别人等,会失去很多机会。 如何做到： ①该起床时就起床， ②养成任何事情都提前15分钟的习惯。 ③带本可以随时阅读的书，如果早了就拿出来读读。 ④有条理，生活没条理最容易耽误时间。 ⑤提前计划：将重要和不重要的事情岔开。 ⑥今天就准备好明天要穿的衣服。 ⑦按时睡觉，这会让按时起床更容易。 2 注重
  • [介绍]Yii 是什么 dcj3sjt126com PHPyii2
    Yii 是一个高性能，基于组件的 PHP 框架，用于快速开发现代 Web 应用程序。名字 Yii （读作 易）在中文里有“极致简单与不断演变”两重含义，也可看作 Yes It Is! 的缩写。 Yii 最适合做什么？ Yii 是一个通用的 Web 编程框架，即可以用于开发各种用 PHP 构建的 Web 应用。因为基于组件的框架结构和设计精巧的缓存支持，它特别适合开发大型应
  • Linux SSH常用总结 eksliang linux sshSSHD
    转载请出自出处：http://eksliang.iteye.com/blog/2186931 一、连接到远程主机   格式： ssh name@remoteserver 例如： ssh ickes@192.168.27.211   二、连接到远程主机指定的端口   格式： ssh name@remoteserver -p 22 例如： ssh i
  • 快速上传头像到服务端工具类FaceUtil gundumw100 android
    快速迭代用 import java.io.DataOutputStream; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOExceptio
  • jQuery入门之怎么使用 ini JavaScripthtmljqueryWebcss
    jQuery的强大我何问起（个人主页：hovertree.com）就不用多说了，那么怎么使用jQuery呢？   首先，下载jquery。下载地址：http://hovertree.com/hvtart/bjae/b8627323101a4994.htm，一个是压缩版本，一个是未压缩版本，如果在开发测试阶段，可以使用未压缩版本，实际应用一般使用压缩版本(min)。然后就在页面上引用。
  • 带filter的hbase查询优化 kane_xie 查询优化hbaseRandomRowFilter
    问题描述 hbase scan数据缓慢，server端出现LeaseException。hbase写入缓慢。   问题原因 直接原因是： hbase client端每次和regionserver交互的时候，都会在服务器端生成一个Lease,Lease的有效期由参数hbase.regionserver.lease.period确定。如果hbase scan需
  • java设计模式-单例模式 men4661273 java单例枚举反射IOC
             单例模式1，饿汉模式 //饿汉式单例类.在类初始化时，已经自行实例化 public class Singleton1 { //私有的默认构造函数 private Singleton1() {} //已经自行实例化 private static final Singleton1 singl
  • mongodb 查询某一天所有信息的3种方法，根据日期查询 qiaolevip 每天进步一点点学习永无止境mongodb纵观千象
    // mongodb的查询真让人难以琢磨，就查询单天信息，都需要花费一番功夫才行。 // 第一种方式： coll.aggregate([ {$project:{sendDate: {$substr: ['$sendTime', 0, 10]}, sendTime: 1, content:1}}, {$match:{sendDate: '2015-
  • 二维数组转换成JSON tangqi609567707 java二维数组json
    原文出处：http://blog.csdn.net/springsen/article/details/7833596 public class Demo {     public static void main(String[] args) {        String[][] blogL
  • erlang supervisor wudixiaotie erlang
    定义supervisor时，如果是监控celuesimple_one_for_one则删除children的时候就用supervisor:terminate_child (SupModuleName, ChildPid)，如果shutdown策略选择的是brutal_kill，那么supervisor会调用exit(ChildPid, kill)，这样的话如果Child的behavior是gen_
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他