u010029983
u010029983

htmlcleaner xpath的一些tips

转载：http://blog.csdn.net/ustcxjt/article/details/7803513

参考网上

列一些tips



http://hi.baidu.com/yuweiming/blog/item/ac2bc817ad598f04c83d6d46.html

HtmlCleaner supports XPath to find tagNode/attribute, but it is not fully supported XPath parser and evaluator.
See Object[] org.htmlcleaner.TagNode.evaluateXPath(String xPathExpression) throws XPatherException:

public Object[] evaluateXPath(String xPathExpression) throws XPatherException
Evaluates XPath expression on give node.
This is not fully supported XPath parser and evaluator. Examples below show supported elements:

  • //div//a
  • //div//a[@id][@class]
  • /body/*[1]/@type
  • //div[3]//a[@id][@href='r/n4']
  • //div[last() >= 4]//./div[position() = last()])[position() > 22]//li[2]//a
  • //div[2]/@*[2]
  • data(//div//a[@id][@class])
  • //p/last()
  • //body//div[3][@class]//span[12.2
  • data(//a['v' < @id])


[java]  view plain copy
  1. /** 
  2.  * @author LiHuiRong 
  3.  * @created 2011-5-19 10:00 
  4.  */  
  5. public class TagNodeCaster {  
  6.   public static Document castTagNodeToDom4jDocument(HtmlCleaner cleaner, TagNode tagNode) throws IOException, DocumentException {  
  7.     StringWriter sw = new StringWriter();  
  8.     Serializer serializer = new SimpleXmlSerializer(cleaner.getProperties());  
  9.     serializer.write(tagNode, sw, "UTF-8");  
  10.     SAXReader reader = new SAXReader();  
  11.     StringReader strReader = new StringReader(sw.toString());  
  12.     Document doc = reader.read(strReader);  
  13.     return doc;  
  14.   }  
  15.    
  16.   public static void main(String[] args) throws Exception {  
  17.     HtmlCleaner cleaner = new HtmlCleaner();  
  18.     TagNode root = cleaner.clean(new URL("http://localhost/test/taobao_view_shop.htm"));  
  19.     if (root != null) {  
  20.       Document doc = castTagNodeToDom4jDocument(cleaner, root);  
  21.       Element rootE = doc.getRootElement();  
  22.       String xpath = "//div[@class='bd']/div/div[@class='nav']/ul/li[not(@class)]/a/@href";  
  23.       Object obj = rootE.selectObject(xpath);  
  24.       DefaultAttribute da = (DefaultAttribute) obj;  
  25.       System.out.println(da.getValue());  
  26.     }  
  27.   }  
  28. }  




http://mn960mn.blog.163.com/blog/static/114103084201091833316436/

1. HtmlCleaner cleaner = new HtmlCleaner(); 
2. TagNode node = cleaner.clean(new File(fileRoot), String defultCharSet);//在这一步骤中，得到经过基本处理后的一颗html 树，其中，fileRoot 为 保存的html的页面地址，defultCharSet 词程序的默认的分析编码，因为网页的编码格式会有几种，必须用相应的格式进行分析提取，否则乱码。Clean方法中参数，可以是文件，可以是url，可以是字符串内容。 
//按xpath提取 
3. Object[] metaKeyWord = node.evaluateXPath("/head/meta[@name='" 
+ keyWord + "']");// 利用xpath取出meta 中的keyword，要求具有一定的xpath 知识基础。 
4. if (metaKeyWord.length != 0) { 
String stringOfMetaKeyWord = (((TagNode) metaKeyWord[0]) 
.getAttributeByName("content"));//提取出meta中的关键词 
} 
5. //按tag提取 
6. Object[] title = node.getElementsByName("title", true); 
if(title.length!=0){ 
String stringOfTitle = (((TagNode) title[0]).getText()).toString(); 
} 
在我的应用中，我把htmlCleaner的用途分为两种，一种做特定的、有针对性的网页信息的提取，另一种做网页正文的提取。 
对于第一种，就举我遇到的一个问题作为例子吧。因为在做网页分析时，要考虑到编码的问题，网页的编码格式与预设分析的编码不一致，则提取失败。因此必须要先提取出网页的编码，然后判断是否与自己设定的一致，不一致的话，按照新的编码格式重新进行分析提取。例如，TagNode node = cleaner.clean(new File(fileRoot), “gb2312”) , 在程序中用的是gb2312，而一篇网页的编码是 utf-8 ，那要首先根据Xpath 进行特定内容的提取（也就是你已经知道它在哪），提取网页编码的xpath 路径描述为： "/head/meta[@http-equiv='Content-Type']"；用TagNode 中的evaluateXPath 方法便可提取出来。当然，按照此方法的理论分析，还可以应用此性质来做一些某些网站上的特定的信息的提取、定制。比如天气预报、新闻等等。但要熟练掌握Xpath的语法，至关重要。经典的xpath教程，网上有很多，而且例子也比较全，这里就不多在描述，但有一点要注意，htmlCleaner 对Xpath 仅仅是部分的语法支持，有些xpath 不能被完全识别，大家可以下载xpath的api ，定义自己的xpath 即可。 
对于第二种，就说一下我在处理类似内容时的具体思路吧。（总的来看，网页提取效果还是蛮不错的，最起码对于我的应用而言，足矣。之所以要在这分享一下，是因为自己也走过了不少弯路，看过多人的博客和所谓的技术文章）网页中主题内容，成块的文字描述一般都是用<p>来标示，当然更有一些用<tr> ，更有甚者直接扔在<div>中，对于此，采用了从细到粗，逐步删除的方法。首先根据标签或者xpath 路径 ，提取出无用的html描述语言，比如<script> 、<style>等等，然后将其删除，方法如下。 

Object[] nsscript = node.evaluateXPath("//script"); 
for (Object tt : nsscript) { 
((TagNode) tt).removeFromTree(); 
} 
（在xpath中，// 代表所有的script 标签结点，即一个TagNode对象） 
然后，利用TagNode 的evaluateXPath 方法，只提取<body>中的链接，图像信息和文章。”/body//a”  “/body//img” “/body//p” ，同样的方法将其从Tree中删除，以免影响后续的提取结果。如此便可提取仅在<div>中定义的文字了，要注意的是提取的xpath是”/body/div”，只提取一层，以免重复。 

Object[] nsdiv_2 = node.evaluateXPath("/body/div"); 
for (int j = 0; j < nsdiv_2.length; j++) { 
if (j == nsdiv_2.length - 1) { 
TagNode t = (TagNode) nsdiv_2[j]; 
t.removeFromTree(); 
} 
} 
此外在这一步骤之前，最好将nsdiv_2 中的最后一个内容删除，因为基本上是网页的root，没有什么用处。 
怎么样，很简单吧，这只是一个简单的网页提取，当然要想更加精确，从分析DOM的方向入手，也是可以的。htmlCleaner，也提供了相关的方法和功能。如下一个简单的Demo。 

[java]  view plain copy
  1. public class HtmlClean {   
  2.   
  3.     public void cleanHtml(String htmlurl, String xmlurl) {   
  4.         try {   
  5.             long start = System.currentTimeMillis();   
  6.   
  7.             HtmlCleaner cleaner = new HtmlCleaner();   
  8.             CleanerProperties props = cleaner.getProperties();   
  9.             props.setUseCdataForScriptAndStyle(true);   
  10.             props.setRecognizeUnicodeChars(true);   
  11.             props.setUseEmptyElementTags(true);   
  12.             props.setAdvancedXmlEscape(true);   
  13.             props.setTranslateSpecialEntities(true);   
  14.             props.setBooleanAttributeValues("empty");   
  15.   
  16.             TagNode node = cleaner.clean(new File(htmlurl),"utf-8");   
  17.   
  18.             System.out.println("vreme:" + (System.currentTimeMillis() - start));   
  19.   
  20.             new PrettyXmlSerializer(props).writeXmlToFile(node, xmlurl,"utf-8");   
  21.   
  22.             System.out.println("vreme:" + (System.currentTimeMillis() - start));   
  23.         } catch (IOException e) {   
  24.             e.printStackTrace();   
  25.         }   
  26.     }   
  27.   
  28.     public static void main(String[] args) {   
  29.         HtmlClean clean = new HtmlClean();   
  30.         clean.cleanHtml("html/1.htm", "1.xml");   
  31.     }   
  32. }  


http://hi.baidu.com/yuweiming/blog/item/ac2bc817ad598f04c83d6d46.html

/                    获取当前节点的下一级节点，只包括儿子
//                   获取当前节点的所有子节点，包括孙子等。
//table[@class]      获取所有含有class属性的table标签
//table[span[@class]] 获取含有span，有class属性作为子节点的节点。
//a[text()]    <a>a<b>b</b></a> 用来获取a
//a//text()    <a>a<b>b</b></a> 用来获取ab

contains

//a[/d[@class='class1']]/text() 获取含有d子节点并且d节点含有class，值为class1
//a[//d[@class='class1']]/text() 获取含有d子节点,包含孙子等，并且d节点含有class，值为class1


等值查询：
String xPath = "users/user[username='huo' and password='123']";
模糊查询：
String xPath = "users/user[contains(username,'huo') and contains(password,'123')]";

//table[@width][@border][@cellpadding][@cellspacing]//span[@class='posttopic']/../../..   ..是获取当前节点的父节点

你可能感兴趣的:(htmlcleaner xpath的一些tips)

  • Python函数专题：引用传参 圣逸 从入门到精通Python语言python开发语言Python入门精通python数据结构
    在Python编程中，函数是一个非常重要的概念。函数不仅能提高代码的可重用性，还能够使代码结构更加清晰。在函数的设计和使用中，参数的传递方式是一个关键的因素。Python中的参数传递有两种主要形式：值传递和引用传递。虽然Python的参数传递机制有时被称为"引用传递"，但实际上它更接近于"对象引用传递"。本文将深入探讨Python中的引用传参及其相关概念。一、基本概念在讨论引用传参之前，首先要理解
  • python函数支持哪些参数类型_Python函数的几种参数类型 weixin_39965283
    以下代码均以Python3为基础理解。初识Python函数大部分常见的语言如C、Java、PHP、C#、JavaScript等属于C系语言，Python不属于他们中的一员（ruby亦然）。在这些语言中，Python也属于比较新奇的一派，就函数来说，它没有大括号，用def关键字定义一个函数，定义后用:然后换行tab指定函数函数的范围，当然也不存在什么分号。作为一个函数，那个它肯定是有参数的，Pyth
  • 区块链Blockchain weixin_33827590 区块链密码学数据结构与算法
    区块链Blockchain区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。所谓共识机制是区块链系统中实现不同节点之间建立信任、获取权益的数学算法。狭义来讲，区块链是一种按照时间顺序将数据区块以顺序相连的方式组合成的一种链式数据结构，并以密码学方式保证的不可篡改和不可伪造的分布式账本。广义来讲，区块链技术是利用块链式数据结构来验证与存储数据、利用分布式节点共识算法来
  • python自定义函数的参数有多种类型_Python实现自定义函数的5种常见形式分析 weixin_39632728
    Python自定义函数是以def开头，空一格之后是这个自定义函数的名称，名称后面是一对括号，括号里放置形参列表，结束括号后面一定要有冒号“：”，函数的执行体程序代码也要有适当的缩排。Python自定义函数的通用语法是：def函数名称(形参列表)：执行体程序代码Python自定义函数的5种常见形式：1、标准自定义函数：形参列表是标准的tuple数据类型>>>defabvedu_add(x,y):pr
  • 下载码怎么使用 小小河马、 java
    CSDN下载码是通过用户完成一些既定的任务而赠送给用户的。在完成一些要求的任务后，系统会送出一个下载码。用户可以使用该下载码去下载需要的资源。注意下载码是有有效期的，一旦收到了下载码请尽快使用。使用下载码只能下载不需要积分的资源，如果需要积分的资源，下载码是没有用的。博客积分是CSDN对用户努力的认可和奖励，也是衡量博客水平的重要标准。博客等级也将由博客积分唯一决定。积分规则具体如下：1、每发布一
  • Git使用规范 糖心何包蛋爱编程 gitjava经验分享intellij-idea
    摘要本文主要讲解Git提交需遵循相应规范。PullRequest方面，一个PR专注一件事。信息填写中，Title分仅含一个commit和多个commit的情况；Content也有要求。还有其它规范，如连接issue，pr完成后要妥善处理，以保证代码提交的高效与规范。开发统一使用git进行版本管理，使用gitsubmodule实现代码模块化。在使用git进行提交和push等操作时需要遵循以下规范。一
  • 工厂函数详解：概念、目的与作用 漫谈网络 网络技术进阶通途工厂函数mininetsdnnfv网络
    一、什么是工厂函数？工厂函数（FactoryFunction）是一种设计模式，其核心是通过一个函数来创建并返回对象，而不是直接使用new或构造函数实例化对象。它封装了对象的创建过程，使代码更灵活、可维护。二、工厂函数的目的与作用目的作用解耦对象创建逻辑将对象的创建与使用分离，调用者无需关心对象的具体实现细节。延迟实例化仅在需要时创建对象，避免资源浪费（如内存、CPU）。支持动态参数根据输入参数返回
  • 01.AJAX 概念和 axios 使用 Lv547 #AJAXajax前端javascript
    01.AJAX概念和axios使用1.什么是AJAX?使用浏览器的XMLHttpRequest对象与服务器通信浏览器网页中，使用AJAX技术（XHR对象）发起获取省份列表数据的请求，服务器代码响应准备好的省份列表数据给前端，前端拿到数据数组以后，展示到网页2.什么是服务器？可以暂时理解为提供数据的一台电脑3.为何学AJAX?以前我们的数据都是写在代码里固定的,无法随时变化现在我们的数据可以从服务器
  • TypeScript模块 vs JavaScript模块：现代化开发的模块化之道 念九_ysl typescript前端typescript
    一、模块化开发的重要性在当今前端开发领域，模块化已成为构建可维护、可扩展应用程序的基石。无论是小型项目还是企业级应用，良好的模块化设计都能显著提升代码的可读性和复用性。让我们通过一个简单对比示例开始：JavaScript实现：//math.jsexportfunctionadd(a,b){returna+b}//app.jsimport{add}from'./math.js';console.lo
  • 深入了解Python的shutil模块 上官美丽 技术分享python
    在Python编程中，处理文件和目录是一个常见的需求。而shutil模块就像一个得力助手，专门用于文件和目录的操作！这篇文章将带你深入探索shutil模块的各种功能，让你在管理文件时游刃有余。什么是shutil模块？shutil是Python的一个标准库，主要用于高效地处理文件和目录。这个模块提供了很多有用的功能，比如复制、移动、删除文件，甚至可以压缩和解压文件！无论你是要整理文档、备份数据，还是
  • Springboot中的@ConditionalOnBean注解：使用指南与最佳实践 上官美丽 javaspringbootjavamybatis
    在使用SpringBoot进行开发时，大家应该都听说过条件注解（ConditionalAnnotations）。其中的@ConditionalOnBean注解就很有趣，它帮助开发者在特定条件下创建和注入Bean，让你的应用更加灵活。今天就来聊聊这个注解的使用场景、工作原理以及最佳实践！什么是@ConditionalOnBean注解？@ConditionalOnBean是SpringBoot中提供的
  • 怎样用Java实现快速排序与找到数组中第k小的值？ 上官美丽 java算法排序算法
    大家好，今天我们来聊聊在Java中如何实现快速排序算法，以及如何利用这个排序算法来找到一个数组中的第k小的值。这两个主题在算法和数据结构的学习中都非常重要，理解这些内容对编写高效程序有很大的帮助！快速排序（QuickSort）是一种非常流行的排序算法，因为它在平均情况下表现得非常迅速。它的基本思路是通过一个“基准”值将数组分为两部分，然后递归对这两部分进行排序。听起来简单吧！接下来，我们深入了解一
  • Django ORM自定义排序的实用示例 上官美丽 技术分享django数据库sqlite
    在使用Django进行开发时，ORM（对象关系映射）是一个非常强大的工具。它让我们可以用Python代码直接操作数据库，而不需要写SQL语句。当我们需要对数据进行排序时，DjangoORM同样提供了丰富的功能。今天，我们就来聊聊如何在Django中实现自定义排序，帮助你更好地管理和展示数据！理解DjangoORM的排序功能DjangoORM提供了order_by()方法，允许我们对查询集进行排序。
  • Maven Deploy Plugin如何使用？ 上官美丽 javamavenjava
    在Java开发中，Maven是一个非常重要的构建工具。它不仅可以管理项目的依赖关系，还能帮助我们打包和发布项目。在Maven中，deploy插件是一个很实用的功能，它可以将构建好的项目发布到远程仓库。今天，就来聊聊如何使用MavenDeployPlugin，帮助你更好地掌握这个工具！什么是MavenDeployPlugin？MavenDeployPlugin是Maven的一部分，主要用于将构建好的
  • 【DevOps工具篇】Keycloak安装配置及脚本化 小涵 DevOps企业级项目实战devops运维keycloak
    目录脚本化要求步骤步骤1：安装并启动Keycloak服务器[](#step-1-installing-and-starting-the-keycloak-server)分发文件进行安装Docker映像进行安装在OpenShift内的Docker映像中安装步骤2：连接管理CLI[](#step-2-connecting-the-admin-cli)步骤3：配置[](#step-3-configuri
  • Qt 多线程设计：死循环与信号槽的权衡 吃面不喝汤66 qt开发语言
    在开发音视频播放器时，多线程设计是不可避免的挑战。音频和视频的解码、播放需要高效运行，同时还要与主线程或其他线程同步，例如通过信号通知播放进度。本文基于一个实际案例，分析了两种线程设计在死循环和信号槽使用中的表现，探讨其原因，并给出选择建议。问题表现我在实现音频播放线程时，遇到了一个问题：主线程通过QMetaObject::invokeMethod调用terminateDecode无法终止音频线程
  • 一种基于swagger 2.0 yaml文件的接口异常用例生成算法，单因子变量法 xiyubaby.17 java测试用例
    详细解决方案一、设计思路基于Swagger2.0的YAML定义，为每个参数生成两类测试用例：正常用例：所有参数均符合约束。异常用例：仅一个参数违反约束，其他参数正常，且每个参数需覆盖所有可能的异常场景。二、实现步骤解析Swagger文件使用SnakeYAML解析YAML，提取参数定义（类型、约束、是否必填等）。生成正常值根据参数类型和约束生成合法值。生成异常值针对每个参数的所有约束，生成违反每个约
  • 解决 OBS 截图黑屏问题 —— 确保源处于 Active 和 Showing 状态 吃面不喝汤66 OBS二次开发c++
    在OBS插件或二次开发中，很多开发者遇到过这样的问题：在录制过程中使用OBS内部接口进行截图时，得到的图像却始终为黑屏。本文将详细介绍出现黑屏的原因，并分享一种简单有效的解决方案——通过手动激活源来确保OBS渲染出有效帧。问题背景在我们的项目中，我们通过AreaCaptureStrategy搭建了一个主场景（mainScene），用于实现区域录制。在录制过程中，OBS内部已经在后台采集屏幕内容，并
  • 【AI论文】RWKV-7“鹅”模型，具备富有表现力的动态状态演化能力 东临碣石82 人工智能
    摘要：我们推出RWKV-7“鹅”，这是一种全新的序列建模架构，同时发布的还有预训练语言模型。在多语言任务中，这些模型在30亿参数规模下实现了下游性能的全新最优水平，并且在英语语言性能上，尽管训练所用的标记数量远少于其他顶尖30亿参数模型，但仍能与当前最优水平相媲美。然而，RWKV-7模型仅需常量内存使用和每个标记的常量推理时间。RWKV-7引入了一种新泛化的delta规则，该规则具有向量值门控和上
  • RocketMQ 和 Kafka 重生之我在成电转码 rocketmqKafkajava消息队列
    ✅RocketMQ和Kafka是两种非常流行的分布式消息队列系统，它们广泛用于大规模、高并发的消息传递和事件驱动架构中。虽然它们都属于消息队列，但在设计理念、特性和应用场景上有一些差异。接下来，我们来深入分析这两者的区别与优缺点。一、Kafka和RocketMQ的概述✅1️⃣KafkaKafka是一个分布式的流处理平台，由Apache软件基金会开发，最初由LinkedIn开发并开源。Kafka主要
  • Python for循环详解 红虾程序员 Python开发语言idepythonpycharm
    目录一、基本语法二、用法示例1、遍历字符串2、遍历列表3、遍历元组4、遍历字典5、使用range()函数6、使用enumerate()函数7、嵌套循环8、break和continue语句9、else子句三、优点四、缺点在Python中，for循环是一种用于迭代可迭代对象（如列表、元组、字典、集合、字符串或任何实现了迭代协议的对象）的语句，它允许按顺序访问可迭代对象中的每个元素，并对每个元素执行一组
  • Python：区块链 Blockchain 入门的技术指南 拾荒的小海螺 Pythonpython区块链开发语言
    1、简述区块链（Blockchain）是一种去中心化、不可篡改的分布式账本技术，最初因比特币而广为人知。如今，区块链已发展成为一种可以应用于金融、供应链管理、智能合约等多个领域的技术。本文将简要介绍区块链的基本概念和原理，并通过Python实现一个简化的区块链原型，帮助您快速上手区块链的实践。2、基本原理区块链是一种链式结构，由多个“区块”串联而成。每个区块中包含若干交易信息，并通过加密哈希指向前
  • 这个设计思想能启蒙你很多年，嵌入式裸机按键扫描 大方老师嵌入式 嵌入式单片机单片机学习单片机51单片机嵌入式硬件
    这个设计思想能启蒙你很多年，嵌入式裸机按键扫描摘要：本文目的是讲述一个按键扫描处理的面向对象开发的设计思想，适用于裸机开发，通过按键扫描，检测到按键是否按下，松开等状态，并将该状态通过其他形式反馈给其他模块进行处理。初次使用按键时，最常用的办法就是如以下代码一样，硬延时抖动滤波，等待确认后做相应的处理。void KEY_Scan(void){    
  • 深入理解Ajax原理 lfsf802 前端技术ajaxxmlhttprequestjavascript服务器asynchronous
    1.概念ajax的全称是AsynchronousJavaScriptandXML，其中，Asynchronous是异步的意思，它有别于传统web开发中采用的同步的方式。2.理解同步异步异步传输是面向字符的传输，它的单位是字符；而同步传输是面向比特的传输，它的单位是桢，它传输的时候要求接受方和发送方的时钟是保持一致的。举个例子来说同步和异步，同步就好像我们买楼一次性支付，而异步就是买楼分期付款。所以
  • 解释 TypeScript 中的类型保护（type guards），如何使用类型保护进行类型检查？ 程序员黄同学 TypeScript前端开发JavaScripttypescriptubuntujavascript
    TypeScript类型保护深度解析核心概念解析类型保护是TypeScript用于在条件分支中缩小变量类型范围的机制，通过特定的语法结构让编译器能够推导出更精确的类型信息。其核心价值在于提升代码类型安全性，同时保持开发效率。五大实现方式及实战案例1.类型谓词（TypePredicates）interfaceCat{purr():void;}interfaceDog{bark():void;}fun
  • @GitHub 送了我这个礼物 - Github 星星奖???? krishnaik06 gitAIGCgithub人工智能开发语言
    这位博主收到了GitHub颁发的“GitHubStarAwards”奖品，并进行了开箱视频。他表示，这些奖品是由于他在2021年对GitHub开源项目的持续贡献而获得的，包括上传项目、解决问题等。开箱视频展示了奖品内容，包括：一张感谢信，感谢博主在社区中的贡献。一只毛绒玩具熊。一顶GitHub帽子。一件GitHubT恤。一件GitHub连帽衫。一个麦克风和一个防喷罩。一个GitHub马克杯。一堆G
  • 通过Github仓库链接爬取其star的数量 gu_lian githubxpathpython
    通过Github仓库链接爬取其star的数量今天在处理Ghtorrent的projects数据表时，发现里面竟然没有star的数量，于是就想捣鼓着通过数据表里提供的链接把star数量爬下来。没想到在爬取的过程中碰到了一个火狐浏览器的神坑，在这里写篇博客记录一下。为了不失访问的普遍性，我把Ghtorrent提供的链接改成了访问原仓库的链接（原链接是这种形式https://api.github.com
  • Spring Boot 3 新特性实战：从理论到实践 潘多编程 网络java开发语言
    引言SpringBoot自发布以来，凭借其简洁的配置和强大的功能，迅速成为Java开发者的首选框架。随着SpringBoot3的发布，开发者们迎来了更多令人兴奋的新特性。本文将深入探讨SpringBoot3的新特性，并通过实战示例展示如何在实际项目中应用这些新功能。1.支持Java17SpringBoot3全面支持Java17，这是Java生态系统中的一个重要里程碑。Java17带来了许多新特性，
  • Dify 项目开源大模型应用开发平台 魔王阿卡纳兹 IT杂谈开源项目观察开源difLLM开发平台
    Dify是一款开源的大语言模型（LLM）应用开发平台，旨在简化生成式AI应用的创建、部署和持续优化流程。以下从多个维度对该项目进行详细介绍：一、项目定义与核心功能Dify的核心定位是结合后端即服务（BaaS）和LLMOps理念，为开发者提供从原型到生产的全生命周期支持。其核心功能包括：可视化工作流构建通过可视化画布（如ReactFlow）编排AI工作流，支持多步骤任务处理，例如文档解析、模型推理和
  • 【玩转google云】在 Google Cloud 和 AWS 之间创建高可用性 VPN 连接（二） Coder加油! 手把手教学玩转google云aws云计算devops客户网关虚拟网关
    目录1、安装AWSCLI2、配置AWSCLI3、AWS命令创建两个客户网关4、创建虚拟网关并将其挂接到您的VPC网络5、创建采用动态路由的VPN连接上一篇我们讲到了怎么在在GoogleCloud上创建高可用性VPN网关和路由器，这一篇我们将介绍怎么在AWS上面创建网关和VPN连接。AWS命令行界面(AWSCLI)是一种开源工具，允许您使用命令行操作AWS服务。您可以使用AWSCLI自动化任务、管理
  • LeetCode[Math] - #66 Plus One Cwind javaLeetCode题解AlgorithmMath
    原题链接：#66 Plus One   要求： 给定一个用数字数组表示的非负整数，如num1 = {1, 2, 3, 9}, num2 = {9, 9}等，给这个数加上1。 注意： 1. 数字的较高位存在数组的头上，即num1表示数字1239 2. 每一位（数组中的每个元素）的取值范围为0~9   难度：简单   分析： 题目比较简单，只须从数组
  • JQuery中$.ajax()方法参数详解 AILIKES JavaScriptjsonpjqueryAjaxjson
    url: 要求为String类型的参数，（默认为当前页地址）发送请求的地址。 type: 要求为String类型的参数，请求方式（post或get）默认为get。注意其他http请求方法，例如put和    delete也可以使用，但仅部分浏览器支持。 timeout: 要求为Number类型的参数，设置请求超时时间（毫秒）。此设置将覆盖$.ajaxSetup()方法的全局
  • JConsole & JVisualVM远程监视Webphere服务器JVM Kai_Ge JVisualVMJConsoleWebphere
        JConsole是JDK里自带的一个工具，可以监测Java程序运行时所有对象的申请、释放等动作，将内存管理的所有信息进行统计、分析、可视化。我们可以根据这些信息判断程序是否有内存泄漏问题。 　　使用JConsole工具来分析WAS的JVM问题，需要进行相关的配置。 　　首先我们看WAS服务器端的配置. 　　1、登录was控制台https://10.4.119.18
  • 自定义annotation 120153216 annotation
    Java annotation 自定义注释@interface的用法 一、什么是注释      说起注释，得先提一提什么是元数据(metadata)。所谓元数据就是数据的数据。也就是说，元数据是描述数据的。就象数据表中的字段一样，每个字段描述了这个字段下的数据的含义。而J2SE5.0中提供的注释就是java源代码的元数据，也就是说注释是描述java源
  • CentOS 5/6.X 使用 EPEL YUM源 2002wmj centos
    CentOS 6.X 安装使用EPEL YUM源1. 查看操作系统版本[root@node1 ~]# uname -a Linux node1.test.com 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 00:31:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux [root@node1 ~]#
  • 在SQLSERVER中查找缺失和无用的索引SQL 357029540 SQL Server
    --缺失的索引 SELECT  avg_total_user_cost * avg_user_impact * ( user_scans + user_seeks ) AS PossibleImprovement ,          last_user_seek ,    
  • Spring3 MVC 笔记（二） —json+rest优化 7454103 Spring3 MVC
    接上次的 spring mvc 注解的一些详细信息！                          其实也是一些个人的学习笔记  呵呵！
  • 替换“\”的时候报错Unexpected internal error near index 1 \ ^ adminjun java“\替换”
    发现还是有些东西没有刻子脑子里,,过段时间就没什么概念了,所以贴出来...以免再忘...   在拆分字符串时遇到通过 \ 来拆分，可是用所以想通过转义 \\ 来拆分的时候会报异常   public class Main {          /*
  • POJ 1035 Spell checker(哈希表) aijuans 暴力求解--哈希表
    /* 题意：输入字典，然后输入单词，判断字典中是否出现过该单词，或者是否进行删除、添加、替换操作，如果是，则输出对应的字典中的单词 要求按照输入时候的排名输出 题解：建立两个哈希表。一个存储字典和输入字典中单词的排名，一个进行最后输出的判重 */ #include <iostream> //#define using namespace std; const int HASH =
  • 通过原型实现javascript Array的去重、最大值和最小值 ayaoxinchao JavaScriptarrayprototype
    用原型函数（prototype）可以定义一些很方便的自定义函数，实现各种自定义功能。本次主要是实现了Array的去重、获取最大值和最小值。 实现代码如下：   <script type="text/javascript"> Array.prototype.unique = function() { var a = {}; var le
  • UIWebView实现https双向认证请求 bewithme UIWebViewhttpsObjective-C
              什么是HTTPS双向认证我已在先前的博文 ASIHTTPRequest实现https双向认证请求 中有讲述，不理解的读者可以先复习一下。本文是用UIWebView来实现对需要客户端证书验证的服务请求，网上有些文章中有涉及到此内容，但都只言片语，没有讲完全，更没有完整的代码，让人困扰不已。但是此知
  • NoSQL数据库之Redis数据库管理(Redis高级应用之事务处理、持久化操作、pub_sub、虚拟内存) bijian1013 redis数据库NoSQL
    3.事务处理         Redis对事务的支持目前不比较简单。Redis只能保证一个client发起的事务中的命令可以连续的执行，而中间不会插入其他client的命令。当一个client在一个连接中发出multi命令时，这个连接会进入一个事务上下文，该连接后续的命令不会立即执行，而是先放到一个队列中，当执行exec命令时，redis会顺序的执行队列中
  • 各数据库分页sql备忘 bingyingao oraclesql分页
    ORACLE 下面这个效率很低 SELECT * FROM ( SELECT A.*, ROWNUM RN FROM (SELECT * FROM IPAY_RCD_FS_RETURN order by id desc) A ) WHERE RN <20; 下面这个效率很高 SELECT A.*, ROWNUM RN FROM (SELECT * FROM IPAY_RCD_
  • 【Scala七】Scala核心一：函数 bit1129 scala
    1. 如果函数体只有一行代码，则可以不用写{},比如 def print(x: Int) = println(x) 一行上的多条语句用分号隔开，则只有第一句属于方法体，例如   def printWithValue(x: Int) : String= println(x); "ABC"   上面的代码报错，因为，printWithValue的方法
  • 了解GHC的factorial编译过程 bookjovi haskell
    GHC相对其他主流语言的编译器或解释器还是比较复杂的，一部分原因是haskell本身的设计就不易于实现compiler，如lazy特性，static typed，类型推导等。 关于GHC的内部实现有篇文章说的挺好，这里，文中在RTS一节中详细说了haskell的concurrent实现，里面提到了green thread，如果熟悉Go语言的话就会发现，ghc的concurrent实现和Go有点类
  • Java-Collections Framework学习与总结-LinkedHashMap BrokenDreams LinkedHashMap
            前面总结了java.util.HashMap，了解了其内部由散列表实现，每个桶内是一个单向链表。那有没有双向链表的实现呢？双向链表的实现会具备什么特性呢？来看一下HashMap的一个子类——java.util.LinkedHashMap。       
  • 读《研磨设计模式》-代码笔记-抽象工厂模式-Abstract Factory bylijinnan abstract
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * Abstract Factory Pattern * 抽象工厂模式的目的是： * 通过在抽象工厂里面定义一组产品接口，方便地切换“产品簇” * 这些接口是相关或者相依赖的
  • 压暗面部高光 cherishLC PS
    方法一、压暗高光&重新着色 当皮肤很油又使用闪光灯时，很容易在面部形成高光区域。 下面讲一下我今天处理高光区域的心得： 皮肤可以分为纹理和色彩两个属性。其中纹理主要由亮度通道（Lab模式的L通道）决定，色彩则由a、b通道确定。 处理思路为在保持高光区域纹理的情况下，对高光区域着色。具体步骤为：降低高光区域的整体的亮度，再进行着色。 如果想简化步骤，可以只进行着色（参看下面的步骤1
  • Java VisualVM监控远程JVM crabdave visualvm
    Java VisualVM监控远程JVM    JDK1.6开始自带的VisualVM就是不错的监控工具. 这个工具就在JAVA_HOME\bin\目录下的jvisualvm.exe, 双击这个文件就能看到界面   通过JMX连接远程机器, 需要经过下面的配置: 1. 修改远程机器JDK配置文件 (我这里远程机器是linux).    
  • Saiku去掉登录模块 daizj saiku登录olapBI
    1、修改applicationContext-saiku-webapp.xml <security:intercept-url pattern="/rest/**" access="IS_AUTHENTICATED_ANONYMOUSLY" />  <security:intercept-url pattern=&qu
  • 浅析 Flex中的Focus dsjt htmlFlexFlash
    关键字：focus、 setFocus、 IFocusManager、KeyboardEvent 焦点、设置焦点、获得焦点、键盘事件 一、无焦点的困扰——组件监听不到键盘事件 原因：只有获得焦点的组件（确切说是InteractiveObject）才能监听到键盘事件的目标阶段；键盘事件（flash.events.KeyboardEvent）参与冒泡阶段，所以焦点组件的父项（以及它爸
  • Yii全局函数使用 dcj3sjt126com yii
    由于YII致力于完美的整合第三方库，它并没有定义任何全局函数。yii中的每一个应用都需要全类别和对象范围。例如，Yii::app()->user;Yii::app()->params['name'];等等。我们可以自行设定全局函数，使得代码看起来更加简洁易用。(原文地址) 我们可以保存在globals.php在protected目录下。然后，在入口脚本index.php的，我们包括在
  • 设计模式之单例模式二（解决无序写入的问题） come_for_dream 单例模式volatile乱序执行双重检验锁
                    在上篇文章中我们使用了双重检验锁的方式避免懒汉式单例模式下由于多线程造成的实例被多次创建的问题，但是因为由于JVM为了使得处理器内部的运算单元能充分利用，处理器可能会对输入代码进行乱序执行（Out Of Order Execute）优化，处理器会在计算之后将乱序执行的结果进行重组，保证该
  • 程序员从初级到高级的蜕变 gcq511120594 框架工作PHPandroidhtml5
    软件开发是一个奇怪的行业，市场远远供不应求。这是一个已经存在多年的问题，而且随着时间的流逝，愈演愈烈。 我们严重缺乏能够满足需求的人才。这个行业相当年轻。大多数软件项目是失败的。几乎所有的项目都会超出预算。我们解决问题的最佳指导方针可以归结为——“用一些通用方法去解决问题，当然这些方法常常不管用，于是，唯一能做的就是不断地尝试，逐个看看是否奏效”。 现在我们把淫浸代码时间超过3年的开发人员称为
  • Reverse Linked List hcx2013 list
    Reverse a singly linked list.   /** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode next; * ListNode(int x) { val = x; } * } */ p
  • Spring4.1新特性——数据库集成测试 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • C# Ajax上传图片同时生成微缩图(附Demo) liyonghui160com
        1.Ajax无刷新上传图片,详情请阅我的这篇文章。（jquery + c# ashx）         2.C#位图处理  System.Drawing。         3.最新demo支持IE7,IE8,Fir
  • Java list三种遍历方法性能比较 pda158 java
    从c/c++语言转向java开发，学习java语言list遍历的三种方法，顺便测试各种遍历方法的性能，测试方法为在ArrayList中插入1千万条记录，然后遍历ArrayList，发现了一个奇怪的现象，测试代码例如以下： package com.hisense.tiger.list; import java.util.ArrayList; import java.util.Iterator;
  • 300个涵盖IT各方面的免费资源（上）——商业与市场篇 shoothao seo商业与市场IT资源免费资源
    A.网站模板+logo+服务器主机+发票生成 HTML5 UP:响应式的HTML5和CSS3网站模板。 Bootswatch:免费的Bootstrap主题。 Templated:收集了845个免费的CSS和HTML5网站模板。 Wordpress.org|Wordpress.com:可免费创建你的新网站。 Strikingly:关注领域中免费无限的移动优
  • localStorage、sessionStorage uule localStorage
    W3School 例子   HTML5 提供了两种在客户端存储数据的新方法： localStorage - 没有时间限制的数据存储 sessionStorage - 针对一个 session 的数据存储   之前，这些都是由 cookie 完成的。但是 cookie 不适合大量数据的存储，因为它们由每个对服务器的请求来传递，这使得 cookie 速度很慢而且效率也不
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他