xpp1993
xpp1993

Jsoup网页内容抓取分析

     在Java 程序在解析HTML 文档时，大家应该晓得htmlparser 这个开源项目，我也是使用过，不过这个程序到了2006年就没有更新了。由于我的基础较差，对于扩展自定义的标签还是不太懂，还是有超时问题困扰，偶然的机会中发现有jsoup，而且更新到了1.72版，使用起来还是很容易上手的。下面写些使用心得：

        jsoup is a Java library for working with real-world HTML. It provides a very convenient API for extracting and manipulating data, using the best of DOM, CSS, and jquery-like methods.

       jsuop是一款java的html解析器，提供一套非常省力的API，通过dom模型css和类似于jquery的方式来获取和操作数据。

      功能：1.解析一个Html文档，2.解析一个body片段

       

Java代码   收藏代码
  1. String html = "<html><head><title>First parse</title></head>"  
  2.   + "<body><p>Parsed HTML into a doc.</p></body></html>";  
  3. Document doc = Jsoup.parse(html);//分析文档，使用doc.toString()可以转为文本  
  4. Element body=doc.body();//获取body片段，使用body.toString()可以转为文本  

     

      获取方式：1.从本地文件加载   2.根据url地址获取

 

     

Java代码   收藏代码
  1. /**使用静态 Jsoup.parse(File in, String charsetName, String baseUri) 方法 
  2.  *其中baseUri参数用于解决文件中URLs是相对路径的问题。 
  3.  *如果不需要可以传入一个空的字符串。 
  4.  */  
  5. File input = new File("/tmp/input.html");  
  6. Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");  

  

Java代码   收藏代码
  1. /** 
  2.  *根据url直接获取内容，可以加入超时，get方法不行，就用post方法 
  3.  *我在实际应用中，出现404,405,504等错误信息 
  4.  *将get改为post就可以，或者反过来改 
  5.  *如果等以后弄明白了，再来解释清楚 
  6.  */  
  7. Document doc1 = Jsoup.connect("http://www.hao123.com/").get();  
  8. String title = doc1.title(); //获取网页的标题  
  9. String content=doc1.toString();//将网页转为文本  
  10.   
  11. Document doc2 = Jsoup.connect("http://www.hao123.com")  
  12.   .data("query", "Java")//请求参数  
  13.   .userAgent("Mozilla")//设置urer-agent  
  14.   .cookie("auth", "token")//设置cookie  
  15.   .timeout(50000)//设置连接超时  
  16.   .post();//或者改为get  

  17. 经过我的测试使用，jsoup分析网页结构和内容的功能远远强大于HtmlParser,无论是获取整个页面的文本，还是分析特定内容的网页结构，都是十分的方便。

     

            附上链接：jsoup官网：http://jsoup.org/ ，中文jsoup：http://www.open-open.com/jsoup/

         下面写些我的使用记录，希望大家如果能从我的方法中得到启发，鉴于本人从事开发工作不久，内容可能写的不是很好。

     

         jsoup数据获取有两大方法：1.通过分析dom模型的网页标签和元素，2.select元素选择器，类似jquery方式（功能很强大，还支持正则表达式）。网页tag标签有body，div，table，tr，td，a，等等。元素的属性有，href，title，width，height，color等等，元素属性的值就是，例如：href=“www.baidu.com”, 值就是www.baidu.com 。width=“98%” 值就是98%

         

          下面就以分析http://www.iteye.com首页的每日资讯为例，抓取每日资讯的标题和url地址，详细写出分析步骤：

     

           1.用chrome浏览器的元素审查，分析页面的结构，得到每日资讯是div class=<main_left>层里面
    Jsoup网页内容抓取分析_第1张图片
     

         2.写程序分析，首先根据url获取div文本，再来根据文本对内容进行分析

     

    Java代码   收藏代码
    1. /** 
    2.  * 根据jsoup方法获取htmlContent 
    3.         * 加入简单的时间记录 
    4.  * @throws IOException  
    5.  */  
    6. public static String getContentByJsoup(String url){  
    7.     String content="";  
    8.     try {  
    9.         System.out.println("time=====start");  
    10.         Date startdate=new Date();  
    11.         Document doc=Jsoup.connect(url)  
    12.         .data("jquery", "java")  
    13.         .userAgent("Mozilla")  
    14.         .cookie("auth", "token")  
    15.         .timeout(50000)  
    16.         .get();  
    17.         Date enddate=new Date();  
    18.         Long time=enddate.getTime()-startdate.getTime();  
    19.         System.out.println("使用Jsoup耗时=="+time);  
    20.         System.out.println("time=====end");  
    21.         content=doc.toString();//获取iteye网站的源码html内容  
    22.         System.out.println(doc.title());//获取iteye网站的标题  
    23.     } catch (IOException e) {  
    24.         e.printStackTrace();  
    25.     }  
    26.     System.out.println(content);   
    27.     return content;  
    28. }  

     

         3. 根据整个每日资讯所在的div层，获取那段内容（精确获取）

     

    Java代码   收藏代码
    1.        /** 
    2.  * 使用jsoup来对文档分析 
    3.         * 获取目标内容所在的目标层 
    4.         * 这个目标层可以是div，table，tr等等 
    5.  */  
    6. public static String getDivContentByJsoup(String content){  
    7.     String divContent="";  
    8.     Document doc=Jsoup.parse(content);  
    9.     Elements divs=doc.getElementsByClass("main_left");  
    10.     divContent=divs.toString();  
    11.       //System.out.println("div==="+divContent);  
    12.     return divContent;  
    13. }  

        

         4.根据获取的目标层得到你所要的内容（title，url地址...等等）

     

          

    Java代码   收藏代码
    1. /** 
    2.      * 使用jsoup分析divContent 
    3.      * 1.获取链接 2.获取url地址（绝对路径） 
    4.      */  
    5.     public static void getLinksByJsoup(String divContent){  
    6.         String abs="http://www.iteye.com/";  
    7.         Document doc=Jsoup.parse(divContent,abs);  
    8.         Elements linkStrs=doc.getElementsByTag("li");  
    9.         System.out.println("链接==="+linkStrs.size());  
    10.         for(Element linkStr:linkStrs){  
    11.             String url=linkStr.getElementsByTag("a").attr("abs:href");  
    12.             String title=linkStr.getElementsByTag("a").text();  
    13.             System.out.println("标题:"+title+" url:"+url);  
    14.         }  
    15.     }  

     

         5.加入main方法里面执行测试

     

    Java代码   收藏代码
    1. /** 
    2.      * @method 测试获取内容程序 
    3.      */  
    4.     public static void main(String[] args) throws IOException {  
    5.           
    6.         /** 
    7.          * 执行分析程序 
    8.          */  
    9.         String url="http://www.iteye.com/";  
    10.         String HtmlContent=getContentByJsoup(url);  
    11.         String divContent=getDivContentByJsoup(HtmlContent);  
    12.         getLinksByJsoup(divContent);  
    13.     }  

     

         6.附上结束语：jsoup功能很好很强大，附上的只是简单的使用方法，还有很多需要完善的内容，我其实使用也不到几天的时间。还有就是select功能还是很好用的，具体参考官方文档，写的非常的通俗易懂


    感兴趣的也可以试试htmlcleaner+xpath的组合


你可能感兴趣的:(Jsoup网页内容抓取分析)

  • 基于数据挖掘的股票预测系统 AI天才研究院 AI大模型企业级应用开发实战DeepSeekR1&大数据AI人工智能大模型计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    1.背景介绍1.1股票市场预测的挑战股票市场以其波动性和不可预测性而闻名。无数因素，从全球经济趋势到个别公司公告，都会影响股票价格。这使得准确预测股票价格极具挑战性，即使对经验丰富的投资者和金融分析师也是如此。1.2数据挖掘的兴起近年来，数据挖掘技术的出现为股票预测提供了新的可能性。数据挖掘是从大型数据集中提取有意义的模式和洞察力的过程。通过利用先进的算法和计算能力，数据挖掘可以揭示隐藏在海量金融
  • 国产编辑器EverEdit - 独门暗器：自动监视剪贴板内容 编辑器爱好者 妙用编辑器编辑器EverEditEmEditorNotepad
    1监视剪贴板1.1应用场景  如果需要对剪贴板的所有历史进行记录，并进行分析和回顾，则可以使用监视剪贴板功能，不仅在EverEdit中的复制会记录，在其他应用的复制也会记录。1.2使用方法  新建一个空文档(重要：防止扰乱正常文件)，单击主菜单文档->监视剪贴板即可。该功能打开后，当前系统所有的复制内容，都会追加到用户指定的文档中。说明：监视剪贴板只会监控文本内容，图片、文档等非文本信息，不会追加
  • 基于Linux平台的多实例RTSP|RTMP直播播放器深度解析与技术实现 音视频牛哥 RTSP播放器RTMP播放器大牛直播SDK音视频实时音视频视频编解码linuxrtsp播放器linuxrtmp播放器linux国产rtmp播放器linux国产rtsp播放器
    一、引言在Linux平台上实现一个高性能、高并发的多实例播放器，是许多流媒体应用的核心需求。本文将结合大牛直播SDK的Linux平台RTSP/RTMP播放器功能，深入解析其实现原理、关键技术点以及优化策略。通过对代码的详细分析和实际应用的结合，帮助开发者更好地理解和应用该技术。二、项目概述本文基于以下代码实现了一个多实例播放器：multi_player_demo.cpp：主程序，负责初始化SDK、
  • uni.request 发起网络请求3种回调结果调用 治金的blog 前端uni-app
    第一种标题：{{item.title}}内容：{{item.body}}import{ref}from'vue';letarrs=ref([]);//uni.request请求的三种方式functionrequest(){uni.request({url:"https://jsonplaceholder.typicode.com/posts",success:res=>{console.log(r
  • Vue.js 从新手到专家：第七章 高级渲染、动态组件和插件合成 caifox菜狐狸 Vue.js从新手到专家前端javascript开发语言vue.jsecmascript前端框架vite
    欢迎来到《Vue.js从新手到专家》的第七章！在这一章中，我们将深入探讨Vue.js的高级渲染技术、动态组件的使用以及如何通过插件扩展应用程序的功能。这些技能将帮助你构建更加灵活和可维护的应用程序。通过学习本章内容，你将掌握以下技能：理解Render函数和JSX的基本概念及其应用场景。学习函数式组件的定义及其实现方式。掌握如何为函数式组件定义Props和Emits。学习如何使用Vue插件全局地添加
  • 短剧系统源码上线三端小程序需要什么资质上线周期是多久？ 南阳迈特网络科技 短剧源码短剧类目小程序
    短剧系统部署上线需要哪些资质呢？近年来，随着移动互联网的迅猛发展和用户内容消费习惯的改变，短剧作为一种新兴的内容形式，正迅速崛起并受到广泛关注。短剧以其短小精悍、节奏紧凑、题材多样化的特点，吸引了大量年轻观众的喜爱。无论是在通勤路上、午休时间，还是临睡前，短剧都成为了人们碎片化时间娱乐的首选。运营短剧类小程序首先需要注册申请开放平台账号，小程序备案、类目申请等等......抖音小程序《营业执照》《
  • 《沙雕传奇》手游官网：爆笑冒险，传奇之旅等你开启！ 林舟Jie 游戏游戏手游游戏传奇游戏
    沙雕传奇手游官网：https://sdcq.qn185.com沙雕传奇手游官网《沙雕传奇》手游作为一款以“爆笑冒险”为主打的游戏，听起来就充满了趣味性和创意。以下是一些建议，帮助玩家更好地体验这款游戏：一、游戏初探与角色创建官网注册与下载：首先，前往《沙雕传奇》手游官网进行注册和下载。确保下载的是官方正版游戏，以避免遇到安全问题或盗版内容。角色创建：在创建角色时，可以根据自己的喜好选择性别、职业和
  • 活动报名系统源码:JAVA同城服务系统活动报名同城圈子商家商城城市代理躲猫猫 狂团商城小师妹 博纳miui52086java人工智能大数据微信公众平台微信小程序
    JAVA同城服务系统：打造多元化社交与娱乐新体验在数字化时代，同城服务系统已成为连接城市生活的重要桥梁。我们精心打造的JAVA同城服务系统，不仅融合了活动报名、同城圈子、商家商城、城市代理等多重功能，还特别加入了创新的“躲猫猫”游戏模块，旨在为用户提供一个集社交、娱乐、消费于一体的综合性平台。以下是对该系统功能的详细介绍及技术栈分析。功能介绍活动报名用户可以通过系统轻松浏览并参与同城各类精彩活动，
  • 同步&异步日志系统-日志落地模块的实现 2401_82609762 c++gitvim
    功能：将格式化完成后的日志消息字符串，输出到指定的位置扩展：支持同时将日志落地到不同的位置位置分类：1.标准输出2.指定文件（时候进行日志分析）3.滚动文件（文件按照时间/大小进行滚动切换）扩展：支持落地方向的扩展用户可以自己编写一个新的落地模块，将日志进行其他方向的落地。实现思想1.抽象出一个落地基类2.之后根据落地方向从基类派生出不同落地方向的子类3.使用工厂模式进行创建与表示分离标准输出cl
  • 使用vue3框架vue-next-admin导出表格excel（带图片） 乐多_L vue.js前端javascript
    想要使用vue3导出表格内容并且图片显示在表格中（如图）：步骤如下：下载安装插件：安装命令：npminstalljs-table2excel引入插件：importtable2excelfrom'js-table2excel'使用插件直接上代码：onBatchExport方法中数据的key值要与data中保持一致，否则数据无法获取到，打印出的结果就回为undefined。我写了两种导出：一种是全部导
  • AJAX使用和固定格式 乐多_L ajax前端javascript
    ajax的全称AsynchronousJavaScriptandXML(异步JavaScript和XML)。ajax是一种创建交互式网页应用的网页开发技术。其中最核心的依赖是浏览器提供的XMLHttpRequest对象，是这个对象使得浏览器可以发出HTTP请求与接收HTTP响应。实现了在页面不刷新的情况下和服务器进行交互。方法描述newXMLHttpRequest()生成一个XMLHttpRequ
  • 基于java新闻管理系统，推荐一款开源cms内容管理系统ruoyi-fast-cms xnqys java开源java开源开发语言
    一、项目概述1.1项目背景在信息高速流通的当下，新闻媒体行业每天都要处理和传播海量信息。传统的新闻管理模式依赖人工操作，在新闻采集、编辑、发布以及后续管理等环节中，不仅效率低下，而且容易出现人为失误。同时，面对用户日益多样化的信息获取需求，传统方式也难以实现个性化、精准化的内容推送。而Java语言凭借其跨平台性、安全性、稳定性以及丰富的类库和强大的开发框架，成为开发新闻管理系统的理想选择。通过基于
  • 详细介绍：封装简易的 Axios 函数获取省份列表 还是鼠鼠 javascriptvscodeajax前端前端框架
    目录关键步骤：完整代码（html）：代码解析：程序运行结果：本示例展示了如何通过封装一个简易的myAxios函数来模拟axios的功能，使用原生的XMLHttpRequest（XHR）对象来发起HTTP请求。我们将实现一个简单的功能，通过该封装函数从服务器获取省份列表数据，并在网页上显示这些省份。关键步骤：封装myAxios函数：myAxios函数接收一个配置对象（如请求的URL和方法），并返回一
  • 挪车小程序挪车二维码php+uniapp 狂团商城小师妹 博纳miui52086微信公众平台微信小程序uni-app小程序
    一款基于FastAdmin+ThinkPHP开发的匿名通知车主挪车微信小程序，采用匿名通话的方式，用户只能在有效期内拨打车主电话，过期失效，从而保护车主和用户隐私。提供微信小程序端和服务端源码，支持私有化部署。更新日志V1.0.4小程序UI重新设计，全面升级1.小程序UI全面升级，布局更加合理，去除冗余元素，界面更加干净、清爽，让您专注于核心内容。2.增加隐私通话开关，在后台自由切换。3.整体优化
  • 国内那么多的低代码平台，究竟哪家比较强？ 有颜有货 低代码平台低代码低代码低代码平台
    国内低代码平台哪家强？本人摸索低代码5年多，体验过几十家低代码平台，下面通过2张功能对比图，3K字内容详细告诉你：国内低代码到底哪家强。如果你觉得我的分析对你有一定帮助，还请点赞收藏支持一下，争取能让更多人看到并帮助需要的人。话不多说，先上图。国内主流低代码产品功能对比。（图二在回答末尾）一、织信Informat（企业级低代码平台）功能清单驱动方式：模型驱动字段支持：35种字段，同时支持通过js脚
  • 探索A10技术的应用与未来发展潜力 智能计算研究中心 其他
    内容概要A10技术是一项正在逐步成熟并对多个行业产生深远影响的前沿技术。其发展历程可以追溯到早期的研发阶段，至今已经经过了多次技术迭代与升级。以下是对A10技术核心应用和优势的概述，通过这些内容可以帮助读者更好地理解其用途：应用领域具体应用主要优势信息技术数据处理与分析提高数据处理效率制造业自动化与智能生产降低生产成本医疗行业远程监控与智能诊断提升医疗服务质量交通运输智能交通系统优化交通流量环保领
  • 快速提升网站收录率的10个步骤 百度网站快速收录 百度网站快速收录百度快速收录网站快速收录百度收录网站收录
    快速提升网站收录率需要综合考虑多个方面，以下是10个具体步骤，旨在帮助网站更快地获得搜索引擎的收录：1.提交网站地图制作并提交XML站点地图：站点地图是一个包含网站所有页面链接的文件，有助于搜索引擎快速发现和抓取网站内容。通过提交站点地图给搜索引擎，可以显著提高网站的收录速度。2.保持内容更新定期发布高质量内容：搜索引擎喜欢更新频繁的网站，因此保持网站内容的定期更新是提高收录率的关键。确保内容原创
  • “傻瓜”学计量——主成分分析法PCA（原理+实操） nn坚持学stata+matlab 计量算法机器学习人工智能学习笔记学习方法经验分享
    提纲：1.PCA原理2.视频推荐：PCA原理spass操作stata操作+matlab实操1.背景在一些领域中，需要对大量数据进行观测。但是可能会带来变量之间具有相关性、分别对每个指标分析带来的偏误等问题。因此，要寻找一个合理的方法，在减少需要分析的直白的同时，尽量减少原指标包含的信息缺失。通常做法是对有关联性的变量进行合并，这样就可以用较少的综合指标分别代表存在于各个变量中的各类信息。常用的方法
  • 基于立创·天空星开发板-GD32F407VET6-青春版，开发一款手持热成像仪。该设备将采集热红外传感器的数据，经过处理后在LCD屏幕上显示热图像，并提供用户交互界面。 嵌入式程序员小刘 物联网单片机嵌入式硬件开源
    本项目基于立创·天空星开发板-GD32F407VET6-青春版，开发一款手持热成像仪。该设备将采集热红外传感器的数据，经过处理后在LCD屏幕上显示热图像，并提供用户交互界面。关注微信公众号，提前获取相关推文一、需求分析核心功能:热图像采集:读取热红外传感器数据。图像处理:将原始传感器数据转换为可显示的彩色或灰度热图像。图像显示:在LCD屏幕上实时显示热图像。温度测量:计算并显示图像中特定点的温度值
  • OpenMetadata MySQL 数据库使用率提取管道实现解析 10年JAVA大数据技术研究者 数据治理数据库mysqlopenmetadata源码分析
    目录架构概述核心组件源码分析使用率指标定义数据提取流程图源码类图配置与扩展指南架构概述OpenMetadata通过可插拔的元数据摄取框架实现对MySQL使用率数据的采集，核心流程包含三个阶段：数据采集层：从MySQLperformance_schema和sysschema获取原始指标指标处理层：将原始数据转换为统一的使用率指标模型数据存储层：将处理后的指标持久化到OpenMetadata服务核心组
  • 【系统架构设计师】论文：论信息系统的安全体系 数据知道 系统架构安全系统架构设计师软考高级论文架构
    论文：论信息系统的安全体系文章目录摘要正文总结摘要2023年2月，我参加了某水库管理信息系统项目的实施。通过系统的实施和运行，实现防汛、供水、发电、闸门监控、水文等各种数据的采集、分析、存储，并通过网络及时地向有关部门汇报，以便相关领导进行调度指挥，为领导决策提供大力支持，为业务人员办公提供服务。系统的应用将有效提高某市政府水库管理所的工作效率。我作为该项目的项目负责人，主要负责项目管理，同时负责
  • 淘宝/天猫店铺订单数据导出、销售报表设计与数据分析指南 不会玩技术的技术girl API数据分析人工智能数据库
    在电商运营中，订单数据是店铺运营的核心资产之一。通过对订单数据的导出、整理和分析，商家可以更好地了解销售情况、优化运营策略、提升客户满意度，并制定科学的业务决策。本文将详细介绍淘宝/天猫店铺订单数据的导出方法、销售报表的设计思路以及数据分析的实用技巧，帮助电商从业者高效管理店铺数据。一、订单数据导出（一）手动导出订单数据淘宝和天猫平台提供了手动导出订单的功能，适用于数据量较小或临时性需求的场景。商
  • 安心联车辆管理系统在汽车金融领域的应用 安心联-车辆监控管理系统 汽车金融人工智能
    安心联车辆管理系统在汽车金融领域的应用主要体现在通过智能化监控与数据分析技术，提升金融风控能力、优化资产管理和降低运营风险。以下从核心功能、技术赋能和实际场景三个方面展开分析：一、核心功能适配金融场景车辆资产动态监控实时定位与电子围栏：系统基于北斗/GPS双模定位技术，可实时追踪车辆位置，并设置电子围栏限制车辆行驶区域。若车辆驶出授权范围（如贷款合同约定的使用区域），系统立即触发报警并留存轨迹证据
  • 市面上采用多进程架构的游戏或游戏引擎的案例深入分析 你一身傲骨怎能输 软件架构设计架构游戏游戏引擎
    《绝地求生》（PUBG）《绝地求生》（PUBG）是一款采用多进程架构的游戏，这种设计帮助它在处理复杂的游戏逻辑和网络通信时提高了性能和稳定性。以下是一些关于《绝地求生》如何利用多进程架构的具体细节：多进程架构的优势性能优化：多进程架构允许游戏将不同的任务分配到多个处理器核心上运行，这样可以充分利用现代多核CPU的计算能力。例如，游戏的物理计算、AI逻辑、渲染和网络通信可以在不同的进程中并行处理，从
  • 清华大学第四发《DeepSeek+DeepResearch 让科研像聊天一样简单》 人工智能
    当下科研领域，传统模式急需改变，清华大学第四版《DeepSeek+DeepResearch：让科研像聊天一样简单》全文一共86页，以下是文档的关键内容总结：一、智能组合优势DeepSeek与DeepResearch构建先进技术体系，有强大模型运算、智能数据处理和友好交互界面。模型在数据处理速度、精准度和泛化能力上远超传统模型。数据采集渠道广、处理快，能读取多种格式文件。数据分析深入，可视化直观，还
  • HarmonyOS Next智能家居控制系统的模型转换与数据处理实战 harmonyos
    本文旨在深入探讨基于华为鸿蒙HarmonyOSNext系统（截止目前API12）构建智能家居控制系统中模型转换与数据处理技术的实战应用，基于实际开发经验进行总结。主要作为技术分享与交流载体，难免错漏，欢迎各位同仁提出宝贵意见和问题，以便共同进步。本文为原创内容，任何形式的转载必须注明出处及原作者。一、智能家居系统需求与技术选型（一）功能需求分析设备状态监测需求智能家居控制系统需要实时监测各种智能设
  • 2025基金公司私有化部署趋势分析：技术自主权的崛起
    标题：基金公司私有化部署：数据主权时代的战略选择与实战指南副标题：从DeepSeek到板栗看板，解密金融巨头如何用私有化部署重塑竞争力【热点引入：一场无声的金融科技革命】2025年2月，、十余家公募基金密集宣布完成DeepSeek大模型的私有化部署，这一现象登上财经热搜榜首。据不完全统计，超60%的头部基金公司已启动私有化部署计划，涉及投研、风控、客户服务等核心场景。这场革命背后的驱动力，正是金融
  • HarmonyOS Next数据处理与模型训练优化 harmonyos
    本文旨在深入探讨华为鸿蒙HarmonyOSNext系统（截止目前API12）中数据处理与模型训练优化相关技术细节，基于实际开发实践进行总结。主要作为技术分享与交流载体，难免错漏，欢迎各位同仁提出宝贵意见和问题，以便共同进步。本文为原创内容，任何形式的转载必须注明出处及原作者。一、数据处理对模型训练的重要性（一）关键作用强调在HarmonyOSNext的模型训练世界里，数据就如同建筑的基石，而数据处
  • 「2024 年度技术精华盘点」IvorySQL & PostgreSQL 技术干货全解析！ 数据库
    2024年，IvorySQL公众号持续输出高质量技术内容，涵盖PostgreSQL核心技术解析和IvorySQL创新实践两大方向。无论您是数据库领域的初学者，还是经验丰富的开发者，这些干货文章都能为您带来新的启发与实用价值。现在，让我们一起回顾这些精彩内容，探索数据库技术的无限可能！PostgreSQL技术干货PostgreSQL16中的新增功能：双向逻辑复制想要在多主数据库间实现无缝同步？Pos
  • YashanDB数据分区 数据库
    本文内容来自YashanDB官网，原文内容请见https://doc.yashandb.com/yashandb/23.3/zh/%E6%A6%82%E5%BF%B5%...#分区概述YashanDB可以将大规模数据拆分成更小、更便于管理的对象，即分区。通过对数据进行分区管理，可以减少无效数据的访问，提升大规模数据下的访问、操作性能。表可以根据某些条件进行分区，不同分区独立管理。分区表提供了更高效
  • Spring4.1新特性——综述 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • Schema与数据类型优化 annan211 数据结构mysql
    目前商城的数据库设计真是一塌糊涂，表堆叠让人不忍直视，无脑的架构师，说了也不听。 在数据库设计之初，就应该仔细揣摩可能会有哪些查询，有没有更复杂的查询，而不是仅仅突出 很表面的业务需求，这样做会让你的数据库性能成倍提高，当然，丑陋的架构师是不会这样去考虑问题的。 选择优化的数据类型 1 更小的通常更好 更小的数据类型通常更快，因为他们占用更少的磁盘、内存和cpu缓存，
  • 第一节 HTML概要学习 chenke htmlWebcss
    第一节 HTML概要学习 1. 什么是HTML HTML是英文Hyper Text Mark-up Language(超文本标记语言)的缩写，它规定了自己的语法规则，用来表示比“文本”更丰富的意义，比如图片，表格，链接等。浏览器（IE,FireFox等）软件知道HTML语言的语法，可以用来查看HTML文档。目前互联网上的绝大部分网页都是使用HTML编写的。 打开记事本 输入一下内
  • MyEclipse里部分习惯的更改 Array_06 eclipse
    继续补充中---------------------- 1.更改自己合适快捷键windows-->prefences-->java-->editor-->Content Assist-->      Activation triggers for java的右侧“.”就可以改变常用的快捷键 选中 Text
  • 近一个月的面试总结 cugfy 面试
    本文是在学习中的总结，欢迎转载但请注明出处：http://blog.csdn.net/pistolove/article/details/46753275 前言       打算换个工作，近一个月面试了不少的公司，下面将一些面试经验和思考分享给大家。另外校招也快要开始了，为在校的学生提供一些经验供参考，希望都能找到满意的工作。 
  • HTML5一个小迷宫游戏 357029540 html5
         通过《HTML5游戏开发》摘抄了一个小迷宫游戏，感觉还不错，可以画画，写字，把摘抄的代码放上来分享下，喜欢的同学可以拿来玩玩！ <html> <head> <title>创建运行迷宫</title> <script type="text/javascript"
  • 10步教你上传githib数据 张亚雄 git
    官方的教学还有其他博客里教的都是给懂的人说得，对已我们这样对我大菜鸟只能这么来锻炼，下面先不玩什么深奥的，先暂时用着10步干净利索。等玩顺溜了再用其他的方法。 操作过程（查看本目录下有哪些文件NO.1）ls （跳转到子目录NO.2）cd+空格+目录 （继续NO.3）ls （匹配到子目录NO.4）cd+ 目录首写字母+tab键+（首写字母“直到你所用文件根就不再按TAB键了”） （查看文件
  • MongoDB常用操作命令大全 adminjun mongodb操作命令
    成功启动MongoDB后，再打开一个命令行窗口输入mongo，就可以进行数据库的一些操作。输入help可以看到基本操作命令，只是MongoDB没有创建数据库的命令，但有类似的命令 如：如果你想创建一个“myTest”的数据库，先运行use myTest命令，之后就做一些操作（如：db.createCollection('user')）,这样就可以创建一个名叫“myTest”的数据库。 一
  • bat调用jar包并传入多个参数 aijuans
    下面的主程序是通过eclipse写的： 1.在Main函数接收bat文件传递的参数（String[] args）  如：   String ip =args[0];          String user=args[1];       &nbs
  • Java中对类的主动引用和被动引用 ayaoxinchao java主动引用对类的引用被动引用类初始化
      在Java代码中，有些类看上去初始化了，但其实没有。例如定义一定长度某一类型的数组，看上去数组中所有的元素已经被初始化，实际上一个都没有。对于类的初始化，虚拟机规范严格规定了只有对该类进行主动引用时，才会触发。而除此之外的所有引用方式称之为对类的被动引用，不会触发类的初始化。虚拟机规范严格地规定了有且仅有四种情况是对类的主动引用，即必须立即对类进行初始化。四种情况如下：1.遇到ne
  • 导出数据库 提示 outfile disabled BigBird2012 mysql
    在windows控制台下，登陆mysql，备份数据库：   mysql>mysqldump -u root -p test test > D:\test.sql 使用命令 mysqldump 格式如下： mysqldump -u root -p *** DBNAME > E:\\test.sql。 注意：执行该命令的时候不要进入mysql的控制台再使用，这样会报
  • Javascript 中的 && 和 || bijian1013 JavaScript&&||
            准备两个对象用于下面的讨论 var alice = { name: "alice", toString: function () { return this.name; } } var smith = { name: "smith",
  • [Zookeeper学习笔记之四]Zookeeper Client Library会话重建 bit1129 zookeeper
    为了说明问题，先来看个简单的示例代码：   package com.tom.zookeeper.book; import com.tom.Host; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.ZooKeeper; import org.apache.zookeeper.Wat
  • 【Scala十一】Scala核心五：case模式匹配 bit1129 scala
    package spark.examples.scala.grammars.caseclasses object CaseClass_Test00 { def simpleMatch(arg: Any) = arg match { case v: Int => "This is an Int" case v: (Int, String)
  • 运维的一些面试题 yuxianhua linux
    1、Linux挂载Winodws共享文件夹   mount -t cifs //1.1.1.254/ok /var/tmp/share/ -o username=administrator,password=yourpass 或 mount -t cifs -o username=xxx,password=xxxx //1.1.1.1/a /win    
  • Java lang包-Boolean BrokenDreams boolean
             Boolean类是Java中基本类型boolean的包装类。这个类比较简单，直接看源代码吧。 public final class Boolean implements java.io.Serializable,
  • 读《研磨设计模式》-代码笔记-命令模式-Command bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.Collection; import java.util.List; /** * GOF 在《设计模式》一书中阐述命令模式的意图：“将一个请求封装
  • matlab下GPU编程笔记 cherishLC matlab
    不多说，直接上代码 gpuDevice % 查看系统中的gpu,,其中的DeviceSupported会给出matlab支持的GPU个数。 g=gpuDevice(1); %会清空 GPU 1中的所有数据,,将GPU1 设为当前GPU reset(g) %也可以清空GPU中数据。 a=1; a=gpuArray(a); %将a从CPU移到GPU中 onGP
  • SVN安装过程 crabdave SVN
    SVN安装过程   subversion-1.6.12   ./configure --prefix=/usr/local/subversion --with-apxs=/usr/local/apache2/bin/apxs --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr --with-openssl=/
  • sql　行列转换 daizj sql行列转换行转列列转行
    行转列的思想是通过case when 来实现 列转行的思想是通过union all 来实现 下面具体例子： 假设有张学生成绩表(tb)如下: Name Subject Result 张三 语文　　74 张三 数学　　83 张三 物理　　93 李四 语文　　74 李四 数学　　84 李四 物理　　94 */ /* 想变成 姓名   &
  • MySQL--主从配置 dcj3sjt126com mysql
    linux下的mysql主从配置： 说明：由于MySQL不同版本之间的(二进制日志)binlog格式可能会不一样，因此最好的搭配组合是Master的MySQL版本和Slave的版本相同或者更低， Master的版本肯定不能高于Slave版本。（版本向下兼容） mysql1  : 192.168.100.1    //master mysq
  • 关于yii 数据库添加新字段之后model类的修改 dcj3sjt126com Model
    rules: array('新字段','safe','on'=>'search') 1、array('新字段', 'safe')//这个如果是要用户输入的话，要加一下， 2、array('新字段', 'numerical'),//如果是数字的话 3、array('新字段', 'length', 'max'=>100),//如果是文本 1、2、3适当的最少要加一条，新字段才会被
  • sublime text3 中文乱码解决 dyy_gusi Sublime Text
    sublime text3中文乱码解决 原因：缺少转换为UTF-8的插件 目的：安装ConvertToUTF8插件包 第一步：安装能自动安装插件的插件，百度“Codecs33”，然后按照步骤可以得到以下一段代码： import urllib.request,os,hashlib; h = 'eb2297e1a458f27d836c04bb0cbaf282' + 'd0e7a30980927
  • 概念了解：CGI，FastCGI，PHP-CGI与PHP-FPM geeksun PHP
    CGI CGI全称是“公共网关接口”(Common Gateway Interface)，HTTP服务器与你的或其它机器上的程序进行“交谈”的一种工具，其程序须运行在网络服务器上。 CGI可以用任何一种语言编写，只要这种语言具有标准输入、输出和环境变量。如php,perl,tcl等。 FastCGI FastCGI像是一个常驻(long-live)型的CGI，它可以一直执行着，只要激活后，不
  • Git push 报错 "error: failed to push some refs to " 解决 hongtoushizi git
    Git push 报错 "error: failed to push some refs to " . 此问题出现的原因是：由于远程仓库中代码版本与本地不一致冲突导致的。 由于我在第一次git pull --rebase 代码后，准备push的时候，有别人往线上又提交了代码。所以出现此问题。 解决方案： 1： git pull    2：
  • 第四章 Lua模块开发 jinnianshilongnian nginxlua
    在实际开发中，不可能把所有代码写到一个大而全的lua文件中，需要进行分模块开发；而且模块化是高性能Lua应用的关键。使用require第一次导入模块后，所有Nginx 进程全局共享模块的数据和代码，每个Worker进程需要时会得到此模块的一个副本（Copy-On-Write），即模块可以认为是每Worker进程共享而不是每Nginx Server共享；另外注意之前我们使用init_by_lua中初
  • java.lang.reflect.Proxy liyonghui160com
      1.简介   Proxy 提供用于创建动态代理类和实例的静态方法 （1）动态代理类的属性 代理类是公共的、最终的，而不是抽象的 未指定代理类的非限定名称。但是，以字符串 "$Proxy" 开头的类名空间应该为代理类保留 代理类扩展 java.lang.reflect.Proxy 代理类会按同一顺序准确地实现其创建时指定的接口
  • Java中getResourceAsStream的用法 pda158 java
    1.Java中的getResourceAsStream有以下几种： 1. Class.getResourceAsStream(String path) ： path 不以’/'开头时默认是从此类所在的包下取资源，以’/'开头则是从ClassPath根下获取。其只是通过path构造一个绝对路径，最终还是由ClassLoader获取资源。 　　2. Class.getClassLoader.get
  • spring 包官方下载地址（非maven） sinnk spring
    SPRING官方网站改版后，建议都是通过 Maven和Gradle下载，对不使用Maven和Gradle开发项目的，下载就非常麻烦，下给出Spring Framework jar官方直接下载路径:   http://repo.springsource.org/libs-release-local/org/springframework/spring/   s
  • Oracle学习笔记(7) 开发PLSQL子程序和包 vipbooks oraclesql编程
        哈哈，清明节放假回去了一下，真是太好了，回家的感觉真好啊！现在又开始出差之旅了，又好久没有来了，今天继续Oracle的学习！      这是第七章的学习笔记，学习完第六章的动态SQL之后，开始要学习子程序和包的使用了……，希望大家能多给俺一些支持啊！     编程时使用的工具是PLSQL
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他