橙色闪光
橙色闪光

使用Jsoup解析Html

在抓取网络上的资源时，我们经常会和网页打交道，很多时候我们都需要网页上的资源进行抓取，这个时候Jsoup就能帮助我们快速解析Html页面的结构，并分离出我们想要的资源。

解析一个Html字符串

String html = "<html><head><title>First parsetitle>head>"
 + "<body><p>Parsed HTML into a doc.p>body>html>";
Document doc = Jsoup.parse(html);

通过Jsoup.parse方法将目标字符串解析成一个文档，该文档将页面中的各种元素都组织成对应的文档节点，具体的对象模型如下：

  • 文档由多个Elements和TextNodes组成
  • 其继承结构如下：Document继承Element继承Node. TextNode继承 Node.
  • 一个Element包含一个子节点集合，并拥有一个父Element。他们还提供了一个唯一的子元素过滤列表。

使用选择器语法来查找元素

Jsoup可以让我们使用类似于CSS或jQuery的语法来查找和操作元素，这种方法查找起来十分方便快捷。

Elements links = doc.select("a[href]"); //带有href属性的a元素
Elements pngs = doc.select("img[src$=.png]");
  //扩展名为.png的图片

Element masthead = doc.select("div.masthead").first();
  //class等于masthead的div标签

Elements resultLinks = doc.select("h3.r > a"); //在h3元素之后的a元素

这个select 方法在Document, Element,或Elements对象中都可以使用。且是上下文相关的，因此可实现指定元素的过滤，或者链式选择访问。Select方法将返回一个Elements集合，并提供一组方法来抽取和处理结果。

Selector选择器常见语法

  • tagname: 通过标签查找元素，比如：a
  • *: 这个符号将匹配所有元素
  • #id: 通过ID查找元素，比如：#logo
  • .class: 通过class名称查找元素，比如：.masthead
  • [attribute]: 利用属性查找元素，比如：[href]
  • [attr=value]: 利用属性值来查找元素，比如：[width=500]
  • [^attr]: 利用属性名前缀来查找元素，比如：可以用[^data-] 来查找带有HTML5 Dataset属性的元素
  • [attr^=value], [attr$=value], [attr*=value]: 利用匹配属性值开头、结尾或包含属性值来查找元素，比如：[href*=/path/]
  • [attr~=regex]: 利用属性值匹配正则表达式来查找元素，比如： img[src~=(?i).(png|jpe?g)]

语法组合使用

  • el#id: 元素+ID，比如： div#logo
  • el.class: 元素+class，比如： div.masthead
  • el[attr]: 元素+class，比如： a[href]
  • 任意组合，比如：a[href].highlight
  • ancestor child: 查找某个元素下子元素，比如：可以用.body p 查找在”body”元素下的所有 p元素
  • el, el, el:多个选择器组合，查找匹配任一选择器的唯一元素，例如：div.masthead, div.logo
  • siblingA + siblingB: 查找在A元素之前第一个同级元素B，比如：div.head + div
  • siblingA ~ siblingX: 查找A元素之前的同级X元素，比如：h1 ~ p

通过这些灵活的选择器，我们可以快速定位我们想要的资源，并且对其进行抽取或修改。

从一组Element里抽取资源

如果网页上有一组同类资源排列在一起，通过上面的语法我们一般会得到一个同类型的资源集合，通过遍历这个集合我们就能对各个资源逐一访问。例如：网页的《p》元素中，包含很多链接《a》，如下图所示：

使用Jsoup解析Html_第1张图片

则需要通过迭代器形式对每个《a》进行访问.


 Elements p = doc.select("p.kw_main");
 Iterator keywords = p.select("a").iterator();
 String keywordString = "";
 while(keywords.hasNext()){
      keywordString += keywords.next().text() + ";";
 }

参考

Jsoup官方网站

你可能感兴趣的:(Java网络)

  • 【计算机网络】常见tcp/udp对应的应用层协议，端口 {⌐■_■} 计算机网络tcp/ipudp
    TCP和UDP对应的常见应用层协议基于TCP的应用层协议协议全称用途默认端口HTTPHyperTextTransferProtocol超文本传输协议80HTTPSHTTPSecure加密的超文本传输协议443FTPFileTransferProtocol文件传输协议（20传输数据，21控制连接）20,21SMTPSimpleMailTransferProtocol发送邮件25POP3PostOff
  • 使用 `UnstructuredURLLoader` 和 `SeleniumURLLoader` 从 URL 加载 HTML 文档 VYSAHF html前端python
    随着网络数据的爆炸性增长，如何高效地从网页中获取结构化信息变得愈发重要。在这篇文章中，我们将探讨如何使用UnstructuredURLLoader和SeleniumURLLoader来处理和加载来自URL的HTML文档。这两种方法都有其特定的应用场景和优势。技术背景介绍对于需要大量从不同网页中获取信息的场景，选择合适的工具显得尤为关键。UnstructuredURLLoader提供了一种简单直接的
  • 报表控件stimulsoft操作：使用 Angular 应用程序的报告查看器组件 CodeCraft Studio 控件angular.js前端javascript
    StimulsoftUltimate（原StimulsoftReports.Ultimate）是用于创建报表和仪表板的通用工具集。该产品包括用于WinForms、ASP.NET、.NETCore、JavaScript、WPF、PHP、Java和其他环境的完整工具集。无需比较产品功能，StimulsoftUltimate包含了所有内容！StimulsoftReports最新版下载介绍报告和仪表板查看
  • 【Kubernets】Kubernetes 的基础知识，Pod是什么？ 和容器的关系？多个容器如何在同一个 Pod 里协作？ {⌐■_■} Kuberneteskubernetes容器云原生
    1.Kubernetes的核心概念(1)Node（节点）定义：Node是Kubernetes集群中的工作机器，可以是物理机或虚拟机。类型：MasterNode：运行控制平面组件（如APIServer、Scheduler）。WorkerNode：运行应用负载（如Pod）。关键组件：Kubelet：负责与MasterNode通信，管理Pod和容器。KubeProxy：负责网络代理和负载均衡。容器运行时
  • 从http到Axios和fetch全解析 浪裡遊 http网络协议网络前端javascriptvue.js
    乜嘢是HTTPHTTP，全称为HyperTextTransferProtocol（超文本传输协议），是互联网上应用最为广泛的一种网络协议。它允许将超文本标记语言（HTML）文档从Web服务器传送到客户端的浏览器，并且支持多媒体内容的传输，如图片、视频等。基本概念HTTP是一种基于请求与响应的应用层协议，它是无状态的，意味着每个请求都是独立的，服务器不会保存客户端的状态信息。通常，用户通过客户端（如
  • 我要写整个中文互联网界最牛逼的JVM系列教程 | 「JVM与Java体系架构」章节：如何看待Java上层技术与JVM？ 李阿昀 只要你有心人人都是JVM精通者javajvm
    「JVM与Java体系架构」章节的整体目录从现在开始我们就要正式步入第一章——JVM和Java体系结构的学习中了，首先我们看一下这一章要讲授的主要内容都有哪些。前言面向人群及参考书目Java及JVM简介Java发展的重大事件虚拟机与Java虚拟机JVM的整体结构Java代码执行流程JVM的架构模型JVM的生命周期JVM的发展历程从上面可以看到，这一章节的内容分量还是比较充足的，而且也比较详细，因为
  • PointNet++改进策略 ：模块改进 | x-Conv | PointCNN， 结合局部结构与全局排列提升模型性能 我是瓦力 PointNet++改进策略人工智能深度学习计算机视觉
    目录前言PointCNN实现细节1.XXX-Conv操作输入输出步骤2.PointCNN网络架构层级卷积分类与分割任务3.数据增强4.效率优化前言这篇论文介绍了一种名为PointCNN的方法，旨在从点云（pointcloud）数据中学习特征。传统卷积神经网络（CNN）在处理规则网格数据（如图像）时非常有效，但由于点云是无序且不规则的，直接在其上应用卷积操作会导致形状信息丢失，并对点的排列顺序敏感。
  • 人工智能学习 星月IWJ 人工智能机器学习深度学习神经网络目标检测人工智能
    //-----初探-----//人工智能三大核心要素数据/算法/算力人工智能是通过机器来模拟人类认知能力的技术机器学习/神经网络/深度学习(多层隐藏层神经网络)tf1.14python3.5keras2.1.5//-----数学基础&&数字图像-----//向量大小/方向矢量(有大小和方向)标量(只有大小没有方向(长度))单位向量线性变换(矩阵运算)T(v+w)=T(v)+T(w)T(cv)=cT
  • 点云网络的论文理解（三）-点云网络的优化 PointNet++的总体说明 CUHK-SZ-relu PointNet深度学习
    总体说明这个部分是为了让大家可以更好地理解文章1.以前的网络有什么缺点1.首先第一点就是论文当中反复提到的没有局部特征的问题。2.另外一个就是PointNet不具有平移不变性，理解一下这个，PointNet最后是一个maxpooling所以决定是不是选择当前内容的唯一因素是大小，因为除了pooling之外使用的就只有mlp，之前的所有一系列处理其实都可以等价为乘上一个参数，每个的参数可能不同，有正
  • Java集成InfluxDB 动亦定 物联网数据库java数据库
    1.添加InfluxDB依赖首先，在项目中添加InfluxDB的Java客户端依赖。如果使用Maven，可以在pom.xml中添加以下依赖：com.influxdbinfluxdb-client-java6.3.02.创建InfluxDB客户端接下来，创建InfluxDB客户端实例，用于连接InfluxDB服务器。importcom.influxdb.client.InfluxDBClient;i
  • 从零手撸工业级Qt文件传输系统：TCP粘包/断点续传/SSL加密全解 十年编程老舅 QT开发qt项目qt项目实战c++项目qt计算机毕设项目qt文件传输qt教程
    很多初学者都会遇到这个坎，如何将Windows数据结构、网络编程等知识整合为完整的项目。本文将深入解析一个基于C++Qt开发的企业级文件传输系统，涵盖TCP通信、断点续传、SSL加密、SQLite持久化等核心技术。（项目源码来文章底部拿）一、系统核心功能1.基础通信能力双工消息传输（支持中文字符）文件传输进度条同步（4KB分块策略）传输完整性验证（安装包可执行性测试）2.高级特性断点续传（记录已传
  • k8s集群中部署dcgm-exporter收集GPU指标 thinkerCoder kubernetes容器运维GPU
    总体步骤：部署dcgm-exporter的DaemonSet和Service，确保Service有正确的标签和端口。创建ServiceMonitor，选择dcgm-exporter的Service，并指定端口。检查Prometheus的targets页面，确认dcgm-exporter是否被正确发现和抓取。可能需要调整Prometheus的RBAC或网络策略，确保访问权限。1，部署dcgm-exp
  • Java直通车系列28【Spring Boot】（数据访问Spring Data JPA） 浪九天 Java直通车javaspringspringboot开发语言后端
    目录SpringDataJPA概述核心概念1.仓库接口（Repository）2.实体类（Entity）3.方法命名查询4.@Query注解场景示例步骤1：添加依赖步骤2：配置数据库连接步骤3：创建实体类步骤4：创建仓库接口步骤5：创建服务类步骤6：创建控制器类测试示例SpringDataJPA概述SpringDataJPA是Spring提供的一个用于简化JPA（JavaPersistenceAP
  • Java直通车系列27【Spring Boot】（配置文件使用） 浪九天 Java直通车javaspringbootspring后端开发语言
    目录配置文件的作用与格式配置文件的类型配置文件的加载顺序场景示例SpringBoot中配置文件的使用非常灵活和重要，主要有.properties和.yml（.yaml）两种格式：配置文件的作用与格式作用：用于配置SpringBoot应用程序的各种属性，如数据库连接信息、服务器端口、日志级别、自定义属性等，实现对应用行为的定制化。.properties格式：以键值对形式存储配置信息，每行一个键值对，
  • Java直通车系列19【Spring MVC】（国际化支持） 浪九天 Java直通车javaspringmvc开发语言
    目录国际化支持机制概述1.资源束（ResourceBundle）2.MessageSource3.LocaleResolver4.LocaleChangeInterceptor场景示例1.创建资源束文件2.配置MessageSource3.配置LocaleResolver4.配置LocaleChangeInterceptor5.创建控制器和视图解释国际化支持机制概述SpringMVC的国际化支持主
  • Flutter 加载网络图片之：FadeInImage + Image.network zeqiao FlutterflutterFadeInImageImage.networkgif回调
    想实现的效果：1、通过网络url加载图片（支持gif）2、加载之前使用默认占位图3、加载出现问题后要做兜底处理其实可以通过先将图片资源加载到本地文件中，然后读出来设置，虽然要绕一圈，但不失为一个好方案。但是，为了熟悉Flutter的图片相关知识，还是采用官方提供的API来试着实现。下面是最终方案：FadeInImage(image:_addImageLoadListener(imageUrl),/
  • JSON对象处理工具类 波波有料 JAVAjsonjava开发语言
    目录1.工具类的功能设计2.工具类的实现依赖配置工具类代码3.工具类的使用示例示例1：美化JSON打印示例2：从JSON中提取数据示例3：修改JSON数据示例4：合并JSON对象4.总结在现代软件开发中，JSON（JavaScriptObjectNotation）是一种广泛使用的轻量级数据交换格式。由于其简洁性和易读性，JSON被广泛应用于API通信、配置文件、数据存储等场景。然而，在处理JSON
  • 深入理解正则表达式及基本使用教程 波波有料 JAVA正则表达式
    目录摘要一、正则表达式是什么？二、正则表达式的基本语法1.元字符2.字符集与范围3.常用预定义字符集4.分组与反向引用捕获分组：非捕获分组：三、Java中正则表达式的实现1.Java基础示例2.替换字符串3.验证输入格式4.提取信息5.拆分字符串四、常见正则表达式应用场景1.手机号验证2.提取HTML标签内容3.替换多余空格五、总结摘要正则表达式（RegularExpression，简称Regex
  • Apache Commons Lang3 和 Commons Net 详解 波波有料 apache
    目录1.ApacheCommonsLang31.1什么是ApacheCommonsLang3？1.2主要功能1.3示例代码2.CommonsNet2.1什么是CommonsNet？2.2主要功能2.3示例代码3.总结3.1ApacheCommonsLang33.2CommonsNet3.3使用建议4.参考资料前言在Java开发中，ApacheCommons项目提供了许多实用的工具库，帮助开发者更高
  • JavaScript 性能优化实战案例与解决方案 Real Man★ javascript性能优化开发语言
    JavaScript性能优化是提升Web应用流畅度和用户体验的核心环节。以下是针对常见性能问题的实战案例与优化方案，涵盖代码优化、渲染优化、内存管理等多个方面：一、高频事件处理优化案例1：滚动事件卡顿问题：页面监听scroll事件实现动态效果，但频繁触发导致卡顿。优化方案：javascript复制//1.节流（Throttle）：固定时间间隔执行functionthrottle(fn,delay)
  • Java统计代码的执行时间的6种方法 码叔义 java基础java开发语言
    Java统计代码的执行时间的6种方法前言：在日前开发中我们会遇到需要统计运行的时间但是又不想运用JMH测试框架，所以本文就汇总了一些比较常用的统计时间的测试方法，总共有6种，我做了一个大概的思维导图：方法一，这个方法System.currentTimeMillis()和System.nanoTime()都是java内置的方法。packagecom.qfedu.first;publicclasste
  • Flutter中网络图片加载和缓存 Flutter编程指南 FlutterFlutterAPPDarthttp跨平台技术
    文章目录前言重温小部件ImageImage.network源码分析实际问题解决方案代码实现自定义ImageProvider使用写在最后前言应用开发中经常会碰到网络图片的加载，通常我们会对图片进行缓存，以便下次加载同一张图片时不用再重新下载，在包含有大量图片的应用中，会大幅提高图片展现速度、提升用户体验且为用户节省流量。Flutter本身提供的ImageWidget已经实现了加载网络图片的功能，且具
  • 《自然语言处理实战入门》深度学习 ---- 预训练模型初探 shiter AI重制版】预训练NLP自然语言处理
    文章大纲前言预训练模型简介语言表示学习神经上下文编码器为何需要预训练模型发展历史主流预训练模型预训练模型与分类将PTMs应用至下游任务微调策略未来研究方向参考文献前言随着深度学习的发展，各种神经网络被广泛用于解决自然语言处理(NLP)任务，如卷积神经网络(convolutionalneuralnetworks,CNNs)、递归神经网络(neuralnetworks,RNNs)、基于图的神经网络(g
  • 使用 WinSCP 连接至 Windows Subsystem for Linux (WSL) 四月的我 windowslinux运维
    确认WSL版本WSL1：直接使用localhost连接WSL2：需通过虚拟网络适配器的IP连接（需额外配置）在WSL中安装并配置SSH服务器步骤1：更新系统bashsudoaptupdate&&sudoaptupgrade-y步骤2：安装OpenSSH服务bashsudoaptinstallopenssh-server-y步骤3：修改SSH配置编辑配置文件：bashsudonano/etc/ssh
  • Nginx实现接口复制 m0_74823094 面试学习路线阿里巴巴nginxjunit运维
    目录1、前言2、接口流复制2.1、方式一：使用mirror指令2.1.1、nginx配置2.1.2、配置说明2.1.3、测试结果2.1.4、注意事项2.2、方式二：使用Lua2.2.1、安装Openresty2.2.2、nginx配置2.2.3、配置说明2.2.4、测试结果3、小结1、前言项目中，通常会遇到一个中转服务需要往多个不同的系统推送同一份数据，传统做法是需要在Java代码侧中调用多个AP
  • Java Spring 中构造函数注入和setter注入的优缺点 编程小弟 springjavaspring开发语言
    JavaSpring构造函数注入和Setter注入是两种常见的依赖注入方式，它们各有优缺点，适用于不同的场景。构造函数注入优点：强制依赖：构造函数注入在对象创建时就要求所有必需的依赖项都已提供，这有助于确保对象在初始化时就是完整和可用的。如果缺少任何依赖项，对象将无法创建，这有助于在开发早期发现潜在问题。不可变性：一旦对象通过构造函数初始化，其依赖项就被固定下来，无法更改。这有助于确保对象的内部状
  • SpringBoot 外化配置及加载顺序 ashane1314 springbootpython后端
    SpringBoot的外化配置加载顺序遵循特定的优先级规则，高优先级的配置会覆盖低优先级的。以下是详细的配置源加载顺序及规则：一、配置源的优先级（从高到低）命令行参数通过--key=value传递的参数，如java-jarapp.jar--server.port=8081。SPRING_APPLICATION_JSON属性通过环境变量或系统属性传递的JSON格式配置，如SPRING_APPLICA
  • IOC 篇 ashane1314 java开发语言
    一、概念SpringIOC（InversionofControl，控制反转）是Spring框架的核心特性之一，它是一种设计理念，用于实现对象的创建和依赖关系的管理。以下为你详细介绍：核心概念传统的对象创建方式：在传统的Java开发中，对象的创建和管理通常由程序员在代码中手动完成。例如，当一个类需要依赖另一个类的对象时，通常会在该类中使用new关键字来创建依赖对象。这种方式会导致类与类之间的耦合度较
  • TCP/IP四层模型 ashane1314 网络tcp/ip分层
    TCP/IP网络分层模型还是先从TCP/IP协议开始讲起，一是因为它非常经典，二是因为它是目前事实上的网络通信标准，研究它的实用价值最大。TCP/IP当初的设计者真的是非常聪明，创造性地提出了“分层”的概念，把复杂的网络通信划分出多个层次，再给每一个层次分配不同的职责，层次内只专心做自己的事情就好，用“分而治之”的思想把一个“大麻烦”拆分成了数个“小麻烦”，从而解决了网络通信的难题。你应该对TCP
  • flutter Image.network()网络图片加载失败，404错误的异常处理和解决方法初探 jp192021 flutterdebugflutter
    今天碰到一个让人异常头疼的错误：在使用Image.network()的时候，有个图片网址404了，flutter真机调试一直卡死，绝对是一个大BUG。网上找了各种方法：一：Imageimage=Image(image:newCachedNetworkImageProvider(''));Imageimage=Image.network('');finalImageStreamstream=imag
  • LeetCode[位运算] - #137 Single Number II Cwind javaAlgorithmLeetCode题解位运算
    原题链接：#137 Single Number II  要求： 给定一个整型数组，其中除了一个元素之外，每个元素都出现三次。找出这个元素 注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间   难度：中等   分析： 与#136类似，都是考察位运算。不过出现两次的可以使用异或运算的特性 n XOR n = 0, n XOR 0 = n，即某一
  • 《JavaScript语言精粹》笔记 aijuans JavaScript
    0、JavaScript的简单数据类型包括数字、字符创、布尔值（true/false）、null和undefined值，其它值都是对象。 1、JavaScript只有一个数字类型，它在内部被表示为64位的浮点数。没有分离出整数，所以1和1.0的值相同。 2、NaN是一个数值，表示一个不能产生正常结果的运算结果。NaN不等于任何值，包括它本身。可以用函数isNaN(number)检测NaN,但是
  • 你应该更新的Java知识之常用程序库 Kai_Ge java
    在很多人眼中，Java 已经是一门垂垂老矣的语言，但并不妨碍 Java 世界依然在前进。如果你曾离开 Java，云游于其它世界，或是每日只在遗留代码中挣扎，或许是时候抬起头，看看老 Java 中的新东西。 Guava Guava[gwɑ:və]，一句话，只要你做Java项目，就应该用Guava（Github）。 guava 是 Google 出品的一套 Java 核心库，在我看来，它甚至应该
  • HttpClient 120153216 httpclient
    /** * 可以传对象的请求转发，对象已流形式放入HTTP中 */ public static Object doPost(Map<String,Object> parmMap,String url) { Object object = null; HttpClient hc = new HttpClient(); String fullURL
  • Django model字段类型清单 2002wmj django
    Django 通过 models 实现数据库的创建、修改、删除等操作，本文为模型中一般常用的类型的清单，便于查询和使用： AutoField：一个自动递增的整型字段，添加记录时它会自动增长。你通常不需要直接使用这个字段；如果你不指定主键的话，系统会自动添加一个主键字段到你的model。(参阅自动主键字段) BooleanField：布尔字段,管理工具里会自动将其描述为checkbox。 Cha
  • 在SQLSERVER中查找消耗CPU最多的SQL 357029540 SQL Server
    返回消耗CPU数目最多的10条语句 SELECT TOP 10    total_worker_time/execution_count AS avg_cpu_cost, plan_handle,    execution_count,    (SELECT SUBSTRING(text, statement_start_of
  • Myeclipse项目无法部署，Undefined exploded archive location 7454103 eclipseMyEclipse
    做个备忘！ 错误信息为：       Undefined exploded archive location 原因：           在工程转移过程中，导致工程的配置文件出错； 解决方法：    
  • GMT时间格式转换 adminjun GMT时间转换
    普通的时间转换问题我这里就不再罗嗦了，我想大家应该都会那种低级的转换问题吧，现在我向大家总结一下如何转换GMT时间格式，这种格式的转换方法网上还不是很多，所以有必要总结一下，也算给有需要的朋友一个小小的帮助啦。 1、可以使用 SimpleDateFormat SimpleDateFormat    EEE-三位星期 d-天 MMM-月 yyyy-四位年
  • Oracle数据库新装连接串问题 aijuans oracle数据库
    割接新装了数据库，客户端登陆无问题，apache/cgi-bin程序有问题，sqlnet.log日志如下： Fatal NI connect error 12170.   VERSION INFORMATION:         TNS for Linux: Version 10.2.0.4.0 - Product
  • 回顾java数组复制 ayaoxinchao java数组
    在写这篇文章之前，也看了一些别人写的，基本上都是大同小异。文章是对java数组复制基础知识的回顾，算是作为学习笔记，供以后自己翻阅。首先，简单想一下这个问题：为什么要复制数组？我的个人理解：在我们在利用一个数组时，在每一次使用，我们都希望它的值是初始值。这时我们就要对数组进行复制，以达到原始数组值的安全性。java数组复制大致分为3种方式：①for循环方式 ②clone方式 ③arrayCopy方
  • java web会话监听并使用spring注入 bewithme Java Web
            在java web应用中，当你想在建立会话或移除会话时，让系统做某些事情，比如说，统计在线用户，每当有用户登录时，或退出时，那么可以用下面这个监听器来监听。        import java.util.ArrayList; import java.ut
  • NoSQL数据库之Redis数据库管理(Redis的常用命令及高级应用) bijian1013 redis数据库NoSQL
    一 .Redis常用命令         Redis提供了丰富的命令对数据库和各种数据库类型进行操作，这些命令可以在Linux终端使用。         a.键值相关命令         b.服务器相关命令 1.键值相关命令       &
  • java枚举序列化问题 bingyingao java枚举序列化
    对象在网络中传输离不开序列化和反序列化。而如果序列化的对象中有枚举值就要特别注意一些发布兼容问题: 1.加一个枚举值 新机器代码读分布式缓存中老对象，没有问题，不会抛异常。 老机器代码读分布式缓存中新对像，反序列化会中断，所以在所有机器发布完成之前要避免出现新对象，或者提前让老机器拥有新增枚举的jar。 2.删一个枚举值 新机器代码读分布式缓存中老对象，反序列
  • 【Spark七十八】Spark Kyro序列化 bit1129 spark
    当使用SparkContext的saveAsObjectFile方法将对象序列化到文件，以及通过objectFile方法将对象从文件反序列出来的时候，Spark默认使用Java的序列化以及反序列化机制，通常情况下，这种序列化机制是很低效的，Spark支持使用Kyro作为对象的序列化和反序列化机制，序列化的速度比java更快，但是使用Kyro时要注意，Kyro目前还是有些bug。 Spark
  • Hybridizing OO and Functional Design bookjovi erlanghaskell
      推荐博文： Tell Above, and Ask Below - Hybridizing OO and Functional Design 文章中把OO和FP讲的深入透彻，里面把smalltalk和haskell作为典型的两种编程范式代表语言，此点本人极为同意，smalltalk可以说是最能体现OO设计的面向对象语言，smalltalk的作者Alan kay也是OO的最早先驱，
  • Java-Collections Framework学习与总结-HashMap BrokenDreams Collections
            开发中常常会用到这样一种数据结构，根据一个关键字，找到所需的信息。这个过程有点像查字典，拿到一个key，去字典表中查找对应的value。Java1.0版本提供了这样的类java.util.Dictionary(抽象类)，基本上支持字典表的操作。后来引入了Map接口，更好的描述的这种数据结构。  &nb
  • 读《研磨设计模式》-代码笔记-职责链模式-Chain Of Responsibility bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /** * 业务逻辑：项目经理只能处理500以下的费用申请，部门经理是1000，总经理不设限。简单起见，只同意“Tom”的申请 * bylijinnan */ abstract class Handler { /*
  • Android中启动外部程序 cherishLC android
    1、启动外部程序 引用自： http://blog.csdn.net/linxcool/article/details/7692374 //方法一 Intent intent=new Intent(); //包名 包名+类名（全路径） intent.setClassName("com.linxcool", "com.linxcool.PlaneActi
  • summary_keep_rate coollyj SUM
    BEGIN /*DECLARE minDate varchar(20) ; DECLARE maxDate varchar(20) ;*/ DECLARE stkDate varchar(20) ; DECLARE done int default -1; /* 游标中 注册服务器地址 */ DE
  • hadoop hdfs 添加数据目录出错 daizj hadoophdfs扩容
    由于原来配置的hadoop data目录快要用满了，故准备修改配置文件增加数据目录，以便扩容，但由于疏忽，把core-site.xml, hdfs-site.xml配置文件dfs.datanode.data.dir 配置项增加了配置目录，但未创建实际目录，重启datanode服务时，报如下错误： 2014-11-18 08:51:39,128 WARN org.apache.hadoop.h
  • grep 目录级联查找 dongwei_6688 grep
           在Mac或者Linux下使用grep进行文件内容查找时，如果给定的目标搜索路径是当前目录，那么它默认只搜索当前目录下的文件，而不会搜索其下面子目录中的文件内容，如果想级联搜索下级目录，需要使用一个“-r”参数： grep -n -r "GET" .   上面的命令将会找出当前目录“.”及当前目录中所有下级目录
  • yii 修改模块使用的布局文件 dcj3sjt126com yiilayouts
    方法一：yii模块默认使用系统当前的主题布局文件，如果在主配置文件中配置了主题比如: 'theme'=>'mythm', 那么yii的模块就使用 protected/themes/mythm/views/layouts 下的布局文件； 如果未配置主题，那么 yii的模块就使用  protected/views/layouts 下的布局文件， 总之默认不是使用自身目录 pr
  • 设计模式之单例模式 come_for_dream 设计模式单例模式懒汉式饿汉式双重检验锁失败无序写入
                    今天该来的面试还没来，这个店估计不会来电话了，安静下来写写博客也不错，没事翻了翻小易哥的博客甚至与大牛们之间的差距，基础知识不扎实建起来的楼再高也只能是危楼罢了，陈下心回归基础把以前学过的东西总结一下。   *********************************
  • 8、数组 豆豆咖啡 二维数组数组一维数组
      一、概念       数组是同一种类型数据的集合。其实数组就是一个容器。   二、好处       可以自动给数组中的元素从0开始编号，方便操作这些元素   三、格式   //一维数组 1,元素类型[] 变量名 = new 元素类型[元素的个数] int[] arr =
  • Decode Ways hcx2013 decode
    A message containing letters from A-Z is being encoded to numbers using the following mapping: 'A' -> 1 'B' -> 2 ... 'Z' -> 26 Given an encoded message containing digits, det
  • Spring4.1新特性——异步调度和事件机制的异常处理 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • squid3(高命中率)缓存服务器配置 liyonghui160com
        系统:centos 5.x   需要的软件:squid-3.0.STABLE25.tar.gz 1.下载squid wget http://www.squid-cache.org/Versions/v3/3.0/squid-3.0.STABLE25.tar.gz tar zxf squid-3.0.STABLE25.tar.gz &&
  • 避免Java应用中NullPointerException的技巧和最佳实践 pda158 java
    1) 从已知的String对象中调用equals()和equalsIgnoreCase()方法，而非未知对象。 　　总是从已知的非空String对象中调用equals()方法。因为equals()方法是对称的，调用a.equals(b)和调用b.equals(a)是完全相同的，这也是为什么程序员对于对象a和b这么不上心。如果调用者是空指针，这种调用可能导致一个空指针异常 Object unk
  • 如何在Swift语言中创建http请求 shoothao httpswift
    概述：本文通过实例从同步和异步两种方式上回答了”如何在Swift语言中创建http请求“的问题。 如果你对Objective-C比较了解的话，对于如何创建http请求你一定驾轻就熟了，而新语言Swift与其相比只有语法上的区别。但是，对才接触到这个崭新平台的初学者来说，他们仍然想知道“如何在Swift语言中创建http请求？”。 在这里,我将作出一些建议来回答上述问题。常见的
  • Spring事务的传播方式 uule spring事务
    传播方式：        新建事务       required       required_new   - 挂起当前         非事务方式运行       supports   &nbs
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他