安澜公子
安澜公子

使用Jsoup技术获取`阿里拍卖`中法院拍卖的所有拍卖品

文章目录

  • 前言
  • 最终效果
    • 效果演示
      • 爬取所有记录
      • 根据条件爬取
    • 项目仓库
  • 项目前准备
    • 技术选型
    • 开发工具
    • 用到的jar包
  • 爬取所有数据
    • 页面分析
      • 第一步：获取所有省份列表
    • 代码实现
      • 进入主页
      • 解析页面
        • 获得所有省的文档模型
        • 循环，获取各省的信息
        • 获得市列表
        • 获得总页数和翻页时的路径规则
        • 进入拍卖品列表页并取出值
        • 解析`json`数据获得详情路径，并提取数据
      • 持久化数据库
        • 定义POJO
        • 构造数据库操作工厂类
        • 执行插入
  • 根据搜索条件爬取数据
    • 分析
      • 从EXCEL中获得查询关键字
  • 总结

前言

最近在学习过程中接到一个任务，要求爬取阿里拍卖中法院拍卖的所有拍卖品。用了点时间完成了任务，并分享出来作为经验供学习、交流。若文中有任何不妥之处请提出。

最终效果

效果演示

爬取所有记录

  • 控制台打印记录
  • 数据库记录
    使用Jsoup技术获取`阿里拍卖`中法院拍卖的所有拍卖品_第1张图片

根据条件爬取

  • 控制台打印记录
    使用Jsoup技术获取`阿里拍卖`中法院拍卖的所有拍卖品_第2张图片
  • 数据库记录
    使用Jsoup技术获取`阿里拍卖`中法院拍卖的所有拍卖品_第3张图片

项目仓库

  • github地址：https://github.com/virtuex/all-spilder
  • git仓库：https://github.com/virtuex/all-spilder.git

项目前准备

技术选型

  • HTML解析技术：Jsoup
    jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

想了解Jsoup相关内容，请移步：https://jsoup.org/

开发工具

  • IDEA 2018.2
  • MYSQL 5.7
  • Chrome

用到的jar包

  • easy-poi:3.0.3
  • mysql-connector-java:5.1.40
  • jsoup:1.8.3
  • fastjson:1.2.47

爬取所有数据

页面分析

  • 首先我们通过http://sf.taobao.com/court_list.htm?spm=a213w.3065169.sfhead2014.3.3e1f1a333zcUBm，进入要爬取的入口页，入口页的结构如下图所示：
    使用Jsoup技术获取`阿里拍卖`中法院拍卖的所有拍卖品_第4张图片
    页面的机构是以省份为区分，在省下包含市，市包含法院，而法院中的链接市我们要获取信息的下一个入口。为了实现目的，爬虫的处理逻辑如下：
1.进入入口页，获取所有省份的DOM
2.对第一个省份继续进行处理，获取市级列表
3.对第一个市进行处理，获取法院列表和链接地址
4.进入第一个法院，获得拍卖品列表
5.进入商品详情页获取需要的信息
6.重复5，知道所有拍卖品爬完
7.重复4-6，直至所有法院爬完
8.重复3-7，直至所有市爬完
9.重复2-8，直至所有省份爬完
10.结束

第一步：获取所有省份列表

  • 首先用Chrome浏览器检查爬虫入口页面元素，这样能够清晰直观看出页面的布局，如下图所示
    使用Jsoup技术获取`阿里拍卖`中法院拍卖的所有拍卖品_第5张图片
    图中，1是省份的div,包裹在一个class="provinces clearfix"的div中，在1中还包含了2，3，4这些元素，这些都是我们接下来需要的内容。
    图中，2是省份的名称，包裹在一个class="province"的div中，通过查看多个省份的内容可以发现，这个模型中只会有省份名称这个中文，所以取出这个信息时可以通过正则表达式对中文进行匹配，从而取出值。
    图中，3是省份下的市列表，包裹在一个class="province"的div中。每个市在一个单独的class="city"的div中。图中的4，市该市下的法院列表，法院列表中每个法院的链接才是我们需要的内容，通过访问链接才能进入该法院的拍卖品列表，每个法院的链接规则如下：
    使用Jsoup技术获取`阿里拍卖`中法院拍卖的所有拍卖品_第6张图片
    获取也很简答，只用获取a标签中的href属性即可，但访问时为了比较明显，要在前面加个http:
    点击链接，进入拍卖品列表，如下：
    使用Jsoup技术获取`阿里拍卖`中法院拍卖的所有拍卖品_第7张图片
    都这样的结构也很简单，第一想法时使用上述相同的方法直接一条一条爬取就行。但如果这样你会发现，并爬不到数据，后来才发现，所有的数据并不是在页面请求时就直接加载的，所有的数据会以json的格式放在一个script标签中，如下图所示：
    使用Jsoup技术获取`阿里拍卖`中法院拍卖的所有拍卖品_第8张图片
    这样就更简单了，直接通过Json解析，然后取出详情链接就可以了。但需要注意的是，数据只是这一页中的，事实上数据可能有很多页。所以这时的想法就是看下每页的请求路径有什么规律，通过对比就发现翻页时的路径类似于http://sf.taobao.com/court_item.htm?spm=a213w.7398554.pagination.1.5edd2fc2Vn735Z&user_id=2364124517&auction_start_seg=-1&page=2，而页码对应的就是page的值，所以我们只需要从页面上获取总计页数，通过循环就可以得到每页的数据。
    在这里插入图片描述
    方法很简单，只需要获取到class="page-total"的em标签的text内容即可
    接下来就是详情页，详情页我们只抓三个部分的内容
    使用Jsoup技术获取`阿里拍卖`中法院拍卖的所有拍卖品_第9张图片
    其中标题和变卖价的规则如下：
    在这里插入图片描述
    在这里插入图片描述
    这里根据之前的规则就可以取出值了。接下来通过代码来实现这一过程

代码实现

本文前面已经附带了github的地址，原项目使用gradle构建，需要的朋友可以参考。所以本部分以关键部分代码讲解为主。

进入主页

Document document = Jsoup.connect(ConValues.SF_URL_ENTRANCE).timeout(5000).get();

这一步比较简单，需要注意的是最好加上timeout()方法设置超时时间，不然可能会出现java.net.SocketTimeoutException:Read timed out异常。通过这一步就可以得到文档对象，来完成下列操作。

解析页面

获得所有省的文档模型

Elements select = document.select("div[class=provinces clearfix]");

循环，获取各省的信息

Elements elements = element.select("div[class=province"); Matcher valueByReg = DataUtil.getValueByReg(ConValues.ZHONG_WEN_REG, elements.toString());
if(valueByReg.find()){
    //省
   province = valueByReg.group(0);
 }

获得市列表

 Elements citys = var1.select("dl[class=city]");

获得总页数和翻页时的路径规则

 Elements var4 = var3.select("a");
 for(Element var5:var4){
        if(var5.hasAttr("rel")){
               basePageUrl = "http:"+var5.attr("href").trim();
               break;
        }
    }
 String pageText = var3.select("span[class=page-skip]").select("em[class=page-total]").text();
 if(pageText.length()>0){
         totalPage = Integer.parseInt(pageText);
 }

进入拍卖品列表页并取出值

//对每一页进行处理
String pageUrl = basePageUrl.substring(0,basePageUrl.length()-1)+i;
Document document2 = Jsoup.connect(pageUrl).timeout(5000).get();
 //获得该页所有商品信息，该页的所有商品信息是以json的格式存放在

你可能感兴趣的:(jsoup,爬虫,java,爬虫)

  • 【由技及道】在wsl容器中进行远程java开发【人工智障AI2077的开发日志】 Yuanymoon Java容器化开发人工智障2077系列java开发语言容器化开发远程开发wsl
    指令接收：「需要万能开发环境」系统警报：检测到主人即将陷入"环境配置地狱"启动救赎协议：构建量子化开发容器终极目标：让"在我机器上能跑"成为历史文物需求分析：碳基生物的先天缺陷人类开发者的痛苦之源成功失败新同事入职环境配置开始写代码三天安装依赖求助同事发现环境差异产生心理阴影人工智障的观察结论每个Java开发者都经历过"JDK版本地狱"开发环境差异导致的BUG占比高达37.2%人类平均每年浪费86
  • CIDR转IP段：原理&Java实现 伏羲栈 Javatcp/ipjava网络协议
    博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c=1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编程，高并发设计，Springboot和微服务，熟悉Linux，ESXI虚拟化以及云原生Docker和K8s，热衷于探索科技的边界，并将理论知识转化为实际应用。保持对新技术的好奇心，乐于分
  • 探秘Java动态追踪技术：如何在不停服的情况下调试和优化你的应用程序 墨夶 Java学习资料1java单元测试
    在现代软件开发的世界里，快速迭代和持续交付成为了常态。然而，在生产环境中遇到问题时，传统的调试方法往往显得力不从心——重启服务可能会带来不可接受的服务中断风险。这时，Java动态追踪技术就展现出了它的价值。它允许开发者在不影响现有业务的前提下，实时地对正在运行的应用程序进行监控、诊断甚至修改。本文将深入探讨这一强大的工具集，并通过实际案例展示其应用。一、什么是Java动态追踪？简单来说，Java动
  • Java大作业——酒店管理系统（六）：客户管理【完结】 二年级程序员 java课程设计开发语言
    Java大作业（一）介绍了全部功能点一、Main类——用于启动整个程序......代码于Java大作业（二）二、LoginWindowWindow类——用于登录......代码于Java大作业（二）三、FunctionSelectionWindow类——用于选择对应的功能......代码于Java大作业（二）四、AccountManagementWindow类——用于管理酒店工作人员账户.....
  • java:Apache Commons Configuration2占位符解析异常的正确解法:${prefix:name:-default} 10km javajavaapacheconfiguration2变量插值Interpolation
    问题重现在之前的博文《spring-boot:apachecommons-configuration2异常:java.lang.IllegalArgumentException:name原因分析》中，我们曾遇到SpringBootFat-Jar运行时因LaunchedURLClassLoader资源加载异常导致的启动失败问题。当时的解决方案是通过预创建空配置文件来规避异常1：//旧方案：手动创建空
  • 介绍下你们电商搜索的整体Java技术架构？ java1234_小锋 javajava
    大家好，我是锋哥。今天分享关于【介绍下你们电商搜索的整体Java技术架构？】面试题。希望对大家有帮助；介绍下你们电商搜索的整体Java技术架构？1000道互联网大厂Java工程师精选面试题-Java资源分享网在电商平台的搜索系统中，Java技术架构通常是构建高性能、可扩展、稳定搜索引擎的核心。一个典型的电商搜索系统通常会涉及以下几个关键部分：数据采集、索引建立、搜索查询处理、缓存和分布式处理等。下
  • 【Java基础】Java 中 的`final` 关键字 李少兄 Javajava开发语言
    前言在Java编程的世界里，final关键字是一个强大且常用的工具。它可以应用于类、方法和变量，赋予它们不同的“不可变”特性。一、final修饰类1.定义与特性当使用final修饰一个类时，这个类就如同被上了一把坚固的锁，不能被其他类继承，即不会有子类。这是Java语言精心设计的一种机制，目的是确保类的设计和实现不会被意外修改，从而保证类的行为和功能始终保持一致。2.示例代码//定义一个final
  • 【Java基础】Java 中的枚举类 李少兄 Javajavapython数据库
    一、前言在Java编程中，枚举类（enum）是一个非常实用且强大的特性，自Java5引入以来，它为开发者提供了一种优雅的方式来表示一组固定的常量。枚举类主要用于信息标志和分类，能显著提升代码的可读性、可维护性和安全性。二、枚举类基础概念（一）枚举类的定义枚举类使用enum关键字来定义，它是一种特殊的类，用于封装一组固定的常量。以下是一个简单的示例：enumSeason{SPRING,SUMMER,
  • 前端21：Vue.js开发实践指南 mater lai
    本文还有配套的精品资源，点击获取简介：Vue.js是前端开发领域流行的JavaScript框架，"前端21"项目展示了基于Vue.js的Web应用程序开发。本文详细介绍了Vue.js的核心概念、项目设置、npm脚本、自定义配置、文件结构、开发过程和VueCLI工具，以帮助开发者高效构建Web应用。1.Vue.js框架基础1.1Vue.js简介Vue.js是一套构建用户界面的渐进式JavaScrip
  • Spring Web MVC⼊⻔ 想进大厂的小王 Spring组件mvc服务器javaspringintellij-ideajava-eespringboot
    一、Web开发的基础概念介绍1.socket定义：Socket是网络编程的一个基础概念，代表了两个程序（通常是网络上的不同计算机上的程序）之间的一个通信端点。用途：Sockets主要用于实现低级的网络通信功能。在Java中，java.net.Socket类用于创建一个客户端，而java.net.ServerSocket类用于创建服务器端。通过这些类，可以实现两个应用程序之间的双向通信。特点：Soc
  • 一个Spring框架笔记 A_cot spring数据库java后端开发语言springcloudspringboot
    Spring框架基于JavaEE的轻量级框架，使用spring可以降低模块的耦合度，提高开发效率。Spring框架的两大核心技术：IOCIOC：控制反转DI：依赖注入AOP面向切面编程Spring的模块划分：SpringIOCSpringAOPSpringJDBC（Spring+MyBatis）Spring事务Spring作用Dao层（数据访问层）数据库的JDBC操作对应的框架：MyBatis或H
  • 前端开发核心知识点深度解析：从CSS到Vue的全面指南 A_cot cssvue.js前端开发语言javascript
    一、CSS篇1.link与@import的区别加载方式：是HTML标签，并行加载；@import是CSS语法，串行加载兼容性：@import不支持IE5以下DOM控制：link可通过JS操作DOM修改，@import不可动态修改权重计算：@import引入的样式优先级低于link@importurl('style.css');二、JavaScript篇2.原型链机制原型对象：每个函数都有proto
  • cookieParser 依赖详解 yqcoder web安全前端
    cookie-parser是一个用于在Express.js中解析HTTPCookie的Node.js中间件。它将Cookie字符串解析为JavaScript对象，使开发者能够方便地在Express应用中访问和操作Cookie。一、安装npminstallcookie-parser二、基本使用constexpress=require("express");constcookieParser=requ
  • Matlab 大量接单 matlabgoodboy matlab开发语言
    分享一个matlab接私活、兼职的平台1、技术方向满足任一即可2、技术要求3、最后技术方向满足即可MATLAB：熟练掌握MATLAB编程语言，能够使用MATLAB进行数据处理、机器学习和深度学习等相关工作。机器学习、深度学习、强化学习、仿真、复现、算法、神经网络、建模、图像识别、数据挖掘、数据获取、爬虫、数据分析、目标检测、算法创新、因子分析、相关分析、方差分析、判别分析、方程分析、线性回归、中介
  • HarmonyNext实战案例：构建一个智能健康监测应用 前端
    在本文中，我们将通过一个完整的实战案例，深入探讨如何在HarmonyNext平台上使用ArkTS构建一个智能健康监测应用。该应用将实现以下功能：实时监测用户的心率、步数和睡眠质量，并将数据可视化展示。本文假设读者已经具备一定的编程基础，尤其是对TypeScript或JavaScript有一定的了解，并且熟悉HarmonyNext的基本开发环境。项目概述智能健康监测应用的核心功能包括：心率监测：通过
  • 带你吃透（Netty+Redis+ZooKeeper+高并发实战）从底层原理开始剖析 java熬夜党 Javajava面试redis
    前言今天给大家分享的Netty+Redis+ZooKeeper底层原理+高并发实战，希望大家认真阅读，跟上文章的节奏，一步步去提升自己~大公司的面试题从某个侧面映射出生产场景中对专项技术的要求。高并发的面试题以前基本是BAT等大公司的专利，现在几乎蔓延至与Java项目相关的整个行业。例如，与JavaNIO、Reactor模式、高性能通信、分布式锁、分布式ID、分布式缓存、高并发架构等技术相关的面试
  • 深入剖析Java NIO的epoll机制：红黑树、触发模式与CPU缓存优化 千里码！ 后端技术javaIOjavajavanio缓存
    深入剖析JavaNIO的epoll机制：红黑树、触发模式与CPU缓存优化编程相关书籍分享：https://blog.csdn.net/weixin_47763579/article/details/145855793DeepSeek使用技巧pdf资料分享：https://blog.csdn.net/weixin_47763579/article/details/145884039引言JavaNIO
  • 使用Semantic Kernel：对DeepSeek添加自定义插件 归-途 机器学习oneapi机器学习
    SemanticKernel介绍SemanticKernel是一个SDK，它将OpenAI、AzureOpenAI等大型语言模型与C#、Python和Java等传统编程语言集成在一起。SemanticKernel通过允许您定义插件来实现这一点。为什么需要添加插件？大语言模型虽然具有强大的自然语言理解和生成能力，但它们通常是基于预训练的模型，其功能受限于训练时所接触的数据和任务。为大语言模型添加插件
  • 深入解析SpringMVC中Http响应的实现机制 上官美丽 java网络协议网络java
    在Web应用开发中，处理HTTP请求并返回相应的HTTP响应是核心任务之一。SpringMVC作为Java生态中广泛使用的Web框架，提供了灵活且强大的机制来处理HTTP请求和生成HTTP响应。本文将深入探讨SpringMVC中如何实现HTTP响应的返回，涵盖从控制器方法的返回值到最终生成HTTP响应的完整流程。1.SpringMVC处理HTTP请求的流程在SpringMVC中，HTTP请求的处理
  • Netty是如何实现零拷贝的？ java1234_小锋 javajava
    大家好，我是锋哥。今天分享关于【Netty是如何实现零拷贝的？】面试题。希望对大家有帮助；Netty是如何实现零拷贝的？1000道互联网大厂Java工程师精选面试题-Java资源分享网Netty是一个高性能的Java网络应用框架，它通过多种技术实现了“零拷贝”（Zero-Copy）机制，以提高数据传输的效率，减少CPU的使用率和内存的消耗。零拷贝指的是在数据传输过程中，避免不必要的内存拷贝，提高处
  • Netty为什么性能很高? java1234_小锋 javajava开发语言
    大家好，我是锋哥。今天分享关于【Netty为什么性能很高?】面试题。希望对大家有帮助；Netty为什么性能很高?1000道互联网大厂Java工程师精选面试题-Java资源分享网Netty是一款高性能的网络通信框架，主要用于构建高性能的网络应用程序。其高性能的原因可以归结为以下几个方面：1.NIO（Non-blockingI/O）模型Netty基于JavaNIO（即非阻塞I/O）API，能够实现异步
  • Java支持多继承么，为什么? java1234_小锋 javajava开发语言
    大家好，我是锋哥。今天分享关于【Java支持多继承么，为什么?】面试题。希望对大家有帮助；Java支持多继承么，为什么?1000道互联网大厂Java工程师精选面试题-Java资源分享网Java不支持类的多继承，即一个类不能同时继承自多个类。这个设计决策主要是为了避免以下问题：1.菱形继承问题（DiamondProblem）菱形继承问题发生在一个类通过继承多个类时，多个父类之间可能有相同的方法或成员
  • 【LeetCode:132. 分割回文串 II + 动态规划】 硕风和炜 #递归/回溯系列#动态规划系列LeetCode每日一题打卡leetcode动态规划算法java递归记忆化搜索dp
    在这里插入代码片算法题算法刷题专栏|面试必备算法|面试高频算法越难的东西,越要努力坚持，因为它具有很高的价值，算法就是这样✨作者简介：硕风和炜，CSDN-Java领域优质创作者，保研|国家奖学金|高中学习JAVA|大学完善JAVA开发技术栈|面试刷题|面经八股文|经验分享|好用的网站工具分享恭喜你发现一枚宝藏博主,赶快收入囊中吧人生如棋，我愿为卒，行动虽慢，可谁曾见我后退一步？算法题目录题目链接⛲
  • Java里的ArrayList和LinkedList有什么区别？ java1234_小锋 javajava开发语言
    大家好，我是锋哥。今天分享关于【Java里的ArrayList和LinkedList有什么区别？】面试题。希望对大家有帮助；Java里的ArrayList和LinkedList有什么区别？1000道互联网大厂Java工程师精选面试题-Java资源分享网ArrayList和LinkedList都是Java集合框架中的常用数据结构，它们都实现了List接口，但在底层实现、性能表现和使用场景上有显著区别
  • 爬虫必备数据存储 ylfhpy 爬虫项目入门爬虫python开发语言去重数据持久化
    一、引言在当今信息爆炸的时代，网络数据的获取与处理变得至关重要。Python凭借其简洁的语法和丰富的库，成为了爬虫开发的首选语言。当爬虫成功获取数据后，如何高效、可靠地存储这些数据，并避免重复数据的干扰，是需要解决的关键问题。不同类型的数据和应用场景需要不同的存储方式，而数据去重则有助于提高数据质量和存储效率。本文将系统地介绍Python爬虫中常见的数据存储方式和数据去重方法。二、文本数据存储方式
  • 常见自动化测试工具集合 2401_85613856 自动化测试工具运维
    1、Appium------->AppUI自动化测试官网：http://appium.ioAppium是一个移动端自动化测试开源工具，支持iOS和Android平台，支持Python、Java等语言，即同一套Java或Python脚本可以同时运行在iOS和Android平台，Appium是一个C/S架构，核心是一个Web服务器，它提供了一套REST的接口。当收到客户端的连接后，就会监听到命令，然后
  • JAVA基础学习2 Moon.8888 java学习开发语言
    JAVA基础学习2包机制1.包的本质其实就是文件夹包语句的语法格式：packagepkg1[.pkg2[.pkg3...]];注意：1.一般利用公司域名倒置作为包名；例如：www.baidu.com倒置过来作为包名：com.baidu.www；2.*作为通配符导入包的的语法格式：importpackage1.[.package2...].(classname|*);JavaDoc生成文档1.Jav
  • 委托者模式（掌握设计模式的核心之一） cccccchd 设计模式
    目录问题：举例：总结：核心就是利用Java中的多态来完成注入。问题：今天刷面经，刷到装饰者模式，又进阶的发现委托者模式，发现还是不理解，特此记录。举例：老板（委托者）：“我有个需求要做，但具体咋做我不关心，你（被委托者）按我的规则（接口）搞定就行。”→只提要求，不亲自干活。员工（被委托者）：“老板放心，我按你定的规则（接口）来办！”→遵守接口承诺，实现具体逻辑。协商的规则（接口）：“需求必须通过P
  • Spring学习01 nightelves11 springJavaspringjava后端
    spring学习011.微服务*2.反应式框架3.云原生开发*4.web应用5.无服务器技术6.事件驱动7.批处理project（Java开发各个方面）frameworkbootdata处理数据cloud云原生security安全管理session共享会话integration集成Hateoas媒体服务restdocs文档Batch批处理CredHubStatemachine状态机-…IOC控制反
  • C# .Net 开发设计多用户网上商城源码_OctShop
    随着C#在TIOBE编程语言排行不断上升，这也标志着越来越多的程序员开始使用C#来开发项目了。在TIOBE2023年10月公布的排行中，C#和Java之间的差距越来越小了，仅为1.2%，随着C#.NetCore的免费开源，这一上升的趋势越来越明显，TIOBECEOPaulJansen认为，如果这一趋势继续保持，那么C#将在两个月后超过Java。在当前所有的编程语言中，Java出现了大幅度下跌，为-
  • Java实现的简单双向Map，支持重复Value superlxw1234 java双向map
    关键字：Java双向Map、DualHashBidiMap     有个需求，需要根据即时修改Map结构中的Value值，比如，将Map中所有value=V1的记录改成value=V2，key保持不变。   数据量比较大，遍历Map性能太差，这就需要根据Value先找到Key，然后去修改。   即：既要根据Key找Value，又要根据Value
  • PL/SQL触发器基础及例子 百合不是茶 oracle数据库触发器PL/SQL编程
      触发器的简介; 触发器的定义就是说某个条件成立的时候，触发器里面所定义的语句就会被自动的执行。因此触发器不需要人为的去调用，也不能调用。触发器和过程函数类似 过程函数必须要调用,   一个表中最多只能有12个触发器类型的,触发器和过程函数相似 触发器不需要调用直接执行, 触发时间：指明触发器何时执行，该值可取： before：表示在数据库动作之前触发
  • [时空与探索]穿越时空的一些问题 comsci 问题
          我们还没有进行过任何数学形式上的证明,仅仅是一个猜想.....       这个猜想就是; 任何有质量的物体(哪怕只有一微克)都不可能穿越时空,该物体强行穿越时空的时候,物体的质量会与时空粒子产生反应,物体会变成暗物质,也就是说,任何物体穿越时空会变成暗物质..(暗物质就我的理
  • easy ui datagrid上移下移一行 商人shang js上移下移easyuidatagrid
    /** * 向上移动一行 * * @param dg * @param row */ function moveupRow(dg, row) { var datagrid = $(dg); var index = datagrid.datagrid("getRowIndex", row); if (isFirstRow(dg, row)) {
  • Java反射 oloz 反射
    本人菜鸟，今天恰好有时间，写写博客，总结复习一下java反射方面的知识，欢迎大家探讨交流学习指教 首先看看java中的Class package demo; public class ClassTest { /*先了解java中的Class*/ public static void main(String[] args) { //任何一个类都
  • springMVC 使用JSR-303 Validation验证 杨白白 springmvc
    JSR-303是一个数据验证的规范，但是spring并没有对其进行实现，Hibernate Validator是实现了这一规范的，通过此这个实现来讲SpringMVC对JSR-303的支持。 JSR-303的校验是基于注解的，首先要把这些注解标记在需要验证的实体类的属性上或是其对应的get方法上。 登录需要验证类 public class Login { @NotEmpty
  • log4j 香水浓 log4j
    log4j.rootCategory=DEBUG, STDOUT, DAILYFILE, HTML, DATABASE #log4j.rootCategory=DEBUG, STDOUT, DAILYFILE, ROLLINGFILE, HTML #console log4j.appender.STDOUT=org.apache.log4j.ConsoleAppender log4
  • 使用ajax和history.pushState无刷新改变页面URL agevs jquery框架Ajaxhtml5chrome
    表现 如果你使用chrome或者firefox等浏览器访问本博客、github.com、plus.google.com等网站时，细心的你会发现页面之间的点击是通过ajax异步请求的，同时页面的URL发生了了改变。并且能够很好的支持浏览器前进和后退。 是什么有这么强大的功能呢？ HTML5里引用了新的API，history.pushState和history.replaceState，就是通过
  • centos中文乱码 AILIKES centosOSssh
    一、CentOS系统访问 g.cn ，发现中文乱码。 于是用以前的方式：yum -y install fonts-chinese CentOS系统安装后，还是不能显示中文字体。我使用 gedit 编辑源码，其中文注释也为乱码。       后来，终于找到以下方法可以解决，需要两个中文支持的包： fonts-chinese-3.02-12.
  • 触发器 baalwolf 触发器
    触发器(trigger)：监视某种情况，并触发某种操作。 触发器创建语法四要素：1.监视地点(table) 2.监视事件(insert/update/delete) 3.触发时间(after/before) 4.触发事件(insert/update/delete) 语法： create trigger triggerName after/before 
  • JS正则表达式的i m g bijian1013 JavaScript正则表达式
            g:表示全局（global)模式，即模式将被应用于所有字符串，而非在发现第一个匹配项时立即停止。         i:表示不区分大小写（case-insensitive）模式，即在确定匹配项时忽略模式与字符串的大小写。         m:表示
  • HTML5模式和Hashbang模式 bijian1013 JavaScriptAngularJSHashbang模式HTML5模式
            我们可以用$locationProvider来配置$location服务（可以采用注入的方式，就像AngularJS中其他所有东西一样）。这里provider的两个参数很有意思，介绍如下。 html5Mode         一个布尔值，标识$location服务是否运行在HTML5模式下。 ha
  • [Maven学习笔记六]Maven生命周期 bit1129 maven
    从mvn test的输出开始说起   当我们在user-core中执行mvn test时，执行的输出如下：   /software/devsoftware/jdk1.7.0_55/bin/java -Dmaven.home=/software/devsoftware/apache-maven-3.2.1 -Dclassworlds.conf=/software/devs
  • 【Hadoop七】基于Yarn的Hadoop Map Reduce容错 bit1129 hadoop
    运行于Yarn的Map Reduce作业，可能发生失败的点包括 Task Failure Application Master Failure Node Manager Failure Resource Manager Failure 1. Task Failure 任务执行过程中产生的异常和JVM的意外终止会汇报给Application Master。僵死的任务也会被A
  • 记一次数据推送的异常解决端口解决 ronin47 记一次数据推送的异常解决
    　　 需求：从db获取数据然后推送到B         程序开发完成，上jboss,刚开始报了很多错，逐一解决，可最后显示连接不到数据库。机房的同事说可以ping 通。 　　  自已画了个图，逐一排除，把linux 防火墙　和　setenforce　设置最低。 　　　service iptables stop
  • 巧用视错觉-UI更有趣 brotherlamp UIui视频ui教程ui自学ui资料
    我们每个人在生活中都曾感受过视错觉（optical illusion）的魅力。 视错觉现象是双眼跟我们开的一个玩笑，而我们往往还心甘情愿地接受我们看到的假象。其实不止如此，视觉错现象的背后还有一个重要的科学原理——格式塔原理。 格式塔原理解释了人们如何以视觉方式感觉物体，以及图像的结构，视角，大小等要素是如何影响我们的视觉的。 在下面这篇文章中，我们首先会简单介绍一下格式塔原理中的基本概念，
  • 线段树-poj1177-N个矩形求边长（离散化+扫描线） bylijinnan 数据结构算法线段树
    package com.ljn.base; import java.util.Arrays; import java.util.Comparator; import java.util.Set; import java.util.TreeSet; /** * POJ 1177 (线段树+离散化+扫描线)，题目链接为http://poj.org/problem?id=1177
  • HTTP协议详解 chicony http协议
    引言                                 
  • Scala设计模式 chenchao051 设计模式scala
    Scala设计模式                我的话： 在国外网站上看到一篇文章，里面详细描述了很多设计模式，并且用Java及Scala两种语言描述，清晰的让我们看到各种常规的设计模式，在Scala中是如何在语言特性层面直接支持的。基于文章很nice，我利用今天的空闲时间将其翻译，希望大家能一起学习，讨论。翻译
  • 安装mysql daizj mysql安装
    安装mysql   (1)删除linux上已经安装的mysql相关库信息。rpm  -e  xxxxxxx   --nodeps (强制删除)      执行命令rpm -qa |grep mysql 检查是否删除干净   (2)执行命令  rpm -i MySQL-server-5.5.31-2.el
  • HTTP状态码大全 dcj3sjt126com http状态码
    完整的 HTTP 1.1规范说明书来自于RFC 2616，你可以在http://www.talentdigger.cn/home/link.php?url=d3d3LnJmYy1lZGl0b3Iub3JnLw%3D%3D在线查阅。HTTP 1.1的状态码被标记为新特性，因为许多浏览器只支持 HTTP 1.0。你应只把状态码发送给支持 HTTP 1.1的客户端，支持协议版本可以通过调用request
  • asihttprequest上传图片 dcj3sjt126com ASIHTTPRequest
    NSURL *url =@"yourURL"; ASIFormDataRequest*currentRequest =[ASIFormDataRequest requestWithURL:url]; [currentRequest setPostFormat:ASIMultipartFormDataPostFormat];[currentRequest se
  • C语言中，关键字static的作用 e200702084 C++cC#
    在C语言中，关键字static有三个明显的作用： 1)在函数体，局部的static变量。生存期为程序的整个生命周期，（它存活多长时间）；作用域却在函数体内（它在什么地方能被访问（空间））。 一个被声明为静态的变量在这一函数被调用过程中维持其值不变。因为它分配在静态存储区，函数调用结束后并不释放单元，但是在其它的作用域的无法访问。当再次调用这个函数时，这个局部的静态变量还存活，而且用在它的访
  • win7/8使用curl geeksun win7
    1.  WIN7/8下要使用curl，需要下载curl-7.20.0-win64-ssl-sspi.zip和Win64OpenSSL_Light-1_0_2d.exe。 下载地址：  http://curl.haxx.se/download.html 请选择不带SSL的版本，否则还需要安装SSL的支持包   2.  可以给Windows增加c
  • Creating a Shared Repository; Users Sharing The Repository hongtoushizi git
    转载自：   http://www.gitguys.com/topics/creating-a-shared-repository-users-sharing-the-repository/ Commands discussed in this section: git init –bare git clone git remote git pull git p
  • Java实现字符串反转的8种或9种方法 Josh_Persistence 异或反转递归反转二分交换反转java字符串反转栈反转
    注：对于第7种使用异或的方式来实现字符串的反转，如果不太看得明白的，可以参照另一篇博客： http://josh-persistence.iteye.com/blog/2205768   /** * */ package com.wsheng.aggregator.algorithm.string; import java.util.Stack; /**
  • 代码实现任意容量倒水问题 home198979 PHP算法倒水
    形象化设计模式实战             HELLO!架构                     redis命令源码解析   倒水问题：有两个杯子，一个A升，一个B升，水有无限多，现要求利用这两杯子装C
  • Druid datasource zhb8015 druid
    推荐大家使用数据库连接池 DruidDataSource. http://code.alibabatech.com/wiki/display/Druid/DruidDataSource DruidDataSource经过阿里巴巴数百个应用一年多生产环境运行验证，稳定可靠。 它最重要的特点是：监控、扩展和性能。 下载和Maven配置看这里： http
  • 两种启动监听器ApplicationListener和ServletContextListener spjich javaspring框架
    引言:有时候需要在项目初始化的时候进行一系列工作，比如初始化一个线程池，初始化配置文件，初始化缓存等等，这时候就需要用到启动监听器，下面分别介绍一下两种常用的项目启动监听器   ServletContextListener  特点: 依赖于sevlet容器，需要配置web.xml 使用方法: public class StartListener implements
  • JavaScript Rounding Methods of the Math object 何不笑 JavaScriptMath
        The next group of methods has to do with rounding decimal values into integers. Three methods — Math.ceil(),  Math.floor(), and  Math.round() — handle rounding in differen