EricFRQ
EricFRQ

网络爬虫HttpClient+Jsoup+WebMagic学习笔记

网络爬虫 HttpClient Jsoup WebMagic

  • 一、入门程序体验
    • 1、HttpClient处理网络请求
    • 2、Jsoup页面解析
  • 二、小案例：爬取JD手机数据
  • 三、WebMagic学习使用
    • 1、基础概念
    • 2、案例
      • 1、爬取页面某些标签属性值
      • 2、爬取某工作网站计算机软件行业的信息存入mysql
      • 3、爬取某网站所有POI数据存入ES
    • 3、数据去重算法
    • 4、使用代理，解决网页反爬

补充：爬虫相关文档笔记链接

一、入门程序体验

1、HttpClient处理网络请求

1、添加依赖

<dependency>
       <groupId>org.apache.httpcomponentsgroupId>
       <artifactId>httpclientartifactId>
       <version>4.5.10version>
dependency>

2、初识网络爬虫

import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

public class testdemo {
     
    public static void main(String[] args) throws Exception {
     
        //案例一：入门程序，模拟get请求，爬取网页原页面
        /*CloseableHttpClient closeableHttpClient = HttpClients.createDefault();
        URIBuilder uriBuilder = new URIBuilder("http://www.itcast.cn/search");
        uriBuilder.setParameter("keys","java").setParameter("","");
        HttpGet httpGet = new HttpGet(uriBuilder.build());
        //HttpPost httpPost = new HttpPost(uriBuilder.build());
        CloseableHttpResponse response = closeableHttpClient.execute(httpGet);
        if(response.getStatusLine().getStatusCode()==200){
            HttpEntity entity = response.getEntity();
            String s = EntityUtils.toString(entity, "utf-8");
            System.out.println(s);
            //关闭连接
            response.close();
            closeableHttpClient.close();
        }*/

        //案例二：模拟表单post请求
        /*CloseableHttpClient httpClient= HttpClients.createDefault();
        HttpPost httpPost = new HttpPost("http://www.itcast.cn/search");
        ArrayList params = new ArrayList<>();
        params.add(new BasicNameValuePair("keys","java"));
        UrlEncodedFormEntity urlEncodedFormEntity = new UrlEncodedFormEntity(params,"utf-8");
        httpPost.setEntity(urlEncodedFormEntity);
        CloseableHttpResponse response = httpClient.execute(httpPost);
        if(response.getStatusLine().getStatusCode()==200){
            HttpEntity entity = response.getEntity();
            String s = EntityUtils.toString(entity, "utf-8");
            System.out.println(s);
        }*/

        //案例三：连接池管理器
        PoolingHttpClientConnectionManager pool = new PoolingHttpClientConnectionManager();
        pool.setMaxTotal(10);
        doGet(pool);
    }

    private static void doGet(PoolingHttpClientConnectionManager pool) {
     
        CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(pool).build();
        HttpPost httpPost = new HttpPost("http://www.itcast.cn");
        CloseableHttpResponse response = null;
        try {
     
            response = httpClient.execute(httpPost);
            if(response.getStatusLine().getStatusCode()==200){
     
                HttpEntity entity = response.getEntity();
                String s = EntityUtils.toString(entity);
                System.out.println(s);
            }
        } catch (IOException e) {
     
            e.printStackTrace();
        }finally {
     
            if (response!=null){
     
                try {
     
                    response.close();
                } catch (IOException e) {
     
                    e.printStackTrace();
                }
            }
        }

    }
}

2、Jsoup页面解析

1、引入依赖

 <dependency>
      <groupId>org.jsoupgroupId>
      <artifactId>jsoupartifactId>
      <version>1.10.2version>
dependency>

2、小demo

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import java.net.URL;

public class JsoupDemo {
     
    public static void main(String[] args) throws Exception {
     
    //Jsoup.parse()这个方法参数可以是文件、字符串、网页地址，都能转成Document
        Document document = Jsoup.parse(new URL("http://47.97.200.76/login"), 10000);
        String title = document.getElementsByTag("title").first().text();
        System.out.println("打印=========>"+title);
    }
}

//el#id: 元素+ID，比如： h3#city_bj
String str = document.select("h3#city_bj").text();

//el.class: 元素+class，比如： li.class_a
str = document.select("li.class_a").text();

//el[attr]: 元素+属性名，比如： span[abc]
str = document.select("span[abc]").text();

//任意组合，比如：span[abc].s_name
str = document.select("span[abc].s_name").text();

//ancestor child: 查找某个元素下子元素，比如：.city_con li 查找"city_con"下的所有li
str = document.select(".city_con li").text();

//parent > child: 查找某个父元素下的直接子元素，
//比如：.city_con > ul > li 查找city_con第一级（直接子元素）的ul，再找所有ul下的第一级li
str = document.select(".city_con > ul > li").text();

//parent > * 查找某个父元素下所有直接子元素.city_con > *
str = document.select(".city_con > *").text();

二、小案例：爬取JD手机数据

网络爬虫HttpClient+Jsoup+WebMagic学习笔记_第1张图片
1、HttpClient抓取数据
2、Jsoup解析数据
3、存储数据

三、WebMagic学习使用

1、基础概念

网络爬虫HttpClient+Jsoup+WebMagic学习笔记_第2张图片
网络爬虫HttpClient+Jsoup+WebMagic学习笔记_第3张图片
网络爬虫HttpClient+Jsoup+WebMagic学习笔记_第4张图片

2、案例

1、爬取页面某些标签属性值

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.scheduler.BloomFilterDuplicateRemover;
import us.codecraft.webmagic.scheduler.QueueScheduler;

public class WebMagicTest implements PageProcessor {
     
    private Site site = Site.me()
            .setTimeOut(1000*10)//设置请求超时，单位ms
            .setCharset("utf8")//设置编码
            .setRetrySleepTime(1000*3)//设置请求失败后的重新请求时间
            .setSleepTime(3)//设置重置次数 ;
            ;
    public static void main(String[] args) {
     
        Spider.create(new WebMagicTest())
                //.addPipeline(new FilePipeline("E:\\STUDY\\study\\jsoup-crawlers\\src\\main\\resources\\static"))//将结果保存到文件中需要单独设置，默认是控制台打印
                .addUrl("http://ace.piesat.cn/login.xhtml")
                .thread(3)//设置五个线程处理
                .setScheduler(new QueueScheduler().setDuplicateRemover(new BloomFilterDuplicateRemover(10000000)))//设置去重过滤器为布隆过滤器
                .run();
    }

    @Override
    public void process(Page page) {
     
        //1、 使用css选择器 解析页面,获取
标签下并且class=mod_conatiner 里面的

你可能感兴趣的:(springboot项目相关,java)

  • 在 Ubuntu 上安装 Node.js 23.x engchina LINUXubuntunode.jslinux
    在Ubuntu上安装Node.js23.x前提条件安装步骤1.下载设置脚本2.运行设置脚本3.安装Node.js4.验证安装参考链接总结在现代web开发中，Node.js是一个不可或缺的工具。它提供了一个强大的JavaScript运行时环境，使得开发人员可以在服务器端使用JavaScript。本文将详细介绍如何在Ubuntu上安装Node.js23.x。前提条件在开始安装之前，请确保你的系统上已经
  • SQL调优 - 优化 MySQL 中的 IN 语句查询效率 逍遥Sean SQL设计与调优实战sqlmysql数据库
    作者：逍遥Sean简介：一个主修Java的Web网站\游戏服务器后端开发者主页：https://blog.csdn.net/Ureliable觉得博主文章不错的话，可以三连支持一下~如有疑问和建议，请私信或评论留言！前言在使用MySQL进行开发时，我们经常会使用到IN语句来查询某个字段是否包含在一个给定的值集合中。然而，当这个值集合的数量超过一定的限制时，IN语句可能会导致查询效率显著下降，甚至引
  • Vue：前端体系、前后端分离 天宇阿 Vue前端vue.js
    文章目录一、前端核心分析1、概述2、前端知识体系2.1、前端三要素2.2、结构层（HTML）2.3、表现层（CSS）2.4、行为层（JavaScript）2.5、三端统一2.6、后端技术2.7、主流前端框架3、了解前后分离的演变史3.1、后端为主的MVC时代3.2、基于AJAX带来的SPA时代3.3、前端为主的MV*时代3.4、NodeJS带来的全栈时代3.5、总结学习视频来自于：秦疆（遇见狂神说
  • Spring Boot项目使用MyBatis Plus的详细步骤 wujiada001 Javaspringbootmybatis后端
    在SpringBoot项目中使用MyBatisPlus，可以极大地简化数据库操作，提高开发效率。以下是在SpringBoot项目中集成和使用MyBatisPlus的详细步骤：一、环境准备确保已安装Java和SpringBoot：MyBatisPlus是基于Java和SpringBoot的，因此需要先安装好这两个环境。创建SpringBoot项目：可以使用SpringInitializr（https
  • Java数据库连接：手写代码实现MySQL或Oracle连接并操作数据 bug菌¹ Java实战(进阶版)java手动连接mysql手动连接数据库手动连接OracleOracleMySQL
    ‍作者：bug菌✏️博客：CSDN、掘金、infoQ、51CTO等简介：CSDN|阿里云|华为云|51CTO等社区博客专家，历届博客之星Top30，掘金年度人气作者Top40，51CTO年度博主Top12，掘金|InfoQ|51CTO等社区优质创作者，全网粉丝合计15w+；硬核微信公众号
  • Spring Boot + mybatis 实现简单分页条件查询 Light~One javaMybatismybatisspringbootjava
    SpringBoot+mybatis实现简单的分页条件查询文章目录前言一、简单介绍一下，通过Limit实现简单的条件查询分页，pageNum为分页数，pageSize当前分页数，sort为数据表里面排序字段（int类型），通过查找匹配，统计出数量，即total为查询的数据总数；注意一下@PathVariable和@Param的用法。二、使用步骤1.Controller层2.mapper层（注解形式
  • Highcharts 条形图：数据可视化的利器 lly202406 开发语言
    Highcharts条形图：数据可视化的利器引言在数据分析和可视化领域，Highcharts是一个广受欢迎的JavaScript图表库。它以其易用性、灵活性和丰富的图表类型而著称。其中，条形图作为一种基础但功能强大的图表类型，被广泛应用于各种场景，以直观地展示数据分布和比较。本文将深入探讨Highcharts中的条形图，包括其基本用法、高级配置以及在实际应用中的最佳实践。什么是Highcharts
  • springboot/ssm教学资源管理系统web在线课程教学视频Java代码编写 Java学长-kirito javaspringbootspring
    springboot/ssm教学资源管理系统web在线课程教学视频Java代码编写基于springboot(可改ssm)+vue项目开发语言：Java框架：springboot/可改ssm+vueJDK版本：JDK1.8（或11）服务器：tomcat数据库：mysql5.7（或8.0）数据库工具：Navicat/sqlyog开发软件：eclipse/idea依赖管理包：Maven代码+数据库保证完
  • 【无标题】clientWidth、offsetWidth、scrollWidth与getBoundingClientRect 空之箱大战春日影 前端开发学习前端javascript开发语言
    概要在JavaScript中，我们常常要获取某个HTML元素的尺寸。但是在js中，我们往往能获取好几种尺寸，这几种尺寸的区别是什么呢？本文给出详细解析。clientWidth与clientHeightclientWidth表示某个元素的可见宽度（即元素内容区域的宽度），clientHeight表示某个元素的可见高度（即元素内容区域的宽度）。它的计算规则只包括内容和内边距，不包括边框、滚动条和外边距
  • 005-《VTK用户指南》--第一部分-VTK简介--第2章-安装--（1）基础概念 darlingfresher VTK系统学习c++
    本章介绍在您的计算机系统上安装VTK所需的步骤。该过程的总体难度受多个因素影响。在MicrosoftWindows上，您可以安装预构建的vtk.exe，并通过运行TCL脚本使用它。若要在Python或Java编程语言中使用VTK，为了将VTK库链接到您自己的应用程序中，必须从源代码编译VTK。在MicrosoftWindows以外的任何平台上使用VTK，也必须从源代码构建VTK。（不同的平台环境太
  • Java 集合框架：HashMap 的介绍、使用、原理与源码解析 NicoleGus 哈希算法散列表算法
    一、HashMap介绍HashMap是Java集合框架中最常用的数据结构之一。它实现了Map接口，允许我们以键值对的形式存储数据。HashMap的主要特点是通过哈希表（HashTable）来实现对数据的高效查找、插入和删除操作。1.特性无序存储：HashMap并不保证元素的顺序，元素的顺序可能会随着插入的顺序和哈希冲突的解决方式而变化。允许null键和null值：HashMap允许一个null键和
  • Oracle 分区在什么情况下使用？思维导图 代码示例（java 架构) 用心去追梦 oraclejava架构
    Oracle分区的适用场景Oracle分区（Partitioning）是一种强大的数据管理工具，适用于特定类型的数据库工作负载和数据结构。以下是一些适合使用分区的情况：1.大型表优化超大数据量：当表包含数百万甚至数十亿行时，分区可以帮助提高查询性能。频繁更新：对于经常被插入、更新或删除的数据，分区可以减少锁定范围，提高并发性。2.数据仓库历史数据分析：在数据仓库中，通常会存储多年的历史数据。通过按
  • 【自学笔记】Web前端的重点知识点-持续更新 Long_poem 笔记前端
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Web前端知识点一、HTML基础二、CSS样式三、JavaScript基础四、前端框架与库五、前端工具与构建六、前端性能优化七、响应式设计与适配八、前端安全总结Web前端知识点一、HTML基础常用标签超链接(标签)图片(标签)表格(、、等标签)列表(无序列表、有序列表、定义列表)HTML5新特性语义化标签(、、等)音频视频(、
  • MyBatis学习：多表映射 Landy_Jay mybatis学习数据库
    目录一、多表映射概念1.1多表查询结果映射思路1.2实体类设计方案1.2.1对一关系设计1.2.2对多关系设计多表映射案例准备二、对一映射三、对多映射四、多表映射总结4.1多表映射优化4.2总结：一、多表映射概念1.1多表查询结果映射思路数据库的表结构具有复杂性，不是所有数据库都达到第三范式或BCNF范式，故数据库查询结果与java对象的属性映射也变得复杂。MyBatis使用ResultMap实现
  • Java 如何使用 Linux 内存 -《面向技术宅的 JVM 内幕》 jvmjvm-hotspot
    为了更高的性能、更高的内存利用率、更可靠的异常溢出保护机制，Java重度重用了Linux的内存区MMap机制。k8s容器环境下，内存使用预估也依赖于对它的理解。本文主讲Java的内存分区机制。本文摘自我在编写的开源互动图书《面向技术宅的JVM内幕》中的MMap-OSMemoryRegion一节。如图片不清，请转回原文。内存分区关于JVM内存分区，可见我之前写的文章：Linux进程内存分区概念。如还
  • 可能是最深入全面的图解 Java Virtual Threads jvmjvm虚拟机
    本文尽我所能，用了数月时间，在学习了JavaVirtualTheads的一些设计和实现理念后，用我所能的精炼文字和画图，去记录我的所学。是我现在能找到的最深入全面的图解JavaVirtualThreads文章。本文摘自我在编写的开源互动图书《面向技术宅的JVM内幕》中的VirtualThreads一节。如图片不清，请转回原文。VirtualThreads按这本书作者的德性，和这本书的定位，这里不会
  • Spring Boot从入门到精通：解锁高效应用开发密码 计算机学长 javaspringboot
    什么是SpringBoot在Java开发的广袤天地中，SpringBoot就如同一位神奇的魔法师，为开发者们带来了前所未有的便捷与高效，已然成为Java开发领域的中流砥柱。它是由Pivotal团队精心打造的开源框架，旨在将Spring应用的开发与部署变得轻而易举。SpringBoot之所以能够简化开发流程、提升开发效率，其秘诀就在于“约定大于配置”这一精妙绝伦的理念。在传统的Spring开发中，开
  • java 绘制六边形_六边形架构 Java 实现 chinhoyoo java绘制六边形
    原标题：六边形架构Java实现链接：shipilev.net/jvm-anatomy-park/2-transparent-huge-pages/六边形架构是一种设计风格，通过分层实现核心逻辑与外部对象隔离。其核心逻辑是业务模块，外部元素是整合点，比如数据库、外部API、界面等。它将软件分为内部与外部，内部包含了核心业务逻辑与领域层(所谓分层架构)，外部包含界面、数据库、消息传递及其他内容。内部与
  • Java RabbitMQ 的作用是什么? 使用场景有哪些？有哪些优缺点? 学习资源网 java-rabbitmqjavarabbitmq
    JavaRabbitMQ的作用是什么?使用场景有哪些？有哪些优缺点?RabbitMQ是一个开源的消息队列系统，用于在分布式系统中传递消息。它实现了AMQP（AdvancedMessageQueuingProtocol）协议，为应用提供了可靠的消息传递机制。以下是RabbitMQ的作用、使用场景以及优缺点：作用：消息队列：RabbitMQ提供了消息队列的功能，允许应用程序之间异步地传递消息。解耦：R
  • RabbitMQ(二)Java基本应用 刘越洋子 数据库中间件等java
    消息生产者代码publicclassSend{publicfinalstaticStringQUEUE_NAME="com.lyyz.queue";publicfinalstaticStringEXCHANGE_NAME="com.lyyz.exchange";publicfinalstaticStringROUTINGKEY_NAME="com.lyyz.routingKey";//DEFAUL
  • Java后端多租户架构设计：隔离与共享策略 省赚客APP开发者@聚娃科技 java开发语言
    Java后端多租户架构设计：隔离与共享策略大家好，我是微赚淘客返利系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！多租户架构概述多租户架构允许多个租户（客户）共享相同的系统实例，同时保证租户间的数据隔离和安全性。多租户架构的挑战数据隔离：确保一个租户不能访问另一个租户的数据。性能管理：在多租户共享资源的情况下保持性能。定制化需求：满足不同租户的特定需求。隔离策略隔离策略是多租户架构中的关
  • 前端必知必会-Vue 指令 编程岁月 前端必知必会vue.js前端javascript
    文章目录Vue指令不同的Vue指令总结Vue指令Vue指令是带有v-的特殊HTML属性，可以为HTML标记提供额外的功能。Vue指令连接到Vue实例以创建动态和响应式用户界面。使用Vue，与传统的JavaScript方法相比，创建响应式页面要轻松精简，而且所需的代码很少。不同的Vue指令指令详细信息v-bind将HTML标记中的属性连接到Vue实例内的数据变量。v-if根据条件创建HTML标记。指
  • 剖根问底：Java 不能实现真正泛型的原因是什么？ 沉默王二 Java进阶之路Java程序员进阶之路java编程语言
    大家好，我是二哥呀！今天我来给大家讲一下，Java不能实现真正泛型的原因是什么？本文已同步至GitHub《教妹学Java》专栏，风趣幽默，通俗易懂，对Java初学者亲切友善，么么哒，内容包括Java语法、Java集合框架、Java并发编程、Java虚拟机等核心知识点，欢迎star。GitHub开源地址：https://github.com/itwanger/jmx-javaCodeChina：ht
  • 关于将HashMap替换原有Map的key保持value不变报错java.util.ConcurrentModificationException的处理方案 梦岚如雪 轮子库之HashMapjava工具类java开发语言后端HashMap
    前言由于苦逼的在公司支持上线，在等待es集群分片完成过程，实在闲的无聊，将之前本地Notion记得一些笔记扔上来一些打发下时间吧(￣.￣)需求有个类似下面的数据为Map>>，其中key为资源id，value为List>,{"4757637007194717896":[{"oracleTableSpaceSize":"30000","oracleTableName":"System4","oracl
  • 进制转换在C/C++/Java/Kotlin中的应用(详细版) 一歲抬頭 javac语言c++
    //清除标志位为了得到正确的can_id，需要在解析之前清除可能设置的标志位。通过使用&0x1FFFFFFF来实现，这个操作会清除can_id的高3位，确保结果得到的是纯粹的ID。uint32_tclean_can_id=frame.can_id&0x1FFFFFFF;因为上面的问题我不理解所以来学习进制转换的应用,进制转换非常常见,如果你搞底层这个是必须会的,我工作中也经常碰到每次看到都非常头疼
  • java 转kotlin所需要的准备 m1zu web应用javakotlin开发语言
    1.学习Kotlin的基本语法1.1Kotlin的基本数据类型Kotlin与Java类似，有基本的数据类型，如Int、String、Boolean等。需要注意的是，Kotlin的类型系统是空安全的，这意味着类型默认情况下是不可空的。1.2了解Kotlin的关键字和语法Kotlin有一些独特的关键字和语法，比如val和var用于声明变量，fun用于声明函数等。1.3学习Kotlin的函数式编程特性K
  • 代码审计学习路线 白帽子技术分享 python网络安全代码审计
    学习代码审计分以下四部分一.编程语言1.前端语言html/javascript/dom元素使用，主要是为了挖掘xss漏洞，jquery主要写一些涉及到CSRF脚本使用的或者DOM型XSS，JSON劫持等2.后端语言基础语法要知道，例如变量类型,常量,数组(python是列表,元组,字典)，对象,类的调用,引用等，MVC设计模式要清楚,因为大部分目标程序都是基于MVC写的，包括不限于php，pyth
  • SpringBoot 整合 SpringMvc 流程以及原理 一枚务实的码农 ssmspringbootmvcspring框架java
    通过SpringBoot整合各个框架是越来越方便了，整合SpringMVC只需要添加对应的starer依赖即可。org.springframework.bootspring-boot-starter-web而且还配备了Tomcat的starterorg.springframework.bootspring-boot-starter-web这样，只需要根据自身需求，设置配置文件。启动web服务器只需
  • Springboot 整合springmvc 实战 king-agic JAVA经验分享javaspring
    SpringBoot旨在简化Spring应用的初始搭建以及开发过程，它通过约定优于配置的原则来减少XML配置，使得开发者可以专注于业务逻辑的实现。SpringBoot默认就集成了SpringMVC，这意味着你无需过多的配置就能开始编写控制器。以下是SpringBoot整合SpringMVC的基本步骤，以及一些实战中的注意事项：1.添加依赖在pom.xml或build.gradle中添加Spring
  • 安全见闻（3） Bulestar_xx 泷羽sec学习笔记安全网络windows
    摘要脚本程序主要讨论的是安全性问题。脚本语言因其源代码可见、可复制性高而具有脚本性质。常见的脚本语言包括：-Lua-PHP-Go-Python-JavaScript脚本语言可以编写病毒和木马，例如Python可以编写木马，PHP可以编写一句话木马。编写脚本病毒需要了解脚本语言基础和病毒构成。宏病毒（macro）可以通过工具如metasploit生成，并植入Office文件中，如Word和PPT。宏
  • sql统计相同项个数并按名次显示 朱辉辉33 javaoracle
    现在有如下这样一个表： A表 ID Name time ------------------------------ 0001 aaa 2006-11-18 0002 ccc 2006-11-18 0003 eee 2006-11-18 0004 aaa 2006-11-18 0005 eee 2006-11-18 0004 aaa 2006-11-18 0002 ccc 20
  • Android+Jquery Mobile学习系列-目录 白糖_ JQuery Mobile
    最近在研究学习基于Android的移动应用开发，准备给家里人做一个应用程序用用。向公司手机移动团队咨询了下，觉得使用Android的WebView上手最快，因为WebView等于是一个内置浏览器，可以基于html页面开发，不用去学习Android自带的七七八八的控件。然后加上Jquery mobile的样式渲染和事件等，就能非常方便的做动态应用了。   从现在起，往后一段时间，我打算
  • 如何给线程池命名 daysinsun 线程池
            在系统运行后，在线程快照里总是看到线程池的名字为pool-xx，这样导致很不好定位，怎么给线程池一个有意义的名字呢。参照ThreadPoolExecutor类的ThreadFactory，自己实现ThreadFactory接口，重写newThread方法即可。参考代码如下：     public class Named
  • IE 中"HTML Parsing Error:Unable to modify the parent container element before the 周凡杨 html解析errorreadyState
      错误： IE 中"HTML Parsing Error:Unable to modify the parent container element before the child element is closed"     现象： 同事之间几个IE 测试情况下，有的报这个错，有的不报。经查询资料后，可归纳以下原因。
  • java上传 g21121 java
    我们在做web项目中通常会遇到上传文件的情况，用struts等框架的会直接用的自带的标签和组件，今天说的是利用servlet来完成上传。 我们这里利用到commons-fileupload组件，相关jar包可以取apache官网下载：http://commons.apache.org/ 下面是servlet的代码： //定义一个磁盘文件工厂 DiskFileItemFactory fact
  • SpringMVC配置学习 510888780 springmvc
    spring MVC配置详解 现在主流的Web MVC框架除了Struts这个主力 外，其次就是Spring MVC了，因此这也是作为一名程序员需要掌握的主流框架，框架选择多了，应对多变的需求和业务时，可实行的方案自然就多了。不过要想灵活运用Spring MVC来应对大多数的Web开发，就必须要掌握它的配置及原理。 　　一、Spring MVC环境搭建：（Spring 2.5.6 + Hi
  • spring mvc-jfreeChart 柱图(1) 布衣凌宇 jfreechart
    第一步：下载jfreeChart包，注意是jfreeChart文件lib目录下的，jcommon-1.0.23.jar和jfreechart-1.0.19.jar两个包即可； 第二步：配置web.xml; web.xml代码如下 <servlet>     <servlet-name>jfreechart</servlet-nam
  • 我的spring学习笔记13-容器扩展点之PropertyPlaceholderConfigurer aijuans Spring3
    PropertyPlaceholderConfigurer是个bean工厂后置处理器的实现，也就是BeanFactoryPostProcessor接口的一个实现。关于BeanFactoryPostProcessor和BeanPostProcessor类似。我会在其他地方介绍。PropertyPlaceholderConfigurer可以将上下文（配置文件）中的属性值放在另一个单独的标准java P
  • java 线程池使用 Runnable&Callable&Future antlove javathreadRunnablecallablefuture
    1. 创建线程池 ExecutorService executorService = Executors.newCachedThreadPool();   2. 执行一次线程，调用Runnable接口实现 Future<?> future = executorService.submit(new DefaultRunnable()); System.out.prin
  • XML语法元素结构的总结 百合不是茶 xml树结构
    1.XML介绍1969年   gml (主要目的是要在不同的机器进行通信的数据规范)1985年   sgml  standard generralized markup language1993年   html(www网)1998年  xml   extensible markup language
  • 改变eclipse编码格式 bijian1013 eclipse编码格式
    1.改变整个工作空间的编码格式         改变整个工作空间的编码格式，这样以后新建的文件也是新设置的编码格式。         Eclipse->window->preferences->General->workspace-
  • javascript中return的设计缺陷 bijian1013 JavaScriptAngularJS
    代码1： <script> var gisService = (function(window) { return { name:function () { alert(1); } }; })(this); gisService.name(); &l
  • 【持久化框架MyBatis3八】Spring集成MyBatis3 bit1129 Mybatis3
    pom.xml配置 Maven的pom中主要包括： MyBatis MyBatis-Spring Spring MySQL-Connector-Java Druid applicationContext.xml配置   <?xml version="1.0" encoding="UTF-8"?> &
  • java web项目启动时自动加载自定义properties文件 bitray javaWeb监听器相对路径
    创建一个类 public class ContextInitListener implements ServletContextListener 使得该类成为一个监听器。用于监听整个容器生命周期的，主要是初始化和销毁的。 类创建后要在web.xml配置文件中增加一个简单的监听器配置，即刚才我们定义的类。 <listener> <des
  • 用nginx区分文件大小做出不同响应 ronin47
    昨晚和前21v的同事聊天，说到我离职后一些技术上的更新。其中有个给某大客户(游戏下载类)的特殊需求设计，因为文件大小差距很大——估计是大版本和补丁的区别——又走的是同一个域名，而squid在响应比较大的文件时，尤其是初次下载的时候，性能比较差，所以拆成两组服务器，squid服务于较小的文件，通过pull方式从peer层获取，nginx服务于较大的文件，通过push方式由peer层分发同步。外部发布
  • java-67-扑克牌的顺子.从扑克牌中随机抽5张牌，判断是不是一个顺子，即这5张牌是不是连续的.2-10为数字本身，A为1，J为11，Q为12，K为13，而大 bylijinnan java
    package com.ljn.base; import java.util.Arrays; import java.util.Random; public class ContinuousPoker { /** * Q67 扑克牌的顺子 从扑克牌中随机抽5张牌，判断是不是一个顺子，即这5张牌是不是连续的。 * 2-10为数字本身，A为1，J为1
  • 翟鸿燊老师语录 ccii 翟鸿燊
    一、国学应用智慧TAT之亮剑精神A 1. 角色就是人格     就像你一回家的时候，你一进屋里面，你已经是儿子，是姑娘啦，给老爸老妈倒怀水吧，你还觉得你是老总呢？还拿派呢？就像今天一样，你们往这儿一坐，你们之间是什么，同学，是朋友。     还有下属最忌讳的就是领导向他询问情况的时候，什么我不知道，我不清楚，该你知道的你凭什么不知道
  • [光速与宇宙]进行光速飞行的一些问题 comsci 问题
         在人类整体进入宇宙时代，即将开展深空宇宙探索之前，我有几个猜想想告诉大家     仅仅是猜想。。。未经官方证实      1：要在宇宙中进行光速飞行，必须首先获得宇宙中的航行通行证，而这个航行通行证并不是我们平常认为的那种带钢印的证书，是什么呢？ 下面我来告诉
  • oracle undo解析 cwqcwqmax9 oracle
    oracle undo解析2012-09-24 09:02:01     我来说两句       作者：虫师收藏    我要投稿 Undo是干嘛用的？         &nb
  • java中各种集合的详细介绍 dashuaifu java集合
    一，java中各种集合的关系图 Collection       接口的接口     对象的集合  ├ List           子接口   &n
  • 卸载windows服务的方法 dcj3sjt126com windowsservice
    卸载Windows服务的方法 在Windows中，有一类程序称为服务，在操作系统内核加载完成后就开始加载。这里程序往往运行在操作系统的底层，因此资源占用比较大、执行效率比较高，比较有代表性的就是杀毒软件。但是一旦因为特殊原因不能正确卸载这些程序了，其加载在Windows内的服务就不容易删除了。即便是删除注册表中的相 应项目，虽然不启动了，但是系统中仍然存在此项服务，只是没有加载而已。如果安装其他
  • Warning: The Copy Bundle Resources build phase contains this target's Info.plist dcj3sjt126com iosxcode
        http://developer.apple.com/iphone/library/qa/qa2009/qa1649.html Excerpt: You are getting this warning because you probably added your Info.plist file to your Copy Bundle
  • 2014之C++学习笔记（一） Etwo C++EtwoEtwoiterator迭代器
            已经有很长一段时间没有写博客了，可能大家已经淡忘了Etwo这个人的存在，这一年多以来，本人从事了AS的相关开发工作，但最近一段时间，AS在天朝的没落，相信有很多码农也都清楚，现在的页游基本上达到饱和，手机上的游戏基本被unity3D与cocos占据，AS基本没有容身之处。so。。。最近我并不打算直接转型
  • js跨越获取数据问题记录 haifengwuch jsonpjsonAjax
    js的跨越问题，普通的ajax无法获取服务器返回的值。   第一种解决方案，通过getson，后台配合方式，实现。 Java后台代码： protected void doPost(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException { String ca
  • 蓝色jQuery导航条 ini JavaScripthtmljqueryWebhtml5
    效果体验：http://keleyi.com/keleyi/phtml/jqtexiao/39.htmHTML文件代码： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <title>jQuery鼠标悬停上下滑动导航条 - 柯乐义<
  • linux部署jdk,tomcat,mysql kerryg jdktomcatlinuxmysql
    1、安装java环境jdk:     一般系统都会默认自带的JDK,但是不太好用，都会卸载了，然后重新安装。    1.1）、卸载：      （rpm -qa :查询已经安装哪些软件包；        rmp -q 软件包：查询指定包是否已
  • DOMContentLoaded VS onload VS onreadystatechange mutongwu jqueryjs
    1. DOMContentLoaded 在页面html、script、style加载完毕即可触发，无需等待所有资源（image/iframe）加载完毕。（IE9+） 2. onload是最早支持的事件，要求所有资源加载完毕触发。 3. onreadystatechange 开始在IE引入，后来其它浏览器也有一定的实现。涉及以下 document , applet, embed, fra
  • sql批量插入数据 qifeifei 批量插入
    hi，   自己在做工程的时候，遇到批量插入数据的数据修复场景。我的思路是在插入前准备一个临时表，临时表的整理就看当时的选择条件了，临时表就是要插入的数据集，最后再批量插入到数据库中。    WITH tempT AS ( SELECT item_id AS combo_id, item_id, now() AS create_date FROM a
  • log4j打印日志文件 如何实现相对路径到 项目工程下 thinkfreer Weblog4j应用服务器日志
    最近为了实现统计一个网站的访问量，记录用户的登录信息，以方便站长实时了解自己网站的访问情况，选择了Apache 的log4j,但是在选择相对路径那块 卡主了，X度了好多方法(其实大多都是一样的内用，还一个字都不差的)，都没有能解决问题，无奈搞了2天终于解决了，与大家分享一下 需求： 用户登录该网站时，把用户的登录名,ip,时间。统计到一个txt文档里，以方便其他系统调用此txt。项目名
  • linux下mysql-5.6.23.tar.gz安装与配置 笑我痴狂 mysqllinuxunix
    1.卸载系统默认的mysql [root@localhost ~]# rpm -qa | grep mysql mysql-libs-5.1.66-2.el6_3.x86_64 mysql-devel-5.1.66-2.el6_3.x86_64 mysql-5.1.66-2.el6_3.x86_64 [root@localhost ~]# rpm -e mysql-libs-5.1