柠檬冰块
柠檬冰块

使用java爬虫WebCollector+jsoup抓取商品分类图标

背景介绍：

场景是，有京东三级分类名称，没有对应图标，需要根据京东三级分类名称，获取分类名称匹配的图片，来作为商品分类图标

技术选型：

WebCollector+jsoup，WebCollector进行爬取，jsoup进行html解析

实现步骤：

1.根据根url发起请求，

2.得到响应页面数据，

3.对页面数据进行解析，并提取

4.对图片进行下载持久化

代码实现

1.相关包结构说明


2.代码实例

links.java 类，存储已经访问过的URL路径 和 待访问的URL 路径;

package com.etoak.crawl.link;

import java.util.HashSet;

import java.util.LinkedList;

import java.util.Set;

/*

*  Link主要功能;

*  1: 存储已经访问过的URL路径 和 待访问的URL 路径;

*

*

* */

public class Links {

    //已访问的 url 集合  已经访问过的 主要考虑 不能再重复了 使用set来保证不重复;

    private static Set visitedUrlSet = new HashSet();

    //待访问的 url 集合  待访问的主要考虑 1:规定访问顺序;2:保证不提供重复的带访问地址;

    private static LinkedList unVisitedUrlQueue = new LinkedList();

    //获得已经访问的 URL 数目

    public static int getVisitedUrlNum() {

        return visitedUrlSet.size();

    }

    //添加到访问过的 URL

    public static void addVisitedUrlSet(String url) {

        visitedUrlSet.add(url);

    }

    //移除访问过的 URL

    public static void removeVisitedUrlSet(String url) {

        visitedUrlSet.remove(url);

    }

    //获得 待访问的 url 集合

    public static LinkedList getUnVisitedUrlQueue() {

        return unVisitedUrlQueue;

    }

    // 添加到待访问的集合中  保证每个 URL 只被访问一次

    public static void addUnvisitedUrlQueue(String url) {

        if (url != null && !url.trim().equals("")  && !visitedUrlSet.contains(url)  && !unVisitedUrlQueue.contains(url)){

            unVisitedUrlQueue.add(url);

        }

    }

    //删除 待访问的url

    public static Object removeHeadOfUnVisitedUrlQueue() {

        return unVisitedUrlQueue.removeFirst();

    }

    //判断未访问的 URL 队列中是否为空

    public static boolean unVisitedUrlQueueIsEmpty() {

        return unVisitedUrlQueue.isEmpty();

    }

}

Page.java类，保存获取到的响应的相关内容;

package com.etoak.crawl.page;

import com.etoak.crawl.util.CharsetDetector;

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;

import java.io.UnsupportedEncodingException;

/*

* page

*  1: 保存获取到的响应的相关内容;

* */

public class Page {

    private byte[] content ;

    private String html ;  //网页源码字符串

    private Document doc  ;//网页Dom文档

    private String charset ;//字符编码

    private String url ;//url路径

    private String contentType ;// 内容类型

    public Page(byte[] content , String url , String contentType){

        this.content = content ;

        this.url = url ;

        this.contentType = contentType ;

    }

    public String getCharset() {

        return charset;

    }

    public String getUrl(){return url ;}

    public String getContentType(){ return contentType ;}

    public byte[] getContent(){ return content ;}

    /**

    * 返回网页的源码字符串

    *

    * @return 网页的源码字符串

    */

    public String getHtml() {

        if (html != null) {

            return html;

        }

        if (content == null) {

            return null;

        }

        if(charset==null){

            charset = CharsetDetector.guessEncoding(content); // 根据内容来猜测 字符编码

        }

        try {

            this.html = new String(content, charset);

            return html;

        } catch (UnsupportedEncodingException ex) {

            ex.printStackTrace();

            return null;

        }

    }

    /*

    *  得到文档

    * */

    public Document getDoc(){

        if (doc != null) {

            return doc;

        }

        try {

            this.doc = Jsoup.parse(getHtml(), url);

            return doc;

        } catch (Exception ex) {

            ex.printStackTrace();

            return null;

        }

    }

}



PageParserTool.java 类，处理html页面

package com.etoak.crawl.page;

import org.jsoup.nodes.Element;

import org.jsoup.select.Elements;

import java.util.ArrayList;

import java.util.HashSet;

import java.util.Iterator;

import java.util.Set;

public class PageParserTool {

    /* 通过选择器来选取页面的 */

    public static Elements select(Page page , String cssSelector) {

        return page.getDoc().select(cssSelector);

    }

    /*

    *  通过css选择器来得到指定元素;

    *

    *  */

    public static Element select(Page page , String cssSelector, int index) {

        Elements eles = select(page , cssSelector);

        int realIndex = index;

        if (index < 0) {

            realIndex = eles.size() + index;

        }

        return eles.get(realIndex);

    }

    /**

    * 获取满足选择器的元素中的链接 选择器cssSelector必须定位到具体的超链接

    * 例如我们想抽取id为content的div中的所有超链接，这里

    * 就要将cssSelector定义为div[id=content] a

    *  放入set 中 防止重复；

    * @param cssSelector

    * @return

    */

    public static  Set getLinks(Page page ,String cssSelector) {

        Set links  = new HashSet() ;

        Elements es = select(page , cssSelector);

        Iterator iterator  = es.iterator();

        while(iterator.hasNext()) {

            Element element = (Element) iterator.next();

            if ( element.hasAttr("href") ) {

                links.add(element.attr("abs:href"));

            }else if( element.hasAttr("src") ){

                links.add(element.attr("abs:src"));

            }

        }

        return links;

    }

    /**

    * 获取网页中满足指定css选择器的所有元素的指定属性的集合

    * 例如通过getAttrs("img[src]","abs:src")可获取网页中所有图片的链接

    * @param cssSelector

    * @param attrName

    * @return

    */

    public static ArrayList getAttrs(Page page , String cssSelector, String attrName) {

        ArrayList result = new ArrayList();

        Elements eles = select(page ,cssSelector);

        for (Element ele : eles) {

            if (ele.hasAttr(attrName)) {

                result.add(ele.attr(attrName));

            }

        }

        return result;

    }

}

RequestAndResponseTool.java 类，进行请求响应

package com.etoak.crawl.page;

import org.apache.commons.httpclient.DefaultHttpMethodRetryHandler;

import org.apache.commons.httpclient.HttpClient;

import org.apache.commons.httpclient.HttpException;

import org.apache.commons.httpclient.HttpStatus;

import org.apache.commons.httpclient.methods.GetMethod;

import org.apache.commons.httpclient.params.HttpMethodParams;

import java.io.IOException;

public class RequestAndResponseTool {

    public static Page  sendRequstAndGetResponse(String url) {

        Page page = null;

        // 1.生成 HttpClinet 对象并设置参数

        HttpClient httpClient = new HttpClient();

        // 设置 HTTP 连接超时 5s

        httpClient.getHttpConnectionManager().getParams().setConnectionTimeout(5000);

        // 2.生成 GetMethod 对象并设置参数

        GetMethod getMethod = new GetMethod(url);

        // 设置 get 请求超时 5s

        getMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT, 5000);

        // 设置请求重试处理

        getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER, new DefaultHttpMethodRetryHandler());

        // 3.执行 HTTP GET 请求

        try {

            int statusCode = httpClient.executeMethod(getMethod);

        // 判断访问的状态码

            if (statusCode != HttpStatus.SC_OK) {

                System.err.println("Method failed: " + getMethod.getStatusLine());

            }

        // 4.处理 HTTP 响应内容

            byte[] responseBody = getMethod.getResponseBody();// 读取为字节 数组

            String contentType = getMethod.getResponseHeader("Content-Type").getValue(); // 得到当前返回类型

            page = new Page(responseBody,url,contentType); //封装成为页面

        } catch (HttpException e) {

        // 发生致命的异常，可能是协议不对或者返回的内容有问题

            System.out.println("Please check your provided http address!");

            e.printStackTrace();

        } catch (IOException e) {

        // 发生网络异常

            e.printStackTrace();

        } finally {

        // 释放连接

            getMethod.releaseConnection();

        }

        return page;

    }

}



CharsetDetector.java类，进行字符集处理

/*

* Copyright (C) 2014 hu

*

* This program is free software; you can redistribute it and/or

* modify it under the terms of the GNU General Public License

* as published by the Free Software Foundation; either version 2

* of the License, or (at your option) any later version.

*

* This program is distributed in the hope that it will be useful,

* but WITHOUT ANY WARRANTY; without even the implied warranty of

* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the

* GNU General Public License for more details.

*

* You should have received a copy of the GNU General Public License

* along with this program; if not, write to the Free Software

* Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111-1307, USA.

*/

package com.etoak.crawl.util;

import org.mozilla.universalchardet.UniversalDetector;

import java.io.UnsupportedEncodingException;

import java.util.regex.Matcher;

import java.util.regex.Pattern;

/**

* 字符集自动检测

*

* @author hu

*/

public class CharsetDetector {

    //从Nutch借鉴的网页编码检测代码

    private static final int CHUNK_SIZE = 2000;

    private static Pattern metaPattern = Pattern.compile(

            "]*http-equiv=(\"|')?content-type(\"|')?[^>]*)>",

            Pattern.CASE_INSENSITIVE);

    private static Pattern charsetPattern = Pattern.compile(

            "charset=\\s*([a-z][_\\-0-9a-z]*)", Pattern.CASE_INSENSITIVE);

    private static Pattern charsetPatternHTML5 = Pattern.compile(

            "]*>",

            Pattern.CASE_INSENSITIVE);

    //从Nutch借鉴的网页编码检测代码

    private static String guessEncodingByNutch(byte[] content) {

        int length = Math.min(content.length, CHUNK_SIZE);

        String str = "";

        try {

            str = new String(content, "ascii");

        } catch (UnsupportedEncodingException e) {

            return null;

        }

        Matcher metaMatcher = metaPattern.matcher(str);

        String encoding = null;

        if (metaMatcher.find()) {

            Matcher charsetMatcher = charsetPattern.matcher(metaMatcher.group(1));

            if (charsetMatcher.find()) {

                encoding = new String(charsetMatcher.group(1));

            }

        }

        if (encoding == null) {

            metaMatcher = charsetPatternHTML5.matcher(str);

            if (metaMatcher.find()) {

                encoding = new String(metaMatcher.group(1));

            }

        }

        if (encoding == null) {

            if (length >= 3 && content[0] == (byte) 0xEF

                    && content[1] == (byte) 0xBB && content[2] == (byte) 0xBF) {

                encoding = "UTF-8";

            } else if (length >= 2) {

                if (content[0] == (byte) 0xFF && content[1] == (byte) 0xFE) {

                    encoding = "UTF-16LE";

                } else if (content[0] == (byte) 0xFE

                        && content[1] == (byte) 0xFF) {

                    encoding = "UTF-16BE";

                }

            }

        }

        return encoding;

    }

    /**

    * 根据字节数组，猜测可能的字符集，如果检测失败，返回utf-8

    *

    * @param bytes 待检测的字节数组

    * @return 可能的字符集，如果检测失败，返回utf-8

    */

    public static String guessEncodingByMozilla(byte[] bytes) {

        String DEFAULT_ENCODING = "UTF-8";

        UniversalDetector detector = new UniversalDetector(null);

        detector.handleData(bytes, 0, bytes.length);

        detector.dataEnd();

        String encoding = detector.getDetectedCharset();

        detector.reset();

        if (encoding == null) {

            encoding = DEFAULT_ENCODING;

        }

        return encoding;

    }

    /**

    * 根据字节数组，猜测可能的字符集，如果检测失败，返回utf-8

    * @param content 待检测的字节数组

    * @return 可能的字符集，如果检测失败，返回utf-8

    */

    public static String guessEncoding(byte[] content) {

        String encoding;

        try {

            encoding = guessEncodingByNutch(content);

        } catch (Exception ex) {

            return guessEncodingByMozilla(content);

        }

        if (encoding == null) {

            encoding = guessEncodingByMozilla(content);

            return encoding;

        } else {

            return encoding;

        }

    }

}



FileTool .java本类主要是 下载那些已经访问过的文件

package com.etoak.crawl.util;

import com.etoak.crawl.page.Page;

import java.io.DataOutputStream;

import java.io.File;

import java.io.FileOutputStream;

import java.io.IOException;

/*  本类主要是 下载那些已经访问过的文件*/

public class FileTool {

    private static String dirPath;

    /**

    * getMethod.getResponseHeader("Content-Type").getValue()

    * 根据 URL 和网页类型生成需要保存的网页的文件名，去除 URL 中的非文件名字符

    */

    private static String getFileNameByUrl(String url, String contentType) {

        //去除 http://

        url = url.substring(7);

        //text/html 类型

        if (contentType.indexOf("html") != -1) {

            url = url.replaceAll("[\\?/:*|<>\"]", "_") + ".html";

            return url;

        }

        //如 application/pdf 类型

        else {

            return url.replaceAll("[\\?/:*|<>\"]", "_") + "." +

                    contentType.substring(contentType.lastIndexOf("/") + 1);

        }

    }

    /*

    *  生成目录

    * */

    private static void mkdir() {

        if (dirPath == null) {

            dirPath = Class.class.getClass().getResource("/").getPath() + "temp\\";

        }

        File fileDir = new File(dirPath);

        if (!fileDir.exists()) {

            fileDir.mkdir();

        }

    }

    /**

    * 保存网页字节数组到本地文件，filePath 为要保存的文件的相对地址

    */

    public static void saveToLocal(Page page) {

        mkdir();

        String fileName =  getFileNameByUrl(page.getUrl(), page.getContentType()) ;

        String filePath = dirPath + fileName ;

        byte[] data = page.getContent();

        try {

            //Files.lines(Paths.get("D:\\jd.txt"), StandardCharsets.UTF_8).forEach(System.out::println);

            DataOutputStream out = new DataOutputStream(new FileOutputStream(new File(filePath)));

            for (int i = 0; i < data.length; i++) {

                out.write(data[i]);

            }

            out.flush();

            out.close();

            System.out.println("文件："+ fileName + "已经被存储在"+ filePath  );

        } catch (IOException e) {

            e.printStackTrace();

        }

    }

}


RegexRule.java类，正则

/*

* Copyright (C) 2014 hu

*

* This program is free software; you can redistribute it and/or

* modify it under the terms of the GNU General Public License

* as published by the Free Software Foundation; either version 2

* of the License, or (at your option) any later version.

*

* This program is distributed in the hope that it will be useful,

* but WITHOUT ANY WARRANTY; without even the implied warranty of

* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the

* GNU General Public License for more details.

*

* You should have received a copy of the GNU General Public License

* along with this program; if not, write to the Free Software

* Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111-1307, USA.

*/

package com.etoak.crawl.util;

import java.util.ArrayList;

import java.util.regex.Pattern;

/**

*

* @author hu

*/

public class RegexRule {


    public RegexRule(){


    }

    public RegexRule(String rule){

        addRule(rule);

    }


    public RegexRule(ArrayList rules){

        for (String rule : rules) {

            addRule(rule);

        }

    }


    public boolean isEmpty(){

        return positive.isEmpty();

    }

    private ArrayList positive = new ArrayList();

    private ArrayList negative = new ArrayList();



    /**

    * 添加一个正则规则 正则规则有两种，正正则和反正则

    * URL符合正则规则需要满足下面条件： 1.至少能匹配一条正正则 2.不能和任何反正则匹配

    * 正正则示例：+a.*c是一条正正则，正则的内容为a.*c，起始加号表示正正则

    * 反正则示例：-a.*c时一条反正则，正则的内容为a.*c，起始减号表示反正则

    * 如果一个规则的起始字符不为加号且不为减号，则该正则为正正则，正则的内容为自身

    * 例如a.*c是一条正正则，正则的内容为a.*c

    * @param rule 正则规则

    * @return 自身

    */

    public RegexRule addRule(String rule) {

        if (rule.length() == 0) {

            return this;

        }

        char pn = rule.charAt(0);

        String realrule = rule.substring(1);

        if (pn == '+') {

            addPositive(realrule);

        } else if (pn == '-') {

            addNegative(realrule);

        } else {

            addPositive(rule);

        }

        return this;

    }



    /**

    * 添加一个正正则规则

    * @param positiveregex

    * @return 自身

    */

    public RegexRule addPositive(String positiveregex) {

        positive.add(positiveregex);

        return this;

    }


    /**

    * 添加一个反正则规则

    * @param negativeregex

    * @return 自身

    */

    public RegexRule addNegative(String negativeregex) {

        negative.add(negativeregex);

        return this;

    }


    /**

    * 判断输入字符串是否符合正则规则

    * @param str 输入的字符串

    * @return 输入字符串是否符合正则规则

    */

    public boolean satisfy(String str) {

        int state = 0;

        for (String nregex : negative) {

            if (Pattern.matches(nregex, str)) {

                return false;

            }

        }

        int count = 0;

        for (String pregex : positive) {

            if (Pattern.matches(pregex, str)) {

                count++;

            }

        }

        if (count == 0) {

            return false;

        } else {

            return true;

        }

    }

}

MyCrawler.java 爬取主类

package com.etoak.crawl.main;

import java.io.UnsupportedEncodingException;

import java.net.URLDecoder;

import java.net.URLEncoder;

import java.util.ArrayList;

import java.util.List;

import org.jsoup.select.Elements;

import com.alibaba.fastjson.JSON;

import com.etoak.crawl.link.LinkFilter;

import com.etoak.crawl.link.Links;

import com.etoak.crawl.page.Page;

import com.etoak.crawl.page.PageParserTool;

import com.etoak.crawl.page.RequestAndResponseTool;

import com.etoak.crawl.util.FileTool;

public class MyCrawler {

    /**

    * 使用种子初始化 URL 队列

    *

    * @param seeds 种子 URL

    * @return

    */

    private void initCrawlerWithSeeds(String[] seeds) {

        for (int i = 0; i < seeds.length; i++){

            Links.addUnvisitedUrlQueue(seeds[i]);

        }

    }

    /**

    * 抓取过程

    *

    * @param seeds

    * @return

    */

    public void crawling(String[] seeds , String name) {

        //初始化 URL 队列

        initCrawlerWithSeeds(seeds);

        //定义过滤器，提取以 http://www.baidu.com 开头的链接

        LinkFilter filter = new LinkFilter() {

            public boolean accept(String url) {

                if (url.startsWith("https://www.jd.com"))

                    return true;

                else

                    return false;

            }

        };

        //循环条件：待抓取的链接不空且抓取的网页不多于 1000

        int m = 1;

        for (int i = 0; i < m; i++) {

                  //先从待访问的序列中取出第一个；

                  String visitUrl = (String) Links.removeHeadOfUnVisitedUrlQueue();

                  if (visitUrl == null){

                      continue;

                  }

                  //根据URL得到page;

                  Page page = RequestAndResponseTool.sendRequstAndGetResponse(visitUrl);

                  //对page进行处理： 访问DOM的某个标签

                  System.out.println(page);

                  Elements es = PageParserTool.select(page,"img[src]");

                  if(!es.isEmpty()){

                      System.out.println("下面将打印所有img[src]标签： ");

                      System.out.println(es);

                  }

                  //得到超链接

                  ArrayList  links = PageParserTool.getAttrs(page,"img[src]","abs:src");

                  m = links.size();

                  try {

      FileTool.saveToLocal(page,URLDecoder.decode(name, "utf-8"));

      } catch (UnsupportedEncodingException e) {

      // TODO Auto-generated catch block

      e.printStackTrace();

      }

                  if(links!=null&&links.size()>0){

                  Links.addUnvisitedUrlQueue(links.get(3));

                  System.out.println("新增爬取路径: " + links);

                  }

}


    }

    //main 方法入口

    public static void main(String[] args) {

    String as ="['帆布鞋']";

    List list =JSON.parseArray(as);

    /*JSONObject json = null;

json = RedisUtils.getObject("JDClassCid3");

if(json!=null){

list = (List) json.get("list");

}else{

list = ShoppingGuideUtils.getClasss11();

Map map = new HashMap();

map.put("list", list);

RedisUtils.setObjectMap("JDClassCid3", map, RedisUtils.EXRP_DAY);

}*/

    System.out.println(list);

    if(list!=null&&list.size()>0){

    String name= "";

    for (int i = 0; i < list.size(); i++) {

    MyCrawler crawler = new MyCrawler();

    name = list.get(i).toString();

    try {

if(URLDecoder.decode(name, "utf-8").contains("二手")){//去除二手物品

continue;

}

} catch (UnsupportedEncodingException e2) {

// TODO Auto-generated catch block

e2.printStackTrace();

}

    try {

    name =URLEncoder.encode(name, "utf-8");

    } catch (UnsupportedEncodingException e1) {

    // TODO Auto-generated catch block

    e1.printStackTrace();

    }

    crawler.crawling(new String[]{"https://so.m.jd.com/ware/search.action?keyword="+name+"&searchFrom=category&sf=1&as=1"},name);

    try {

System.out.println("总计"+list.size()+"个===当前分类"+URLDecoder.decode(name, "utf-8")+"爬到"+i+"个");

} catch (UnsupportedEncodingException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

    }



    /*MyCrawler crawler = new MyCrawler();

    String name= "ETC";

    try {

if(URLDecoder.decode(name, "utf-8").contains("二手")){

System.out.println("jies");

}

} catch (UnsupportedEncodingException e2) {

// TODO Auto-generated catch block

e2.printStackTrace();

}

try {

name =URLEncoder.encode(name, "utf-8");

} catch (UnsupportedEncodingException e1) {

// TODO Auto-generated catch block

e1.printStackTrace();

}

crawler.crawling(new String[]{"https://so.m.jd.com/ware/search.action?keyword="+name+"&searchFrom=category&sf=1&as=1"},name); */

}


}


我选的根url是京东是搜索接口，取出来合适的图片，这里难点就在这，取出来html中的img集合，匹配度最高的，这得批跑抓取好几次，还有比较有争议的分类名称，比如“苹果”这种就得特殊处理


运行结果

文章主要参考：  罗刚 老师的 书籍 << 自己动手写网络爬虫>> 

你可能感兴趣的:(使用java爬虫WebCollector+jsoup抓取商品分类图标)

  • element实现动态路由+面包屑 软件技术NINI vue案例vue.js前端
    el-breadcrumb是ElementUI组件库中的一个面包屑导航组件，它用于显示当前页面的路径，帮助用户快速理解和导航到应用的各个部分。在Vue.js项目中，如果你已经安装了ElementUI，就可以很方便地使用el-breadcrumb组件。以下是一个基本的使用示例：安装ElementUI（如果你还没有安装的话）:你可以通过npm或yarn来安装ElementUI。bash复制代码npmi
  • C语言宏函数 南林yan C语言c语言
    一、什么是宏函数？通过宏定义的函数是宏函数。如下，编译器在预处理阶段会将Add(x,y)替换为((x)*(y))#defineAdd(x,y)((x)*(y))#defineAdd(x,y)((x)*(y))intmain(){inta=10;intb=20;intd=10;intc=Add(a+d,b)*2;cout<
  • C语言如何定义宏函数？ 小九格物 c语言
    在C语言中，宏函数是通过预处理器定义的，它在编译之前替换代码中的宏调用。宏函数可以模拟函数的行为，但它们不是真正的函数，因为它们在编译时不会进行类型检查，也不会分配存储空间。宏函数的定义通常使用#define指令，后面跟着宏的名称和参数列表，以及宏展开后的代码。宏函数的定义方式：1.基本宏函数：这是最简单的宏函数形式，它直接定义一个表达式。#defineSQUARE(x)((x)*(x))2.带参
  • c++ 的iostream 和 c++的stdio的区别和联系 黄卷青灯77 c++算法开发语言iostreamstdio
    在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
  • Long类型前后端数据不一致 igotyback 前端
    响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
  • 消息中间件有哪些常见类型 xmh-sxh-1314 java
    消息中间件根据其设计理念和用途，可以大致分为以下几种常见类型：点对点消息队列（Point-to-PointMessagingQueues）：在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。队列中的消息只能被一个消费者消费，消费后即被删除。常见的实现包括IBM的MQSeries、RabbitMQ的部分使用场景等。适用于任务分发、负载均衡等场景。发布/订阅消息模型（Pub/Sub
  • html 中如何使用 uniapp 的部分方法 某公司摸鱼前端 htmluni-app前端
    示例代码：Documentconsole.log(window);效果展示：好了，现在就可以uni.使用相关的方法了
  • ArcGIS栅格计算器常见公式（赋值、0和空值的转换、补充栅格空值） 研学随笔 arcgis经验分享
    我们在使用ArcGIS时通常经常用到栅格计算器，今天主要给大家介绍我日常中经常用到的几个公式，供大家参考学习。将特定值（-9999）赋值为0，例如-9999.Con("raster"==-9999,0,"raster")2.给空值赋予特定的值（如0）Con(IsNull("raster"),0,"raster")3.将特定的栅格值(如1)赋值为空值，其他保留原值SetNull("raster"==
  • 高级编程--XML+socket练习题 masa010 java开发语言
    1.北京华北2114.8万人上海华东2,500万人广州华南1292.68万人成都华西1417万人（1）使用dom4j将信息存入xml中（2）读取信息，并打印控制台（3）添加一个city节点与子节点（4）使用socketTCP协议编写服务端与客户端，客户端输入城市ID，服务器响应相应城市信息（5）使用socketTCP协议编写服务端与客户端，客户端要求用户输入city对象，服务端接收并使用dom4j
  • 水平垂直居中的几种方法（总结） LJ小番茄 CSS_玄学语言htmljavascript前端csscss3
    1.使用flexbox的justify-content和align-items.parent{display:flex;justify-content:center;/*水平居中*/align-items:center;/*垂直居中*/height:100vh;/*需要指定高度*/}2.使用grid的place-items:center.parent{display:grid;place-item
  • 【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数 广龙宇 一起学Rust#Rust设计模式rust设计模式开发语言
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • C#中使用split分割字符串 互联网打工人no1 c#
    1、用字符串分隔：usingSystem.Text.RegularExpressions;stringstr="aaajsbbbjsccc";string[]sArray=Regex.Split(str,"js",RegexOptions.IgnoreCase);foreach(stringiinsArray)Response.Write(i.ToString()+"");输出结果：aaabbbc
  • 网易严选官方旗舰店，优质商品，卓越服务 高省_飞智666600
    网易严选官方旗舰店是网易旗下的一家电商平台，以提供优质商品和卓越服务而闻名。作为一名SEO优化师，我将为您详细介绍网易严选官方旗舰店，并重点强调其特点和优势。大家好！我是高省APP最大团队&联合创始人飞智导师。相较于其他返利app，高省APP的佣金更高，模式更好，最重要的是，终端用户不会流失！高省APP佣金更高，模式更好，终端用户不流失。【高省】是一个自用省钱佣金高，分享推广赚钱多的平台，百度有几
  • Python中os.environ基本介绍及使用方法 鹤冲天Pro #Pythonpython服务器开发语言
    文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
  • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
  • Google earth studio 简介 陟彼高冈yu 旅游
    GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
  • linux中sdl的使用教程,sdl使用入门 Melissa Corvinus linux中sdl的使用教程
    本文通过一个简单示例讲解SDL的基本使用流程。示例中展示一个窗口，窗口里面有个随机颜色快随机移动。当我们鼠标点击关闭按钮时间窗口关闭。基本步骤如下：1.初始化SDL并创建一个窗口。SDL_Init()初始化SDL_CreateWindow()创建窗口2.纹理渲染存储RGB和存储纹理的区别：比如一个从左到右由红色渐变到蓝色的矩形，用存储RGB的话就需要把矩形中每个点的具体颜色值存储下来；而纹理只是一
  • LLM 词汇表 落难Coder LLMsNLP大语言模型大模型llama人工智能
    Contextwindow“上下文窗口”是指语言模型在生成新文本时能够回溯和参考的文本量。这不同于语言模型训练时所使用的大量数据集，而是代表了模型的“工作记忆”。较大的上下文窗口可以让模型理解和响应更复杂和更长的提示，而较小的上下文窗口可能会限制模型处理较长提示或在长时间对话中保持连贯性的能力。Fine-tuning微调是使用额外的数据进一步训练预训练语言模型的过程。这使得模型开始表示和模仿微调数
  • 下载github patch到本地 小米人er 我的博客gitpatch
    以下是几种从GitHub上下载以.patch结尾的补丁文件的方法：通过浏览器直接下载打开包含该.patch文件的GitHub仓库。在仓库的文件列表中找到对应的.patch文件。点击该文件，浏览器会显示文件的内容，在页面的右上角通常会有一个“Raw”按钮，点击它可以获取原始文件内容。然后在浏览器中使用快捷键（如Ctrl+S或者Command+S）将原始文件保存到本地，选择保存的文件名并确保后缀为.p
  • 使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器） 编程经验分享 开发工具服务器sshlinux
    目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
  • 直返最高等级与直返APP：无需邀请码的返利新体验 古楼
    随着互联网的普及和电商的兴起，直返模式逐渐成为一种流行的商业模式。在这种模式下，消费者通过购买产品或服务，获得一定的返利，并可以分享给更多的人。其中，直返最高等级和直返APP是直返模式中的重要概念和工具。本文将详细介绍直返最高等级的概念、直返APP的使用以及与邀请码的关系。【高省】APP（高佣金领导者）是一个自用省钱佣金高，分享推广赚钱多的平台，百度有几百万篇报道，运行三年，稳定可靠。高省APP，
  • SQL Server_查询某一数据库中的所有表的内容 qq_42772833 SQLServer数据库sqlserver
    1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
  • 四章-32-点要素的聚合 彩云飘过
    本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
  • 2020-04-12每天三百字之连接与替代 冷眼看潮
    不知道是不是好为人师，有时候还真想和别人分享一下我对某些现象的看法或者解释。人类社会不断发展进步的过程，就是不断连接与替代的过程。人类发现了火并应用火以后，告别了茹毛饮血的野兽般的原始生活（火烧、烹饪替代了生食）人类用石器代替了完全手工，工具的使用使人类进步一大步。类似这样的替代还有很多，随着科技的发展，有更多的原始的事物被替代，代之以更高效、更先进的技术。在近现代，汽车替代了马车，高速公路和铁路
  • 【加密社】Solidity 中的事件机制及其应用 加密社 闲侃区块链智能合约区块链
    加密社引言在Solidity合约开发过程中，事件（Events）是一种非常重要的机制。它们不仅能够让开发者记录智能合约的重要状态变更，还能够让外部系统（如前端应用）监听这些状态的变化。本文将详细介绍Solidity中的事件机制以及如何利用不同的手段来触发、监听和获取这些事件。事件存储的地方当我们在Solidity合约中使用emit关键字触发事件时，该事件会被记录在区块链的交易收据中。具体而言，事件
  • 探索OpenAI和LangChain的适配器集成：轻松切换模型提供商 nseejrukjhad langchaineasyui前端python
    #探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
  • 使用Faiss进行高效相似度搜索 llzwxh888 faisspython
    在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
  • 使用LLaVa和Ollama实现多模态RAG示例 llzwxh888 python人工智能开发语言
    本文将详细介绍如何使用LLaVa和Ollama实现多模态RAG（检索增强生成），通过提取图像中的结构化数据、生成图像字幕等功能来展示这一技术的强大之处。安装环境首先，您需要安装以下依赖包：!pipinstallllama-index-multi-modal-llms-ollama!pipinstallllama-index-readers-file!pipinstallunstructured!p
  • python是什么意思中文-在python中%是什么意思 编程大乐趣
    Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
  • 多线程编程之join()方法 周凡杨 javaJOIN多线程编程线程
    现实生活中，有些工作是需要团队中成员依次完成的，这就涉及到了一个顺序问题。现在有T1、T2、T3三个工人，如何保证T2在T1执行完后执行，T3在T2执行完后执行？问题分析：首先问题中有三个实体，T1、T2、T3， 因为是多线程编程，所以都要设计成线程类。关键是怎么保证线程能依次执行完呢？   Java实现过程如下： public class T1 implements Runnabl
  • java中switch的使用 bingyingao javaenumbreakcontinue
    java中的switch仅支持case条件仅支持int、enum两种类型。 用enum的时候，不能直接写下列形式。 switch (timeType) { case ProdtransTimeTypeEnum.DAILY: break; default: br
  • hive having count 不能去重 daizj hive去重having count计数
    hive在使用having count()是，不支持去重计数   hive (default)> select imei from t_test_phonenum where ds=20150701 group by imei having count(distinct phone_num)>1 limit 10;  FAILED: SemanticExcep
  • WebSphere对JSP的缓存 周凡杨 WAS JSP 缓存
          对于线网上的工程，更新JSP到WebSphere后，有时会出现修改的jsp没有起作用，特别是改变了某jsp的样式后，在页面中没看到效果，这主要就是由于websphere中缓存的缘故，这就要清除WebSphere中jsp缓存。要清除WebSphere中JSP的缓存，就要找到WAS安装后的根目录。        现服务
  • 设计模式总结 朱辉辉33 java设计模式
    1.工厂模式   1.1 工厂方法模式 (由一个工厂类管理构造方法)      1.1.1普通工厂模式(一个工厂类中只有一个方法)      1.1.2多工厂模式(一个工厂类中有多个方法)      1.1.3静态工厂模式(将工厂类中的方法变成静态方法) &n
  • 实例：供应商管理报表需求调研报告 老A不折腾 finereport报表系统报表软件信息化选型
    引言 随着企业集团的生产规模扩张，为支撑全球供应链管理，对于供应商的管理和采购过程的监控已经不局限于简单的交付以及价格的管理，目前采购及供应商管理各个环节的操作分别在不同的系统下进行，而各个数据源都独立存在，无法提供统一的数据支持；因此，为了实现对于数据分析以提供采购决策，建立报表体系成为必须。 业务目标 1、通过报表为采购决策提供数据分析与支撑 2、对供应商进行综合评估以及管理，合理管理和
  • mysql 林鹤霄
    转载源：http://blog.sina.com.cn/s/blog_4f925fc30100rx5l.html mysql -uroot -p ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)   [root@centos var]# service mysql
  • Linux下多线程堆栈查看工具(pstree、ps、pstack) aigo linux
    原文：http://blog.csdn.net/yfkiss/article/details/6729364   1. pstree pstree以树结构显示进程$ pstree -p work | grep adsshd(22669)---bash(22670)---ad_preprocess(4551)-+-{ad_preprocess}(4552)  &n
  • html input与textarea 值改变事件 alxw4616 JavaScript
    // 文本输入框(input) 文本域(textarea)值改变事件 // onpropertychange(IE) oninput(w3c) $('input,textarea').on('propertychange input', function(event) {      console.log($(this).val()) });  
  • String类的基本用法 百合不是茶 String
      字符串的用法;     // 根据字节数组创建字符串 byte[] by = { 'a', 'b', 'c', 'd' }; String newByteString = new String(by);         1,length()  获取字符串的长度     &nbs
  • JDK1.5 Semaphore实例 bijian1013 javathreadjava多线程Semaphore
    Semaphore类        一个计数信号量。从概念上讲，信号量维护了一个许可集合。如有必要，在许可可用前会阻塞每一个 acquire()，然后再获取该许可。每个 release() 添加一个许可，从而可能释放一个正在阻塞的获取者。但是，不使用实际的许可对象，Semaphore 只对可用许可的号码进行计数，并采取相应的行动。 S
  • 使用GZip来压缩传输量 bijian1013 javaGZip
            启动GZip压缩要用到一个开源的Filter：PJL Compressing Filter。这个Filter自1.5.0开始该工程开始构建于JDK5.0，因此在JDK1.4环境下只能使用1.4.6。         PJL Compressi
  • 【Java范型三】Java范型详解之范型类型通配符 bit1129 java
        定义如下一个简单的范型类，   package com.tom.lang.generics; public class Generics<T> { private T value; public Generics(T value) { this.value = value; } }
  • 【Hadoop十二】HDFS常用命令 bit1129 hadoop
    1. 修改日志文件查看器   hdfs oev -i edits_0000000000000000081-0000000000000000089 -o edits.xml cat edits.xml   修改日志文件转储为xml格式的edits.xml文件，其中每条RECORD就是一个操作事务日志   2. fsimage查看HDFS中的块信息等 &nb
  • 怎样区别nginx中rewrite时break和last ronin47
    在使用nginx配置rewrite中经常会遇到有的地方用last并不能工作，换成break就可以，其中的原理是对于根目录的理解有所区别，按我的测试结果大致是这样的。 location /    {         proxy_pass http://test; 
  • java-21.中兴面试题 输入两个整数 n 和 m ，从数列 1 ， 2 ， 3.......n 中随意取几个数 , 使其和等于 m bylijinnan java
    import java.util.ArrayList; import java.util.List; import java.util.Stack; public class CombinationToSum { /* 第21 题 2010 年中兴面试题 编程求解： 输入两个整数 n 和 m ，从数列 1 ， 2 ， 3.......n 中随意取几个数 , 使其和等
  • eclipse svn 帐号密码修改问题 开窍的石头 eclipseSVNsvn帐号密码修改
    问题描述：      Eclipse的SVN插件Subclipse做得很好，在svn操作方面提供了很强大丰富的功能。但到目前为止，该插件对svn用户的概念极为淡薄，不但不能方便地切换用户，而且一旦用户的帐号、密码保存之后，就无法再变更了。 解决思路：      删除subclipse记录的帐号、密码信息，重新输入
  • [电子商务]传统商务活动与互联网的结合 comsci 电子商务
          某一个传统名牌产品，过去销售的地点就在某些特定的地区和阶层，现在进入互联网之后，用户的数量群突然扩大了无数倍，但是，这种产品潜在的劣势也被放大了无数倍，这种销售利润与经营风险同步放大的效应，在最近几年将会频繁出现。。。。        如何避免销售量和利润率增加的
  • java 解析 properties-使用 Properties-可以指定配置文件路径 cuityang javaproperties
    #mq xdr.mq.url=tcp://192.168.100.15:61618; import java.io.IOException; import java.util.Properties; public class Test { String conf = "log4j.properties"; private static final
  • Java核心问题集锦 darrenzhu java基础核心难点
    注意，这里的参考文章基本来自Effective Java和jdk源码 1)ConcurrentModificationException 当你用for each遍历一个list时，如果你在循环主体代码中修改list中的元素，将会得到这个Exception，解决的办法是： 1)用listIterator, 它支持在遍历的过程中修改元素， 2)不用listIterator, new一个
  • 1分钟学会Markdown语法 dcj3sjt126com markdown
    markdown 简明语法 基本符号 *,-,+ 3个符号效果都一样，这3个符号被称为 Markdown符号 空白行表示另起一个段落 `是表示inline代码，tab是用来标记 代码段，分别对应html的code，pre标签 换行 单一段落( <p>) 用一个空白行 连续两个空格 会变成一个 <br> 连续3个符号，然后是空行
  • Gson使用二（GsonBuilder） eksliang jsongsonGsonBuilder
    转载请出自出处：http://eksliang.iteye.com/blog/2175473 一.概述     GsonBuilder用来定制java跟json之间的转换格式   二.基本使用 实体测试类： 温馨提示：默认情况下@Expose注解是不起作用的,除非你用GsonBuilder创建Gson的时候调用了GsonBuilder.excludeField
  • 报ClassNotFoundException: Didn't find class "...Activity" on path: DexPathList gundumw100 android
    有一个工程，本来运行是正常的，我想把它移植到另一台PC上，结果报： java.lang.RuntimeException: Unable to instantiate activity ComponentInfo{com.mobovip.bgr/com.mobovip.bgr.MainActivity}: java.lang.ClassNotFoundException: Didn't f
  • JavaWeb之JSP指令 ihuning javaweb
      要点   JSP指令简介  page指令  include指令    JSP指令简介    JSP指令（directive）是为JSP引擎而设计的，它们并不直接产生任何可见输出，而只是告诉引擎如何处理JSP页面中的其余部分。 JSP指令的基本语法格式： <%@ 指令 属性名="
  • mac上编译FFmpeg跑ios 啸笑天 ffmpeg
    1、下载文件：https://github.com/libav/gas-preprocessor， 复制gas-preprocessor.pl到/usr/local/bin/下， 修改文件权限：chmod 777 /usr/local/bin/gas-preprocessor.pl 2、安装yasm-1.2.0 curl http://www.tortall.net/projects/yasm
  • sql mysql oracle中字符串连接 macroli oraclesqlmysqlSQL Server
    有的时候，我们有需要将由不同栏位获得的资料串连在一起。每一种资料库都有提供方法来达到这个目的： MySQL: CONCAT() Oracle: CONCAT(), || SQL Server: + CONCAT() 的语法如下： Mysql 中 CONCAT(字串1, 字串2, 字串3, ...): 将字串1、字串2、字串3，等字串连在一起。 请注意，Oracle的CON
  • Git fatal: unab SSL certificate problem: unable to get local issuer ce rtificate qiaolevip 学习永无止境每天进步一点点git纵观千象
    // 报错如下： $ git pull origin master fatal: unable to access 'https://git.xxx.com/': SSL certificate problem: unable to get local issuer ce rtificate   // 原因： 由于git最新版默认使用ssl安全验证，但是我们是使用的git未设
  • windows命令行设置wifi surfingll windowswifi笔记本wifi
    还没有讨厌无线wifi的无尽广告么，还在耐心等待它慢慢启动么 教你命令行设置 笔记本电脑wifi： 1、开启wifi命令 netsh wlan set hostednetwork mode=allow ssid=surf8 key=bb123456 netsh wlan start hostednetwork pause 其中pause是等待输入，可以去掉 2、
  • Linux（Ubuntu）下安装sysv-rc-conf wmlJava linuxubuntusysv-rc-conf
    安装：sudo apt-get install sysv-rc-conf 使用：sudo sysv-rc-conf 操作界面十分简洁，你可以用鼠标点击，也可以用键盘方向键定位，用空格键选择，用Ctrl+N翻下一页，用Ctrl+P翻上一页，用Q退出。     背景知识 sysv-rc-conf是一个强大的服务管理程序，群众的意见是sysv-rc-conf比chkconf
  • svn切换环境，重发布应用多了javaee标签前缀 zengshaotao javaee
    更换了开发环境，从杭州，改变到了上海。svn的地址肯定要切换的，切换之前需要将原svn自带的.svn文件信息删除，可手动删除，也可通过废弃原来的svn位置提示删除.svn时删除。   然后就是按照最新的svn地址和规范建立相关的目录信息，再将原来的纯代码信息上传到新的环境。然后再重新检出，这样每次修改后就可以看到哪些文件被修改过，这对于增量发布的规范特别有用。   检出