along_love
along_love

java 多线程实现 爬虫京东搜索商品爬虫

第一步

我们先来分析一下我们本次需要的参数内容

入口如下

https://search.jd.com/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&enc=utf-8&wq=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&pvid=0b09350ac3df4f24886bb7a35d3b69ff

java 多线程实现 爬虫京东搜索商品爬虫_第1张图片


位置分析

id="J_goodsList" 

所有商品都在这个容器中

 

data-sku="5025518"

商品的编号

 

class="p-price"

商品的价格

 

class="p-name p-name-type-2"

商品名称

 

class="err-product" src

图片位置所在的img


我们需要去下总页数


入口如下

https://search.jd.com/Search?keyword=笔记本电&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=笔记本电脑&page=3&s=57&click=0


参数解析

keyword

笔记本电脑

关键字

enc

utf-8

编码格式

wq

笔记本电脑

关键字

qrst

1

不知道是个什么鬼,没有也行

rt

1

 

stop

1

 

vt

2

我猜可能是步长的

page

3

Page 都是奇数 不知道为什么


第二步

直接上代码

  1. 创建父工程 主要用来管理jar包版本和插件版本之类的


    4.0.0
    com.jianqiao.clawer
    clawer-system
    pom
    1.0-SNAPSHOT
    
        clawer-jd-product
    
    clawer-system Maven Webapp
    http://maven.apache.org


    
    
        UTF-8
        4.12
        4.1.3.RELEASE
        3.4.1
        1.3.1
        1.2.15
        5.1.32
        1.6.4
        2.4.2
        1.0.9
        0.8.0.RELEASE
        1.2
        2.5
        2.0
        2.5
        3.3.2
        1.3.2
        3.3
        5.0.3
        2.3.4
        0.9.1
        1.3.1
        1.9
        2.7.2
        4.10.3
        2.5.3
        3.4.7
        0.1
        5.12.0
        2.3.23

        
        2.2.2
        1.1.1
        20160212
        1.25

        1.4.0.RELEASE
        4.3.5
        3.4.1
        1.10.3
    

    
        

            
            
                junit
                junit
                ${junit.version}
                test
            

            
            
                org.springframework
                spring-webmvc
                ${spring.version}
            

            
                org.springframework
                spring-jdbc
                ${spring.version}
            

            
                org.springframework
                spring-aspects
                ${spring.version}
            

            
                org.springframework
                spring-context-support
                ${spring.version}
            


            
            
                com.github.abel533
                mapper
                ${mapper.version}
            
            
            
                org.mybatis
                mybatis
                ${mybatis.version}
            
            
                org.mybatis
                mybatis-spring
                ${mybatis.spring.version}
            


            
            
                com.github.pagehelper
                pagehelper
                ${pagehelper.version}
            
            
                com.github.jsqlparser
                jsqlparser
                ${jsqlparser.version}
            

            
            
                mysql
                mysql-connector-java
                ${mysql.version}
            

            
            
                org.slf4j
                slf4j-log4j12
                ${slf4j.version}
            

            
            
                com.fasterxml.jackson.core
                jackson-databind
                ${jackson.version}
            

            
            
                com.jolbox
                bonecp-spring
                ${jolbox.version}
            

            
            
                jstl
                jstl
                ${jstl.version}
            
            
                javax.servlet
                servlet-api
                ${servlet-api.version}
                provided
            
            
                javax.servlet
                jsp-api
                ${jsp-api.version}
                provided
            

            
            
                joda-time
                joda-time
                ${joda-time.version}
            

            
            
                org.apache.commons
                commons-lang3
                ${commons-lang3.version}
            
            
                org.apache.commons
                commons-io
                ${commons-io.version}
            

            
            
                commons-fileupload
                commons-fileupload
                ${commons-fileupload.version}
            

            
            
                com.alibaba
                dubbo
                ${dubbo.version}
                
                    
                        org.springframework
                        spring
                    
                    
                        org.jboss.netty
                        netty
                    
                
            
            
                org.apache.zookeeper
                zookeeper
                ${zookeeper.version}
            
            
                com.github.sgroschupf
                zkclient
                ${zkclient.version}
            

            
            
                commons-codec
                commons-codec
                ${commons-codec.version}
            

            
            
                org.quartz-scheduler
                quartz
                ${quartz.version}
            

            
            
                org.apache.activemq
                activemq-all
                ${activemq.version}
            
            
                org.springframework
                spring-jms
                ${spring.version}
            

            
            
                org.springframework.amqp
                spring-rabbit
                ${spring-rabbit.version}
            

            
                com.rabbitmq
                amqp-client
                ${rabbitmq.version}
            

            
            
                org.freemarker
                freemarker
                ${freemarker.version}
            

            
            
                redis.clients
                jedis
                ${jedis.version}
            

            
            
                org.apache.solr
                solr-solrj
                ${solrj.version}
            

            
            
                com.baidu
                ueditor
                ${uediter.version}
            

            
                org.json
                json
                ${json.version}
            

            
                com.alibaba.fastdfs
                fastdfs_client
                ${fastdfs_client.version}
            

            
            
                org.apache.httpcomponents
                httpclient
                ${httpclient.version}
            

            
                org.jsoup
                jsoup
                ${jsoup.version}
            
        
    

    
        ${project.artifactId}
        
            
            
                org.apache.maven.plugins
                maven-resources-plugin
                2.7
                
                    UTF-8
                
            
            
            
                org.apache.maven.plugins
                maven-compiler-plugin
                3.2
                
                    1.7
                    1.7
                    UTF-8
                
            
        
        
            
                
                
                    org.apache.tomcat.maven
                    tomcat7-maven-plugin
                    2.2
                
            
        
        
            
            
                src/main/java
                
                    **/*.properties
                    **/*.xml
                    **/*.cnf
                
                false
            
            
            
                src/main/resources
                
                    **/*.properties
                    **/*.xml
                    **/*.cnf
                
                false

2.创建一个子模块 clawer-jd-product


    
        clawer-system
        com.jianqiao.clawer
        1.0-SNAPSHOT
    
    4.0.0
    clawer-jd-product
    war
    clawer-jd-product Maven Webapp


    
        
            junit
            junit
        


        
        
            org.apache.httpcomponents
            httpclient
        

        
        
            org.apache.commons
            commons-lang3
        
        
            org.apache.commons
            commons-io
        


        
        
            commons-fileupload
            commons-fileupload
        

        
        
            com.fasterxml.jackson.core
            jackson-databind
        

        
        
            org.springframework
            spring-webmvc
        

        
            org.springframework
            spring-jdbc
        
        
            org.springframework
            spring-aspects
        
        
            org.springframework
            spring-context-support
        


        
        
            com.github.abel533
            mapper
        

        
        
            org.mybatis
            mybatis
        
        
            org.mybatis
            mybatis-spring
        

        
            com.github.jsqlparser
            jsqlparser
        

        
        
            com.github.pagehelper
            pagehelper
        
        
            com.github.jsqlparser
            jsqlparser
        


        
        
            mysql
            mysql-connector-java
        


        
        
            com.fasterxml.jackson.core
            jackson-databind
        

        
        
            com.jolbox
            bonecp-spring
        

        
        
            jstl
            jstl
        
        
            javax.servlet
            servlet-api
            provided
        
        
            javax.servlet
            jsp-api
            provided
        

        
        
            org.slf4j
            slf4j-log4j12
        

        
        
            org.slf4j
            slf4j-log4j12
        

        
        
            org.jsoup
            jsoup
        
    


    
        clawer-jd-product
        
            
            
                org.apache.maven.plugins
                maven-resources-plugin
                2.7
                
                    UTF-8
                
            
            
            
                org.apache.maven.plugins
                maven-compiler-plugin
                3.2
                
                    1.7
                    1.7
                    UTF-8
                
            
            
            
                org.apache.tomcat.maven
                tomcat7-maven-plugin
                
                    8081
                    /
                
            
        
        
            
            
                src/main/java
                
                    **/*.properties
                    **/*.xml
                    **/*.cnf
                
                false
            
            
            
                src/main/resources
                
                    **/*.properties
                    **/*.xml
                    **/*.cnf
                
                false

3.1 准备基本的工具类 httpclient 自己封装过了 

package com.jianqiao.util;


import com.jianqiao.pojo.HttpResult;
import org.apache.http.NameValuePair;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.client.methods.*;
import org.apache.http.client.utils.URIBuilder;
import org.apache.http.entity.ContentType;
import org.apache.http.entity.StringEntity;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.message.BasicNameValuePair;
import org.apache.http.util.EntityUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;

import java.io.IOException;
import java.net.URI;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.Set;

/**
 * @Auther: Alone_XuXu
 * @Description: 描述信息: 这个是协助 发送 HTTP 请求的小工具
 * @Date: Created in 19:24 - 27 - 10 -2017
 * @Modified By:
 */
@Component
public class HttpClientUtilImpl{

    @Autowired
    private CloseableHttpClient httpClient;

    @Autowired
    private RequestConfig config;


    /**
     * 带参数的 doGet 请求
     *
     * @param url 请求地址
     * @return 响应200 返回网页内容 其它,返回为null
     * @throws Exception
     */
    public String doGet1(String url, Map params) throws Exception {


        StringBuilder sb = new StringBuilder(url);
        sb.append("?");
        //如果调用者携带了参数过来
        if(params != null && params.size() > 0){
            //设置请求参数
            Set> entries = params.entrySet();
            
            //遍历整理参数信息 啊
            for (Map.Entry entry : entries) {
                sb.append(entry.getKey() + "=" + entry.getValue() + "&");
            }

            url = sb.substring(0, sb.length() - 1).toString();
        }

        //创建请求
        URIBuilder uriBuilder = new URIBuilder(url);
        URI uriBuild = uriBuilder.build();

        //声明一个请求
        HttpGet httpGet  = new HttpGet(uriBuild);

        //执行了这个请求
        CloseableHttpResponse executeResponse = null;

        try {
            executeResponse  = httpClient.execute(httpGet);
            if(executeResponse.getStatusLine().getStatusCode() == 200){
                return EntityUtils.toString(executeResponse.getEntity(), "UTF-8");
            }
        } finally{
            if(executeResponse != null){
                executeResponse.close();
            }
        }

        return null;
    }

    /**
     * 带参数的 doGet 请求
     *
     * @param url 请求地址
     * @return 响应200 返回网页内容 其它,返回为null
     * @throws Exception
     */
    public String doGet(String url, Map params) throws Exception {
        //创建请求
        URIBuilder uriBuilder = new URIBuilder(url);

        //如果调用者携带了参数过来
        if(params != null && params.size() > 0){
            //设置请求参数
            Set> entries = params.entrySet();

            //遍历整理参数信息 啊
            for (Map.Entry entry : entries) {
                uriBuilder.setParameter(entry.getKey(),entry.getValue().toString());
            }
        }

        URI uriBuild = uriBuilder.build();

        //声明一个请求
        HttpGet httpGet  = new HttpGet(uriBuild);

        //执行了这个请求
        CloseableHttpResponse executeResponse = null;

        try {
            executeResponse  = httpClient.execute(httpGet);
            if(executeResponse.getStatusLine().getStatusCode() == 200){
                return EntityUtils.toString(executeResponse.getEntity(), "UTF-8");
            }
        } finally{
            if(executeResponse != null){
                executeResponse.close();
            }
        }

        return null;
    }



    /**
     * 带有参数的 doPost 请求
     *
     * @throws IOException
     * @throws ClientProtocolException
     */
    public HttpResult doPost(String url, Map params) throws IOException,ClientProtocolException {

        //声明一个请求
        HttpPost httpPost = new HttpPost(url);

        //整理参数列表
        List paramterList = getNameValuePairs(params);

        // 将请求实体设置到httpPost对象中
        //设置 参数信息
        UrlEncodedFormEntity formEntity = new UrlEncodedFormEntity(paramterList, "utf-8");
        httpPost.setEntity(formEntity);
        httpPost.setConfig(config);

        //执行
        return executePostOrPutOrDeleteMethod(httpPost);
    }




    /**
     * 带参数 格式为json类型的 的 doPost 请求
     *
     * @param url
     * @param json 请求参数信息
     * @return 状态码和请求的body
     * @throws IOException
     */
    public HttpResult doPostJson(String url, String json) throws IOException {
        // 创建http POST请求
        HttpPost httpPost = new HttpPost(url);
        httpPost.setConfig(this.config);

        //我们需要把json参数解析出来
        if(json != null){
            //给他说明他是什么类型的实体类型
            StringEntity stringEntity = new StringEntity(json, ContentType.APPLICATION_JSON);

            //将实体参数设置回去
            httpPost.setEntity(stringEntity);
        }

        //执行
        return executePostOrPutOrDeleteMethod(httpPost);
    }






    /**
     * 带参数PUT请求
     *
     * @param url
     * @param params 请求参数
     * @return 状态码和请求的body
     * @throws IOException
     */
    public HttpResult doPut(String url, Map params) throws IOException {

        //构造一个httpPut 请求
        HttpPut httpPut = new HttpPut(url);
        //设置参数信息
        httpPut.setConfig(config);

        //整理参数列表
        List paramterList = getNameValuePairs(params);

        // 将请求实体设置到httpPost对象中
        //设置 参数信息
        UrlEncodedFormEntity formEntity = new UrlEncodedFormEntity(paramterList, "utf-8");

        httpPut.setEntity(formEntity);

        //执行
        return executePostOrPutOrDeleteMethod(httpPut);
    }



    /**
     * DELETE请求,通过POST提交，_method指定真正的请求方法
     *
     * @param url
     * @param param 请求参数
     * @return 状态码和请求的body
     * @throws IOException
     */
    public HttpResult doDelete(String url, Map param) throws Exception {
        param.put("_method", "DELETE");
        return this.doPost(url, param);
    }


    /**
     * 不带参数的Doget请求
     *
     * @param url 请求地址
     * @return 响应200 返回网页内容 其它,返回为null
     * @throws Exception
     */
    public String doGet(String url) throws Exception {
        //这里我们直接调用了他的 doGet 带参数的请求方式
        return doGet(url, null);
    }

    /**
     * 没有带参数的 doPost
     *
     * @throws Exception
     */
    public HttpResult doPost(String url) throws Exception {
        //我直接调用了,单携带参数的doPost
        return doPost(url,null);
    }
    /**
     * 不带参数PUT请求
     *
     * @param url
     * @return 状态码和请求的body
     * @throws IOException
     */
    public HttpResult doPut(String url) throws IOException {
        //其实我也是调用的有参数的构造器实现的功能
        return doPut(url,null);
    }


    /**
     * 执行DELETE请求(真正的DELETE请求)
     *
     * @param url
     * @return 状态码和请求的body
     * @throws IOException
     */
    public HttpResult doDelete(String url) throws Exception {
        // 创建http DELETE请求
        HttpDelete httpDelete = new HttpDelete(url);


        httpDelete.setConfig(config);

        //执行
        return executePostOrPutOrDeleteMethod(httpDelete);
    }




    /**
     * 开始执行POST 或者 PUT 或者 DELETE 方法,并且返回结果集
     * @param postOrPutOrDelete 需要执行的post 或者 put 请求 或者 DELETE 请求
     * @return
     * @throws IOException
     * HttpEntityEnclosingRequestBase HttpEntityEnclosingRequestBase
     */
    private HttpResult executePostOrPutOrDeleteMethod(HttpUriRequest postOrPutOrDelete) throws IOException {
        CloseableHttpResponse closeableHttpResponse = null;

        try {
            closeableHttpResponse = httpClient.execute(postOrPutOrDelete);

            if(closeableHttpResponse.getEntity() != null){
                return new HttpResult(closeableHttpResponse.getStatusLine().getStatusCode(), EntityUtils.toString(closeableHttpResponse.getEntity(), "utf-8"));
            }
//            int status  = closeableHttpResponse.getStatusLine().getStatusCode();
//            if ( status == 200) {
//                return new HttpResult(status, EntityUtils.toString(closeableHttpResponse.getEntity(), "utf-8"));
//            }
            //返回状态码回去呢
            return new HttpResult(closeableHttpResponse.getStatusLine().getStatusCode(), null);
        } finally {
            if( closeableHttpResponse != null){
                closeableHttpResponse.close();
            }
        }

    }




    /**
     * 这个方法是 整理 请求的时候的  POST 或者PUT 携带的参数整理成我们需要的类型
     * @param params
     * @return
     */
    private List getNameValuePairs(Map params) {
        List paramterList = new ArrayList<>();

        //遍历参数信息,整理参数信息

        //如果有数据
        if (params != null) {
            for (Map.Entry entry : params.entrySet()) {
                NameValuePair nameValuePair = new BasicNameValuePair(entry.getKey(),entry.getValue().toString());
                paramterList.add(nameValuePair);
            }
        }
        return paramterList;
    }

}

3.2  httpclient 连接池来管理所有的httpclient连接 

package com.jianqiao.util;

import org.apache.http.conn.HttpClientConnectionManager;

/**
 * @Auther: Alone_XuXu
 * @Description: 使用线程来管理不使用的连接操作啊
 * @Date: Created in 19:53 - 27 - 10 -2017
 * @Modified By:
 */
public class IdleConnectionEvictor extends Thread{

    //管理对象
    private HttpClientConnectionManager httpClientConnectionManager;

    //判断是不是停止的条件
    private volatile boolean shutdown;

    //构造器
    public IdleConnectionEvictor(HttpClientConnectionManager httpClientConnectionManager) {
        this.httpClientConnectionManager = httpClientConnectionManager;
        this.start();
    }

    @Override
    public void run() {
        while(!shutdown){
            try {
                synchronized(this){
                    wait(5000);
                    //清理不使用的连接
                    httpClientConnectionManager.closeExpiredConnections();
                }
            } catch (InterruptedException e) {
                //
            }
        }
    }

    public void shutdown() {
        shutdown = true;
        synchronized (this) {
            notifyAll();
        }
    }
}

4 准备 pojo对象 和 vo对象 (和页面交互的对象)

4.1 准备 vo

package com.jianqiao.vo;

/**
 * @Auther: Alone_XuXu
 * @Description: 描述信息

 *     主要也就是关键字了
 * 

 * @Date: Created in 6:41 - 27 - 11 -2017
 * @Modified By:
 */
public class KeyWord {

    private String keyword;
    private String enc;
    private String wq;
    private String page;

    public String getKeyword() {
        return keyword;
    }

    public void setKeyword(String keyword) {
        this.keyword = keyword;
    }

    public String getEnc() {
        return enc;
    }

    public void setEnc(String enc) {
        this.enc = enc;
    }

    public String getWq() {
        return wq;
    }

    public void setWq(String wc) {
        this.wq = wc;
    }

    public String getPage() {
        return page;
    }

    public void setPage(String page) {
        this.page = page;
    }
}

4.2 准备 pojo 

package com.jianqiao.pojo;

import org.apache.commons.lang3.StringUtils;

import java.io.Serializable;

public class Product implements Serializable {

	private Long id;

	private String title;

	private String sellpoint;

	private String price;

	private Integer num;

	private String image;

	private Long cid;

	private Boolean status=true;
	
	// 在映射数据库表的时候，忽略该属性


	public Long getId() {
		return id;
	}

	public void setId(Long id) {
		this.id = id;
	}

	public String getTitle() {
		return title;
	}

	public void setTitle(String title) {
		this.title = title;
	}

	public String getSellpoint() {
		return sellpoint;
	}

	public void setSellpoint(String sellpoint) {
		this.sellpoint = sellpoint;
	}

	public String getPrice() {
		return price;
	}

	public void setPrice(String price) {
		this.price = price;
	}

	public Integer getNum() {
		return num;
	}

	public void setNum(Integer num) {
		this.num = num;
	}

	public String getImage() {
		return image;
	}

	public void setImage(String image) {
		this.image = image;
	}

	public Long getCid() {
		return cid;
	}

	public void setCid(Long cid) {
		this.cid = cid;
	}

	public Boolean getStatus() {
		return status;
	}

	public void setStatus(Boolean status) {
		this.status = status;
	}

	@Override
	public String toString() {
		return "Product [id=" + id + ", title=" + title + ", sellPoint="
				+ sellpoint + ", price=" + price + ", num=" + num + ", image="
				+ image + ", cid=" + cid + ", status=" + status + "]";
	}

}


package com.jianqiao.pojo;

public class HttpResult {

    // 状态码
    private Integer code;

    // 响应body
    private String body;
    
    public HttpResult() {
        super();
    }

    public HttpResult(Integer code, String body) {
        this.code = code;
        this.body = body;
    }

    public Integer getCode() {
        return code;
    }

    public void setCode(Integer code) {
        this.code = code;
    }

    public String getBody() {
        return body;
    }

    public void setBody(String body) {
        this.body = body;
    }

}


5.0 准备和数据库相关的内容

package com.jianqiao.mapper;


import com.github.abel533.mapper.Mapper;
import com.jianqiao.pojo.Product;

public interface ProductMapper extends Mapper {
}


6.0 服务层准备

package com.jianqiao.service;

import com.github.abel533.entity.Example;
import com.github.abel533.mapper.Mapper;
import com.github.pagehelper.PageHelper;
import org.springframework.beans.factory.annotation.Autowired;

import java.lang.reflect.ParameterizedType;
import java.lang.reflect.Type;
import java.util.List;

public class BaseServiceImpl{

    @Autowired
    protected Mapper mapper;


    Class clazz;

    public BaseServiceImpl() {
        Type type = this.getClass().getGenericSuperclass();
        ParameterizedType ptype = (ParameterizedType)type;
        this.clazz =(Class)ptype.getActualTypeArguments()[0];
    }


    public T queryById(Long id) {
        return this.mapper.selectByPrimaryKey(id);
    }


    public List queryAll() {
        //我们如果在缓存中查找不导数据,这个时候我们才需要去查询数据库
        return this.mapper.select(null);
    }


    public List queryByWhere(T t) {
        return this.mapper.select(t);
    }


    public Integer queryByWhereCount(T t) {
        return this.mapper.selectCount(t);
    }

    public List queryByPage(Integer page, Integer rows) {
        //第一个参数:当前页,第二参数:每页显示记录数
        PageHelper.startPage(page, rows);
        List list = this.mapper.select(null);
        return list;
    }


    public T queryOne(T t) {
        return this.mapper.selectOne(t);
    }


    public void save(T t) {
        this.mapper.insert(t);

    }


    public void saveSelective(T t) {
        this.mapper.insertSelective(t);
    }


    public void update(T t) {
        this.mapper.updateByPrimaryKey(t);
    }


    public void updateSelective(T t) {
        this.mapper.updateByPrimaryKeySelective(t);

    }


    public void deleteById(Long id) {
        this.mapper.deleteByPrimaryKey(id);
    }


    public void deleteByIds(List ids) {

        Example example = new Example(this.clazz);
        example.createCriteria().andIn("id", ids);
        //批量删除
        this.mapper.deleteByExample(example);
    }
}
 
  
 
  

 
  
 
  
package com.jianqiao.service;


import com.fasterxml.jackson.databind.ObjectMapper;
import com.jianqiao.mapper.ProductMapper;
import com.jianqiao.pojo.Product;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;


@Service
public class ProductServiceImpl extends BaseServiceImpl{


}

 
  
 这个是我们主要的服务 
  
 
  
 
  
package com.jianqiao.service;

import com.jianqiao.constant.AppConstants;
import com.jianqiao.pojo.Product;
import com.jianqiao.util.HttpClientUtilImpl;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;

/**
 * @Auther: Alone_XuXu
 * @Description: 描述信息
 * @Date: Created in 6:59 - 27 - 11 -2017
 * @Modified By:
 */
@Service
public class ClawerService {

    private Logger logger = LoggerFactory.getLogger(ClawerService.class);

    //工具
    @Autowired
    private HttpClientUtilImpl httpClientUtil;

    /**
     * 获取都页数
     *
     * @param url
     * @return
     */
    public Integer getTotalPage(String url) {
        try {
            String html = httpClientUtil.doGet(url);

            if (html != null) {
                Document document = Jsoup.parse(html);

                //解析文档
                //id="J_topPage" 表示这个页数所在的位置
                String jtopPageText = document.select("#J_topPage").text();

                //使用正则表达式来取值
                String[] strings = jtopPageText.split("\\D+");

                System.out.println("总页数: " + strings[1]);
                return Integer.parseInt(strings[1]);
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
        return 0;
    }

    /**
     * 循环抓取内容啊
     *
     * @param url
     * @return
     */
    public Map findProductByPage(final String url,final Map params) {

        Map maps = new ConcurrentHashMap<>();

        //替换页码
        try {
            String doGetHtml = httpClientUtil.doGet1(url,params);

            //去除中间多的空格啊,换行之类的
            doGetHtml = doGetHtml.replaceAll("\r\n|\r|\n|\t|\b|~|\f", "");//去掉回车换行符

            getProductList(maps, doGetHtml);

            return maps;
        } catch (Exception e) {
            e.printStackTrace();
        }


        return maps;
    }

    /**
     * 将html中的产品信息,取出来
     * @param maps
     * @param doGetHtml
     */
    private void getProductList(Map maps, String doGetHtml) {

        if (doGetHtml != null) {
            //解析到 document 文档
            Document rootDocument = Jsoup.parse(doGetHtml);

            // 获取到整个商品列表信息
            Elements listElement = rootDocument.select("ul[class=gl-warp clearfix]")
                    .select(".gl-item");

            for (Element element : listElement) {
                Product product = new Product();
                Element childDiv = element.child(0);

                String data_sku = element.attr("data-sku");
                String p_name  = childDiv.select(".p-name").text();
                String image_src = element.select(".p-img").select("a  img").attr("src");
                String price = element.select(".p-price strong").select("i").text();


                product.setId(Long.parseLong(data_sku));
                product.setTitle(p_name);
                product.setImage(AppConstants.HTTPS + image_src);
                product.setPrice(price);

                //将数据添加到整个列表里面呢
                maps.put(data_sku,product);
            }
        }
    }
}

 
  
 
  
 
  
 
  
7.0 controller层准备
 
  
 
  
package com.jianqiao.controller;

import com.fasterxml.jackson.databind.ObjectMapper;
import com.jianqiao.constant.AppConstants;
import com.jianqiao.pojo.Product;
import com.jianqiao.service.ClawerService;

import com.jianqiao.service.ProductServiceImpl;
import com.jianqiao.vo.KeyWord;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;
import org.springframework.stereotype.Controller;
import org.springframework.util.StringUtils;
import org.springframework.web.bind.annotation.RequestMapping;

import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

/**
 * @Auther: Alone_XuXu
 * @Description: 描述信息
 * @Date: Created in 6:39 - 27 - 11 -2017
 * @Modified By:
 */
@Controller
public class JDClawerController {

    //设置总的记录shutdown
    private static Long count = 0L;

    //设置总页数
    private static Integer totalPage = 0;

    //最后得到的结果
    private Map finalMaps = new ConcurrentHashMap<>();

    //json 转换工具
    private static final ObjectMapper OBJECT_MAPPER = new ObjectMapper();

    @Autowired
    private ThreadPoolTaskExecutor threadPoolTaskExecutor;

    @Autowired
    private ClawerService clawerService;

    @Autowired
    private ProductServiceImpl productService;

    /**
     * 爬取的京东数据
     *
     * @param keyWord 接受到的参数组合
     */
    @RequestMapping("/jd/clawer")
    public void clawerJD(KeyWord keyWord) {
        //我们先替换掉所有的参数信息先啊
        String url = "https://search.jd.com/Search?keyword={keyword}&enc={enc}&qrst=1&rt=1&stop=1&vt=2&wq={wq}&page={page}&s=57&click=0";
        String operationUrl = url.replace("{keyword}", keyWord.getKeyword());
        operationUrl = operationUrl.replace("{enc}", keyWord.getEnc());
        operationUrl = operationUrl.replace("{wq}", keyWord.getWq());

        if(keyWord.getPage() != null){
            operationUrl = operationUrl.replace("{page}", keyWord.getPage());
        }else{
            operationUrl = operationUrl.replace("{page}", "1");
        }


        totalPage = clawerService.getTotalPage(operationUrl);


        Integer vtPage = totalPage * 2; //在京东有个问题,serach查询的时候,有个步长的概念,神知道他想做什么......



        final CountDownLatch countDownLatch = new CountDownLatch(totalPage);//为了我们的线程可以计数,多少页我们就执行多少次

        long startTime = System.currentTimeMillis();

        //步长为2,等这里面所有线程执行结束
        for (int i = 1; i < vtPage; i += 2) {
            System.out.println("第" + i + "页");
            final Map params = new ConcurrentHashMap<>();
            params.put("keyword", keyWord.getKeyword());
            params.put("enc", keyWord.getEnc());
            params.put("wc", keyWord.getWq());
            params.put("page", i + "");

            threadPoolTaskExecutor.submit(new Runnable() {
                @Override
                public void run() {
                    try {
                        Map productByPage = clawerService.findProductByPage(AppConstants.BASE_URL,params);
                        finalMaps.putAll(productByPage);
                    } finally {
                        countDownLatch.countDown();//执行一次计数一次
                    }
                }
            });
        }

        //让主线程等待啊
        try {
            countDownLatch.await();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        long endTime = System.currentTimeMillis();


       //遍历一下先
        for(Map.Entry entry : finalMaps.entrySet()){
            productService.saveSelective(entry.getValue());
        }

        //在这里我们可以开启多线程了
        System.out.println("消耗时间:" + (endTime - startTime));

        //消耗时间:19094  这个是开了三个线程操作的时候的数据
        //消耗时间:6337   这个是我开了十个线程的时候的数据

    }


}

 
  
 
  
系统常量类
 
  
 
  
package com.jianqiao.constant;

/**
 * @Auther: Alone_XuXu
 * @Description: 描述信息
 * @Date: Created in 6:46 - 27 - 11 -2017
 * @Modified By:
 */
public interface AppConstants {
    //默认编码
    String DEFAULT_CHARSET = "utf-8";

    //需要爬取的网站入口
    //https://search.jd.com/Search?keyword=笔记本电&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=笔记本电脑&page=3&s=57&click=0
    String BASE_URL = "https://search.jd.com/Search";


    String HTTPS = "https:";

    /**
     * 浏览器头信息
     */
    interface Header {
        String ACCEPT = "Accept";
        String ACCEPT_ENCODING = "Accept-Encoding";
        String ACCEPT_LANGUAGE = "Accept-Language";
        String CACHE_CONTROL = "Cache-Controle";
        String COOKIE = "Cookie";
        String HOST = "Host";
        String PROXY_CONNECTION = "Proxy-Connection";
        String REFERER = "Referer";
        String USER_AGENT = "User-Agent";
    }
}

 
  
 
  
 
  
 
  
8.0 配置文件准备
 
  
8.1  web.xml
 
  
 
  



    Archetype Created Web Application

    
    
        contextConfigLocation
        classpath*:spring/spring-*.xml
    

    
        org.springframework.web.context.ContextLoaderListener
    

    
    
        DispatcherServlet
        org.springframework.web.servlet.DispatcherServlet
        
            contextConfigLocation
            classpath:spring/springmvc-*.xml
        
        1
    
    
        DispatcherServlet
        /
    


    
    
        CharacterEncodingFilter
        org.springframework.web.filter.CharacterEncodingFilter
        
            encoding
            utf-8
        
        
            forceRequestEncoding
            true
        
        
            forceResponseEncoding
            true
        
    
    
        CharacterEncodingFilter
        /*
    

    
    
        HiddenHttpMethodFilter
        org.springframework.web.filter.HiddenHttpMethodFilter
    
    
        HiddenHttpMethodFilter
        /*
    


 
  
 8.2 mybatis 
  
 
  
 
  




    
    
    

        
            
            
        

        
            
            
            
            
        

    

 
  
 8.3 properties 
  
 
  
jdbc相关
 
  
 
  
jdbc.username=root
jdbc.password=1230
jdbc.url=jdbc:mysql://localhost:3306/clawerDB?rewriteBatchedStatements=true&useUnicode=true&characterEncoding=utf8
jdbc.driver=com.mysql.jdbc.Driver
 
  
 
  

 连接池相关参数配置 
  
 
  
httpclient.maxTotal = 200
httpclient.DefaultMaxPerRoute = 20
httpclient.connectTimeout =1000
httpclient.connectionRequestTimeout =500
httpclient.socketTimeout =10000
httpclient.staleConnectionCheckEnabled = true
 
  
 
  
8.4 spring相关
 
  
8.4.1 spring-beans.xml
 
  
 
  


    
    
    
    

    
    
        
        
        
        
        
        
        
        
        
        
            
        
    

 
  

 8.4.2 spring-dao.xml 
  
 
  




    
    

    
    
    
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
    


    
    
        
    



 
  
 spring-httpclient.xml 
  
 
  




    
    

    
    
        
        
        
        
    
    
    
        
        
    

    
    
    

    
        
        

        
        

        
        

        
        
    

    
    

    
    
        
    


 
  

 spring-mybatis.xml 
  
 
  





    
    
    
        

        
        

        
        

        
        
    


    
    
        
        
    

 
  

 springmvc-config.xml 
  
 
  




    
    

    
    
    

    
    
        
        
    


    
    
    


    
    
        
        
    



 
  
 
  
 
  

 
  

 
  
作者注:
 
  
本文可以实现商品的基本搜索,并且保存到数据库
 
  
不足之处是,许多代码还需要做调整
 
  
最主要一点,jsoup解析的时候,解析图片的时候有时候会取不出来,希望看到这篇文章的人,也能帮我修复这个bug.谢谢
 
  

 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(java 多线程实现 爬虫京东搜索商品爬虫)

        

            

                
    
                    
  • 电脑有两张网卡，如何实现同时访问外网和内网？
                        IT运维大本营
电脑外网内网网卡
                        
    要是想让一台电脑用两张网卡，既能访问外网又能访问内网，那可以通过设置网络路由还有网卡的IP地址来达成。检查一下网卡的连接得保证电脑的两张网卡分别连到外网和内网的网络设备上，像路由器或者交换机啥的。给网卡配上不一样的IP地址分别给每张网卡设置IP地址，让它们对应的网络能正常通信：内网网卡：把它设置成内网网段的IP地址（像192.168.x.x或者其他内网地址）。外网网卡：可以设置成外网路由器分配的I
    
                    
    • 
                    
  • C#中如何使用异步编程
                        工业甲酰苯胺
c#开发语言
                        
    在C#中，异步编程主要通过async和await关键字来实现。异步编程的目的是让程序在执行耗时操作（如I/O操作、网络请求等）时不会阻塞主线程，从而提高程序的性能。1.异步编程的核心概念async关键字用于标记一个方法为异步方法。异步方法的返回类型通常是Task、Task或ValueTask。Task：表示一个没有返回值的异步操作。Task：表示一个返回类型为T的异步操作。ValueTask：轻量
    
                    
    • 
                    
  • 【数据库】PyMySQL详解：轻松实现Python与MySQL的高效交互
                        易辰君
数据库mysqlpython数据库
                        
    目录前言一、PyMySQL的特点二、安装三、基本用法（一）连接MySQL数据库（二）数据查询（三）插入数据（四）更新和删除数据（五）事务管理四、游标类型五、安全性六、常见错误处理七、性能优化八、总结前言PyMySQL是一个纯Python的库，用于连接MySQL数据库，并执行SQL语句。它是MySQLdb的替代品，但不同于后者，PyMySQL不需要C语言的依赖，因此更加轻量且易于安装和使用。该库的主
    
                    
    • 
                    
  • 近千万的数据怎么删除
                        lozhyf
java
                        
    记录下MySQL表，每天大概新增3000万条记录，存储周期为1天，超过1天的数据需要在新增记录前老化。连续运行9天以后，删除一天的数据大概需要3个半小时最初的方案(因为未预料到删除会如此慢)，代码如下(最简单和朴素的方法):deletefromtable_namewherecnt_date<=target_date最终实现了飞一般的速度删除3000多万条数据，单张表总数据量在4600万上下，优化过
    
                    
    • 
                    
  • 21天学通C++第八章——指针
                        不想睡觉_
QT客户端学习路线c++开发语言
                        
    C++虽然可以动态的管理内存，但是并不能像其他高级语言如JAVA、C#有自动垃圾收集器去对应用程序的内存进行清理。常见指针错误内存泄漏解释：在使用完new申请内存之后，没有配套的delete，则之后会产生内存泄漏。即如何理解，当ptr指向new1，使用完成以后未使用delete对new1所占用的空间释放，然后又将ptr=new2，则会产生内存泄漏，即new1未被释放的同时也没有指针指向，即产生内存
    
                    
    • 
                    
  • Java中的多租户
                        城南|阿洋-计算机从小白到大神
java开发语言
                        
    大家好，我是城南。今天我们来聊聊Java中的多租户（Multi-Tenancy）。这是一个在现代软件开发中非常重要的概念，特别是在需要处理大量客户或用户的应用中。我们将深入探讨多租户的架构、实现方式以及在Java中具体的实现细节。什么是多租户？多租户架构是一种软件架构，其中单个实例的应用程序为多个客户（租户）服务。每个租户的数据和配置是相互隔离的，但它们共享相同的应用程序和硬件资源。这种方式不仅可
    
                    
    • 
                    
  • Java应用的多租户架构设计
                        楠贝
java开发语言
                        
    Java应用的多租户架构设计大家好，我是微赚淘客返利系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！多租户架构（Multi-Tenancy）是SaaS（SoftwareasaService）应用中常见的设计模式，它允许多个租户（客户）共享同一个应用实例，同时保证数据隔离和独立性。在Java应用中实现多租户架构，涉及到数据模型设计、访问控制、资源隔离等多个方面。1.数据模型设计在多租户架构
    
                    
    • 
                    
  • 指派问题程序c语言,指派问题lingo程序样例
                        weixin_39917437
指派问题程序c语言
                        
    《指派问题lingo程序样例》由会员分享，可在线阅读，更多相关《指派问题lingo程序样例(1页珍藏版)》请在人人文库网上搜索。1、指派问题的样例：现在要在五个工人中确定四个人来分别完成四项工作中的一项工作。由于每个工人的技术特长不同，他们完成各项工作所需的工时也不同。每个工人完成各项工作所需工时如下表所示，试找出一个工作分配方案，使总工时最小。工作工人ABCDI9438II4653III5375
    
                    
    • 
                    
  • java多租户架构_Java 多租户：配置选项、租户生命周期和所使用的隔离性
                        宋俊潇
java多租户架构
                        
    Java多租户：配置选项、租户生命周期和所使用的隔离性IBMSDKJavaTechnologyEdition(第7版的第1个发行版)中多租户实现的深入研究GavinRolleston和MichaelDawson2014年10月09日发布获取IBMSDKJavaTechnologyEdition(第7版的第1个发行版本)要想运行本文的样例应用程序，下载IBMSDKJavaTechnologyEdit
    
                    
    • 
                    
  • Java服务端性能优化：JVM垃圾回收策略
                        wx_tangjinjinwx
java性能优化jvm
                        
    Java服务端性能优化：JVM垃圾回收策略大家好，我是微赚淘客返利系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！Java虚拟机（JVM）是Java程序运行的基础，而垃圾回收（GC）是JVM管理内存的核心机制之一。垃圾回收策略的选择和优化对Java服务端性能有着直接的影响。本文将探讨JVM垃圾回收的基本原理，介绍几种常见的垃圾回收策略，并提供一些优化建议。垃圾回收的基本原理在Java中，
    
                    
    • 
                    
  • Java服务端架构：微服务与单体服务的权衡
                        wx_tangjinjinwx
架构java微服务
                        
    Java服务端架构：微服务与单体服务的权衡大家好，我是微赚淘客返利系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！在现代软件开发中，架构的选择对于项目的可维护性、可扩展性和开发效率有着重要影响。微服务架构和单体服务架构是两种常见的服务端架构模式。本文将探讨这两种架构的特点、优势和劣势，并提供一些在Java环境中实现这两种架构的示例。单体服务架构单体服务架构是指将所有的功能模块打包到一个独
    
                    
    • 
                    
  • 淘宝客APP的数据同步与一致性保障
                        wx_tangjinjinwx
java开发语言
                        
    淘宝客APP的数据同步与一致性保障大家好，我是微赚淘客返利系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天我们来讨论淘宝客APP中的数据同步与一致性保障问题。随着系统复杂度的提升，特别是在分布式架构的情况下，如何确保数据同步和一致性成为了一个重要的技术挑战。本文将深入探讨在淘宝客APP中实现数据同步与一致性保障的关键技术和方法，并提供Java代码示例。一、数据同步的挑战在淘宝客APP
    
                    
    • 
                    
  • 前后端分离架构：Web 实现前后端分离，前后端解耦
                        qqqweiweiqq
前端框架
                        
    java-前后端分离架构：Web实现前后端分离，前后端解耦_个人文章-SegmentFault思否
    
                    
    • 
                    
  • 【IDEA】插件篇
                        沉梦听雨.
#开发工具篇intellij-ideajavaide
                        
    插件篇美化类中文化IDEAChinese(Simplified)LanguagePack/中文语言包：实现编辑器中文化彩虹括号RainbowBrackets：将括号按照不同的颜色进行显示，方便您在代码中匹配括号。Alt+鼠标右键：除了当前括号内的代码，其余代码都会显灰Ctrl+鼠标右键：会高亮当前括号里面的内容高亮括号HighlightBracketPair：可以对选中的括号进行高亮显示。日志高亮
    
                    
    • 
                    
  • Pandas数据预处理——drop_duplicates()函数
                        Vous oublie@
python学习数据分析pythonpandas数据分析
                        
    Pandas是一个强大的数据分析工具，可以用于数据预处理、数据清洗、数据分析和可视化等多个领域。在数据预处理中，数据去重是非常重要的一个步骤。Pandas提供了drop_duplicates()函数来实现数据去重，可以根据指定的列或行进行去重操作。下面是使用drop_duplicates()函数实现数据去重的示例代码：importpandasaspd#读取csv文件df=pd.read_csv('
    
                    
    • 
                    
  • Java实战：Spring Boot实现多租户思路
                        拥抱AI
javaspringboot开发语言
                        
    引言在当今云计算与SaaS服务盛行的时代，多租户架构成为了很多企业级应用的基础设计之一。这种架构允许单一应用程序实例为多个组织（租户）提供服务，同时保持各租户数据和配置的隔离性。SpringBoot作为现代Java开发领域的翘楚框架，其简洁明快的风格与高度灵活性使它成为构建多租户应用的理想选择。本文将带领您走进SpringBoot的世界，详细探讨如何实现多租户架构。一、多租户架构概述多租户模型多租
    
                    
    • 
                    
  • 提升YOLOv8性能：用Swin Transformer替换Backbone的详细实现与分析【YOLOv8】
                        步入烟尘
YOLO系列创新涨点超专栏YOLOv8YOLO目标跟踪
                        
    本专栏专为AI视觉领域的爱好者和从业者打造。涵盖分类、检测、分割、追踪等多项技术，带你从入门到精通！后续更有实战项目，助你轻松应对面试挑战！立即订阅，开启你的YOLOv8之旅！专栏订阅地址：https://blog.csdn.net/mrdeam/category_12804295.html文章目录YOLOv8改进|主干篇|SwinTransformer替换Backbone（附代码+详细修改步骤+
    
                    
    • 
                    
  • matlab实现一个雷达信号处理的程序，涉及到对原始图像的模拟、加权、加噪以及通过迭代算法对图像进行恢复和优化处理
                        max500600
MATLAB算法算法matlab信号处理
                        
    clcclearcloseallloadscene3.mat%加载原始图像，自己设计设计为一个300*400的矩阵300是距离向长度，400是方位向长度Map_ori=scene3;[M,N_K]=size(Map_ori);figureimagesc(scene3)v=100;%机载速度，单位m/sbandwidth=30*1e6;%信号带宽，决定距离分辨率，单位Hzc=3*1e8;%光速R_R
    
                    
    • 
                    
  • 如何学懂C++语言：C++从入门到精通的全面指南（完整C++学习笔记）
                        猿享天开
c++学习笔记
                        
    数字人助手猿小美带你一起学编程一、引言作为一名拥有多年开发经验的技术人员，我的职业生涯涵盖了多种编程语言，包括C语言、C++、C#和JavaScript等。在我多年的编程生涯中，这些语言不仅丰富了我的知识储备，还极大地拓展了我的视野和技能。出于对编程的热爱，以及希望帮助更多编程爱好者的目的，我决定利用业余时间整理一套全面的C++语言学习指南。这套指南旨在为C++语言编程爱好者提供一个清晰的学习路线
    
                    
    • 
                    
  • matlab代码实现了一个基于 SVM（支持向量机）的图像分割系统
                        go5463158465
MATLAB专栏算法深度学习matlab支持向量机开发语言
                        
    clear;clc;main();%1.数据加载和预处理function[features,labels]=prepareData(imageFolder)%获取所有图像和JSON文件imgFiles
    
                    
    • 
                    
  • JAVA 反射(JAVA面试题)
                        geejkse_seff
java开发语言
                        
    5.1.2.JAVA反射5.1.2.1.动态语言动态语言，是指程序在运行时可以改变其结构：新的函数可以引进，已有的函数可以被删除等结构上的变化。比如常见的JavaScript就是动态语言，除此之外Ruby,Python等也属于动态语言，而C、C++则不属于动态语言。从反射角度说JAVA属于半动态语言。5.1.2.2.反射机制概念（运行状态中知道类所有的属性和方法）在Java中的反射机制是指在运行状
    
                    
    • 
                    
  • 十.java入门【案例】
                        JuGeGer
java入门java
                        
    day10【练习】减肥计划案例逢七必过案例统计成绩数组求和数组中的元素查找案例数组中的元素反转评委打分案例快捷键:自动分配变量newXxx(...).var或者newXxx(...)alt+回车方法调用(...).var或者方法调用(...)alt+回车生成输出语句表达式.sout方法调用(...).sout第一章基础练习1.1减肥计划if版本需求输入星期数[1,7]，显示今天的减肥活动周一：跑步
    
                    
    • 
                    
  • 前后端分离实践（一）—— 基础理论篇
                        _云卷云舒_
前后端分离前后端分离前后端分离
                        
    前后端分离实践系列文章总目录目录一、什么是前后端分离？二、为什么需要前后端分离？1、前后端职责不清2、开发效率不高三、前后端分离究竟分离了什么？1、开发职责的分离2、交互方式的分离3、代码组织方式的分离4、应用部署的分离四、为什么要加入Node中间层来实现前后端分离？1、反思前后端的定义2、加入Node中间层之后的系统架构图3、加入Node中间层之后的前后端职责划分4、加入Node中间层的优缺点一
    
                    
    • 
                    
  • 《数据关联的艺术：揭开MySQL与图数据库结合的高级可视化探索》
                        墨夶
数据库学习资料2数据库mysql
                        
    在这个信息爆炸的时代，企业和研究者们面临着从海量数据中挖掘有价值信息的巨大挑战。传统的关系型数据库如MySQL虽然擅长处理结构化数据，但在面对复杂的关系网络时显得力不从心。而图数据库以其独特的架构优势，能够高效地表示和查询实体之间的多层关系。当我们将这两种技术结合起来，并辅以强大的可视化工具时，便开启了一扇通往更深层次数据分析的大门。本文将深入探讨如何通过MySQL与图数据库的结合来实现高级可视化
    
                    
    • 
                    
  • 如何运用Python爬虫快速获得1688商品详情数据
                        小爬虫程序猿
APIpython爬虫开发语言
                        
    在数字化时代，数据的价值日益凸显，尤其是在电商领域。对于企业来说，获取竞争对手的商品信息是分析市场趋势、制定营销策略的重要手段。1688作为中国领先的B2B电商平台，拥有海量的商品数据。本文将介绍如何使用Python编写爬虫程序，以合法合规的方式快速获取1688商品详情，为电商企业提供数据支持。1.环境准备在开始编写代码之前，我们需要准备以下开发环境：Python3.x：确保已安装Python3.
    
                    
    • 
                    
  • 如何使用Java爬虫获取阿里巴巴热卖商品推荐：代码示例与实践指南
                        小爬虫程序猿
Javajava爬虫python
                        
    在电商领域，获取热卖商品推荐对于商家和开发者来说至关重要。阿里巴巴提供了热卖商品推荐API接口，能够根据消费者的购买历史、浏览行为、搜索习惯等数据，自动推荐符合其需求的商品。以下将详细介绍如何使用Java爬虫获取阿里巴巴热卖商品推荐，并提供相关的代码示例。一、阿里巴巴热卖商品推荐API接口简介阿里巴巴热卖商品推荐API接口是一种基于人工智能算法的推荐系统，能够根据消费者的购买历史、浏览行为、搜索习
    
                    
    • 
                    
  • Android BitmapShader实现狙击瞄具十字交叉线准星，Kotlin
                        zhangphil
Androidkotlinandroidkotlin
                        
    AndroidBitmapShader实现狙击瞄具十字交叉线准星，Kotlinimportandroid.content.Contextimportandroid.graphics.BitmapFactoryimportandroid.graphics.BitmapShaderimportandroid.graphics.Canvasimportandroid.graphics.Colorimpo
    
                    
    • 
                    
  • python微博 关键词 爬虫
                        嵌入式开发项目
2025年爬虫精通专栏python爬虫开发语言媒体
                        
    目录记一次阿里云盾滑块验证分析并通过操作环境数据接口proxy配置根据关键词获取userid根据userid获取信息数据保存数据：记一次阿里云盾滑块验证分析并通过操作环境win10、macPython3.9数据接口搜索https://**********?containerid=100103type%3D{chanenl}%26q%3D{quote(self.words)}&page_type=s
    
                    
    • 
                    
  • 如何在Java服务中实现多租户架构：数据库与代码层的实现策略
                        wx_tangjinjinwx
java架构数据库
                        
    如何在Java服务中实现多租户架构：数据库与代码层的实现策略大家好，我是微赚淘客返利系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！在如今的SaaS应用开发中，多租户架构已经成为了一个常见的需求。多租户架构允许多个租户（客户）共享同一个应用程序，但数据隔离。本文将详细讲解如何在Java服务中实现多租户架构，包括数据库层和代码层的实现策略。我们将以cn.juwatech包为例展示具体的代码
    
                    
    • 
                    
  • 放弃传统模板语言，前后端分离架构和传统架构相比到底强在哪？
                        博远~
前端架构
                        
    引言在当今Web开发中，后端SpringBoot和前端Vue通过前后端分离架构来结合，已经是一个成熟的主流技术栈了。这种前后端分离的架构方式，目前广泛应用于约90%以上通过Java开发的Web应用中。但是，对于为何弃用了之前服务端渲染页面的方式，而选择了前后端分离架构，现有大多数开发者和企业都是懵懵懂懂，甚至有些公司还觉得，之前一个人能干的项目，现在变成了两个人干，增加了成本和复杂度，降低了效益。
    
                    
    • 
                                
  • 二分查找排序算法
                                    周凡杨
java二分查找排序算法折半
                                    
     一：概念 二分查找又称
折半查找（
折半搜索/
二分搜索），优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而 查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表 分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步
    
                                
    • 
                                
  • java中的BigDecimal
                                    bijian1013
javaBigDecimal
                                    
            在项目开发过程中出现精度丢失问题，查资料用BigDecimal解决，并发现如下这篇BigDecimal的解决问题的思路和方法很值得学习，特转载。 
        原文地址：http://blog.csdn.net/ugg/article/de
    
                                
    • 
                                
  • Shell echo命令详解
                                    daizj
echoshell
                                    
    Shell echo命令 
Shell 的 echo 指令与 PHP 的 echo 指令类似，都是用于字符串的输出。命令格式： 
echo string 
您可以使用echo实现更复杂的输出格式控制。 1.显示普通字符串: 
  echo "It is a test" 
这里的双引号完全可以省略，以下命令与上面实例效果一致： 
  echo Itis a test 2.显示转义
    
                                
    • 
                                
  • Oracle DBA 简单操作
                                    周凡杨
oracle dba sql
                                    
     --执行次数多的SQL 
 select sql_text,executions from ( 
     select sql_text,executions from v$sqlarea order by executions desc 
     ) where rownum<81; 
 &nb
    
                                
    • 
                                
  • 画图重绘
                                    朱辉辉33
游戏
                                    
      我第一次接触重绘是编写五子棋小游戏的时候，因为游戏里的棋盘是用线绘制的，而这些东西并不在系统自带的重绘里，所以在移动窗体时，棋盘并不会重绘出来。所以我们要重写系统的重绘方法。 
  在重写系统重绘方法时，我们要注意一定要调用父类的重绘方法，即加上super.paint(g)，因为如果不调用父类的重绘方式，重写后会把父类的重绘覆盖掉，而父类的重绘方法是绘制画布，这样就导致我们
    
                                
    • 
                                
  • 线程之初体验
                                    西蜀石兰
线程
                                    
    一直觉得多线程是学Java的一个分水岭，懂多线程才算入门。 
之前看《编程思想》的多线程章节，看的云里雾里，知道线程类有哪几个方法，却依旧不知道线程到底是什么？书上都写线程是进程的模块，共享线程的资源，可是这跟多线程编程有毛线的关系，呜呜。。。 
 
线程其实也是用户自定义的任务，不要过多的强调线程的属性，而忽略了线程最基本的属性。 
你可以在线程类的run()方法中定义自己的任务，就跟正常的Ja
    
                                
    • 
                                
  • linux集群互相免登陆配置
                                    林鹤霄
linux
                                    
    配置ssh免登陆 
1、生成秘钥和公钥    ssh-keygen -t rsa 
2、提示让你输入，什么都不输，三次回车之后会在~下面的.ssh文件夹中多出两个文件id_rsa 和 id_rsa.pub 
   其中id_rsa为秘钥，id_rsa.pub为公钥，使用公钥加密的数据只有私钥才能对这些数据解密    c
    
                                
    • 
                                
  • mysql : Lock wait timeout exceeded; try restarting transaction
                                    aigo
mysql
                                    
    原文：http://www.cnblogs.com/freeliver54/archive/2010/09/30/1839042.html 
  
原因是你使用的InnoDB   表类型的时候, 
默认参数:innodb_lock_wait_timeout设置锁等待的时间是50s, 
因为有的锁等待超过了这个时间,所以抱错. 
  
你可以把这个时间加长,或者优化存储
    
                                
    • 
                                
  • Socket编程 基本的聊天实现。
                                    alleni123
socket
                                    
    public class Server
{

	//用来存储所有连接上来的客户
	private List<ServerThread> clients;
	
	public static void main(String[] args)
	{
		Server s = new Server();
		s.startServer(9988);
	}

	publi
    
                                
    • 
                                
  • 多线程监听器事件模式(一个简单的例子)
                                    百合不是茶
线程监听模式
                                    
        
多线程的事件监听器模式 
  监听器时间模式经常与多线程使用,在多线程中如何知道我的线程正在执行那什么内容,可以通过时间监听器模式得到 
  
     创建多线程的事件监听器模式 思路: 
   1, 创建线程并启动,在创建线程的位置设置一个标记 
    2,创建队
    
                                
    • 
                                
  • spring InitializingBean接口
                                    bijian1013
javaspring
                                    
    spring的事务的TransactionTemplate，其源码如下： 
public class TransactionTemplate extends DefaultTransactionDefinition implements TransactionOperations, InitializingBean{
 ...
} 
TransactionTemplate继承了DefaultT
    
                                
    • 
                                
  • Oracle中询表的权限被授予给了哪些用户
                                    bijian1013
oracle数据库权限
                                    
            Oracle查询表将权限赋给了哪些用户的SQL，以备查用。 
select t.table_name as "表名",
       t.grantee    as "被授权的属组",
       t.owner      as "对象所在的属组"
    
                                
    • 
                                
  • 【Struts2五】Struts2 参数传值
                                    bit1129
struts2
                                    
    Struts2中参数传值的3种情况 
1.请求参数绑定到Action的实例字段上 
2.Action将值传递到转发的视图上 
3.Action将值传递到重定向的视图上 
  一、请求参数绑定到Action的实例字段上以及Action将值传递到转发的视图上  
Struts可以自动将请求URL中的请求参数或者表单提交的参数绑定到Action定义的实例字段上，绑定的规则使用ognl表达式语言
    
                                
    • 
                                
  • 【Kafka十四】关于auto.offset.reset[Q/A]
                                    bit1129
kafka
                                    
    I got serveral questions about  auto.offset.reset. This configuration parameter governs how  consumer read the message from  Kafka when  there is no initial offset in ZooKeeper or 
    
                                
    • 
                                
  • nginx gzip压缩配置
                                    ronin47
nginx gzip 压缩范例
                                    
    nginx gzip压缩配置   更多 
0      
 nginx      
 gzip      
 配置         
随着nginx的发展，越来越多的网站使用nginx，因此nginx的优化变得越来越重要，今天我们来看看nginx的gzip压缩到底是怎么压缩的呢？ 
gzip(GNU-ZIP)是一种压缩技术。经过gzip压缩后页面大小可以变为原来的30%甚至更小，这样，用
    
                                
    • 
                                
  • java-13.输入一个单向链表，输出该链表中倒数第 k 个节点
                                    bylijinnan
java
                                    
    two cursors. 
Make the first cursor go K steps first. 
 
 

/*
	 * 第 13 题：题目：输入一个单向链表，输出该链表中倒数第 k 个节点
	 */
	public void displayKthItemsBackWard(ListNode head,int k){
		ListNode p1=head,p2=head;

    
                                
    • 
                                
  • Spring源码学习-JdbcTemplate queryForObject
                                    bylijinnan
javaspring
                                    
    JdbcTemplate中有两个可能会混淆的queryForObject方法： 
1. 
Object queryForObject(String sql, Object[] args, Class requiredType) 
2. 
Object queryForObject(String sql, Object[] args, RowMapper rowMapper) 
 
第1个方法是只查
    
                                
    • 
                                
  • [冰川时代]在冰川时代,我们需要什么样的技术?
                                    comsci
技术
                                    
     
 
     看美国那边的气候情况....我有个感觉...是不是要进入小冰期了? 
 
     那么在小冰期里面...我们的户外活动肯定会出现很多问题...在室内呆着的情况会非常多...怎么在室内呆着而不发闷...怎么用最低的电力保证室内的温度.....这都需要技术手段... 
 
  &nb
    
                                
    • 
                                
  • js 获取浏览器型号
                                    cuityang
js浏览器
                                    
    根据浏览器获取iphone和apk的下载地址 
 
<!DOCTYPE html> 
<html> 
<head> 
    <meta charset="utf-8" content="text/html"/> 
    <meta name=
    
                                
    • 
                                
  • C# socks5详解 转
                                    dalan_123
socketC#
                                    
    http://www.cnblogs.com/zhujiechang/archive/2008/10/21/1316308.html    这里主要讲的是用.NET实现基于Socket5下面的代理协议进行客户端的通讯，Socket4的实现是类似的，注意的事，这里不是讲用C#实现一个代理服务器，因为实现一个代理服务器需要实现很多协议，头大，而且现在市面上有很多现成的代理服务器用，性能又好，
    
                                
    • 
                                
  • 运维 Centos问题汇总
                                    dcj3sjt126com
云主机
                                    
    一、sh 脚本不执行的原因 
sh脚本不执行的原因 只有2个 
1.权限不够 
2.sh脚本里路径没写完整。 
  
二、解决You have new mail in /var/spool/mail/root 
修改/usr/share/logwatch/default.conf/logwatch.conf配置文件 
MailTo = 
MailFrom 
  
三、查询连接数
    
                                
    • 
                                
  • Yii防注入攻击笔记
                                    dcj3sjt126com
sqlWEB安全yii
                                    
    网站表单有注入漏洞须对所有用户输入的内容进行个过滤和检查，可以使用正则表达式或者直接输入字符判断，大部分是只允许输入字母和数字的，其它字符度不允许；对于内容复杂表单的内容，应该对html和script的符号进行转义替换：尤其是<,>,',"",&这几个符号  这里有个转义对照表： 
http://blog.csdn.net/xinzhu1990/articl
    
                                
    • 
                                
  • MongoDB简介[一]
                                    eksliang
mongodbMongoDB简介
                                    
    MongoDB简介 
转载请出自出处：http://eksliang.iteye.com/blog/2173288 1.1易于使用 
       MongoDB是一个面向文档的数据库，而不是关系型数据库。与关系型数据库相比，面向文档的数据库不再有行的概念，取而代之的是更为灵活的“文档”模型。 
       另外，不
    
                                
    • 
                                
  • zookeeper windows 入门安装和测试
                                    greemranqq
zookeeper安装分布式
                                    
    一、序言 
      以下是我对zookeeper 的一些理解：      zookeeper 作为一个服务注册信息存储的管理工具，好吧，这样说得很抽象，我们举个“栗子”。 
      栗子1号： 
      假设我是一家KTV的老板，我同时拥有5家KTV，我肯定得时刻监视
    
                                
    • 
                                
  • Spring之使用事务缘由(2-注解实现)
                                    ihuning
spring
                                    
      
Spring事务注解实现 
  
1. 依赖包： 
    1.1 spring包： 
          spring-beans-4.0.0.RELEASE.jar 
          spring-context-4.0.0.
    
                                
    • 
                                
  • iOS App Launch Option
                                    啸笑天
option
                                    
    iOS 程序启动时总会调用application:didFinishLaunchingWithOptions:，其中第二个参数launchOptions为NSDictionary类型的对象，里面存储有此程序启动的原因。 
  
launchOptions中的可能键值见UIApplication Class Reference的Launch Options Keys节 。 
1、若用户直接
    
                                
    • 
                                
  • jdk与jre的区别（_）
                                    macroli
javajvmjdk
                                    
    简单的说JDK是面向开发人员使用的SDK，它提供了Java的开发环境和运行环境。SDK是Software Development Kit 一般指软件开发包，可以包括函数库、编译程序等。  
JDK就是Java Development Kit JRE是Java Runtime Enviroment是指Java的运行环境，是面向Java程序的使用者，而不是开发者。 如果安装了JDK，会发同你
    
                                
    • 
                                
  • Updates were rejected because the tip of your current branch is behind
                                    qiaolevip
学习永无止境每天进步一点点众观千象git
                                    
    $ git push joe prod-2295-1

To [email protected]:joe.le/dr-frontend.git
 ! [rejected]        prod-2295-1 -> prod-2295-1 (non-fast-forward)
error: failed to push some refs to '[email protected]
    
                                
    • 
                                
  • [一起学Hive]之十四-Hive的元数据表结构详解
                                    superlxw1234
hivehive元数据结构
                                    
    关键字：Hive元数据、Hive元数据表结构 
  
之前在 “[一起学Hive]之一–Hive概述，Hive是什么”中介绍过，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。 
本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。 
  
文章最后面，会以一个示例来全面了解一下，
    
                                
    • 
                                
  • Spring 3.2.14，4.1.7，4.2.RC2发布
                                    wiselyman
Spring 3
                                    
      
Spring 3.2.14、4.1.7及4.2.RC2于6月30日发布。 
  
其中Spring 3.2.1是一个维护版本(维护周期到2016-12-31截止)，后续会继续根据需求和bug发布维护版本。此时，Spring官方强烈建议升级Spring框架至4.1.7 或者将要发布的4.2 。 
  
其中Spring 4.1.7主要包含这些更新内容。 
    
                                
    •