Aquarius_Seven
Aquarius_Seven

基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出

2020-03-20更新

已上传至GitHub：https://github.com/Aquarius-Seven/demo-jsoup.git，相比CSDN资源，CommonUtil增加了一个处理需要请求cookie flash的方法（貌似叫劫持），如果有遇到的可以试试管不管用。

原文

最近有这么一个业务需求，需要用到搜狗微信去搜索公众号信息、搜索文章并拿到链接，然后通过抓包工具fiddler、微信PC端打开这个链接去获取阅读量，恩，核心部分就是这么个流程，其中我就负责了分析搜狗微信这块的流程，也就是文章标题所述。

其实做开发有几年了，平时负责的工作基本是安卓移动端的内容，但有幸之前接触过JSOUP这个框架，用网上的资源做播放器（看视频、听音乐），仅学习用，不作商业用途，最后没成想还能在这用上。

好了，废话不多说，下面开搞，我会将我之前分析的流程都记录下来，供大家参考，希望大家不要用来做坏事啊。

首次分析

  1. 首先，打开Firefox浏览器(网络-持续日志勾上)或Chrome浏览器(Network-Preserve log勾上)，并按F12；
  2. 直接输入链接https://weixin.sogou.com/打开搜狗微信的页面，这个页面后面会用来分析实现微信登录，这里先跳过，先分析搜文章、搜公众号的流程，下面我将用Firefox浏览器将一些重要步骤截图记录；基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第1张图片
  3. 看上图可以发现只是输入了一个链接，这边就有那么多的请求，不管它，我们先输入关键词，可以先清空日志，再点击搜文章，这样感觉清爽些；基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第2张图片
  4. 可以看到第一个请求的信息，我们需要的是什么呢，当然是请求的网址啦，以及所需的参数啥的，如下图所示，我们可以拿到地址，分析下可以知道参数type是指搜索的类型，2是文章，那你们猜1是啥？没错，就是公众号。那query参数就很明显了，就是我们的关键词经过UTF-8编码处理后所得，其他参数可以不管了，当作是固定参数就好了；https://weixin.sogou.com/weixin?type=2&query=%E7%96%AB%E6%83%85&ie=utf8&s_from=input&_sug_=y&_sug_type_=基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第3张图片
  5. 好了，现在搜索文章的接口有了，怎么拿到文章的链接呢？这时候就需要用到我们的查看器来分析了，看看给我们返回的页面究竟是怎样的，我们知道我们在网页上点击标题就会跳转到文章，那么是不是html里面已经给我们这个链接了呢？我们可以点击选取页面中的元素也可以用快捷键选取我们第一条文章的标题，结果如下图：基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第4张图片
  6. 咦~好像是有个链接哦，我们提取出来访问试试，右键点击链接处，选择新建标签页打开链接或者复制链接地址自己新建个标签页打开（可以看到就是在html显示的地址前补全了地址https://weixin.sogou.com），结果直接触发了反爬页面，需要输入验证码，害~微信怎么可能那么简单就让你拿到链接呢，是吧？基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第5张图片基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第6张图片
  7. 既然直接打开这个链接不行，那么我们就来分析下，搜狗是怎么打开的？来，我们改改这个html，然后直接点击标题，在当前标签页跟踪一下：双击_blank，然后删除掉，ENTER，然后切到网络清空下日志先，再点击标题：基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第7张图片
  8. 成功在当前标签页下打开页面，真正的链接是这个，那它是咋来的呢？基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第8张图片
  9. 往前看，这个请求的响应原来就有真正的链接，哈~踏破铁鞋无觅处得来全不费工夫，我们再来分析下这个请求，咦~这跟前面html里的链接那么像，我们复制下来跟前面的对比下？基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第9张图片基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第10张图片
  10. 后退，提取元素，右键复制链接，可以看到，相比起来点击标题的链接多了k和h两个参数，那这俩货是哪来的呢？我们可以在查看器里找找script标签看看有没有什么收获；
  11. 呐呐呐，果不其然哈，就在最底下，那么我们现在是不是可以撸代码了？(Talk is cheap. Show me the code.)基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第11张图片

Show me the code ~ part 1

  • 分析关于文章的信息
public class Article {
    /**
     * 初始链接
     */
    private String originalUrl;
    /**
     * 标题
     */
    private String title;
    /**
     * 公众号名称
     */
    private String oaName;
    /**
     * 拼接k ,h
     */
    private String urlWithSuffix;
    /**
     * 转换后的链接
     */
    private String realUrl;

    public String getOriginalUrl() {
        return originalUrl;
    }

    public void setOriginalUrl(String originalUrl) {
        this.originalUrl = originalUrl;
    }

    public String getTitle() {
        return title;
    }

    public void setTitle(String title) {
        this.title = title;
    }

    public String getOaName() {
        return oaName;
    }

    public void setOaName(String oaName) {
        this.oaName = oaName;
    }

    public void setUrlWithSuffix(String urlWithSuffix) {
        this.urlWithSuffix = urlWithSuffix;
    }

    public String getUrlWithSuffix() {
        return urlWithSuffix;
    }

    public void setRealUrl(String realUrl) {
        this.realUrl = realUrl;
    }

    public String getRealUrl() {
        return realUrl;
    }

    @Override
    public String toString() {
        return "Article{" +
                "originalUrl='" + originalUrl + '\'' +
                ", title='" + title + '\'' +
                ", oaName='" + oaName + '\'' +
                ", urlWithSuffix='" + urlWithSuffix + '\'' +
                ", realUrl='" + realUrl + '\'' +
                '}';
    }
}
  • 利用JSOUP模拟访问过程
package com.cyf.demo;

import com.cyf.demo.entity.Article;
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;
import java.net.URLEncoder;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class Demo {

    private static final int TIME_OUT = 10000;

    public static void main(String[] args) {
        String keywords = "疫情";
        try {
            searchArticle(keywords);
        } catch (IOException | InterruptedException e) {
            e.printStackTrace();
        }
    }

    private static void searchArticle(String keywords) throws IOException, InterruptedException {
        String url = "https://weixin.sogou.com/weixin?type=2&query="
                + URLEncoder.encode(keywords, "UTF-8")
                + "&ie=utf8&s_from=input&_sug_=y&_sug_type_=";

        Map headers = new HashMap();
        headers.put("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
        headers.put("Accept-Encoding", "gzip, deflate, br");
        headers.put("Accept-Language", "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2");
        headers.put("Connection", "keep-alive");
        headers.put("Host", "weixin.sogou.com");
        headers.put("Upgrade-Insecure-Requests", "1");
        headers.put("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0");

        Connection connection = Jsoup.connect(url)
                .headers(headers)
                .timeout(TIME_OUT)
                .method(Connection.Method.GET);

        Connection.Response res = connection.execute();
        Document doc = res.parse();

        System.out.println(doc);

        List
 articles = getArticles(doc);
        articles.forEach(System.out::println);

        getRealUrl(articles, res);
    }

    private static void getRealUrl(List
 articles, Connection.Response res) throws IOException, InterruptedException {
        for (Article article : articles) {
            String urlWithSuffix = getKH(article.getOriginalUrl());
            article.setUrlWithSuffix(urlWithSuffix);

            convertUrl(article, res);

            Thread.sleep(5000);
        }
    }

    private static void convertUrl(Article article, Connection.Response res) throws IOException {
        Map headers = new HashMap();
        headers.put("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
        headers.put("Accept-Encoding", "gzip, deflate, br");
        headers.put("Accept-Language", "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2");
        headers.put("Connection", "keep-alive");
        headers.put("Host", "weixin.sogou.com");
        headers.put("Referer", res.url().toString());
        headers.put("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0");
        headers.put("Upgrade-Insecure-Requests", "1");

        Connection connection = Jsoup.connect(article.getUrlWithSuffix())
                .headers(headers)
                .timeout(TIME_OUT)
                .method(Connection.Method.GET);
        Connection.Response resp = connection.execute();
        Document doc = resp.parse();

        System.out.println(doc);

        Elements elements = doc.select("script");
        for (Element e : elements) {
            if (e.html().contains("var url =")) {
                String temp = e.html().substring(e.html().indexOf("{"), e.html().indexOf("}") + 1);
                String[] tmp = temp.split(";");
                String tempUrl = "";
                for (String key : tmp) {
                    if (key.contains("url +=")) {
                        tempUrl += key.substring(key.indexOf("\'") + 1, key.length() - 1);
                    }
                }
                String realUrl = tempUrl.replace("@", "");
                article.setRealUrl(realUrl);
                break;
            }
        }

    }

    private static List
 getArticles(Document doc) {
        List
 articles = new ArrayList<>();
        Elements elements = doc.select("div[class=txt-box]");
        for (Element e : elements) {
            Article article = new Article();

            Element a = e.selectFirst("h3").selectFirst("a");
            article.setOriginalUrl("https://weixin.sogou.com" + a.attr("href"));
            article.setTitle(a.text());

            a = e.selectFirst("div[class=s-p]").selectFirst("a[class=account]");
            article.setOaName(a.text());

            articles.add(article);
        }
        return articles;
    }

    private static String getKH(String url) {
        int b = (int) (Math.floor(100 * Math.random()) + 1);
        int a = url.indexOf("url=");
        String temp = url.substring(a + 4 + 21 + b, a + 4 + 21 + b + 1);
        return url + "&k=" + b + "&h=" + temp;
    }

}

part 1代码运行后分析

  • 代码运行后，第一个请求结果可以顺利拿到文章的一些信息基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第12张图片
  • 但在转化真正的URL的时候出错了，让我们康康返回的是啥东西，貌似跟cookie有关呐基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第13张图片
  • 那我们把第一个请求返回的cookie塞到第二个试试？通过res.cookies()拿到并塞进转化URL的请求里，然后再次运行代码：
    private static void convertUrl(Article article, Connection.Response res) throws IOException {
        Map headers = new HashMap();
        headers.put("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
        headers.put("Accept-Encoding", "gzip, deflate, br");
        headers.put("Accept-Language", "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2");
        headers.put("Connection", "keep-alive");
        headers.put("Host", "weixin.sogou.com");
        headers.put("Referer", res.url().toString());
        headers.put("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0");
        headers.put("Upgrade-Insecure-Requests", "1");

        Connection connection = Jsoup.connect(article.getUrlWithSuffix())
                .headers(headers)
                .cookies(res.cookies())
                .timeout(TIME_OUT)
                .method(Connection.Method.GET);
        Connection.Response resp = connection.execute();
        Document doc = resp.parse();

        System.out.println(doc);

        Elements elements = doc.select("script");
        for (Element e : elements) {
            if (e.html().contains("var url =")) {
                String temp = e.html().substring(e.html().indexOf("{"), e.html().indexOf("}") + 1);
                String[] tmp = temp.split(";");
                String tempUrl = "";
                for (String key : tmp) {
                    if (key.contains("url +=")) {
                        tempUrl += key.substring(key.indexOf("\'") + 1, key.length() - 1);
                    }
                }
                String realUrl = tempUrl.replace("@", "");
                article.setRealUrl(realUrl);
                break;
            }
        }

    }
  • 结果如下：成功转化了2条URL之后又出现之前的结果，这是为啥呢？cookie不是有了嘛？基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第14张图片

再次分析

根据part 1的运行结果，分析是cookie造成的，那我们再重新按照首次分析的步骤，再来一次，要有耐心哦~

  1. 这次我们直接复制第一个请求地址直接访问，建议最好清除浏览器缓存重新打开浏览器（我也忘了我当时为什么这么做了~我的浏览器设置了关闭浏览器自动清除所有缓存），可以看到搜索接口的响应cookie如下基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第15张图片
  2. 参照首次分析步骤，清除html的_blank，再点击标题康康，这次我们不清除日志了，找到这个请求，可以看到，相比起第一个请求的响应cookie，多了JSESSIONID和SUV，那这俩货咱去哪找呢？基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第16张图片
  3. 往前找找呗，还能咋滴？多找找总会有的（？？？写完这句话，怎么会突然想到自己是single dog）基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第17张图片基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第18张图片
  4. 来源找到了，让我们来康康这俩请求需要哪些参数，第一个很简单，不需要参数；第二个，哎呦我去，一堆参数呐~基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第19张图片基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第20张图片
  5. 不过不虚，咱回到第一次请求的html找找线索康康，果不其然，藏着不少好东西呐~又可以继续撸代码了~基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第21张图片基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第22张图片

Show me the code ~ part 2

  • 搜索文章时，拿到uigs参数，然后再去请求那俩分析的接口，拿到JSESSIONID和SUV参数拼接出完整的cookie
    private static void searchArticle(String keywords) throws IOException, InterruptedException {
        String url = "https://weixin.sogou.com/weixin?type=2&query="
                + URLEncoder.encode(keywords, "UTF-8")
                + "&ie=utf8&s_from=input&_sug_=y&_sug_type_=";

        Map headers = new HashMap();
        headers.put("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
        headers.put("Accept-Encoding", "gzip, deflate, br");
        headers.put("Accept-Language", "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2");
        headers.put("Connection", "keep-alive");
        headers.put("Host", "weixin.sogou.com");
        headers.put("Upgrade-Insecure-Requests", "1");
        headers.put("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0");

        Connection connection = Jsoup.connect(url)
                .headers(headers)
                .timeout(TIME_OUT)
                .method(Connection.Method.GET);

        Connection.Response res = connection.execute();
        Document doc = res.parse();

        System.out.println(doc);

        List
 articles = getArticles(doc);
        articles.forEach(System.out::println);

        Map params = getUigsPara(doc, false);
        System.out.println(params);

        Map cookies = getCookies(res, params);
        System.out.println(cookies);

        getRealUrl(articles, res);
    }
  • 再来改改转换URL的cookie使用
    private static void convertUrl(Article article, Connection.Response res) throws IOException {
        Map headers = new HashMap();
        headers.put("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
        headers.put("Accept-Encoding", "gzip, deflate, br");
        headers.put("Accept-Language", "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2");
        headers.put("Connection", "keep-alive");
        headers.put("Cookie", "ABTEST=" + res.cookies().get("ABTEST") +
                ";SNUID=" + res.cookies().get("SNUID") +
                ";IPLOC=" + res.cookies().get("IPLOC") +
                ";SUID=" + res.cookies().get("SUID") +
                ";JSESSIONID=" + res.cookies().get("JSESSIONID") +
                ";SUV=" + res.cookies().get("SUV"));
        headers.put("Host", "weixin.sogou.com");
        headers.put("Referer", res.url().toString());
        headers.put("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0");
        headers.put("Upgrade-Insecure-Requests", "1");

        Connection connection = Jsoup.connect(article.getUrlWithSuffix())
                .headers(headers)
                .timeout(TIME_OUT)
                .method(Connection.Method.GET);
        Connection.Response resp = connection.execute();
        Document doc = resp.parse();

        System.out.println(doc);

        Elements elements = doc.select("script");
        for (Element e : elements) {
            if (e.html().contains("var url =")) {
                String temp = e.html().substring(e.html().indexOf("{"), e.html().indexOf("}") + 1);
                String[] tmp = temp.split(";");
                String tempUrl = "";
                for (String key : tmp) {
                    if (key.contains("url +=")) {
                        tempUrl += key.substring(key.indexOf("\'") + 1, key.length() - 1);
                    }
                }
                String realUrl = tempUrl.replace("@", "");
                article.setRealUrl(realUrl);
                break;
            }
        }
    }

part 2代码运行后分析

可以发现，参数拿到了，cookie也对了，结果还是跟之前一样，转换了2条URL之后，又转换不了了，我们到底还缺少啥？

基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第23张图片基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第24张图片

再再次分析（头脑风暴）

  • 从结果来看，这一串貌似有点可疑呐~

基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第25张图片基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第26张图片

  • 好像前面也有呐~

基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第27张图片

  • 再前面，还有~

基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第28张图片

approve：翻译结果为批准 / 认可 / <古>证明 / 显示

  • 感觉是要调用这个来证明搜索、转换URL的意思呐~
  • 继续发散思维，我们好像没有打开真正URL的页面，只是拼接了URL就没有接下来的操作了，而真实情况是，我们点击了标题之后就会跳转到真正URL的页面，所以我们是不是应该加上打开真正URL的步骤呢？
  • 这一波分析好像差不多了，来来来，继续改造代码试试~

Show me the code ~ part 3

  • 这次改造的地方有点多，就不单独一一拿出来了，直接来个完整的。
  • 从转换结果截取出来的URL是http的，我们直接在setRealUrl时将它改成https的。
  • 还有一些接口需要参数的截取，譬如token，uuid，还有一些延时2s、5s、100ms的操作。
  • 还有就是留意每一个请求的Referer。
package com.cyf.demo.entity;

public class Article {
    /**
     * 初始链接
     */
    private String originalUrl;
    /**
     * 标题
     */
    private String title;
    /**
     * 公众号名称
     */
    private String oaName;
    /**
     * 拼接k ,h
     */
    private String urlWithSuffix;
    /**
     * 转换后的链接
     */
    private String realUrl;

    public String getOriginalUrl() {
        return originalUrl;
    }

    public void setOriginalUrl(String originalUrl) {
        this.originalUrl = originalUrl;
    }

    public String getTitle() {
        return title;
    }

    public void setTitle(String title) {
        this.title = title;
    }

    public String getOaName() {
        return oaName;
    }

    public void setOaName(String oaName) {
        this.oaName = oaName;
    }

    public void setUrlWithSuffix(String urlWithSuffix) {
        this.urlWithSuffix = urlWithSuffix;
    }

    public String getUrlWithSuffix() {
        return urlWithSuffix;
    }

    public void setRealUrl(String realUrl) {
        this.realUrl = realUrl.replace("http://","https://");
    }

    public String getRealUrl() {
        return realUrl;
    }

    @Override
    public String toString() {
        return "Article{" +
                "originalUrl='" + originalUrl + '\'' +
                ", title='" + title + '\'' +
                ", oaName='" + oaName + '\'' +
                ", urlWithSuffix='" + urlWithSuffix + '\'' +
                ", realUrl='" + realUrl + '\'' +
                '}';
    }
}

package com.cyf.demo;

import com.cyf.demo.entity.Article;
import com.google.gson.Gson;
import com.google.gson.reflect.TypeToken;
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;
import java.net.URLEncoder;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class Demo {

    private static final int TIME_OUT = 10000;

    public static void main(String[] args) {
        String keywords = "疫情";
        try {
            searchArticle(keywords);
        } catch (IOException | InterruptedException e) {
            e.printStackTrace();
        }
    }

    private static void searchArticle(String keywords) throws IOException, InterruptedException {
        String url = "https://weixin.sogou.com/weixin?type=2&query="
                + URLEncoder.encode(keywords, "UTF-8")
                + "&ie=utf8&s_from=input&_sug_=y&_sug_type_=";

        Map headers = new HashMap();
        headers.put("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
        headers.put("Accept-Encoding", "gzip, deflate, br");
        headers.put("Accept-Language", "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2");
        headers.put("Connection", "keep-alive");
        headers.put("Host", "weixin.sogou.com");
        headers.put("Upgrade-Insecure-Requests", "1");
        headers.put("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0");

        Connection connection = Jsoup.connect(url)
                .headers(headers)
                .timeout(TIME_OUT)
                .method(Connection.Method.GET);

        Connection.Response res = connection.execute();
        Document doc = res.parse();

        System.out.println(doc);

        List
 articles = getArticles(doc);
        articles.forEach(System.out::println);

        Map params = getUigsPara(doc, false);
        System.out.println(params);

        Map cookies = getCookies(res, params);
        System.out.println(cookies);

        String token = getToken(doc);

        approveSearch(res, params, token);

        Thread.sleep(2000); // 延时2000ms，模拟搜索之后等一会再点击标题

        getRealUrl(res, params, articles);
    }

    private static void getRealUrl(Connection.Response res, Map params, List
 articles) throws IOException, InterruptedException {
        for (Article article : articles) {
            approveOuter(res, params);

            String urlWithSuffix = getKH(article.getOriginalUrl());
            article.setUrlWithSuffix(urlWithSuffix);

            convertUrl(article, res);

            Thread.sleep(5000); // 延时5000ms，模拟打开一篇文章后再点开另一篇
        }
        articles.forEach(System.out::println);
    }

    private static String getToken(Document doc) {
        Elements elements = doc.select("script");
        String token = "";
        for (Element e : elements) {
            if (e.html().contains("var uigs_para =")) {
                String temp = e.html().substring(
                        e.html().indexOf("$.get(") + "$.get(".length(),
                        e.html().lastIndexOf(")"))
                        .replace("+", "")
                        .replace("\'", "")
                        .replace("\"", "");
                token = temp.substring(temp.indexOf("&token=") + "&token=".length(), temp.lastIndexOf("&")).trim();
            }
        }
        return token;
    }

    private static void approveSearch(Connection.Response res, Map params, String token) throws IOException {
        String approve_url = "https://weixin.sogou.com/approve?"
                + "uuid=" + params.get("uuid")
                + "&token=" + token
                + "&from=search";

        Map headers = new HashMap();
        headers.put("Accept", "*/*");
        headers.put("Accept-Encoding", "gzip, deflate, br");
        headers.put("Accept-Language", "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2");
        headers.put("Connection", "keep-alive");
        headers.put("Cookie", "ABTEST=" + res.cookies().get("ABTEST")
                + ";SNUID=" + res.cookies().get("SNUID")
                + ";IPLOC=" + res.cookies().get("IPLOC")
                + ";SUID=" + res.cookies().get("SUID")
                + ";JSESSIONID=" + res.cookies().get("JSESSIONID"));
        headers.put("Host", "weixin.sogou.com");
        headers.put("Referer", res.url().toString());
        headers.put("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0");
        headers.put("X-Requested-With", "XMLHttpRequest");

        Connection connection = Jsoup.connect(approve_url)
                .headers(headers)
                .timeout(TIME_OUT)
                .method(Connection.Method.GET);

        Connection.Response resp = connection.execute();
        System.out.println("search = " + resp.statusCode());
    }

    private static Map getCookies(Connection.Response res, Map params) throws IOException {
        getJSESSIONID(res);

        getSUV(res, params);
        return res.cookies();
    }

    private static void getSUV(Connection.Response res, Map params) throws IOException {
        String url = "https://pb.sogou.com/pv.gif";

        Map headers = new HashMap();
        headers.put("Accept", "image/webp,*/*");
        headers.put("Accept-Encoding", "gzip, deflate, br");
        headers.put("Accept-Language", "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2");
        headers.put("Connection", "keep-alive");
        headers.put("Cookie", "SNUID=" + res.cookies().get("SNUID") + ";IPLOC=" + res.cookies().get("IPLOC") + ";SUID=" + res.cookies().get("SUID"));
        headers.put("Host", "pb.sogou.com");
        headers.put("Referer", "https://weixin.sogou.com/");
        headers.put("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0");

        Connection connection = Jsoup.connect(url)
                .headers(headers)
                .data(params)
                .timeout(TIME_OUT)
                .method(Connection.Method.GET);

        Connection.Response resp = connection.execute();

        Map respCookies = resp.cookies();
        if (respCookies.containsKey("SUV")) {
            res.cookies().put("SUV", respCookies.get("SUV"));
        }
    }

    private static void getJSESSIONID(Connection.Response res) throws IOException {
        String url = "https://weixin.sogou.com/websearch/wexinurlenc_sogou_profile.jsp";

        Map headers = new HashMap();
        headers.put("Accept", "*/*");
        headers.put("Accept-Encoding", "gzip, deflate, br");
        headers.put("Accept-Language", "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2");
        headers.put("Connection", "keep-alive");
        headers.put("Cookie", "ABTEST=" + res.cookies().get("ABTEST") + ";SNUID=" + res.cookies().get("SNUID") + ";IPLOC=" + res.cookies().get("IPLOC") + ";SUID=" + res.cookies().get("SUID"));
        headers.put("Host", "weixin.sogou.com");
        headers.put("Referer", res.url().toString());
        headers.put("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0");

        Connection connection = Jsoup.connect(url)
                .headers(headers)
                .timeout(TIME_OUT)
                .method(Connection.Method.GET);

        Connection.Response resp = connection.execute();

        Map respCookies = resp.cookies();
        if (respCookies.containsKey("JSESSIONID")) {
            res.cookies().put("JSESSIONID", respCookies.get("JSESSIONID"));
        }
    }

    private static Map getUigsPara(Document doc, boolean hasLogin) {
        Elements elements = doc.select("script");
        Map params = new HashMap<>();
        for (Element e : elements) {
            if (e.html().contains("var uigs_para =")) {
                String json = e.html()
                        .substring(e.html().indexOf("{"), e.html().indexOf("}") + 1)
                        .replace("passportUserId ? \"1\" : \"0\"", hasLogin ? "\"1\"" : "\"0\"");
                Map para = new Gson().fromJson(json, new TypeToken>() {
                }.getType());
                params.putAll(para);

            } else if (e.html().contains("uigs_para.exp_id")) {
                String[] vars = e.html().split(";");
                String exp_id = vars[2];
                String value = exp_id.substring(exp_id.indexOf("\"") + 1, exp_id.lastIndexOf("\""));
                if (value.length() > 1) {
                    value = value.substring(0, value.length() - 1);
                }
                params.put("exp_id", value);
            }
        }
        return params;
    }

    private static void approveOuter(Connection.Response res, Map params) throws IOException {
        String approve_url = "https://weixin.sogou.com/approve?uuid=" + params.get("uuid") + "&token=undefined&from=outer";

        Map headers = new HashMap();
        headers.put("Accept", "*/*");
        headers.put("Accept-Encoding", "gzip, deflate, br");
        headers.put("Accept-Language", "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2");
        headers.put("Connection", "keep-alive");
        headers.put("Cookie", "ABTEST=" + res.cookies().get("ABTEST")
                + ";SNUID=" + res.cookies().get("SNUID")
                + ";IPLOC=" + res.cookies().get("IPLOC")
                + ";SUID=" + res.cookies().get("SUID")
                + ";SUV=" + res.cookies().get("SUV")
                + ";JSESSIONID=" + res.cookies().get("JSESSIONID"));
        headers.put("Host", "weixin.sogou.com");
        headers.put("Referer", res.url().toString());
        headers.put("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0");
        headers.put("X-Requested-With", "XMLHttpRequest");

        Connection connection = Jsoup.connect(approve_url)
                .headers(headers)
                .timeout(TIME_OUT)
                .method(Connection.Method.GET);
        Connection.Response resp = connection.execute();
        System.out.println("outer = " + resp.statusCode());
    }

    private static void convertUrl(Article article, Connection.Response res) throws IOException, InterruptedException {
        Map headers = new HashMap();
        headers.put("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
        headers.put("Accept-Encoding", "gzip, deflate, br");
        headers.put("Accept-Language", "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2");
        headers.put("Connection", "keep-alive");
        headers.put("Cookie", "ABTEST=" + res.cookies().get("ABTEST") +
                ";SNUID=" + res.cookies().get("SNUID") +
                ";IPLOC=" + res.cookies().get("IPLOC") +
                ";SUID=" + res.cookies().get("SUID") +
                ";JSESSIONID=" + res.cookies().get("JSESSIONID") +
                ";SUV=" + res.cookies().get("SUV"));
        headers.put("Host", "weixin.sogou.com");
        headers.put("Referer", res.url().toString());
        headers.put("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0");
        headers.put("Upgrade-Insecure-Requests", "1");

        Connection connection = Jsoup.connect(article.getUrlWithSuffix())
                .headers(headers)
                .timeout(TIME_OUT)
                .method(Connection.Method.GET);
        Connection.Response resp = connection.execute();
        Document doc = resp.parse();

        System.out.println(doc);

        Elements elements = doc.select("script");
        for (Element e : elements) {
            if (e.html().contains("var url =")) {
                String approve = e.html()
                        .substring(e.html().indexOf("(new Image()).src =") + "(new Image()).src =".length(),
                                e.html().indexOf("'&from=inner';") + "'&from=inner';".length())
                        .trim();
                String[] split = approve.split("\\+");
                String approveUuid = split[1].replace("\'", "").trim();
                String approveToken = split[3].replace("\'", "").trim();

                String temp = e.html().substring(e.html().indexOf("{"), e.html().indexOf("}") + 1);
                String[] tmp = temp.split(";");
                String tempUrl = "";
                for (String key : tmp) {
                    if (key.contains("url +=")) {
                        tempUrl += key.substring(key.indexOf("\'") + 1, key.length() - 1);
                    }
                }
                String realUrl = tempUrl.replace("@", "");
                article.setRealUrl(realUrl);

                approveInner(res, approveUuid, approveToken, article.getUrlWithSuffix());

                Thread.sleep(100); // 仿照搜狗微信的js延时100ms再打开文章

                openPage(article);

                break;
            }
        }
    }

    private static void openPage(Article article) throws IOException {
        Map headers = new HashMap();
        headers.put("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
        headers.put("Accept-Encoding", "gzip, deflate, br");
        headers.put("Accept-Language", "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2");
        headers.put("Connection", "keep-alive");
        headers.put("Host", "mp.weixin.qq.com");
        headers.put("Referer", article.getUrlWithSuffix());
        headers.put("Upgrade-Insecure-Requests", "1");
        headers.put("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0");

        Connection connection = Jsoup.connect(article.getRealUrl())
                .headers(headers)
                .timeout(TIME_OUT)
                .method(Connection.Method.GET);
        Connection.Response res = connection.execute();
        System.out.println("openPage：" + res.statusCode());
    }

    private static void approveInner(Connection.Response res, String approveUuid, String approveToken, String urlWithSuffix) throws IOException {
        String approve_url = "https://weixin.sogou.com/approve?uuid=" + approveUuid + "&token=" + approveToken + "&from=inner";

        Map headers = new HashMap();
        headers.put("Accept", "image/webp,*/*");
        headers.put("Accept-Encoding", "gzip, deflate, br");
        headers.put("Accept-Language", "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2");
        headers.put("Connection", "keep-alive");
        headers.put("Cookie", "ABTEST=" + res.cookies().get("ABTEST")
                + ";SNUID=" + res.cookies().get("SNUID")
                + ";IPLOC=" + res.cookies().get("IPLOC")
                + ";SUID=" + res.cookies().get("SUID")
                + ";SUV=" + res.cookies().get("SUV")
                + ";JSESSIONID=" + res.cookies().get("JSESSIONID"));
        headers.put("Host", "weixin.sogou.com");
        headers.put("Referer", urlWithSuffix);
        headers.put("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0");

        Connection connection = Jsoup.connect(approve_url)
                .headers(headers)
                .timeout(TIME_OUT)
                .method(Connection.Method.GET);
        Connection.Response resp = connection.execute();
        System.out.println("inner = " + resp.statusCode());
    }

    private static List
 getArticles(Document doc) {
        List
 articles = new ArrayList<>();
        Elements elements = doc.select("div[class=txt-box]");
        for (Element e : elements) {
            Article article = new Article();

            Element a = e.selectFirst("h3").selectFirst("a");
            article.setOriginalUrl("https://weixin.sogou.com" + a.attr("href"));
            article.setTitle(a.text());

            a = e.selectFirst("div[class=s-p]").selectFirst("a[class=account]");
            article.setOaName(a.text());

            articles.add(article);
        }
        return articles;
    }

    private static String getKH(String url) {
        int b = (int) (Math.floor(100 * Math.random()) + 1);
        int a = url.indexOf("url=");
        String temp = url.substring(a + 4 + 21 + b, a + 4 + 21 + b + 1);
        return url + "&k=" + b + "&h=" + temp;
    }

}

part 3代码运行后分析

  • 很明显哈，结果就是成功的转换了第一页的所有URL

基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第29张图片

总结

  • 通过以上流程的分析，咱们已经实现了获取文章链接的功能（是临时链接哦），继续分析还可以做翻页，未登录最多可以翻10页（如果有这么多数据的话），登录之后就不限制10页，不过最多可以翻多少页不清楚（登录后的cookie不一样）；
  • 至于搜索公众号信息，以及微信登录，咱这就不分析咯，这一篇分析的篇幅够长了，有兴趣的可以自己按照这篇分析的流程自己摸索一哈，搜索公众号信息的差不太多，至于微信登录，就跟我开头说的，在微信搜狗那个页面清除日志，然后点击右上角的登录，弹出二维码的页面之后就可以分析了；
  • 在爬虫领域，还有很多有意思的事情，譬如图片验证码、拖动拼图验证，有反爬，有反反爬，数据分析，市面上也有很多公司是专门做这个的，大数据时代，数据就是基石，利用数据，可以做很多有意义的事情，而Python语言在这方面真的是得天独厚，相比起JAVA来，代码量可以减少很多去实现同样的功能，我在前期调研需求的时候发现，文章基本都是用Python来实现的，我虽然也自学过Python，但是，才学了一些基本的东西就因为各种原因搁置了，想想也是浪费。。
  • 最后，我要录个gif图，来演示一下我写的demo，然后打包上传一份代码，如果各位看这篇文章的时间不算久远的话，应该是还能用起来的。
  1. 搜公众号信息基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第30张图片
  2. 搜文章（翻页）
  3. 登录、登出基于Jsoup实现搜狗微信搜索文章获取链接、搜索公众号信息、微信登录以及登出_第31张图片

 

你可能感兴趣的:(爬虫,大数据,java,爬虫,jsoup,intellij,idea)

  • 大数据新视界 --大数据大厂之大数据环境下的零信任安全架构：构建可靠防护体系 青云交 大数据新视界大数据安全零信任架构身份认证网络微分段数据保护安全策略人工智能融合大数据
    亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
  • 大数据新视界 --大数据大厂之 从 Druid 和 Kafka 到 Polars：大数据处理工具的传承与创新 青云交 Polars之道大数据新视界Polars大数据处理DruidKafka快速引擎技术突破性能优势数据库
    亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
  • 大数据新视界 --大数据大厂之 DataFusion：超越传统的大数据集成与处理创新工具 青云交 DataFusion之道大数据新视界DataFusion大数据处理数据集成查询处理内存管理PowerCenterApacheHive数据库
    亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
  • 大数据新视界 --大数据大厂之深度优化 Alluxio 分层架构：提升大数据缓存效率的全方位解析 青云交 大数据新视界Alluxio之道Alluxio分层架构优化大数据缓存效率元数据管理存储层优化安全防护版本兼容性数据库
    亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
  • 大数据新视界 --大数据大厂之 Alluxio：解析数据缓存系统的分层架构 青云交 大数据新视界Alluxio之道Alluxio数据缓存系统分层架构大数据可扩展性性能优化元数据管理数据库
    亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
  • 大数据新视界 --大数据大厂之 Druid 实时数据分析平台在大数据中的应用 青云交 大数据新视界Druid之道Druid实时数据分析大数据查询性能数据摄入性能优化行业案例数据库
    亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
  • ACM刷题——背包问题 Nancy_627 ACM刷题acm竞赛算法
    ACM刷题练习——背包问题01背包问题（Java解法）有N件物品和一个容量是V的背包。每件物品只能使用一次。第i件物品的体积是vi，价值是wi。求解将哪些物品装入背包，可使这些物品的总体积不超过背包容量，且总价值最大。输出最大价值。输入格式第一行两个整数，N，V，用空格隔开，分别表示物品数量和背包容积。接下来有N行，每行两个整数vi,wi，用空格隔开，分别表示第i件物品的体积和价值。输出格式输出一
  • Java Throwable类 IfThenElse-Meituan JavaClassesReference
    PublicclassThrowableextendsObjectimplementsSerializable在Java语言中，Throwable类是所有Error和Exception的超类。只有Throwable类或其子类才能被JVM或throw表达式抛出。类似的，只有Throwable类或其子类才能当做catch语句块的参数类型。其两个子类，Error和Exception的实例能够方便地表明异
  • 未来展望：等保测评在网络安全领域的持续创新与发展 亿林数据 web安全安全等保测评网络安全
    在数字化浪潮席卷全球的今天，网络安全已成为维护国家安全、社会稳定和经济发展的关键基石。作为网络安全保障体系的核心组成部分，等级保护测评（简称“等保测评”）在应对日益复杂多变的网络威胁中发挥着不可替代的作用。展望未来，等保测评将在技术、管理、生态等多个维度持续创新与发展，为构建更加安全可信的网络环境提供有力支撑。一、技术创新引领等保测评智能化升级随着人工智能（AI）、大数据、云计算等技术的快速发展，
  • Java使用JDBC开发 之 SQL注入攻击和解决方案 2401_85958150 javasql开发语言
    一、注入攻击======在用户登录的时候，我们往往需要输入账号和密码，通过账号和密码和数据库中保存的账号密码进行匹配，匹配成功则登录成功，但是在匹配的时候会存在注入攻击的安全隐患，在输入账号和密码的时候，在末尾加上“or”再接上任何为真的语句，这样一来，有真就为真，这样也能登录成功。现有mylogon数据库，里面有users数据表，存储了账号和密码，使用Java通过JDBC操作数据库来模拟一下注入
  • 【论文投稿】探索JavaScript前端开发：开启交互之门的神奇钥匙（一） 小周不想卷 艾思科蓝学术会议投稿javascript
    目录一、引言二、基础入门2.1变量与数据类型2.2条件与循环语句2.3函数三、DOM操作3.1获取DOM元素3.2修改DOM内容和样式3.3动态创建和删除DOM元素一、引言在当今数字化时代，互联网已然成为人们生活不可或缺的一部分，而网页作为互联网的主要载体，其用户体验的优劣直接关乎着信息的有效传递与用户的留存。JavaScript，这门在前端开发领域占据核心地位的编程语言，犹如一位神奇的魔法师，为
  • Java开发防止SQL注入攻击 DaXiongJoker javasql数据库安全后端
    在Java编程过程中，防止SQL注入攻击是非常重要的安全措施。以下是常用的防注入攻击措施及其原理：1.使用预编译语句（PreparedStatement）原理：PreparedStatement是JDBC提供的一种接口，它允许SQL语句在执行前被预编译。通过使用占位符?来代替参数值，并在执行时动态设置这些参数，可以有效防止恶意输入被解释为SQL代码。Stringsql="SELECT*FROMus
  • 华为OD机试E卷 --贪心歌手--24年OD统一考试（Java & JS & Python & C & C++） 飞码创造者 最新华为OD机试题库2024华为odjavajavascriptc语言python
    文章目录题目描述输入描述输出描述用例题目解析JS算法源码Java算法源码python算法源码c算法源码c++算法源码题目描述一个歌手准备从A城去B城参加演出。按照合同，他必须在T天内赶到歌手途经N座城市歌手不能往回走每两座城市之间需要的天数都可以提前获知。歌手在每座城市都可以在路边卖唱赚钱。经过调研，歌手提前获知了每座城市卖唱的收入预期：如果在一座城市第一天卖唱可以赚M，后续每天的收入会减少D（第
  • 使用Java Socket实现GPS定位数据处理 yu_zheng5163 java开发语言
    在许多应用场景中，如车辆追踪、移动设备定位等，GPS定位数据的实时获取和处理至关重要。本文将介绍如何使用JavaSocket编程来接收GPS设备发送的数据并进行处理。业务说明：车辆追踪系统需要实时获取车辆的GPS定位信息。车辆上的GPS设备通过TCP连接发送其位置数据到服务器。技术点：JavaSocket编程：使用Java的SocketAPI进行网络通信。GPS定位数据：理解GPS数据格式，如NM
  • Java 异常架构Throwable Flying_Fish_Xuan java架构开发语言
    1.Throwable类的概述在Java中，Throwable是所有错误和异常的超类。只有继承自Throwable类的实例可以被抛出或捕获。Throwable类本身是java.lang.Object的直接子类，它定义了异常处理的一些基本机制，如异常的堆栈轨迹、错误消息等。Throwable类的主要方法：getMessage()：返回异常的详细描述信息。getLocalizedMessage()：返
  • 大数据技术实训：Zookeeper集群配置 东风无力百花残_ 大数据技术大数据zookeeper分布式
    一、本地模式安装部署1）安装前准备（1）安装jdk（2）拷贝Zookeeper安装包到Linux系统下（3）解压到指定目录tar-zxvfzookeeper-3.5.7.tar.gz-C/opt/module/2）配置修改（1）将/opt/module/zookeeper-3.5.7/conf这个路径下的zoo_sample.cfg修改为zoo.cfg；$mvzoo_sample.cfgzoo.c
  • 【python爬虫入门教程13--selenium的自动点击 --小小案例分享】 重剑无锋1024 python爬虫selenium
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档《python爬虫入门教程12--selenium的安装与使用》selenium就是一个可以实现python自动化的模块，上次我们更新了如何安装以及它的语法。同时我也更新了如何用爬虫技术实现cookie免登录12306，再用selenium自动抢票。这个帖子主要是对selenium的一个语法讲解小案例，大家可以多运行试试。[免登录12
  • 【《python爬虫入门教程12--重剑无峰168》】 重剑无锋1024 python爬虫开发语言
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档《python爬虫入门教程12--selenium的安装与使用》selenium就是一个可以实现python自动化的模块，上次我们更新了如何安装，这次我们来具体看看，它的语法，大家可以自己尝试一下，我的代码直接放在下面。前言一、selenium八种定位元素的方法1.完整示例代码二、总结。掌握这几种方法再在它们后面加入.click()或
  • 如何使用PHP构建IoC容器，实现依赖注入！ Ai 编码 php教程phprpc开发语言
    文章精选推荐1JetBrainsAiassistant编程工具让你的工作效率翻倍2ExtraIcons：JetBrainsIDE的图标增强神器3IDEA插件推荐-SequenceDiagram，自动生成时序图4BashSupportPro这个ides插件主要是用来干嘛的？5IDEA必装的插件：SpringBootHelper的使用与功能特点6Aiassistant,又是一个写代码神器7Cursor
  • PHP 8.4 安装和升级指南 Ai 编码 php教程php开发语言
    文章精选推荐1JetBrainsAiassistant编程工具让你的工作效率翻倍2ExtraIcons：JetBrainsIDE的图标增强神器3IDEA插件推荐-SequenceDiagram，自动生成时序图4BashSupportPro这个ides插件主要是用来干嘛的？5IDEA必装的插件：SpringBootHelper的使用与功能特点6Aiassistant,又是一个写代码神器7Cursor
  • Java - 文字识别 ；示例代码基于SpringAI和国产大模型 沈询-阿里 microsoft机器学习人工智能后端
    文字识别在Java开发中的应用在Java开发中，将图像中的文字进行识别能力被广泛应用于多种场景，比如自动审核图片内容、商品搜索分析等。过去，这类需求主要通过OCR（光学字符识别）技术来实现，但其对于复杂图像的处理效果往往不尽人意。如今，随着大模型技术的发展，利用这些先进的AI模型进行文字识别成为可能，不仅大大提升了识别精度和速度，还能更好地理解图像中的复杂信息，为用户提供更加准确可靠的服务。本文采
  • Vue环境变量配置指南：如何在开发、生产和测试中设置环境变量 Front_Yue 前端探索之路vue.js前端javascript
    -##前言Vue.js是一个流行的JavaScript框架，它提供了许多工具和功能来帮助开发人员构建高效、可维护的Web应用程序。其中一个重要的工具是环境变量，它可以让你在不同的环境中配置不同的参数和选项。在这篇博客中，我们将介绍如何在Vue应用程序中设置环境变量，以及如何在开发、生产和测试环境中使用它们。正文内容一、什么是环境变量环境变量是操作系统中的一组动态值，它们可以影响应用程序的行为。这些
  • 华为OD机试2024年E卷-单词接龙[100分]（ Java | Python3 | C++ | C语言 | JsNode | Go）实现100%通过率 梅花C 华为OD题库算法华为odjavac++c语言golang
    点这里去解决这道题Go!题目描述单词接龙的规则是：可用于接龙的单词首字母必须要前一个单词的尾字母相同；当存在多个首字母相同的单词时，取长度最长的单词，如果长度也相等，则取字典序最小的单词；已经参与接龙的单词不能重复使用。现给定一组全部由小写字母组成单词数组，并指定其中的一个单词作为起始单词，进行单词接龙，请输出最长的单词串，单词串是单词拼接而成，中间没有空格。输入描述输入的第一行为一个非负整数，表
  • reduce 到底是什么？Java8 Stream 的终极聚合工具详解 程序员
    reduce()是JavaStreamAPI提供的一个终端操作方法，用于将流中的元素组合起来生成一个单一的值。这一方法非常强大，可以实现累积、聚合、拼接等功能，适用于各种数据处理场景。1.reduce()方法的作用reduce()是一个通用的归约操作，它通过一个关联函数，逐个处理流中的每个元素，将其累积为一个值。方法签名如下：无初始值的reduceOptionalreduce(BinaryOper
  • java race condition_Java多线程Race Condition vs. Data Race 邢仁 javaracecondition
    http://blog.regehr.org/archives/490Araceconditionisaflawthatoccurswhenthetimingororderingofeventsaffectsaprogram’scorrectness.Generallyspeaking,somekindofexternaltimingororderingnon-determinismisneede
  • 深挖 Java8的Stream.flatMap：你不知道的流式操作技巧 程序员
    flatMap()是Java8StreamAPI的核心方法之一，主要用于将嵌套结构展开并生成一个新的流。它的强大之处在于能够处理复杂数据结构并将其转换为简单的线性流。以下是flatMap()的常见用法和应用场景：1.将嵌套集合展开为单一流用法处理嵌套的List或Set，将其扁平化为单一流。示例代码importjava.util.*;importjava.util.stream.Collectors
  • 华为OD机试E卷 --寻找符合要求的最长子串 --24年OD统一考试（Java & JS & Python & C & C++） 飞码创造者 最新华为OD机试题库2024华为odjavajavascriptpythonc语言
    文章目录题目描述输入描述输出描述用例题目解析JS算法源码Java算法源码python算法源码c算法源码c++算法源码题目描述给你一个字符串s，字符串s首尾相连成一个环形，请你在环中找出‘l’、‘o’、‘x’字符都恰好出现了偶数次最长子字符串的长度。输入描述输入是一串小写的字母组成的字符串输出描述输出是一个整数备注•1≤s.length≤5*10^5•s只包含小写英文字母用例输入alolobo输出6
  • 华为OD机试E卷 --最大值--24年OD统一考试（Java & JS & Python & C & C++） 飞码创造者 最新华为OD机试题库2024华为odjavajavascriptpythonc语言
    文章目录题目描述输入描述输出描述用例题目解析JS算法源码Java算法源码python算法源码c算法源码c++算法源码题目描述给定—组整数(非负)，重排顺序后输出一个最大的整数。示例1输入:[10,9]输出:910说明:输出结果可能非常大，所以你需要返回一个字符串而不是整数。输入描述数字组合输出描述最大的整数用例输入109输出910说明无题目解析给定一组非负整数，我们需要对这些整数进行重排，使得重新
  • 华为OD机试C卷-- 字符串变换最小字符串（Java & JS & Python & C） 飞码创造者 华为OD机试题库华为odc语言javajavascriptpython
    获取题库不需要订阅专栏，可直接私信我进入CSDN领军人物top1博主的华为OD交流圈观看完整题库、最新面试实况、考试报告等内容以及大佬一对一答疑。题目描述给定一个字符串s，最多只能进行一次变换，返回变换后能得到的最小字符串（按照字典序进行比较）。变换规则：交换字符串中任意两个不同位置的字符。输入描述一串小写字母组成的字符串s输出描述按照要求进行变换得到的最小字符串。备注s是都是小写字符组成1≤s.
  • 华为OD上机考试真题（Java）——最长方连续方波信号 程序员buddha2080 华为OD机考华为odjava开发语言
    题目描述：输入一串方波信号，求取最长的完全连续交替方波信号，并将其输出，如果有相同长度的交替方波信号，输出任一即可，方波信号高位用1标识，低位用0标识，如图：说明：一个完整的信号一定以0开始然后以0结尾，即010是一个完整信号，但101，1010，0101不是输入的一串方波信号是由一个或多个完整信号组成两个相邻信号之间可能有0个或多个低位，如0110010，011000010同一个信号中可以有连续
  • JAVA中的Enum 周凡杨 javaenum枚举
    Enum是计算机编程语言中的一种数据类型---枚举类型。 在实际问题中，有些变量的取值被限定在一个有限的范围内。     例如，一个星期内只有七天 我们通常这样实现上面的定义： public String monday; public String tuesday; public String wensday; public String thursday
  • 赶集网mysql开发36条军规 Bill_chen mysql业务架构设计mysql调优mysql性能优化
    (一)核心军规 (1)不在数据库做运算    cpu计算务必移至业务层； (2)控制单表数据量    int型不超过1000w，含char则不超过500w；    合理分表；    限制单库表数量在300以内； (3)控制列数量    字段少而精，字段数建议在20以内
  • Shell test命令 daizj shell字符串test数字文件比较
    Shell test命令 Shell中的 test 命令用于检查某个条件是否成立，它可以进行数值、字符和文件三个方面的测试。 数值测试 参数 说明 -eq 等于则为真 -ne 不等于则为真 -gt 大于则为真 -ge 大于等于则为真 -lt 小于则为真 -le 小于等于则为真 实例演示： num1=100 num2=100if test $[num1]
  • XFire框架实现WebService(二) 周凡杨 javawebservice
       有了XFire框架实现WebService(一)，就可以继续开发WebService的简单应用。 Webservice的服务端(WEB工程)： 两个java bean类： Course.java    package cn.com.bean; public class Course {     private
  • 重绘之画图板 朱辉辉33 画图板
           上次博客讲的五子棋重绘比较简单，因为只要在重写系统重绘方法paint（）时加入棋盘和棋子的绘制。这次我想说说画图板的重绘。        画图板重绘难在需要重绘的类型很多，比如说里面有矩形，园，直线之类的，所以我们要想办法将里面的图形加入一个队列中，这样在重绘时就
  • Java的IO流 西蜀石兰 java
    刚学Java的IO流时，被各种inputStream流弄的很迷糊，看老罗视频时说想象成插在文件上的一根管道，当初听时觉得自己很明白，可到自己用时，有不知道怎么代码了。。。 每当遇到这种问题时，我习惯性的从头开始理逻辑，会问自己一些很简单的问题，把这些简单的问题想明白了，再看代码时才不会迷糊。 IO流作用是什么？ 答：实现对文件的读写，这里的文件是广义的； Java如何实现程序到文件
  • No matching PlatformTransactionManager bean found for qualifier 'add' - neither 林鹤霄
    java.lang.IllegalStateException: No matching PlatformTransactionManager bean found for qualifier 'add' - neither qualifier match nor bean name match!   网上找了好多的资料没能解决，后来发现：项目中使用的是xml配置的方式配置事务，但是
  • Row size too large (> 8126). Changing some columns to TEXT or BLOB aigo column
    原文：http://stackoverflow.com/questions/15585602/change-limit-for-mysql-row-size-too-large   异常信息： Row size too large (> 8126). Changing some columns to TEXT or BLOB or using ROW_FORMAT=DYNAM
  • JS 格式化时间 alxw4616 JavaScript
    /** * 格式化时间 2013/6/13 by 半仙 [email protected] * 需要 pad 函数 * 接收可用的时间值. * 返回替换时间占位符后的字符串 * * 时间占位符:年 Y 月 M 日 D 小时 h 分 m 秒 s 重复次数表示占位数 * 如 YYYY 4占4位 YY 占2位<p></p> * MM DD hh mm
  • 队列中数据的移除问题 百合不是茶 队列移除
         队列的移除一般都是使用的remov();都可以移除的,但是在昨天做线程移除的时候出现了点问题,没有将遍历出来的全部移除,  代码如下;      // package com.Thread0715.com; import java.util.ArrayList; public class Threa
  • Runnable接口使用实例 bijian1013 javathreadRunnablejava多线程
    Runnable接口 a.       该接口只有一个方法：public void run(); b.       实现该接口的类必须覆盖该run方法 c.       实现了Runnable接口的类并不具有任何天
  • oracle里的extend详解 bijian1013 oracle数据库extend
    扩展已知的数组空间，例： DECLARE TYPE CourseList IS TABLE OF VARCHAR2(10); courses CourseList; BEGIN -- 初始化数组元素，大小为3 courses := CourseList('Biol 4412 ', 'Psyc 3112 ', 'Anth 3001 '); --
  • 【httpclient】httpclient发送表单POST请求 bit1129 httpclient
    浏览器Form Post请求 浏览器可以通过提交表单的方式向服务器发起POST请求，这种形式的POST请求不同于一般的POST请求 1. 一般的POST请求，将请求数据放置于请求体中，服务器端以二进制流的方式读取数据，HttpServletRequest.getInputStream()。这种方式的请求可以处理任意数据形式的POST请求，比如请求数据是字符串或者是二进制数据 2. Form
  • 【Hive十三】Hive读写Avro格式的数据 bit1129 hive
     1. 原始数据 hive> select * from word; OK 1 MSN 10 QQ 100 Gtalk 1000 Skype      2. 创建avro格式的数据表   hive> CREATE TABLE avro_table(age INT, name STRING)STORE
  • nginx+lua+redis自动识别封解禁频繁访问IP ronin47
    在站点遇到攻击且无明显攻击特征，造成站点访问慢，nginx不断返回502等错误时，可利用nginx+lua+redis实现在指定的时间段 内，若单IP的请求量达到指定的数量后对该IP进行封禁，nginx返回403禁止访问。利用redis的expire命令设置封禁IP的过期时间达到在 指定的封禁时间后实行自动解封的目的。 一、安装环境： CentOS x64 release 6.4(Fin
  • java-二叉树的遍历-先序、中序、后序（递归和非递归）、层次遍历 bylijinnan java
    import java.util.LinkedList; import java.util.List; import java.util.Stack; public class BinTreeTraverse { //private int[] array={ 1, 2, 3, 4, 5, 6, 7, 8, 9 }; private int[] array={ 10,6,
  • Spring源码学习-XML 配置方式的IoC容器启动过程分析 bylijinnan javaspringIOC
    以FileSystemXmlApplicationContext为例，把Spring IoC容器的初始化流程走一遍： ApplicationContext context = new FileSystemXmlApplicationContext ("C:/Users/ZARA/workspace/HelloSpring/src/Beans.xml&q
  • [科研与项目]民营企业请慎重参与军事科技工程 comsci 企业
         军事科研工程和项目 并非要用最先进，最时髦的技术，而是要做到“万无一失”    而民营科技企业在搞科技创新工程的时候，往往考虑的是技术的先进性，而对先进技术带来的风险考虑得不够，在今天提倡军民融合发展的大环境下，这种“万无一失”和“时髦性”的矛盾会日益凸显。。。。。。所以请大家在参与任何重大的军事和政府项目之前，对
  • spring 定时器-两种方式 cuityang springquartz定时器
    方式一： 间隔一定时间 运行 <bean id="updateSessionIdTask" class="com.yang.iprms.common.UpdateSessionTask" autowire="byName" /> <bean id="updateSessionIdSchedule
  • 简述一下关于BroadView站点的相关设计 damoqiongqiu view
    终于弄上线了，累趴，戳这里http://www.broadview.com.cn   简述一下相关的技术点   前端：jQuery+BootStrap3.2+HandleBars，全站Ajax（貌似对SEO的影响很大啊！怎么破？），用Grunt对全部JS做了压缩处理，对部分JS和CSS做了合并（模块间存在很多依赖，全部合并比较繁琐，待完善）。   后端：U
  • 运维 PHP问题汇总 dcj3sjt126com windows2003
    1、Dede(织梦)发表文章时,内容自动添加关键字显示空白页 解决方法： 后台>系统>系统基本参数>核心设置>关键字替换（是/否），这里选择“是”。 后台>系统>系统基本参数>其他选项>自动提取关键字，这里选择“是”。   2、解决PHP168超级管理员上传图片提示你的空间不足 网站是用PHP168做的，反映使用管理员在后台无法
  • mac 下 安装php扩展 - mcrypt dcj3sjt126com PHP
    MCrypt是一个功能强大的加密算法扩展库，它包括有22种算法，phpMyAdmin依赖这个PHP扩展，具体如下： 下载并解压libmcrypt-2.5.8.tar.gz。 在终端执行如下命令： tar zxvf libmcrypt-2.5.8.tar.gz cd libmcrypt-2.5.8/ ./configure --disable-posix-threads --
  • MongoDB更新文档 [四] eksliang mongodbMongodb更新文档
    MongoDB更新文档 转载请出自出处：http://eksliang.iteye.com/blog/2174104 MongoDB对文档的CURD，前面的博客简单介绍了，但是对文档更新篇幅比较大，所以这里单独拿出来。 语法结构如下： db.collection.update( criteria, objNew, upsert, multi) 参数含义 参数   
  • Linux下的解压，移除，复制，查看tomcat命令 y806839048 tomcat
    重复myeclipse生成webservice有问题删除以前的，干净 1、先切换到：cd usr/local/tomcat5/logs 2、tail -f catalina.out 3、这样运行时就可以实时查看运行日志了 Ctrl+c 是退出tail命令。 有问题不明的先注掉   cp /opt/tomcat-6.0.44/webapps/g
  • Spring之使用事务缘由(3-XML实现) ihuning spring
      用事务通知声明式地管理事务   事务管理是一种横切关注点。为了在 Spring 2.x 中启用声明式事务管理，可以通过 tx Schema 中定义的 <tx:advice> 元素声明事务通知，为此必须事先将这个 Schema 定义添加到 <beans> 根元素中去。声明了事务通知后，就需要将它与切入点关联起来。由于事务通知是在 <aop:
  • GCD使用经验与技巧浅谈 啸笑天 GC
    前言 GCD(Grand Central Dispatch)可以说是Mac、iOS开发中的一大“利器”，本文就总结一些有关使用GCD的经验与技巧。 dispatch_once_t必须是全局或static变量 这一条算是“老生常谈”了，但我认为还是有必要强调一次，毕竟非全局或非static的dispatch_once_t变量在使用时会导致非常不好排查的bug，正确的如下： 1
  • linux（Ubuntu）下常用命令备忘录1 macroli linux工作ubuntu
    在使用下面的命令是可以通过--help来获取更多的信息1,查询当前目录文件列表：ls ls命令默认状态下将按首字母升序列出你当前文件夹下面的所有内容，但这样直接运行所得到的信息也是比较少的，通常它可以结合以下这些参数运行以查询更多的信息：  ls / 显示/.下的所有文件和目录  ls -l 给出文件或者文件夹的详细信息 ls -a 显示所有文件，包括隐藏文
  • nodejs同步操作mysql qiaolevip 学习永无止境每天进步一点点mysqlnodejs
    // db-util.js var mysql = require('mysql'); var pool = mysql.createPool({ connectionLimit : 10, host: 'localhost', user: 'root', password: '', database: 'test', port: 3306 });
  • 一起学Hive系列文章 superlxw1234 hiveHive入门
      [一起学Hive]系列文章 目录贴，入门Hive，持续更新中。   [一起学Hive]之一—Hive概述，Hive是什么 [一起学Hive]之二—Hive函数大全-完整版 [一起学Hive]之三—Hive中的数据库(Database)和表(Table) [一起学Hive]之四-Hive的安装配置 [一起学Hive]之五-Hive的视图和分区 [一起学Hive
  • Spring开发利器：Spring Tool Suite 3.7.0 发布 wiselyman spring
    Spring Tool Suite(简称STS)是基于Eclipse，专门针对Spring开发者提供大量的便捷功能的优秀开发工具。   在3.7.0版本主要做了如下的更新：   将eclipse版本更新至Eclipse Mars 4.5 GA Spring Boot(JavaEE开发的颠覆者集大成者，推荐大家学习)的配置语言YAML编辑器的支持(包含自动提示，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他