dhe8356
dhe8356

Java下HttpUnit和Jsoup的Http抓取

简单记录下：搜集信息-分析问题-解决问题

 

关于html文档的操作现成库有：

  • HttpUnit 很老了，不更了 http://www.httpunit.org/  20 May 2008 HttpUnit 1.7 released
  • Jsoup 还更新 http://jsoup.org/
  • htmlunit http://htmlunit.sourceforge.net/
  • selenium WebDriver 带有HttpUnit 
  • Phantomjs 截图

 等。。。

 

抓取xiami网的音乐漫游列表和热度排名，下载链接，在播放界面（第二截图），通过开发者工具的网络面板可以看到ajax请求列表和一个几m的文件。

java原版jsoup和c#版nsoup，就可以了：返回值分html和json。

  • 默认列表请求格式，json数据：

  http://www.xiami.com/song/playlist-default/cat/json 

返回的json需要转码。

 

  • 下载请求链接格式，流数据：
   http://m5.file.xiami.com/{artist_id}/{artist_id}/{album_id}/{song_id}_{unkown_number}_{[hl]}.mp3?auth_key={unkown_hash_code_with_length_32}-{current_Time_Millis/1000}-0-null

 其中{artist_id}为对应id，第一个{artist_id}暂时发现4位时会截断为3位。

由于还未找到代码{unkown_number}和{unkown_hash_code_with_length_32}（可能为md5，32位，和时间秒数有关）未知；同一首歌曲auth_key不同，因为时间不同嘛。

  • 获取漫游列表请求 ，json数据：

http://www.xiami.com/play/get-manyou-song?song_id={song_id}

  • 演唱者请求，静态网页数据：

http://www.xiami.com/artist/{artist_d}

 

 Java下HttpUnit和Jsoup的Http抓取_第1张图片

 

Java下HttpUnit和Jsoup的Http抓取_第2张图片

 

Java下HttpUnit和Jsoup的Http抓取_第3张图片

Java下HttpUnit和Jsoup的Http抓取_第4张图片

Java下HttpUnit和Jsoup的Http抓取_第5张图片

 

Java下HttpUnit和Jsoup的Http抓取_第6张图片

 

Java下HttpUnit和Jsoup的Http抓取_第7张图片

 

Java下HttpUnit和Jsoup的Http抓取_第8张图片

 

C# 写的 wpf界面展示

 

 

代码片段记录

    /**
     * 
 

     * 
 
Movie Star
 
http://www.xiami.com/artist/1294715676" target="_blank" title="JTR">JTR
 
http://www.xiami.com/album/1794716293"
     * target="_blank" title="Touchdown">Touchdown

     */
    public static void xiamiRoamTest(String song_id) throws IOException, SAXException {
        System.out.println("向服务器发送数据，然后获取网页内容：");
        WebConversation wc = new WebConversation();
        HttpUnitOptions.setExceptionsThrownOnScriptError(false);// js运行错误时，是否抛出异常

        //http://www.xiami.com/play/get-manyou-song?song_id=1773737813&_ksTS=1434841673746_1939&callback=jsonp1940
        WebRequest req = new GetMethodWebRequest("http://www.xiami.com/play/get-manyou-song");
        req.setParameter("song_id", song_id);
        //req.setParameter("_ksTS", "1434841673746_1939");

        //歌曲（名）title
        //jsonRow.get("title")

        //演唱者artist
        //"http://www.xiami.com/artist/"+ jsonRow.get("artist_id")
        //演唱者album_name
        //"http://www.xiami.com/album/"+ jsonRow.get("album_id")

        //获取响应对象
        WebResponse resp = wc.getResponse(req);

        if ("application/json".equals(resp.getContentType())) {
            String jsonText = resp.getText();
            JSONObject jsonResult = (JSONObject) JSONValue.parse(jsonText);
            JSONArray jsonData = (JSONArray) jsonResult.get("data");
            int count = jsonData.size();
            for (int idex = 0; idex < count; idex++) {
                JSONObject jsonRow = (JSONObject) jsonData.get(idex);
                if (0 == idex) {
                    outCsvLine(jsonRow.keySet(), System.out);
                }
                outCsvLine(jsonRow.values(), System.out);
            }
        }

        //String jsonText= resp.getText();
        //System.out.println(jsonText);
        System.out.println("页面加载调用完成 : " + resp.getURL());
    }

    public static void outCsvLine(Collection collection, Appendable appendable) throws IOException {
        boolean isFirst = true;
        for (Object col : collection) {
            if (isFirst) {
                isFirst = false;
            } else {
                appendable.append(',');
            }
            appendable.append(String.valueOf(col));
        }
        appendable.append('\n');
    }

    public static void xiamiCrawArtistlTest(String artist_id) throws Exception {
        //HttpUnit
        System.out.println("向服务器发送数据，然后获取网页内容：");
        //建立一个WebConversation实例
        WebConversation wc = new WebConversation();
        //wc.setExceptionsThrownOnErrorStatus(false);
        //向指定的URL发出请求
        //http://www.xiami.com/play?ids=/song/playlist/id/1316821699/type/1#loaded
        //"http://www.xiami.com/artist/62500?spm=a1z1s.7154410.1996860241.133.9mIf7i"
        WebRequest req = new GetMethodWebRequest("http://www.xiami.com/artist/" + artist_id);
        HttpUnitOptions.setExceptionsThrownOnScriptError(false);// js运行错误时，是否抛出异常

        //动态加载的文件在这里处理，如标签里引用外部javascript和stylesheet    
        wc.addClientListener(new WebClientListener() {

            public void requestSent(WebClient webclient, WebRequest webrequest) {

                try {
                    System.out.println("WebClientListener.requestSent() " + webrequest.getURL());
                } catch (MalformedURLException e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }

            }

            public void responseReceived(WebClient webclient, WebResponse webresponse) {
                //                FileOutputStream fos;
                //                try {
                //                    fos = new FileOutputStream(new File(webresponse.getURL().getPath()).getName());
                //                    IoUtil.copyLarge(webresponse.getInputStream(), fos, 0, -1, new byte[8192]);
                //                    fos.close();
                //                } catch (FileNotFoundException e) {
                //                    // TODO Auto-generated catch block
                //                    e.printStackTrace();
                //                } catch (IOException e) {
                //                    // TODO Auto-generated catch block
                //                    e.printStackTrace();
                //                }

                System.out.println("WebClientListener.responseReceived() " + webresponse.getURL());

            }

        });

        wc.addWindowListener(new WebWindowListener() {

            public void windowOpened(WebClient webclient, WebWindow webwindow) {
                System.out.println("WebWindowListener.windowOpened(" + webclient + ", " + webwindow + ")");
            }

            public void windowClosed(WebClient webclient, WebWindow webwindow) {
                System.out.println("WebWindowListener.windowOpened(" + webclient + ", " + webwindow + ")");
            }

        });

        //获取响应对象
        WebResponse resp = wc.getResponse(req);
        //System.out.println("getExternalStyleSheet : " + resp.getExternalStyleSheet());
        //System.out.println("getScriptableObject.getURL : " + resp.getScriptableObject().getURL());

        //由带有好的选择器的Jsoup（侧重于静态文档流）解析HttpUnit（支持动态的文档，但不提供好的选择器）请求的结果。
        Document jpDoc = Jsoup.parse(resp.getInputStream(), resp.getCharacterSet(), resp.getURL().getHost());
        Elements jpTables = jpDoc.select("#artist_trends TABLE.track_list");
        Element jpTable = jpTables.get(0);
        jpTable.select(".song_name");
        Elements jpTRs = jpTable.getElementsByTag("tr");

        //解析类似这样的结果：
        // Super Mario Bros. - Small Mario Jump  
        //5440892 
        //  

        java.lang.String[] cells = new String[] { "song_name", "song_id", "song_hot", "song_hot_percent" };
        System.out.println(Arrays.toString(cells));

        for (int i = 0; i < jpTRs.size(); i++) {
            Element jpTR = jpTRs.get(i);
            Elements jpAs = jpTR.select("td.song_name a");
            if (null != jpAs && 0 < jpAs.size()) {
                cells[0] = jpAs.get(0).attr("href");
                cells[1] = jpAs.get(0).text();
            }
            Elements jpTDs = jpTR.select("td.song_hot");
            if (null != jpTDs && 0 < jpTDs.size()) {
                cells[2] = jpTDs.get(0).text();
            }
            Elements jpSPANs = jpTR.select("td.song_hot_bar>span");
            if (null != jpSPANs && 0 < jpSPANs.size()) {
                cells[3] = jpSPANs.get(0).attr("style");
            }
            System.out.println(Arrays.toString(cells));
        }

        //拷贝整个页面
        FileOutputStream fos = new FileOutputStream("xiami.html");
        IoUtil.copyLarge(resp.getInputStream(), fos, 0, -1, new byte[8192]);
        fos.close();

        System.out.println("Finished : " + resp.getURL());
    }

 

 

关于html的操作还有的现成库有：

jsdom

 https://github.com/princehaku/pyrailgun

JAVA爬虫 WebCollector

 Java Nutch 搜索

基于 Selenium WebDriver 实现多语言环境下自动化截图

 c++ larbin-2.6.3.tar

中文

 

import java.io.IOException;
import java.io.PrintWriter;

import javax.servlet.ServletException;
import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;

import junit.framework.Assert;

import org.xml.sax.SAXException;

import com.meterware.httpunit.GetMethodWebRequest;
import com.meterware.httpunit.HTMLElement;
import com.meterware.httpunit.PostMethodWebRequest;
import com.meterware.httpunit.WebConversation;
import com.meterware.httpunit.WebForm;
import com.meterware.httpunit.WebLink;
import com.meterware.httpunit.WebRequest;
import com.meterware.httpunit.WebResponse;
import com.meterware.httpunit.WebTable;
import com.meterware.servletunit.InvocationContext;
import com.meterware.servletunit.ServletRunner;
import com.meterware.servletunit.ServletUnitClient;

/**
 * 
内容摘要

 * 

 * HttpUnit是一个集成测试工具，主要关注Web应用的测试，提供的帮助类让测试者可以通过Java类和服务器进行交互，并且将服务器端的响应当作文本或者DOM对象进行处理。

 * HttpUnit还提供了一个模拟Servlet容器，让你可以不需要发布Servlet，就可以对Servlet的内部代码进行测试。本文中作者将详细的介绍如何使用HttpUnit提供的类完成集成测试
 * 。
 * 

 * 
1 HttpUnit简介

 * 

 * HttpUnit是SourceForge下面的一个开源项目，它是基于JUnit的一个测试框架，主要关注于测试Web应用，解决使用JUnit框架无法对远程Web内容进行测试的弊端。

 * 当前的最新版本是1.5.4。为了让HtpUnit正常运行，你应该安装JDK1.3.1或者以上版本。
 * 

 * 
1.1 工作原理

 * HttpUnit通过模拟浏览器的行为，处理页面框架（frames）,cookies,页面跳转（redirects）等。通过HttpUnit提供的功能，你可以和服务器端进行信息交互，
 * 将返回的网页内容作为普通文本、XML Dom对象或者是作为链接、页面框架、图像、表单、表格等的集合进行处理，然后使用JUnit框架进行测试，还可以导向一个新的页面，然后进行新页面的处理，
 * 这个功能使你可以处理一组在一个操作链中的页面。 
1.2 和其他商业工具的对比

 * 商业工具一般使用记录、回放的功能来实现测试，但是这里有个缺陷，就是当页面设计被修改以后，这些被记录的行为就不能重用了，需要重新录制才能继续测试。
 * 

 * 举个例子：如果页面上有个元素最先的设计是采用单选框，这个时候你开始测试，那么这些工具记录的就是你的单项选择动作，但是如果你的设计发生了变化，比如说我改成了下拉选择，或者使用文本框接受用户输入，
 * 这时候，你以前录制的测试过程就无效了，必须要重新录制。
 * 

 * 而HttpUnit因为关注点是这些控件的内容，所以不管你的外在表现形式如何变化，都不影响你已确定测试的可重用性。
 * 

 * 更多的关于httpunit的信息请访问httpunit的主页http://httpunit.sourceforge.net
 * 

 * 
如何使用httpunit处理页面的内容
 WebConversation类是HttpUnit框架中最重要的类，它用于模拟浏览器的行为。其他几个重要的类是：
 * 
    
 * 
  • WebRequest类，模仿客户请求，通过它可以向服务器发送信息。
    • 
 * 
  • WebResponse类，模拟浏览器获取服务器端的响应信息。
    • 
 * 

 * 
 * @author Sansan
 * @see http://www.blogjava.net/relax/archive/2005/01/27/743.html
 */
public class JHttpUnitTest {
    public static void main(String[] args) {
        testWithException();
    }

    public static void testWithException() {
        try {
            httpGetBaidu();
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (SAXException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }

    public static void httpGetBaidu() throws IOException, SAXException {
        //通过Get方法访问页面并且加入参数

        System.out.println("向服务器发送数据，然后获取网页内容：");
        //建立一个WebConversation实例
        WebConversation wc = new WebConversation();
        wc.setExceptionsThrownOnErrorStatus(false);
        //向指定的URL发出请求
        WebRequest req = new GetMethodWebRequest("http://www.baidu.com");
        //获取响应对象
        WebResponse resp = wc.getResponse(req);
        //获得页面链接对象
        HTMLElement searchInput = resp.getElementWithID("kw");
        searchInput.setAttribute("value", "HttpUnit");
        HTMLElement searchButton = resp.getElementWithID("su");
        //模拟用户单击事件 
        searchButton.handleEvent("click");
        //获得当前的响应对象
        WebResponse nextLink = wc.getCurrentPage();

        //用getText方法获取相应的全部内容
        //用System.out.println将获取的内容打印在控制台上
        System.out.println(resp.getText());
    }

    //4.1  获取指定页面的内容

    /**
     * 4.1.1 直接获取页面内容
     * 
     * @throws IOException
     * @throws SAXException
     */
    public static void httpGetExample() throws IOException, SAXException {
        //通过Get方法访问页面并且加入参数

        System.out.println("向服务器发送数据，然后获取网页内容：");
        //建立一个WebConversation实例
        WebConversation wc = new WebConversation();
        //向指定的URL发出请求
        WebRequest req = new GetMethodWebRequest("http://localhost:6888/HelloWorld.jsp");
        //给请求加上参数  
        req.setParameter("username", "姓名");
        //获取响应对象
        WebResponse resp = wc.getResponse(req);
        //用getText方法获取相应的全部内容
        //用System.out.println将获取的内容打印在控制台上
        System.out.println(resp.getText());
    }

    /**
     * 4.1.2 通过Get方法访问页面并且加入参数
     * 
     * @throws IOException
     * @throws SAXException
     */
    public static void httpPostExample() throws IOException, SAXException {
        //通过Post方法访问页面并且加入参数

        System.out.println("使用Post方式向服务器发送数据，然后获取网页内容：");
        //建立一个WebConversation实例
        WebConversation wc = new WebConversation();
        //向指定的URL发出请求
        WebRequest req = new PostMethodWebRequest("http://localhost:6888/HelloWorld.jsp");
        //给请求加上参数  
        req.setParameter("username", "姓名");
        //获取响应对象
        WebResponse resp = wc.getResponse(req);

        //用getText方法获取相应的全部内容
        //用System.out.println将获取的内容打印在控制台上
        System.out.println(resp.getText());
    }

    /**
     * 4.1.3 通过Post方法访问页面并且加入参数
     * 
     * @throws IOException
     * @throws SAXException
     */
    public static void httpAndHandleElement() throws IOException, SAXException {
        //处理页面中的链接
        //这里的演示是找到页面中的某一个链接，然后模拟用户的单机行为，获得它指向文件的内容。比如在我的页面HelloWorld.html中有一个链接，它显示的内容是TestLink，它指向我另一个页面TestLink.htm. TestLink.htm里面只显示TestLink.html几个字符。

        System.out.println("获取页面中链接指向页面的内容：");
        //建立一个WebConversation实例
        WebConversation wc = new WebConversation();
        //获取响应对象
        WebResponse resp = wc.getResponse("http://localhost:6888/HelloWorld.html");
        //获得页面链接对象
        WebLink link = resp.getLinkWith("TestLink");
        //模拟用户单击事件 
        link.click();
        //获得当前的响应对象
        WebResponse nextLink = wc.getCurrentPage();

        //用getText方法获取相应的全部内容
        //用System.out.println将获取的内容打印在控制台上
        System.out.println(nextLink.getText());
    }

    /**
     * 4.2 处理页面中的链接
     * 
     * @throws IOException
     * @throws SAXException
     */
    public static void httpAndHandleLink() throws IOException, SAXException {
        //这里的演示是找到页面中的某一个链接，然后模拟用户的单机行为，获得它指向文件的内容。
        //比如在我的页面HelloWorld.html中有一个链接，它显示的内容是TestLink，它指向我另一个页面TestLink.htm. 
        //TestLink.htm里面只显示TestLink.html几个字符。

        System.out.println("获取页面中链接指向页面的内容：");
        //建立一个WebConversation实例
        WebConversation wc = new WebConversation();
        //获取响应对象
        WebResponse resp = wc.getResponse("http://localhost:6888/HelloWorld.html");
        //获得页面链接对象
        WebLink link = resp.getLinkWith("TestLink");
        //模拟用户单击事件 
        link.click();
        //获得当前的响应对象
        WebResponse nextLink = wc.getCurrentPage();

        //用getText方法获取相应的全部内容
        //用System.out.println将获取的内容打印在控制台上
        System.out.println(nextLink.getText());
    }

    /**
     * 4.3 处理页面中的表格
     * 
     * @throws IOException
     * @throws SAXException
     */
    public static void httpAndHandleTable() throws IOException, SAXException {
        //表格是用来控制页面显示的常规对象，在HttpUnit中使用数组来处理页面中的多个表格，你可以用resp.getTables()方法获取页面所有的表格对象。他们依照出现在页面中的顺序保存在一个数组里面。
        //[注意] Java中数组下标是从0开始的，所以取第一个表格应该是resp.getTables()[0]，其他以此类推。
        //下面的例子演示如何从页面中取出第一个表格的内容并且将他们循环显示出来：

        System.out.println("获取页面中表格的内容：");
        //建立一个WebConversation实例
        WebConversation wc = new WebConversation();
        //获取响应对象
        WebResponse resp = wc.getResponse("http://localhost:6888/HelloWorld.html");
        //获得对应的表格对象
        WebTable webTable = resp.getTables()[0];
        //将表格对象的内容传递给字符串数组
        String[][] datas = webTable.asText();
        //循环显示表格内容
        int i = 0, j = 0;
        int m = datas[0].length;
        int n = datas.length;
        while (i < n) {
            j = 0;
            while (j < m) {
                System.out.println("表格中第" + (i + 1) + "行第" + (j + 1) + "列的内容是：" + datas[i][j]);
                ++j;
            }
            ++i;
        }
    }

    /**
     * 4.4 处理页面中的表单
     * 
     * @throws IOException
     * @throws SAXException
     */
    public static void httpAndHandleForm() throws IOException, SAXException {
        //表单是用来接受用户输入，也可以向用户显示用户已输入信息（如需要用户修改数据时，通常会显示他以前输入过的信息），
        //在HttpUnit中使用数组来处理页面中的多个表单，你可以用resp.getForms()方法获取页面所有的表单对象。他们依照出现在页面中的顺序保存在一个数组里面。
        //[注意] Java中数组下标是从0开始的，所以取第一个表单应该是resp.getForms()[0]，其他以此类推。
        //下面的例子演示如何从页面中取出第一个表单的内容并且将他们循环显示出来：

        System.out.println("获取页面中表单的内容：");
        //建立一个WebConversation实例
        WebConversation wc = new WebConversation();
        //获取响应对象
        WebResponse resp = wc.getResponse("http://localhost:6888/HelloWorld.html");
        //获得对应的表单对象
        WebForm webForm = resp.getForms()[0];
        //获得表单中所有控件的名字
        String[] pNames = webForm.getParameterNames();
        int i = 0;
        int m = pNames.length;
        //循环显示表单中所有控件的内容
        while (i < m) {
            System.out.println("第" + (i + 1) + "个控件的名字是" + pNames[i] + "，里面的内容是" + webForm.getParameterValue(pNames[i]));
            ++i;
        }
    }

    //5  如何使用httpunit进行测试

    /**
     * 5.1 对页面内容进行测试
     * 
     * @throws IOException
     * @throws SAXException
     */
    public static void httpAndDoWebContent() throws IOException, SAXException {
        //5.1  对页面内容进行测试
        //httpunit中的这部分测试完全采用了JUnit的测试方法，即直接将你期望的结果和页面中的输出内容进行比较。不过这里的测试就简单多了，只是字符串和字符串的比较。
        //比如你期望中的页面显示是中有一个表格，它是页面中的第一个表格，而且他的第一行第一列的数据应该是显示username，那么你可以使用下面的代码进行自动化测试：

        System.out.println("获取页面中表格的内容并且进行测试：");
        //建立一个WebConversation实例
        WebConversation wc = new WebConversation();
        //获取响应对象
        WebResponse resp = wc.getResponse("http://localhost:6888/TableTest.html");
        //获得对应的表格对象
        WebTable webTable = resp.getTables()[0];
        //将表格对象的内容传递给字符串数组
        String[][] datas = webTable.asText();
        //对表格内容进行测试
        String expect = "中文";
        Assert.assertEquals(expect, datas[0][0]);
    }

    /*
     * 5.2 对Servlet进行测试
     * 
     * 除了对页面内容进行测试外，有时候（比如开发复杂的Servlets的时候），你需要对Servlet本身的代码块进行测试，这时候你可以选择HttpUnit，它可以提供一个模拟的Servlet容器
     * ，让你的Servlet代码不需要发布到Servlet容器（如tomcat）就可以直接测试。
     * 
     * 5.2.1 原理简介
     * 
     * 使用httpunit测试Servlet时，请创建一个ServletRunner的实例，他负责模拟Servlet容器环境。如果你只是测试一个Servlet,
     * 你可以直接使用registerServlet方法注册这个Servlet
     * ，如果需要配置多个Servlet，你可以编写自己的web.xml，然后在初始化ServletRunner的时候将它的位置作为参数传给ServletRunner的构造器。
     * 
     * 在测试Servlet时，应该记得使用ServletUnitClient类作为客户端，他和前面用过的WebConversation差不多，都继承自WebClient，所以他们的调用方式基本一致
     * 。要注意的差别是，在使用ServletUnitClient时，他会忽略URL中的主机地址信息，而是直接指向他的ServletRunner实现的模拟环境。
     */

    /*
     * 5.2.2 简单测试
     * 
     * 本实例只是演示如何简单的访问Servlet并且获取他的输出信息，例子中的Servlet在接到用户请求的时候只是返回一串简单的字符串：Hello World!.
     */

    //5.2.2.1. Servlet的代码如下：

    public static class MyServlet extends HttpServlet {
        //1. Servlet的代码如下：
        public void service(HttpServletRequest req, HttpServletResponse resp) throws IOException {
            PrintWriter out = resp.getWriter();
            //向浏览器中写一个字符串Hello World!
            out.println("Hello World!");
            out.close();
        }
    }

    //5.2.2.2. 测试的调用代码如下：
    public static void httpServletExmaple() throws IOException, SAXException {
        //2. 测试的调用代码如下：

        //创建Servlet的运行环境
        ServletRunner sr = new ServletRunner();
        //向环境中注册Servlet
        sr.registerServlet("myServlet", MyServlet.class.getName());
        //创建访问Servlet的客户端
        ServletUnitClient sc = sr.newClient();
        //发送请求
        WebRequest request = new GetMethodWebRequest("http://localhost/myServlet");
        //获得模拟服务器的信息
        WebResponse response = sc.getResponse(request);
        //将获得的结果打印到控制台上
        System.out.println(response.getText());
    }

    /*
     * 5.2.3 测试Servlet的内部行为
     * 对于开发者来说，仅仅测试请求和返回信息是不够的，所以HttpUnit提供的ServletRunner模拟器可以让你对被调用Servlet内部的行为进行测试
     * 。和简单测试中不同，这里使用了InvocationContext获得该Servlet的环境
     * ，然后你可以通过InvocationContext对象针对request、response等对象或者是该Servlet的内部行为（非服务方法）进行操作。
     * 
     * 下面的代码演示了如何使用HttpUnit模拟Servlet容器，并且通过InvocationContext对象，测试Servlet内部行为的大部分工作，比如控制request、session
     * 、response等。
     */

    //5.2.2.2. 测试的调用代码如下：

    public static class InternalServlet extends HttpServlet {
        //1. Servlet的代码如下：
        public void service(HttpServletRequest req, HttpServletResponse resp) throws IOException {
            PrintWriter out = resp.getWriter();
            //向浏览器中写一个字符串Hello World!
            out.println("Hello World!");
            out.close();
        }

        public void myMethod() {
            System.out.println("InternalServlet.myMethod()");
        }
    }

    /**
     * [注意]
     * 
     * 在测试Servlet的之前，你必须通过InvocationContext完成Servlet中的service方法中完成的工作，
     * 因为通过newInvocation方法获取InvocationContext实例的时候该方法并没有被调用。
     * 
     * @throws IOException
     * @throws SAXException
     * @throws ServletException
     */
    public static void httpServletExmaple2() throws IOException, SAXException, ServletException {
        //创建Servlet的运行环境
        ServletRunner sr = new ServletRunner();
        //向环境中注册Servlet
        sr.registerServlet("InternalServlet", InternalServlet.class.getName());
        //创建访问Servlet的客户端
        ServletUnitClient sc = sr.newClient();

        //发送请求
        WebRequest request = new GetMethodWebRequest("http://localhost/InternalServlet");
        request.setParameter("pwd", "pwd");
        //获得该请求的上下文环境
        InvocationContext ic = sc.newInvocation(request);

        //调用Servlet的非服务方法
        InternalServlet is = (InternalServlet) ic.getServlet();
        is.myMethod();

        //直接通过上下文获得request对象
        System.out.println("request中获取的内容：" + ic.getRequest().getParameter("pwd"));

        //直接通过上下文获得response对象,并且向客户端输出信息
        ic.getResponse().getWriter().write("haha");

        //直接通过上下文获得session对象，控制session对象
        //给session赋值
        ic.getRequest().getSession().setAttribute("username", "timeson");
        //获取session的值
        System.out.println("session中的值：" + ic.getRequest().getSession().getAttribute("username"));

        //使用客户端获取返回信息，并且打印出来
        WebResponse response = ic.getServletResponse();
        System.out.println(response.getText());
    }

    /*
     * 6 总结
     * 
     * 本文中，作者详细的演示和介绍了如何使用HttpUnit提供的类来进行集成测试，主要实现以下操作：
     * 
     * 1. 模拟用户行为向服务器发送请求，传递参数
     * 
     * 2. 模拟用户接受服务器的响应信息，并且通过辅助类分析这些响应信息，结合JUnit框架进行测试
     * 
     * 3. 使用HttpUnit提供的模拟Servler容器,测试开发中的Servlet的内部行为
     */
}
HttpUnit摘录

 

import java.io.FileWriter;
import java.io.IOException;
import java.net.URL;

import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.WebRequest;
import com.gargoylesoftware.htmlunit.html.HtmlPage;

public class HtmlUnit {

    /**
     * 说明：
     * 
     * 　　1，htmlunit运行过程中会抛出很多很多异常，得有心理准备。哈哈。
     * 
     * 　　2，对于变态网页，有时候用htmlunit还是不能得到完整的正确的内容，但是得到大概正确的内容是没压力的，下面就是用Jsoup之类的东西来抽取了。
     * 
     * 　　3，htmlunit很强大，有很多值得研究的空间。
     * 
     * 
     * WebClient wc = new WebClient();
     * HtmlPage page = (HtmlPage) wc.getPage("http://www.google.com");
     * HtmlForm form = page.getFormByName("f");
     * HtmlSubmitInput button = (HtmlSubmitInput) form.getInputByName("btnG");
     * HtmlPage page2 = (HtmlPage) button.click();
     * 

     * 
     * @param args
     * @throws FailingHttpStatusCodeException
     * @throws IOException
     */
    public static void main(String[] args) throws FailingHttpStatusCodeException, IOException {
        String url = "http://www.xiami.com/play?ids=/song/playlist/id/1/type/9";//想采集的网址
        String refer = "http://www.xiami.com/play";

        URL link = new URL(url);
        WebClient wc = new WebClient();
        WebRequest request = new WebRequest(link);

        request.setCharset("UTF-8");
        //request.setProxyHost("120.120.120.x");
        //request.setProxyPort(8080);
        request.setAdditionalHeader("Referer", refer);//设置请求报文头里的refer字段

        设置请求报文头里的User-Agent字段
        request.setAdditionalHeader("User-Agent", "Mozilla/5.0 (Windows NT 5.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2");
        //wc.addRequestHeader("User-Agent", "Mozilla/5.0 (Windows NT 5.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2");
        //wc.addRequestHeader和request.setAdditionalHeader功能应该是一样的。选择一个即可。

        //其他报文头字段可以根据需要添加
        wc.getCookieManager().setCookiesEnabled(true);//开启cookie管理

        wc.getOptions().setJavaScriptEnabled(true);//开启js解析。对于变态网页，这个是必须的
        wc.getOptions().setCssEnabled(true);//开启css解析。对于变态网页，这个是必须的。
        wc.getOptions().setThrowExceptionOnFailingStatusCode(false);
        wc.getOptions().setThrowExceptionOnScriptError(false);
        wc.getOptions().setTimeout(10000);

        //设置cookie。如果你有cookie，可以在这里设置

        //Set cookies = null;
        //Iterator i = cookies.iterator();
        //        while (i.hasNext()) {
        //            wc.getCookieManager().addCookie(i.next());
        //        }

        //准备工作已经做好了
        HtmlPage page = null;
        page = wc.getPage(request);
        if (page == null) {
            System.out.println("采集 " + url + " 失败!!!");
            return;
        }

        String content = page.asXml();//网页内容保存在content里
        FileWriter fw = new FileWriter("xiami2.html");
        fw.write(content);
        fw.close();

        if (content == null) {
            System.out.println("采集 " + url + " 失败!!!");
            return;
        }

        //搞定了
        //CookieManager CM = wc.getCookieManager(); //WC = Your WebClient's name
        //Set cookies_ret = CM.getCookies();//返回的Cookie在这里，下次请求的时候可能可以用上啦。
    }
}
HtmlUnit摘录

 

import java.io.File;
import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

/**
 * 
使用 jsoup 对 HTML 文档进行解析和操作
 jsoup 是一款 Java 的 HTML 解析器，可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的
 * API，可通过 DOM，CSS 以及类似于 jQuery 的操作方法来取出和操作数据。本文主要介绍如何使用 jsoup 来进行常用的 HTML 解析。 

 * 小巧、致力于文档文本解析，选择器支持，清理Sanitize untrusted HTML (to prevent XSS)
 * 
 * @see http://www.ibm.com/developerworks/cn/java/j-lo-jsouphtml/ 中文
 * @see http://jsoup.org/cookbook/extracting-data/selector-syntax
 * @author Sansan
 *
 */
public class JsonpTest {

    public static void main(String[] args) {
        try {
            getTest();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    /**
     * 
文档输入 jsoup
可以从包括字符串、URL 地址以及本地文件来加载 HTML 文档，并生成 Document 对象实例。
     * 

     * 请大家注意最后一种 HTML 文档输入方式中的 parse 的第三个参数，为什么需要在这里指定一个网址呢（虽然可以不指定，如第一种方法）？因为 HTML
     * 文档中会有很多例如链接、图片以及所引用的外部脚本、css 文件等，而第三个名为 baseURL 的参数的意思就是当 HTML 文档使用相对路径方式引用外部文件时，jsoup 会自动为这些
     * URL 加上一个前缀，也就是这个 baseURL。 

     * 例如 < a href=/project> 开源软件 < /a> 会被转换成 < a href=http://www.oschina.net/project> 开源软件 < /a>。
     * 

     * 
     * @throws IOException
     */
    public static void parseTest() throws IOException {
        System.out.println("Jsoup Fetching...");
        Document doc;
        // 直接从字符串中输入 HTML 文档
        String html = " 开源中国社区 " + "
 这里是 jsoup 项目的相关文章 
";
        doc = Jsoup.parse(html);

        // 从 URL 直接加载 HTML 文档，简单型的。
        doc = Jsoup.connect("http://www.oschina.net/").get();
        String title = doc.title();

        // 从 URL 直接加载 HTML 文档，带参数复杂点的。
        doc = Jsoup.connect("http://www.oschina.net/").data("query", "Java") // 请求参数
        .userAgent("I'm jsoup") // 设置 User-Agent 
        .cookie("auth", "token") // 设置 cookie 
        .timeout(3000) // 设置连接超时时间
        .post(); // 使用 POST 方法访问 URL 

        // 从文件中加载 HTML 文档
        File input = new File("D:/test.html");
        doc = Jsoup.parse(input, "UTF-8", "http://www.oschina.net/");
        System.out.println("Document = " + doc);
    }

    public static void getTest() throws IOException {
        System.out.println("Jsoup.connect");
        Document doc = Jsoup.connect("http://www.xiami.com/artist/62500?spm=a1z1s.7154410.1996860241.133.9mIf7i").get();
        System.out.println("Document = " + doc);
    }

    public static void baiduSearchTest() throws IOException {
        System.out.println("Jsoup.connect");
        Document doc = Jsoup.connect("http://www.baidu.com/").get();
        //System.out.println("Document = " + doc);

        Element searchInput = doc.getElementById("kw");
        System.out.println("searchInput = " + searchInput);

        searchInput.val("Jsoup");

        Element searchButton = doc.getElementById("su");
        System.out.println("searchButton = " + searchButton);
    }
}
Jsoup摘录

 

xml version="1.0" encoding="UTF-8"?>
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en">
<head>
<title>Apache Tomcat WebSocket Testtitle>
<style type="text/css">
#connect-container {
    float: left;
    width: 400px
}

#connect-container div {
    padding: 5px;
}

#console-container {
    float: left;
    margin-left: 15px;
    width: 400px;
}

#console {
    border: 1px solid #CCCCCC;
    border-right-color: #999999;
    border-bottom-color: #999999;
    height: 170px;
    overflow-y: scroll;
    padding: 5px;
    width: 100%;
}

#console p {
    padding: 0;
    margin: 0;
}

table.mytable {
    margin-top: 2px;
    border-collapse: collapse;
}

/*div:hover {border: 1px solid red;}*/
table.mytable tbody {
    display: table-row-group;
    vertical-align: middle;
}

table.mytable th {
    padding: 3px;
    height: 15px;
    vertical-align: middle;
    text-align: center;
    background-color: #efefef;
    border: 1px solid #c3c3c3;
}

table.mytable td {
    padding: 2px;
    vertical-align: middle;
    border: 1px solid #dadada;
}
style>

head>
<body>
    <div class="noscript">
        <h2 style="color: #ff0000">chrome（webkit核心浏览器）支持本地html文件浏览（file协议，双击运行或者拖进chrome浏览器）。但是和在线浏览（网站发布，http协议），有许多缺点：ajax和cookieh2>
        <ul>
            <li>当发送的ajax请求本地文件，会报跨域错误。类似如下<br> XMLHttpRequest cannot
                    load file:///E:/webs/xx.txt?param=2222. Cross origin requests are
                    only supported for protocol schemes: http, data, chrome-extension,
                    https, chrome-extension-resource. 
            <br>解决办法是给chrome添加启动参数：--allow-file-access-from-files
                    ，这样本地ajax请求就不会报跨域错误了。（注意如果给chrome添加多个启动参数，每个启动参数“--”之前要有空格隔开，如"C:\Program
                    Files\Google\Chrome\Application\chrome.exe" --enable-file-cookies
                    --allow-file-access-from-files） 
            <br>
                    此外，添加了--allow-file-access-from-files启动参数后，还可以解决本地file加载文件，导致iframe和父页无法相互访问，window.open打开的页面使用opener为null的问题
            li>
            <li>chrome（webkit核心浏览器）默认只支持online-cookie（网站发布，通过http协议访问设置的cookie），本地测试（file浏览，双击运行或者拖进chrome浏览器）设置的cookie是无法保存的，如下在javascript控制台操作：
                <p>
                    <a
                        href="http://www.coding123.net/article/20140701/chrome-webkit-save-local-set-cookie.aspx">图a>
                    document.cookie='abc=123'<br>"abc=123" 
                    <br>document.cookie 
                    <br>"" 
                p> 从上图可以找到chrome默认的启动配置没有保存本地设置的cookie。<br>
                    要想chrome本地设置的cookie也要能保存，需要配置过chrome，给chrome快捷方式添加
                    --enable-file-cookies启动参数，右键点击chrome桌面快捷图标，属性，在目标最后添加--enable-file-cookies启动参数，注意--前面要有空格。
                    这样chrome本地测试的时候就可以保存cookie了。 
            li>
        ul>
    div>
    <div>
        <div id="connect-container">
            <div>
                <button id="connect" onclick="connect();">Connectbutton>
                <button id="disconnect" disabled="disabled" onclick="disconnect();">Disconnectbutton>
                <button id="clearlog"
                    onclick="document.getElementById('console').innerHTML='';">Clear
                    Message Logbutton>
            div>
            <div>
                <textarea id="message" style="width: 350px">Here is a message!textarea>
            div>
            <div>
                <button id="echo" onclick="echo();" disabled="disabled">Echo messagebutton>
                <button id="roam" >漫游button>
            div>
        div>
        <div id="console-container">
            <div id="console" />
        div>
        
        <div style="clear:both;">div>
    div>
    <div>
        <table id="roam_result" class="mytable">
            <tr>
                <th class='th_song_id'>歌曲IDth>
                <th class='th_album_id'>专辑IDth>
                <th class='th_tryhq'>步骤描述th>
                <th class='th_artist'>歌手th>
                <th class='th_insert_type'>类型th>
            tr>
        table>
    div>
    <h3>今日推荐歌单h3>
    <IFRAME id="xiamiFrame" width="100%" height="90%" src="http://www.xiami.com/play?ids=/song/playlist/id/1/type/9" onload="onLoad()">IFRAME>
    <script type="text/javascript" src="jquery.js">script>
    <script type="text/javascript">
        $("#roam").click(function(){
            var fieldNames=["song_id", "album_id", "tryhq", "artist", "insert_type"];
            //http://www.xiami.com/play/get-manyou-song?song_id=1773737813&_ksTS=1434841673746_1939&callback=jsonp1940
            $.getJSON("http://www.xiami.com/play/get-manyou-song?song_id=1773737813&_ksTS=1434841673746_1939",function(result){
                var rows = result.data;
                //var $RoamResult = $("#roam_result");
                var eRoamResult = document.getElementById("roam_result");
                var f =["td_song_id", "td_album_id", "td_tryhq", "td_artist", "td_insert_type"];
                //for(var idx = 0; idx < result.length; idx++){var jsonRow = rows[idx];}
                $.each(result.data, function(i, jsonRow){
                    var eRow = eRoamResult.insertRow();
                    for(var iCol = 0; iCol < 5; iCol++){
                        var eCell = eRow.insertCell();
                        eCell.className=f[iCol];
                        eCell.innerHTML=jsonRow[fieldNames[iCol]];
                    }
                });
            });
        });

        
        /*
        jQuery中的$.getJSON( )方法函数主要用来从服务器加载json编码的数据，它使用的是GET HTTP请求。使用方法如下：
        
        $.getJSON( url [, data ] [, success(data, textStatus, jqXHR) ] )
        
        url是必选参数，表示json数据的地址；必需。规定将请求发送到哪个 URL。
        data是可选参数，用于请求数据时发送数据参数；可选。规定发送到服务器的数据。
        success是可参数，这是一个回调函数，用于处理请求到的数据。
        success(data,status,xhr) 可选。规定当请求成功时运行的函数。
                额外的参数：
                data - 包含从服务器返回的数据
                status - 包含请求的状态（"success"、"notmodified"、"error"、"timeout"、"parsererror"）
                xhr - 包含 XMLHttpRequest 对象
                
                $("button").click(function(){
                    $.getJSON("demo_ajax_json.js",function(result){
                        //result = []
                        $.each(result, function(i, field){
                            $("div").append(field + " ");
                        });
                    });
                });
        */
        var ws = null;

        function setConnected(connected) {
            document.getElementById('connect').disabled = connected;
            document.getElementById('disconnect').disabled = !connected;
            document.getElementById('echo').disabled = !connected;
        }

        function connect() {
            var target = document.getElementById('target').value;
            if (target == '') {
                alert('Please select server side connection implementation.');
                return;
            }
            if ('WebSocket' in window) {
                ws = new WebSocket(target);
            } else if ('MozWebSocket' in window) {
                ws = new MozWebSocket(target);
            } else {
                alert('WebSocket is not supported by this browser.');
                return;
            }
            ws.onopen = function () {
                setConnected(true);
                log('Info: WebSocket connection opened.');
            };
            ws.onmessage = function (event) {
                log('Received: ' + event.data);
            };
            ws.onclose = function (event) {
                setConnected(false);
                log('Info: WebSocket connection closed, Code: ' + event.code + (event.reason == "" ? "" : ", Reason: " + event.reason));
            };
        }

        function disconnect() {
            if (ws != null) {
                ws.close();
                ws = null;
            }
            setConnected(false);
        }

        function echo() {
            if (ws != null) {
                var message = document.getElementById('message').value;
                log('Sent: ' + message);
                ws.send(message);
            } else {
                alert('WebSocket connection not established, please connect.');
            }
        }

        function updateTarget(target) {
            var host = window.location.host || "127.0.0.1:8080";
            if (window.location.protocol == 'https:') {
                document.getElementById('target').value = 'wss://' + host + target;
            } else {
                document.getElementById('target').value = 'ws://' + host + target;
            }
        }

        function log(message) {
            var console = document.getElementById('console');
            var p = document.createElement('p');
            p.style.wordWrap = 'break-word';
            p.appendChild(document.createTextNode(message));
            console.appendChild(p);
            while (console.childNodes.length > 25) {
                console.removeChild(console.firstChild);
            }
            console.scrollTop = console.scrollHeight;
        }


        document.addEventListener("DOMContentLoaded", function() {
            // Remove elements with "noscript" class -
需要开启跨域

 

转载于:https://www.cnblogs.com/Fang3s/p/4592372.html

你可能感兴趣的:(Java下HttpUnit和Jsoup的Http抓取)

  • 斤斤计较的婚姻到底有多难？ 白心之岂必有为
    很多人私聊我会问到在哪个人群当中斤斤计较的人最多？我都会回答他，一般婚姻出现问题的斤斤计较的人士会非常多，以我多年经验，在婚姻落的一塌糊涂的人当中，斤斤计较的人数占比在20～30%以上，也就是说10个婚姻出现问题的斤斤计较的人有2-3个有多不减。在婚姻出问题当中，有大量的心理不平衡的、尖酸刻薄的怨妇。在婚姻中仅斤斤计较有两种类型：第一种是物质上的，另一种是精神上的。在物质与精神上抠门已经严重的影响
  • 情绪觉察日记第37天 露露_e800
    今天是家庭关系规划师的第二阶最后一天，慧萍老师帮我做了个案，帮我处理了埋在心底好多年的一份恐惧，并给了我深深的力量！这几天出来学习，爸妈过来婆家帮我带小孩，妈妈出于爱帮我收拾东西，并跟我先生和婆婆产生矛盾，妈妈觉得他们没有照顾好我…。今晚回家见到妈妈，我很欣赏她并赞扬她，妈妈说今晚要跟我睡我说好，当我们俩躺在床上准备睡觉的时候，我握着妈妈的手对她说:妈妈这几天辛苦你了，你看你多利害把我们的家收拾得
  • 芦花鞋一四 许叶晗
    又是在一个寒冷的夏日里，青铜和葵花决定今天一起去卖芦花鞋，奶奶亲手给他们做了一碗热乎乎的粥对他们说:“就靠你们两挣生活费了这碗粥赶紧趁热喝了吧！”于是青铜和葵花喝完了奶奶给她们做的粥，就准备去镇上卖卢花鞋，这回青铜和葵花穿着新的芦花鞋来到了镇上。青铜这回看到了很多人都在卖，用手势表达对葵花说:“这回有好多人在抢我们生意呢！我们必须得吆喝起来。”葵花点了点头。可是谁知他们也大声的叫，卖芦花喽！卖芦花
  • QQ群采集助手，精准引流必备神器 2401_87347160 其他经验分享
    功能概述微信群查找与筛选工具是一款专为微信用户设计的辅助工具，它通过关键词搜索功能，帮助用户快速找到相关的微信群，并提供筛选是否需要验证的群组的功能。主要功能关键词搜索：用户可以输入关键词，工具将自动查找包含该关键词的微信群。筛选功能：工具提供筛选机制，用户可以选择是否只显示需要验证或不需要验证的群组。精准引流：通过上述功能，用户可以更精准地找到目标群组，进行有效的引流操作。3.设备需求该工具可以
  • 关于沟通这件事，项目经理不需要每次都面对面进行 流程大师兄
    很多项目经理都会遇到这样的问题，项目中由于事情太多，根本没有足够的时间去召开会议，那在这种情况下如何去有效地管理项目中的利益相关者？当然，不建议电子邮件也不需要开会的话，建议可以采取下面几种方式来形成有效的沟通，这几种方式可以帮助你努力的通过各种办法来保持和各方面的联系。项目经理首先要问自己几个问题，项目中哪些利益相关者是必须要进行沟通的？可以列出项目中所有的利益相关者清单，同时也整理出项目中哪些
  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • 铭刻于星（四十二） 随风至
    69夜晚，绍敏同学做完功课后，看了眼房外，没听到动静才敢从书包的夹层里拿出那个心形纸团。折痕压得很深，都有些旧了，想来是已经写好很久了。绍敏同学慢慢地、轻轻地捏开折叠处，待到全部拆开后，又反复抚平纸张，然后仔细地一字字默看。只是开头的三个字是第一次看到，让她心漏跳了几拍。“亲爱的绍敏：从四年级的时候，我就喜欢你了，但是我一直不敢说，怕影响你学习。六年级的时候听说有人跟你表白，你接受了，我很难过，但
  • 底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说 造命者说
    底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说我叫吴起，生于公元前440年的战国初期，正是群雄并起、天下纷争不断的时候。后人说我是军事家、政治家、改革家，是兵家代表人物。评价我一生历仕鲁、魏、楚三国，通晓兵家、法家、儒家三家思想，在内政军事上都有极高的成就。周安王二十一年（公元前381年），因变法得罪守旧贵族，被人乱箭射死。我出生在卫国一个“家累万金”的富有家庭，从年轻时候起就不甘平凡
  • 2020-01-25 晴岚85
    郑海燕坚持分享590天2020.1.24在生活中只存在两个问题。一个问题是：你知道想要达成的目标是什么，但却不知道如何才能达成；另一个问题是：你不知道你的目标是什么。前一个是行动的问题，后一个是结果的问题。通过制定具体的下一步行动，可以解决不知道如何开始行动的问题。而通过去想象结果，对结果做预估，可以解决找不着目标的问题。对于所有吸引我们注意力，想要完成的任务，你可以先想象一下，预期的结果究竟是什
  • 随笔 | 仙一般的灵气 海思沧海
    仙岛今天，我看了你全部，似乎已经进入你的世界我不知道，这是否是梦幻，还是你仙一般的灵气吸引了我也许每一个人都要有一份属于自己的追求，这样才能够符合人生的梦想，生活才能够充满着阳光与快乐我不知道，我为什么会这样的感叹，是在感叹自己的人生，还是感叹自己一直没有孜孜不倦的追求只感觉虚度了光阴，每天活在自己的梦中，活在一个不真实的世界是在逃避自己，还是在逃避周围的一切有时候我嘲笑自己，嘲笑自己如此的虚无，
  • 想家 爆米花机
    也许不同于大家对家乡的思念，我对家乡甚至是疯狂的不舍。还未踏出车站就感觉到幸福，我享受这里的夕阳、这里的浓烈柴火味、这里每一口家常菜。我是宅女，我贪恋家的安逸。刚刚踏出大学校门，初出茅庐，无法适应每年只能国庆和春节回家。我焦虑、失眠、无端发脾气，是无法适应工作的节奏，是无法接受我将一步步离开家乡的事实。我不想承认自己胸无大志，选择再次踏上征程。图片发自App
  • 【iOS】MVC设计模式 Magnetic_h iosmvc设计模式objective-c学习ui
    MVC前言如何设计一个程序的结构，这是一门专门的学问，叫做"架构模式"（architecturalpattern），属于编程的方法论。MVC模式就是架构模式的一种。它是Apple官方推荐的App开发架构，也是一般开发者最先遇到、最经典的架构。MVC各层controller层Controller/ViewController/VC（控制器）负责协调Model和View，处理大部分逻辑它将数据从Mod
  • OC语言多界面传值五大方式 Magnetic_h iosui学习objective-c开发语言
    前言在完成暑假仿写项目时，遇到了许多需要用到多界面传值的地方，这篇博客来总结一下比较常用的五种多界面传值的方式。属性传值属性传值一般用前一个界面向后一个界面传值，简单地说就是通过访问后一个视图控制器的属性来为它赋值，通过这个属性来做到从前一个界面向后一个界面传值。首先在后一个界面中定义属性@interfaceBViewController:UIViewController@propertyNSSt
  • 一百九十四章. 自相矛盾 巨木擎天
    唉！就这么一夜，林子感觉就像过了很多天似的，先是回了阳间家里，遇到了那么多不可思议的事情儿。特别是小伙伴们，第二次与自己见面时，僵硬的表情和恐怖的气氛，让自己如坐针毡，打从心眼里难受！还有东子，他现在还好吗？有没有被人欺负？护城河里的小鱼小虾们，还都在吗？水不会真的干枯了吧？那对相亲相爱漂亮的太平鸟儿，还好吧！春天了，到了做窝、下蛋、喂养小鸟宝宝的时候了，希望它们都能够平安啊！虽然没有看见家人，也
  • UI学习——cell的复用和自定义cell Magnetic_h ui学习
    目录cell的复用手动（非注册）自动（注册）自定义cellcell的复用在iOS开发中，单元格复用是一种提高表格（UITableView）和集合视图（UICollectionView）滚动性能的技术。当一个UITableViewCell或UICollectionViewCell首次需要显示时，如果没有可复用的单元格，则视图会创建一个新的单元格。一旦这个单元格滚动出屏幕，它就不会被销毁。相反，它被添
  • element实现动态路由+面包屑 软件技术NINI vue案例vue.js前端
    el-breadcrumb是ElementUI组件库中的一个面包屑导航组件，它用于显示当前页面的路径，帮助用户快速理解和导航到应用的各个部分。在Vue.js项目中，如果你已经安装了ElementUI，就可以很方便地使用el-breadcrumb组件。以下是一个基本的使用示例：安装ElementUI（如果你还没有安装的话）:你可以通过npm或yarn来安装ElementUI。bash复制代码npmi
  • 10月|愿你的青春不负梦想-读书笔记-01 Tracy的小书斋
    本书的作者是俞敏洪，大家都很熟悉他了吧。俞敏洪老师是我行业的领头羊吧，也是我事业上的偶像。本日摘录他书中第一章中的金句：『一个人如果什么目标都没有，就会浑浑噩噩，感觉生命中缺少能量。能给我们能量的，是对未来的期待。第一件事，我始终为了进步而努力。与其追寻全世界的骏马，不如种植丰美的草原，到时骏马自然会来。第二件事，我始终有阶段性的目标。什么东西能给我能量？答案是对未来的期待。』读到这里的时候，我便
  • C语言宏函数 南林yan C语言c语言
    一、什么是宏函数？通过宏定义的函数是宏函数。如下，编译器在预处理阶段会将Add(x,y)替换为((x)*(y))#defineAdd(x,y)((x)*(y))#defineAdd(x,y)((x)*(y))intmain(){inta=10;intb=20;intd=10;intc=Add(a+d,b)*2;cout<
  • 地推话术，如何应对地推过程中家长的拒绝 校师学
    相信校长们在做地推的时候经常遇到这种情况：市场专员反馈家长不接单，咨询师反馈难以邀约这些家长上门，校区地推疲软，招生难。为什么？仅从地推层面分析，一方面因为家长受到的信息轰炸越来越多，对信息越来越“免疫”；而另一方面地推人员的专业能力和营销话术没有提高，无法应对家长的拒绝，对有意向的家长也不知如何跟进，眼睁睁看着家长走远；对于家长的疑问，更不知道如何有技巧地回答，机会白白流失。由于回答没技巧和专业
  • 谢谢你们，爱你们！ 鹿游儿
    昨天家人去泡温泉，二个孩子也带着去，出发前一晚，匆匆下班，赶回家和孩子一起收拾。饭后，我拿出笔和本子（上次去澳门时做手帐的本子）写下了1\2\3\4\5\6\7\8\9,让后让小壹去思考，带什么出发去旅游呢？她在对应的数字旁边画上了，泳衣、泳圈、肖恩、内衣内裤、tapuy、拖鞋……画完后，就让她自己对着这个本子，将要带的，一一带上，没想到这次带的书还是这本《便便工厂》(晚上姑婆发照片过来，妹妹累得
  • C语言如何定义宏函数？ 小九格物 c语言
    在C语言中，宏函数是通过预处理器定义的，它在编译之前替换代码中的宏调用。宏函数可以模拟函数的行为，但它们不是真正的函数，因为它们在编译时不会进行类型检查，也不会分配存储空间。宏函数的定义通常使用#define指令，后面跟着宏的名称和参数列表，以及宏展开后的代码。宏函数的定义方式：1.基本宏函数：这是最简单的宏函数形式，它直接定义一个表达式。#defineSQUARE(x)((x)*(x))2.带参
  • 微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务java架构
    在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • 小丽成长记（四十三） 玲玲54321
    小丽发现，即使她好不容易调整好自己的心态下一秒总会有不确定的伤脑筋的事出现，一个接一个的问题，人生就没有停下的时候，小问题不断出现。不过她今天看的书，她接受了人生就是不确定的，厉害的人就是不断创造确定性，在Ta的领域比别人多的确定性就能让自己脱颖而出，显示价值从而获得的比别人多的利益。正是这样的原因，因为从前修炼自己太少，使得她现在在人生道路上打怪起来困难重重，她似乎永远摆脱不了那种无力感，有种习
  • 学点心理知识，呵护孩子健康 静候花开_7090
    昨天听了华中师范大学教育管理学系副教授张玲老师的《哪里才是学生心理健康的最后庇护所，超越教育与技术的思考》的讲座。今天又重新学习了一遍，收获匪浅。张玲博士也注意到了当今社会上的孩子由于心理问题导致的自残、自杀及伤害他人等恶性事件。她向我们普及了一个重要的命题，她说心理健康的一些基本命题，我们与我们通常的一些教育命题是不同的，她还举了几个例子，让我们明白我们原来以为的健康并非心理学上的健康。比如如果
  • 2021年12月19日，春蕾教育集团团建活动感受——黄晓丹 黄错错加油
    感受:1.从陌生到熟悉的过程。游戏环节让我们在轻松的氛围中得到了锻炼，也增长了不少知识。2.游戏过程中，我们贡献的是个人力量，展现的是团队的力量。它磨合的往往不止是工作的熟悉，更是观念上契合度的贴近。3.这和工作是一样的道理。在各自的岗位上，每个人摆正自己的位置、各司其职充分发挥才能，并团结一致劲往一处使，才能实现最大的成功。新知:1.团队精神需要不断地创新。过去，人们把创新看作是冒风险，现在人们
  • Cell Insight | 单细胞测序技术又一新发现，可用于HIV-1和Mtb共感染个体诊断 尐尐呅
    结核病是艾滋病合并其他疾病中导致患者死亡的主要原因。其中结核病由结核分枝杆菌（Mycobacteriumtuberculosis,Mtb）感染引起，获得性免疫缺陷综合症（艾滋病）由人免疫缺陷病毒（Humanimmunodeficiencyvirustype1,HIV-1）感染引起。国家感染性疾病临床医学研究中心/深圳市第三人民医院张国良团队携手深圳华大生命科学研究院吴靓团队，共同研究得出单细胞测序
  • c++ 的iostream 和 c++的stdio的区别和联系 黄卷青灯77 c++算法开发语言iostreamstdio
    在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
  • 瑶池防线 谜影梦蝶
    冥华虽然逃过了影梦的军队，但他是一个忠臣，他选择上报战况。败给影梦后成逃兵，高层亡尔还活着，七重天失守......随便一条，即可处死冥华。冥华自然是知道以仙界高层的习性此信一发自己必死无疑，但他还选择上报实情，因为责任。同样此信送到仙宫后，知道此事的人，大多数人都认定冥华要完了，所以上到仙界高层，下到扫大街的，包括冥华自己，全都准备好迎接冥华之死。如果仙界现在还属于两方之争的话，冥华必死无疑。然而
  • 爬山后遗症 璃绛
    爬山，攀登，一步一步走向制高点，是一种挑战。成功抵达是一种无法言语的快乐，在山顶吹吹风，看看风景，这是从未有过的体验。然而，爬山一时爽，下山腿打颤，颠簸的路，一路向下走，腿部力量不够，走起来抖到不行，停不下来了！第二天必定腿疼，浑身酸痛，坐立难安！
  • Java 并发包之线程池和原子计数 lijingyao8206 Java计数ThreadPool并发包java线程池
    对于大数据量关联的业务处理逻辑，比较直接的想法就是用JDK提供的并发包去解决多线程情况下的业务数据处理。线程池可以提供很好的管理线程的方式，并且可以提高线程利用率，并发包中的原子计数在多线程的情况下可以让我们避免去写一些同步代码。     这里就先把jdk并发包中的线程池处理器ThreadPoolExecutor 以原子计数类AomicInteger 和倒数计时锁C
  • java编程思想 抽象类和接口 百合不是茶 java抽象类接口
    接口c++对接口和内部类只有简介的支持,但在java中有队这些类的直接支持   1 ,抽象类 :  如果一个类包含一个或多个抽象方法,该类必须限定为抽象类(否者编译器报错)   抽象方法 : 在方法中仅有声明而没有方法体    package com.wj.Interface;
  • [房地产与大数据]房地产数据挖掘系统 comsci 数据挖掘
           随着一个关键核心技术的突破,我们已经是独立自主的开发某些先进模块,但是要完全实现,还需要一定的时间...        所以,除了代码工作以外,我们还需要关心一下非技术领域的事件..比如说房地产     &nb
  • 数组队列总结 沐刃青蛟 数组队列
          数组队列是一种大小可以改变，类型没有定死的类似数组的工具。不过与数组相比，它更具有灵活性。因为它不但不用担心越界问题，而且因为泛型（类似c++中模板的东西）的存在而支持各种类型。      以下是数组队列的功能实现代码：   import List.Student; public class
  • Oracle存储过程无法编译的解决方法 IT独行者 oracle存储过程　
    今天同事修改Oracle存储过程又导致2个过程无法被编译，流程规范上的东西，Dave 这里不多说，看看怎么解决问题。   1.     查看无效对象 XEZF@xezf(qs-xezf-db1)> select object_name,object_type,status from all_objects where status='IN
  • 重装系统之后oracle恢复 文强chu oracle
    前几天正在使用电脑，没有暂停oracle的各种服务。 突然win8.1系统奔溃，无法修复，开机时系统 提示正在搜集错误信息，然后再开机，再提示的无限循环中。 无耐我拿出系统u盘 准备重装系统，没想到竟然无法从u盘引导成功。 晚上到外面早了一家修电脑店，让人家给装了个系统，并且那哥们在我没反应过来的时候， 直接把我的c盘给格式化了 并且清理了注册表，再装系统。 然后的结果就是我的oracl
  • python学习二（ 一些基础语法） 小桔子 pthon基础语法
    紧接着把！昨天没看继续看django 官方教程，学了下python的基本语法 与c类语言还是有些小差别： 1.ptyhon的源文件以UTF-8编码格式 2. /   除 结果浮点型 //  除 结果整形 %   除 取余数 *   乘 **  乘方 eg 5**2 结果是5的2次方25 _&
  • svn 常用命令 aichenglong SVN版本回退
    1 svn回退版本   1)在window中选择log,根据想要回退的内容,选择revert this version或revert chanages from this version 两者的区别:   revert this version:表示回退到当前版本(该版本后的版本全部作废)   revert chanages from this versio
  • 某小公司面试归来 alafqq 面试
    先填单子，还要写笔试题，我以时间为急，拒绝了它。。时间宝贵。 老拿这些对付毕业生的东东来吓唬我。。 面试官很刁难，问了几个问题，记录下； 1，包的范围。。。public,private,protect. --悲剧了 2，hashcode方法和equals方法的区别。谁覆盖谁.结果，他说我说反了。 3，最恶心的一道题，抽象类继承抽象类吗？（察，一般它都是被继承的啊） 4，stru
  • 动态数组的存储速度比较 集合框架 百合不是茶 集合框架
    集合框架： 自定义数据结构(增删改查等) package 数组; /** * 创建动态数组 * @author 百合 * */ public class ArrayDemo{ //定义一个数组来存放数据 String[] src = new String[0]; /** * 增加元素加入容器 * @param s要加入容器
  • 用JS实现一个JS对象，对象里有两个属性一个方法 bijian1013 js对象
    <html> <head> </head> <body> 用js代码实现一个js对象，对象里有两个属性，一个方法 </body> <script> var obj={a:'1234567',b:'bbbbbbbbbb',c:function(x){
  • 探索JUnit4扩展：使用Rule bijian1013 java单元测试JUnitRule
            在上一篇文章中，讨论了使用Runner扩展JUnit4的方式，即直接修改Test Runner的实现(BlockJUnit4ClassRunner)。但这种方法显然不便于灵活地添加或删除扩展功能。下面将使用JUnit4.7才开始引入的扩展方式——Rule来实现相同的扩展功能。 1. Rule       &n
  • [Gson一]非泛型POJO对象的反序列化 bit1129 POJO
    当要将JSON数据串反序列化自身为非泛型的POJO时，使用Gson.fromJson(String, Class)方法。自身为非泛型的POJO的包括两种： 1. POJO对象不包含任何泛型的字段 2. POJO对象包含泛型字段，例如泛型集合或者泛型类 Data类 a.不是泛型类， b.Data中的集合List和Map都是泛型的 c.Data中不包含其它的POJO    
  • 【Kakfa五】Kafka Producer和Consumer基本使用 bit1129 kafka
    0.Kafka服务器的配置 一个Broker， 一个Topic Topic中只有一个Partition（）   1. Producer： package kafka.examples.producers; import kafka.producer.KeyedMessage; import kafka.javaapi.producer.Producer; impor
  • lsyncd实时同步搭建指南——取代rsync+inotify ronin47
    1. 几大实时同步工具比较 1.1 inotify + rsync 最近一直在寻求生产服务服务器上的同步替代方案，原先使用的是 inotify + rsync，但随着文件数量的增大到100W+，目录下的文件列表就达20M，在网络状况不佳或者限速的情况下，变更的文件可能10来个才几M，却因此要发送的文件列表就达20M，严重减低的带宽的使用效率以及同步效率；更为要紧的是，加入inotify
  • java-9. 判断整数序列是不是二元查找树的后序遍历结果 bylijinnan java
    public class IsBinTreePostTraverse{ static boolean isBSTPostOrder(int[] a){ if(a==null){ return false; } /*1.只有一个结点时，肯定是查找树 *2.只有两个结点时，肯定是查找树。例如{5,6}对应的BST是 6 {6,5}对应的BST是
  • MySQL的sum函数返回的类型 bylijinnan javaspringsqlmysqljdbc
    今天项目切换数据库时，出错 访问数据库的代码大概是这样： String sql = "select sum(number) as sumNumberOfOneDay from tableName"; List<Map> rows = getJdbcTemplate().queryForList(sql); for (Map row : rows
  • java设计模式之单例模式 chicony java设计模式
    在阎宏博士的《JAVA与模式》一书中开头是这样描述单例模式的： 　　作为对象的创建模式，单例模式确保某一个类只有一个实例，而且自行实例化并向整个系统提供这个实例。这个类称为单例类。 单例模式的结构 　　单例模式的特点： 单例类只能有一个实例。 单例类必须自己创建自己的唯一实例。 单例类必须给所有其他对象提供这一实例。 　　饿汉式单例类   publ
  • javascript取当月最后一天 ctrain JavaScript
    <!--javascript取当月最后一天--> <script language=javascript> var current = new Date(); var year = current.getYear(); var month = current.getMonth(); showMonthLastDay(year, mont
  • linux tune2fs命令详解 daizj linuxtune2fs查看系统文件块信息
    一.简介： tune2fs是调整和查看ext2/ext3文件系统的文件系统参数，Windows下面如果出现意外断电死机情况，下次开机一般都会出现系统自检。Linux系统下面也有文件系统自检，而且是可以通过tune2fs命令，自行定义自检周期及方式。 二.用法： Usage: tune2fs [-c max_mounts_count] [-e errors_behavior] [-g grou
  • 做有中国特色的程序员 dcj3sjt126com 程序员
      从出版业说起 网络作品排到靠前的，都不会太难看，一般人不爱看某部作品也是因为不喜欢这个类型，而此人也不会全不喜欢这些网络作品。究其原因，是因为网络作品都是让人先白看的，看的好了才出了头。而纸质作品就不一定了，排行榜靠前的，有好作品，也有垃圾。 许多大牛都是写了博客，后来出了书。这些书也都不次，可能有人让为不好，是因为技术书不像小说，小说在读故事，技术书是在学知识或温习知识，有
  • Android：TextView属性大全 dcj3sjt126com textview
    android:autoLink    设置是否当文本为URL链接/email/电话号码/map时，文本显示为可点击的链接。可选值(none/web/email/phone/map/all)  android:autoText    如果设置，将自动执行输入值的拼写纠正。此处无效果，在显示输入法并输
  • tomcat虚拟目录安装及其配置 eksliang tomcat配置说明tomca部署web应用tomcat虚拟目录安装
    转载请出自出处：http://eksliang.iteye.com/blog/2097184 1.-------------------------------------------tomcat  目录结构 config：存放tomcat的配置文件 temp  ：存放tomcat跑起来后存放临时文件用的 work   ： 当第一次访问应用中的jsp
  • 浅谈：APP有哪些常被黑客利用的安全漏洞 gg163 APP
    首先，说到APP的安全漏洞，身为程序猿的大家应该不陌生；如果抛开安卓自身开源的问题的话，其主要产生的原因就是开发过程中疏忽或者代码不严谨引起的。但这些责任也不能怪在程序猿头上，有时会因为BOSS时间催得紧等很多可观原因。由国内移动应用安全检测团队爱内测（ineice.com）的CTO给我们浅谈关于Android 系统的开源设计以及生态环境。 1. 应用反编译漏洞：APK 包非常容易被反编译成可读
  • C#根据网址生成静态页面 hvt Web.netC#asp.nethovertree
    HoverTree开源项目中HoverTreeWeb.HVTPanel的Index.aspx文件是后台管理的首页。包含生成留言板首页，以及显示用户名，退出等功能。根据网址生成页面的方法：   bool CreateHtmlFile(string url, string path) { //http://keleyi.com/a/bjae/3d10wfax.htm stri
  • SVG 教程 （一） 天梯梦 svg
    SVG 简介 SVG 是使用 XML 来描述二维图形和绘图程序的语言。 学习之前应具备的基础知识： 继续学习之前，你应该对以下内容有基本的了解： HTML XML 基础 如果希望首先学习这些内容，请在本站的首页选择相应的教程。 什么是SVG？ SVG 指可伸缩矢量图形 (Scalable Vector Graphics) SVG 用来定义用于网络的基于矢量
  • 一个简单的java栈 luyulong java数据结构栈
    public class MyStack { private long[] arr; private int top; public MyStack() { arr = new long[10]; top = -1; } public MyStack(int maxsize) { arr = new long[maxsize]; top
  • 基础数据结构和算法八：Binary search sunwinner AlgorithmBinary search
    Binary search needs an ordered array so that it can use array indexing to dramatically reduce the number of compares required for each search, using the classic and venerable binary search algori
  • 12个C语言面试题，涉及指针、进程、运算、结构体、函数、内存，看看你能做出几个！ 刘星宇 c面试
    12个C语言面试题，涉及指针、进程、运算、结构体、函数、内存，看看你能做出几个！ 1.gets()函数 问：请找出下面代码里的问题： #include<stdio.h> int main(void) {     char buff[10];     memset(buff,0,sizeof(buff));
  • ITeye 7月技术图书有奖试读获奖名单公布 ITeye管理员 活动ITeye试读
    ITeye携手人民邮电出版社图灵教育共同举办的7月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 7月试读活动回顾： http://webmaster.iteye.com/blog/2092746 本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）： 《Java性能优化权威指南》
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他