java版 正文抽取 基于文字连接比

package cn.tdt.crawl.jdbc;

import java.util.regex.Matcher;

import java.util.regex.Pattern;



import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;

import org.jsoup.nodes.Element;

import org.jsoup.select.Elements;



public class HtmlExtract {

    private static double linkTextRadio = 0.25; // 链接文字比



    // 过滤不必要的数据

    public static String filterContent(String str) {

        if (str == "") {

            return "";

        }

        str = str.replaceAll("(?is)<!DOCTYPE.*?>", "");

        str = str.replaceAll("(?is)<!--.*?-->", "");

        str = str.replaceAll("(?is)<script.*?>.*?</script>", "");

        str = str.replaceAll("(?is)<style.*?>.*?</style>", "");

        // str=str.replaceAll("&.{2,5};|&#.{2,5};", " ");

        return str;

    }



    // 计算链接数

    public static int calcLinks(Element node) {

        Elements links = node.select("a[href]");

        return links.size();

    }



    // 计算内容长度

    public static double calcWords(Element node) {

        String con = node.text();

        if (con.length() == 0) {

            return 1 + linkTextRadio;

        } else {

            return con.length();

        }

    }



    // 计算标点符号的个数

    public static int calcSign(Element node) {

        String[] sign = { ",", ";", ".", "\"", "'", "\\?", "。", ":", "，" };

        int i = 0;

        for (String ch : sign) {

            int count = 0;

            count = node.text().split(ch).length - 1;

            i = +count;

        }

        return i;

    }



    // 将所有的空节点全部删除

    public static Element drawCon(Element node) {

        if (node.tagName() == "a") {

            // 这个就不用进去深入了

            return node;

        }

        int links; // 链接数

        double words; // 文字长度

        double cellRatio;

        int signs; // 符号出现的情况



        Elements nodes = node.children();

        for (Element cnode : nodes) {

            if (!cnode.hasText()) {

                // System.out.println("删除"+cnode);

                cnode.remove();

            } else {

                links = calcLinks(cnode);

                words = calcWords(cnode);

                cellRatio = links / words;

                signs = calcSign(cnode);

                if (signs < 1) {

                    // 删除没有标点符号的节点

                    cnode.remove();

                } else if (cellRatio > linkTextRadio) {

                    cnode.remove();

                } else {

                    drawCon(cnode);

                }

            }

        }

        return node;

    }



    // 提取标题

    private String drawTitle(String str) {

        // TODO Auto-generated method stub

        // 先取页面的title部分的值

        if (str.length() < 1) {

            return null;

        }

        String tit = "";

        int xhpos = -1; // 下划线的位置

        int zhpos = -1; // 中横线的位置

        Pattern pt = Pattern.compile("<title>(.*)</title>",

                Pattern.CASE_INSENSITIVE);

        Matcher mc = pt.matcher(str);

        if (mc.find()) {

            tit = mc.group(1).trim();

            // 下面需要过滤一下,有些标题会加上下划线或者中横线

            xhpos = tit.indexOf("_");

            zhpos = tit.indexOf("|");

            if (xhpos > 0) {

                tit = tit.substring(0, xhpos);

            }

            if (zhpos > 0) {

                tit = tit.substring(0, zhpos);

            }

        }



        return tit;

    }



    // 提取作者

    private String[] drawAuthor(String str) {

        if (str.length() < 1) {

            return null;

        }

        // 这种信息一般就是直接用正则就好

        String[] author = new String[2];

        int tPos = 0; // 日期所在的位置

        Pattern pt = Pattern.compile(

                "作者.+(\\d{4}[-|年]\\d{1,2}[-|月]\\d{1,2}[日]?)",

                Pattern.CASE_INSENSITIVE);

        Matcher mc = pt.matcher(str);

        if (mc.find()) {

            // System.out.println("123");

            author[0] = mc.group(1); // 存储日期信息

            tPos = mc.group().trim().indexOf(author[0]);

            author[1] = mc.group().trim().substring(0, tPos);

            return author;

        }

        return null;

    }



    // 核心处理函数

    public String[] extract(String str) {

        String title; // 标题

        //String author = ""; // 作者

        //String uptime = ""; // 发布时间

        String content; // 正文

        //String[] authors = new String[2];



        str = filterContent(str);

        Document doc = Jsoup.parse(str);

        // 取body

        Element bodynode = doc.select("body").first();

        title = drawTitle(str);

        //authors = drawAuthor(str);

        // 开始遍历节点,进行去噪处理,抽取正文

        content = drawCon(bodynode).text();

        // 防止溢出

//        if (authors.length > 1) {

//            author = authors[1];

//            uptime = authors[0];

//        }

//        System.out.println(title);

//        System.out.println(author);

//        System.out.println(uptime);

//        System.out.println(content);

        String[] arr = new String[2];

        arr[0] = title;

        arr[1] = content;

        return arr;

    }



    public static void main(String[] args){

        

    }

    

}