成功实践：半自动地将XML结点转换成JAVABEAN，再半自动地将JAVABEAN存入数据库

1.概述
    我们要将外部系统给的XML文件进行解析，并存入到数据库。但是我们并没有DTD或者Schema，只有一个WORD格式的说明文档；更离谱的是，XML结点树的结构(即XML结点与XML结点之间的关系)与业务Bean树的结构(即业务Bean与业务Bean的关系)并不完全一致，比如说，从业务角度讲，一只猪有只猪头，而在XML里，却写成了  pig --content --pighead 的三级关系，无端端多了一个content结点！ 没有DTD/Schema，结构又不规范，我们就没法用自动化的第三方JAVA转换API进行解析，而只能手动地、一个一个地解析。但在手动解析的过程中，我们仍然发现各个结点的解析和入库中有很多东西是共同的，或者有共同的规律，这些东西可以抽出来作为一个准框架，然后再将结点中不同的部分开放出来，允许具体的结点做具体的实现，并最终形成一个半自动的解析/入库框架。

   为什么说它是半自动的？它有哪些限制？
    自动：不必为每个结点编写XML 解析代码和入库代码
   “半”：需手动地编写每个JAVABEAN，并手动地为每个BEAN建表
   限制：
         a.所有业务字段的类型只能设为STRING/VARCHAR，并且非业务字段的类型在BEAN中不能为STRING
             b.BEAN名与表名必须相同，或者可以进行一对一映射
         c.BEAN的成员变量名必须与XML结点的属性名/元素名相同，或者可以进行一对一映射
   这三种限制都是利用JAVA反射机制进行自动操作的前提。
   
2.基本思想
    所谓的XML解析，就是将XML结点转换成JAVABEAN实例，XML结点的ATTRIBUTE值和ELEMENT值就是JAVABEAN实例的成员变量值; 所谓的持久化，就是将JAVABEAN实例变成数据库对应表中的一条记录，JAVABEAN实例的成员变量值就是记录中某个字段的值，或者其他表中某个参考了该记录的另一条记录。
    而在XML中，JAVABEAN体系中，数据据表关系结构中，结点和结点之间的关系都是树形的关系。整体的解析和入库，就是在遍历树时执行转换动作。而我们知道，树的遍历是可以用递归算法实现的，而递归，就不用说了吧，它是实现程序“自动化”的主要途径之一。

    以下是对各“树”的具体分析：
    假设两个业务实体A和B之间存在聚合关系(父子关系)。那么具体可分三种情况：
        a.B是一个原子字段（即不可再分），并且是A的一个属性。
            XML中，B是A的XML ATTRIBUTE或者A的原子ELEMENT
                BEAN中，B是A的成员变量，并且B是一个JAVA内置的数据类型
           数据库中，B是A表的一个列
        b.B是一个复合字段，并且是A的一个属性，而且和A是1:1关系
           XML中，B是A的ELEMENT，并且B有自己的ELEMENT或者ATTRIBUTE
                BEAN中，B是A的成员变量，并且程序中有个B类
           数据库中，B表是A表的子表(即B外键参考了A表)
        c.B是一个复合字段，并且是A的一个属性，而且和A是N:1关系
           XML中，B是A的ELEMENT，并且B有自己的ELEMENT或者ATTRIBUTE
                BEAN中，B组成一个类集（List,Set）共同作为A的成员变量，并且程序中有个B类
           数据库中，B表是A表的子表(即B外键参考了A表)
        
        了解了这三种情况，接下来就好办了。程序每抓到一个结点，都要递归地进行以下处理：先处理它的原子属性（情形a），接着处理它的单个子结点（情形b），最后处理它的类集子结点( 情形c)。


3.代码实现的重点
      两个重点：
         a.如何让业务实体在三棵树内一一对应好？
         b.如何发现树形关系，比如A的属性有哪些，A的子结点有哪些？
         
      问题a很简单，就是让三棵树里相同的业务实体取相同的名字。
         a.解析XML时发现 结点X 的 属性Y 等于 值Z，则执行PropertyUtils.setProperty(结点X , 属性Y , 值Z)即可。在这里X，Y,Z是变量，程序不用关心具体的结点和属性是哪些个。需要注意的是，如果属性Y是原子字段，则要求属性Y必须为String类型，否则程序不知道将值Z转换成哪种类型（注：关于PropertyUtils， 请见apache commons Beanutils ）
         b.入库时发现x.getY()=z。如果属性y是原子字段，则执行SQL insert into X(...,y,...) values (...,z,...)，这里要求y字段必须为varchar/char类型， 以免发生类型转换错误.
      
        关于问题b
            XML树：JDOM, dom4j等都可以直接找到父子关系
        BEAN体系：
            I.原子属性。我们限定一个BEAN中所有有业务意义的原子字段的类型都STRING，所有String类型的字段都是业务字段
            II.单个子结点。我们让所有有业务意义的非原子字段都实现一个共同的接口BusiNode，这样一个BEAN中所有BusiNode成员都是这个BEAN的子结点
           III.类集子结点。我们也可以限定所有且只有类集子结点可以使用List或Set类型，这样可以利用过滤出所有类集子结点。然而，在JAVA1.4及以前的版本里，程序并不知道过滤出的类集子结点是哪个Class的实例（因为没有泛型），也就没办法实例化一个类集子结点（见后文），因此只能手动注册类集子结点的属性名和Class。JAVA1.5以上的版本我没用过，不知道可不可以解决这个问题。
        数据库表关系: 这就不用多说了，就是通过外键参考。因此每类结点对应的表中，都必须有个外键，以参考它的父结点；还必须有个主键，以供它的子结点参考。各表的外键名必须相同并为一常数，否则程序生成INSERT SQL时才可以不用理会具体表的具体的外键名。
       
    程序在解析时，遍历的是BEAN树；在持久化时也是。比起XML树，BEAN树代表真正的业务结构；比起数据库表关系树，BEAN树才能由父至子地进行先序遍历


4.其他问题
     a.要让程序知道，原子属性中哪些是XML结点的属性，哪些是XML结点的原子ELEMENT。代码中这是两个抽象方法，必须让具体的结点类实现
       b.回顾本文概述部分提到的“pig --content --pighead 的三级关系，无端端多了一个content结点”，因此我们要让程序知道，pighead,pigfoot等结点的子结点，究竟是pig，还是pig下的content。处理不规范XML时要注意这个问题。这也是一个抽象方法，必须让具体的结点类实现
     c.与上一条类似但更变态的，是类集结点的不规范问题。假设一个pig有多个pighead，那结构可能为 pig--pighead,pighead,...，也可能为pig--pigheads--content,content.... 必须让程序知道某个具体结点用的是哪种模式

5.代码
    核心：多态 + 递归    



a.接口BusiNode
    
import java.util.*;

import org.dom4j.Element;

/**
 * 每个结点都要实现的接口
 * 它提供了一些方法以方便实现递归的XML解析和持久化
 *
 */
public interface BusiNode {
    
    /**
     * 所有类型为不可分类型的属性
     * @return 属性名的集合
     */
    public List getAtomicPropNames();
    
    /**
     * 一些成员变量。这些成员变量是XML结点的属性
     * @return
     */
    public List getXmlAttributes();
    
    /**
     * 一些成员变量。这些成员变量是XML结点的子元素，并且类型为不可分的
     * @return
     */
    public List getXmlAtomicElements();
    
    
    /**
     * 所有类型为类集的属性，并且这些类集中每个元素的类型都是BusiNode
     * @return  key = 属性名, value = 属性类的Class对象。如果为空不返回NULL，而是空的MAP
     */
    public Map getCollectionPropsMap();
    

    /**
     * 所有类型为BusiNode的属性
     * @return 属性名的集合
     */
    public List getBusiNodePropNames();
    
    
    /**
     * 从XML中解析出来。
     * @param element
     * @return
     */
    public void parseFromXML(Element element);    
    
    
    
}


b.默认的实现


import java.lang.reflect.Field;
import java.util.*;

import org.apache.commons.beanutils.PropertyUtils;
import org.dom4j.Attribute;
import org.dom4j.Element;



/**
 * 默认的BUSI NODE。 继承此类的BUSI NODE 需满足 所有不可分属性集=String类型的属性集
 * MyUtils类的代码欠奉
 * 
 */
public abstract class DefaultBusiNode implements BusiNode {

    public List getAtomicPropNames() {
        return MyUtils.getFieldNamesOfClass(this.getClass(), String.class);
    }

    public List getBusiNodePropNames() {
        return MyUtils.getFieldNamesOfClass(this.getClass(), BusiNode.class);
    }

    /*
     * 所有子元素的父元素。有时是本结点，有时是本结点下的元素。变态
     */
    public abstract Element getXmlElementParent(Element rootElement);

    /*
     * 类集子结点根元素的Iterator 。 假设一个pig有多个pighead，那结构可能为 pig--pighead,pighead,...，也可能为pig--pigheads--content,content.... 必须让程序知道某个具体结点用的是哪种模式
     * 
  
     * 如果为空则返回一个空类集的Iterator ，不要返回NULL
     */
    public abstract Iterator getCollectionElementIterator(
            Element xmlElementParent, String attName);

    /**
     * 解析XML属性
     * 
     * @param rootElement
     */
    protected void parseAttributesFromXml(Element rootElement) {
        List xmlAttributes = this.getXmlAttributes();
        for (int i = 0; i < this.getXmlAttributes().size(); i++) {

            String attName = (String) xmlAttributes.get(i);
            Attribute att = rootElement.attribute(attName);
            if (att != null) {
                try {
                    PropertyUtils.setProperty(this, attName, att.getValue());
                } catch (Exception e) {
                    throw new RuntimeException(e);
                }
            }

        }
    }

    /**
     * 解析不可分的Element
     * 
     * @param rootElement
     */
    protected void parseAtomicElementFromXml(Element rootElement) {

        Element xmlElementParent = getXmlElementParent(rootElement);
        if (xmlElementParent == null) {
            return;
        }

        List xmlElements = this.getXmlAtomicElements();
        for (int i = 0; i < xmlElements.size(); i++) {

            String attName = (String) xmlElements.get(i);
            Element elmt = xmlElementParent.element(attName);
            if (elmt != null) {
                try {
                    PropertyUtils.setProperty(this, attName, elmt.getText());
                } catch (Exception e) {
                    throw new RuntimeException(e);
                }
            }

        }

    }

    /**
     * 解析BusiNode属性
     * 
     * @param rootElement
     */
    protected void parseBusiNodeElementFromXml(Element rootElement) {
        Element xmlElementParent = getXmlElementParent(rootElement);
        if (xmlElementParent == null) {
            return;
        }

        // 再解析BusiNode属性
        List busiNodePropNames = this.getBusiNodePropNames();
        for (int i = 0; i < busiNodePropNames.size(); i++) {
            try {
                String attName = (String) busiNodePropNames.get(i);
                Element elmt = xmlElementParent.element(attName);
                if (elmt != null) {
                    Field field = this.getClass().getDeclaredField(attName);
                    BusiNode att = (BusiNode) field.getType().newInstance();
                    att.parseFromXML(elmt);
                    PropertyUtils.setProperty(this, attName, att);
                }

            } catch (Exception e) {
                throw new RuntimeException(e);
            }

        }
    }

    /**
     * 解析类集属性
     * 
     * @param rootElement
     */
    protected void parseCollectionPropsFromXml(Element rootElement) {
        // 先解析XML属性

        Element xmlElementParent = getXmlElementParent(rootElement);
        if (xmlElementParent == null) {
            return;
        }

        // 最后解析类集属性
        Map collectionPropsMap = this.getCollectionPropsMap();
        for (Iterator it = collectionPropsMap.keySet().iterator(); it.hasNext();) {
            try {
                String attName = (String) it.next();
                Collection coll = (Collection) PropertyUtils.getProperty(this,
                        attName);
                Class attType = (Class) collectionPropsMap.get(attName);

                Iterator collElementsIt = this.getCollectionElementIterator(
                        xmlElementParent, attName);
                // xmlElementParent.elementIterator(attName);
                while (collElementsIt.hasNext()) {
                    Element collElmt = (Element) collElementsIt.next();
                    BusiNode sinlgeAtt = (BusiNode) attType.newInstance();
                    sinlgeAtt.parseFromXML(collElmt);
                    coll.add(sinlgeAtt);
                }

            } catch (Exception e) {
                throw new RuntimeException(e);
            }

        }
    }

    /**
     * 从XML中解析出结点。此方法可能抛出RumtimeException
     */
    public void parseFromXML(Element rootElement) {
        
        this.parseAttributesFromXml(rootElement);
        this.parseAtomicElementFromXml(rootElement);
        this.parseBusiNodeElementFromXml(rootElement);
        this.parseCollectionPropsFromXml(rootElement);

    }

}

   


/**
 * 入库
 * JdbcUtil,MyUtils的代码欠奉
 * 
 */
public class BusiNodeDAO  {

    
    private Long saveBusiNode(BusiNode node, Long parentNodeId) {

        // 先存储原子属性
        Long id = saveBareBusiNode(node, parentNodeId);

        // 再存储类集属性
        Map collectionPropsMap = node.getCollectionPropsMap();
        for (Iterator it = collectionPropsMap.keySet().iterator(); it.hasNext();) {
            String attName = (String) it.next();
            Collection coll = null;
            try {
                coll = (Collection) PropertyUtils.getProperty(node, attName);
            } catch (Exception e) {                
                throw new RuntimeException("编码错误");
            }

            for (Iterator iitt = coll.iterator(); iitt.hasNext();) {
                BusiNode subNode = (BusiNode) iitt.next();
                saveBusiNode(subNode, id);
            }

        }

        // 最后存储所有BusiNode属性
        Iterator iitt = node.getBusiNodePropNames().iterator();
        while (iitt.hasNext()) {
            BusiNode subNode = null;
            try {
                subNode = (BusiNode) PropertyUtils.getProperty(node,
                        (String) iitt.next());
            } catch (Exception e) {                
                throw new RuntimeException("编码错误");
            }
            if (subNode != null) {
                saveBusiNode(subNode, id);
            }
        }

        return id;

    }

    /**
     * 插入某个BusiNode的根结点，此方法可能抛出RuntimeException
     * 
     * @param node
     * @return
     */
    private Long saveBareBusiNode(BusiNode node, Long parentNodeId) {
        StringBuffer sbForSql = new StringBuffer();
        List paramValues = new ArrayList();
        genInsertSqlAndParam(node, parentNodeId, node.getAtomicPropNames(),
                sbForSql, paramValues);

        return new Long(JdbcUtil.queryForLong(
                sbForSql.toString(), paramValues.toArray()));
    }



    /**
     * 生成某个结点的插入语句和paramValues数组，此方法可能抛出RuntimeException
     * 
     * @param node
     * @param columnNames
     * @param sbForSql
     * @param paramValues
     */
    private void genInsertSqlAndParam(BusiNode node, Long parentNodeId,
            List columnNames, StringBuffer sbForSql, List paramValues) {

        sbForSql.append(" insert into ");
        sbForSql.append(MyUtils.getClassBareName(node.getClass()));

        List cns = new ArrayList();
        cns.addAll(columnNames);

        cns.add("parentNodeId");
        sbForSql.append(MyUtils.encloseWithCurve(MyUtils
                .joinCollectionStrings(cns,  ",")));
        sbForSql.append(" values ");

        List qms = new ArrayList(); // 问号
        for (Iterator it = columnNames.iterator(); it.hasNext();) {
            qms.add("?");
            String cn = (String) it.next();
            try {
                paramValues.add(PropertyUtils.getProperty(node, cn));
            } catch (Exception e) {
                throw new RuntimeException(e);
            }

        }
        qms.add("?"); // parentNodeId
        paramValues.add(parentNodeId);

        sbForSql.append(MyUtils.encloseWithCurve(MyUtil
                .joinCollectionStrings(qms, ",")));
        sbForSql.append(";select @@identity");
    }

}