MapDB的使用实战[基于Java的数据库]

目录

MapDB特性

MapDB是一个内嵌的纯java的数据库，提供了并发的HashMap、TreeMap、Queue，可以基于堆外或者磁盘来存储数据。用户可以通过配置选择不同的机制来提高性能，比如可以配置多种不同的cache来减少反序列化的开销，提高读取性能；可以开启异步写引擎，使用后台线程来进行序列化和存储更新，来提高插入性能，减少rt。它支持ACID事务、MVCC隔离。它的代码精简，只有一个jar包，无其他依赖，总共才200kb。并且高度模块化，用户可以很容易的扩展，添加新特性。
以下地址为MapDB包的地址：http://download.csdn.net/detail/qy20115549/9686069

数据格式

首先，我来介绍一下数据格式。存在多个文本，每个文本，里面包含电影的id，用户的id及用户对电影的评分，及评分时间。如下面两个表：

这张图为目录下的文本。一个文本表示，一部电影所有用户的评分及评分时间。

目标数据格式

以下程序，将所有文件以用户id:电影id作为key值，用户对电影的评分作为value值，存到MapDB中，并从MapDB中读取数据。以下是读取结果。

程序

package mapdb;
import java.io.File;
import java.util.Map;
import org.mapdb.DB;
import org.mapdb.DBMaker;
 /**MapDB使用实战
 * @author 合肥工业大学管理学院  钱洋
 * @blog http://blog.csdn.net/qy20115549/
 * 这个类原文地址：http://junsky.iteye.com/blog/1942285
 * @mail [email protected]
 */
public class StatMapDB {
    private static final String MAP_NAME = "STAT_MAP";  
    private String filePath;  
    DB db = null; 
    //需要的数据格式
    Map statMap = null;  
    DBMod type = null;  

    static enum DBMod  
    {  
        READ,  
        WRITE  
    }  
    //类的构造方法
    public StatMapDB(String filePath,DBMod type)  
    {  
        //初始化
        this.filePath = filePath;  
        this.type = type;  
        init();  
    }  
    //初始化mapdb
    private void init()  
    {  
         File file = new File(filePath);  
         db = DBMaker  
               .newFileDB(file)  
               .transactionDisable()  
               .asyncWriteFlushDelay(100)  
               .make();  
         if(type.equals(DBMod.WRITE))  
         {  
             if(file.exists())  
             {  
                 file.delete();  
                 new File(filePath + ".p").delete();  
             }  
             statMap = db.createTreeMap(MAP_NAME).make();  
         }  
         else{  
             statMap = db.getTreeMap(MAP_NAME);  
         }  
    }  
    public Map getStatMapDB()  
    {  
        return this.statMap;  
    }  

    public void close()  
    {  
        if(db!=null){  
            db.close();  
            db = null;  
        }  
    }  
}

package mapdb;
import java.io.IOException;
import java.util.List;
import java.util.Map;
import java.util.Map.Entry;
import main.FileGetData;
/**MapDB使用实战
 * @author 合肥工业大学管理学院  钱洋
 * @blog http://blog.csdn.net/qy20115549/
 * @mail [email protected]
 */
public class MapDbTest {  
    private static final String PATH = "E:\\熊强师兄数据处理\\testdb";  
    private static FileGetData fileGetData=new FileGetData();
    private static void write(List filelist) throws IOException { 
        //调用写的方法
        StatMapDB db = new StatMapDB(PATH, StatMapDB.DBMod.WRITE);  
        //初始化TreeMap
        Map map = db.getStatMapDB();  
        //循环所有的文本
        for (int i = 0; i < filelist.size(); i++) {
            //获取单个文本并循环
            List data=fileGetData.getData(filelist.get(i));
            for (int j = 1; j< data.size(); j++) {
                String userid=data.get(j).split(",")[0];
                String movieid=data.get(0).replaceAll(":", "");
                String key=userid+":"+movieid;
                String value=data.get(j).split(",")[1];
                //文本写入
                map.put(key,value);
            }
        }
        db.close();  
    }  
    //读取MapDB中的数据，并遍历
    private static void read(List filelist) throws IOException  
    {  
        StatMapDB db = new StatMapDB(PATH, StatMapDB.DBMod.READ);  
        Map map = db.getStatMapDB();  
        for (Entry entry : map.entrySet()) {  
            String key = entry.getKey();  
            String value = entry.getValue();  
            System.out.println("key:"+key+"\tvalue:"+value);
        }  
        db.close();  
    }  
    public static void main(String[] args) throws IOException { 
        //清理内存
        System.gc();
        //获取目录下所有文件
        List fileList=fileGetData.getFiles("E:\\熊强师兄数据处理\\sample\\");
        //将目录下的文件写入MapDB
        write(fileList);  
        System.out.println("写入数据完毕！");
        //读取数据
        read(fileList);  
    }  

}