海量小文件存储测试---存文件系统还是存数据库好?

 背景:
        在存储用户素材文件时可能有一缩略图,

        以每一个缩略图3K大小为例, 48X48象素。

        测试目的: 到底是保存到文件系统中好,还是直接 保存 到数据库中好。



测试环境

  OS:   Win XPsp3, NTFS
       DB:   MySql5.0.22
       APP: python2.54,  django1.02



过程
      1. 使用django创建 一个测试工程,两个数据表定义如下:

class dbsys(models.Model):
    '''用户-素材关系表'''
    fid = models.CharField(max_length = 128)
    username = models.CharField(default =u'ddd', max_length = 80) 
    ftype = models.CharField(default =u'ftype' , max_length = 128)
    fsize = models.IntegerField(default = 3124)
    ftag = models.CharField(default =u'ftag_ddd', max_length = 128)
    fdescript = models.CharField(default =u'fdescript__ddd', max_length = 128)
    fparentid = models.CharField(max_length = 80, default = '3') 
    fhidden =  models.BooleanField(default = False) # 是否对用户隐藏,隐藏表示在回收站
    fcreated = models.DateTimeField(default = datetime.now())
    fusetimes = models.IntegerField(default = 0)
    flastused = models.DateTimeField(default = datetime.now())

    fthumb = models.TextField() # 直接保存缩略图数据 ,主要测试这里


class fsys(models.Model):
    '''用户-素材关系表'''
    fid = models.CharField(max_length = 128)
    username = models.CharField(default =u'ddd', max_length = 80) 
    ftype = models.CharField(default =u'ftype' , max_length = 128)
    fsize = models.IntegerField(default = 3124)
    ftag = models.CharField(default =u'ftag_ddd', max_length = 128)
    fdescript = models.CharField(default =u'fdescript__ddd', max_length = 128)
    fparentid = models.CharField(max_length = 80, default = '3') 
    fhidden =  models.BooleanField(default = False) # 是否对用户隐藏,隐藏表示在回收站
    fcreated = models.DateTimeField(default = datetime.now())
    fusetimes = models.IntegerField(default = 0)
   
    path = models.TextField(default ='ddd') # 只保存路径 ,缩略图写到文件系统中,主要测试这里

   2.根据上面两个表,不停的创建数据。 -----图dfs.jpg
      写了个脚本,运行了3个小时, 创建了20万条数据,。本来想生成 100万条的,但生成速度到后来在太慢了。
  
   3.在MySql中执行查询:-----图select.jpg
第一个表(dbsys直接存数据 ), 用时16.51秒
          第二个表(fsys只存路径), 用时1.67秒。
          速度接近十倍的差距。基本上得出测试结果:数据库不能存大数据(每条记录越小越好,1K以上估计就影响查询速度了)。

    4.再写个脚本,测试把文件还原速度。( 主要测文件系统读文件速度)
        结果,直接看----图get.jpg
        dbsys:主要是查询数据库慢,因为表内容太大。
        fsys:     查询数据用大部分时间。读文件,再写文件,时间比较少。

你可能感兴趣的:(测试,数据库,存储,django,mysql,class)