python实现将图片数据以LMDB方式存储

以LMDB(Lightning Memory-Mapped Database)方式存储的优点

  1. 高效性:LMDB是一种内存映射数据库,可以在内存和磁盘之间实现高效的数据访问。它利用操作系统的虚拟内存机制,将数据文件映射到内存中,从而避免了频繁的磁盘IO操作,提高了数据的读取和写入效率

  2. 低内存占用:LMDB使用了页面缓存和写时复制(Copy-on-Write)的技术,可以在内存中保持数据的快速访问同时占用较少的内存空间。这对于处理大规模数据集或内存有限的环境非常有用

  3. 并发支持:LMDB支持多线程或多进程的并发读取和写入操作,可以在高并发的数据访问场景下保持数据的一致性和可靠性

  4. 数据压缩:LMDB支持数据的压缩,可以减小数据文件的大小,节省存储空间

  5. 跨平台兼容:LMDB是一个跨平台的数据库,可以在不同的操作系统上使用,并提供了多种编程语言的接口,如C、Python等

代码示例

将目标分类的数据存储成“.lmdb”文件,

import pickle, lmdb
from tqdm import tqdm


img_paths = []
images, labels = [], []
for img_path in img_paths:
    images.append(img_path)
    labels.append(1)  ## 假设数据的label为1


combined = list(zip(images, labels))
random.shuffle(combined)
images, labels = zip(*combined)
images = list(images)
labels = list(labels)


def create_lmdb(images, labels, lmdb_path):
    assert len(images) == len(labels), "All lists must have the same length"

    db = lmdb.open(lmdb_path, map_size=int(1e12))

    with db.begin(write=True) as txn:
        bar = tqdm(images)
        for i, img_path in enumerate(bar):
            with open(img_path, 'rb') as f:
                img_data = f.read()

            meta_data = {'label': labels[i], 'size': len(img_data)}
            data = pickle.dumps((meta_data, img_data))
            txn.put(str(i).encode('utf-8'), data)
        
        txn.put('length'.encode('utf-8'), str(len(img_paths)).encode('utf-8'))

    print(f"Created LMDB dataset at {lmdb_path} with {len(img_paths)} images")


create_lmdb(images=images, labels=labels, lmdb_path="xxx.lmdb")

你可能感兴趣的:(python,python,lmdb,数据存储)