使用Caffe时,数据预处理小工具集合

在使用Caffe时，我们经常需要对数据进行一些预处理，我把自己写的一些小脚本放到了github上，如果有需要大家下载使用，如果你有更好的小脚本希望与我分享！

连接在此：https://github.com/sunshineInmoon/Tools

如果你觉得还可以请给打个星星哟......

No1.CreatImagelist.py  
这个不是出自我的手，但是却非常有用，可以产生带标签的图片路径列表


No2.dir_to_picture.py  
这个主要功能是将分好类的图片（在多个文件夹中）重新整理到一个文件夹中，便于删除


No3.extract_feacture.py
这个的主要功能是批量提取图片的特征，并将特征保存成文件


No4.feature_class.py
这个也是特征分类，但是这个每张图片都一一对比，如果数据量小可以，如果数据量大这个脚本太浪费时间


No5.Math.py 里就两个函数计算1、计算cos距离；2、比较两个数的大小


No6.text_process.py


'''
函数：name_convert（）
功能：采集到的图片名字命名时是字符型，将其转换成000000001形式
     另外进行比例缩放到128*128，同时转成灰度图
输入的参数：dir_name  只存放图片的文件夹名字
           dir_name_save  保存结果文件夹
'''


'''
函数：creat_imagelist_NoLabel()
功能：是把一个文件夹下所有图片写进一个imagelist.txt文件中
输入参数：dir_path 存放图片的文件夹
         imagelist_path,保存路径
'''


'''
函数：clean_image()
功能：人脸检测后把没有检测到的人脸剔除
输入参数：imagelist---人脸检测后的路劲列表
         dir_path_save---保存路径
'''


'''
函数：CreatImageListWithLabel()
功能：创建caffe imagelist.txt 文件，此文件带标签
输入参数：dir_path 图片路径，一般为保存很多子文件夹的跟文件夹路径
         imgelist 输出文件路径默认是当前文件夹下
'''


'''
函数：load()
函数功能：将一个文本文件中的特征读取到一个list中
输入参数：file_path----文本文件路径
'''


'''
函数：Pic_Num()
功能：统计文件夹中图片的数量
输入参数：dir_path----保存图片的文件夹路径
'''


'''
函数：ReName（）
功能：重新按顺序命名文件，用在对个别文件删除后，对文件重新排序命名
输入参数：dir_path----包含文件（无文件夹的）的文件夹路径


No7.Visualize.py   网络权重可视化，未完
'''
函数：vis_square()
函数功能：一个显示辅助函数
输入参数：data
        out----保存图片的路径
'''
'''
函数：VisualWeights()
函数功能：根据层名字显示相应的权重
输入参数：layer_name----层名字
         net----初始化后的网络
         out----保存图片的路径
'''
'''
函数：VisualWeight()
函数功能：根据层名字显示相应的权重
输入参数：layer_name----层名字
         net----初始化后的网络
'''
'''
函数：VisualBlob()
函数功能：可视化Blob
输入参数：net----初始化后的网络
         layer_name----层的名字
'''
'''
函数：VisualBlobs()
函数功能：保存所有Blobs
输入参数：net----初始化后的网络
         out----保存路径
'''
'''
函数：VisualLayerShape()
函数：显示层的名字和形状
输入参数：net----初始化后的网络
'''
'''
函数：VisualLayerWeightShape()
函数功能：显示各层权重的形状
输入参数：net----初始化后的网络
'''
No8.Picture.py
'''
函数：Resize（）
函数功能：批量调整图片大小
输入参数：dir_path----文件库路径
         new_h，new_w----新图片的高度和宽度
'''
'''
函数：DataAugment（）
函数功能：扩大数据量
输入参数：dir_path----图片库路径
'''


No9.draw.py
'''
函数：Draw（）
函数功能：绘制WU_lfw_test.py 产生的result.txt文件的图
输入参数：file_path
'''
'''
函数：Draw_His（）
函数功能：计算图片库的一些统计信息，并画出直方图
输入参数：dir_path
'''


No10.CreatValSet.py
'''
函数：TestPair（）
函数功能：随机产生验证集对，来测试网络性能
输入参数：dir_path----验证集库
         class_num----验证集的类别
         leftlist----left.txt 路径
         rightlist----right.txt 路径
         label----标签路径
         pos_num----正样本数量
         neg_num----负样本数量
'''


No11.LfwTest.py  在lfw库上测试模型


No12.process.py
'''
函数：renamedir（）
函数功能：重命名文件夹，按一定顺序
输入参数：dir_path----包含子文件夹的路径
         start   ----开始序号
'''
'''
函数：Rmovedir（）
函数功能：删除文件夹中文件少于一定数量的文件夹
输入参数：dir_path----包含子文件夹的路径
         num----阈值，将文件数量小于等于num的文件夹删掉
'''
'''
函数： Romvepath（）
函数功能：删除一个imagelist中不存在的路径
输入参数：inputlist,outputlist
'''
'''
函数：Rmovepath_pair()
函数功能：成对删除文件中不存在的路径
输入参数：input1,input2,inlabel,output1,output2,outlabel
'''
'''
函数：TestPair（）
函数功能：从数据库中挑选正负样本
输入参数：dir_path----存放图片库路径
         class_num----类别数量
         neg_num----负样本数
         pos_num----正样本数
         leftlist
         rightlist
         label
'''
'''
函数：Select_K_MaxMin()
函数功能：输出文件夹中图片数量最多或最小的前K个文件夹路径
输入参数：dir_path----图片库路径
         model----选择最大还是最小默认
         K----前K个
'''