python实现文本文件转二进制文件(二进制序列化)

有一个项目,需要读大量的数据,数据都是txt格式的,读的过程比较慢,为了加快读取的速度,需要将文本文件转为二进制文件。

python代码如下;

#coding:utf-8
#! /bin/python
import os
import sys
import os.path
import pickle
import  struct
dirroot = "F:\\feature_train\\"
newdirroot="F:\\new\\"
for dirnames in os.listdir(dirroot):
    print ("进入文件夹:" )
    #print dirnames
    for dirname in os.listdir(dirroot+dirnames):
        #print dirname
        if dirname.split('.')[1]!='txt':
            continue
        file=open(dirroot+dirnames+'\\'+dirname,'r')
        filename=dirname.split('.')[0]+'.dat'
        if not os.path.exists(newdirroot+dirnames+'\\'):
            os.makedirs(newdirroot+dirnames+'\\')
        fileNew=open(newdirroot+dirnames+'\\'+filename,'wb')
        lines=file.readlines()
        

        for line in lines:
            curLine=line.split(' ')
            for i in range(len(curLine)):
                if len(curLine[i])==0:
                    continue
                parsedata = struct.pack("f",float(curLine[i]))
                fileNew.write(parsedata)
            fileNew.write('\n')

        fileNew.close()
        file.close()


使用方法:修改dirroot为要读取的文件夹的目录路径,程序会遍历所有的文件夹,读取其中的txt文件。根目录下都是文件夹。

    newdirroot为新的目录的路径,程序运行完以后会生成跟原来一样的目录和dat的二进制文件

                    txt文件里为float的格式的数据,可以根据情况修改。

C++ 读取二进制文件:

#include 
#include 
#include
using namespace std;

int main(int argc, char** argv)
{
printf("www\r\n");
 //std::cout<<"www"


你可能感兴趣的:(python)