python读取大文件踩过的坑——读取txt文件词向量

在读取https://github.com/Embedding/Chinese-Word-Vectors中的中文词向量时,选择了一个有3G多的txt文件,之前在做词向量时用的是word2vec,所以直接导入模型然后indexword即可。

因为这是一个txt大文件,尝试了DataFrame,np.loadtxt等,都没有成功,其中主要遇到的问题是:

  1. 如何读取完整的大文件,而不会出现内存不足memery error等问题
  2. 将读取出来的文件,保存为npy文件
  3. 根据词找到对应的向量

解决办法:

尝试使用的代码:

代码1:
try:
lines=np.loadtxt(filepath)
catch:
感觉这块不会写了咦,,,
    print(ValueError)
但这样的话,它就不会继续循环去读上边的txt了呢
代码2:
lines=[]
with open(filepath) as f:
    for line in f:
        lines.append(line)
np.save(filepath,lines)
        
代码3
 
def readEmbedFile(embedFile):
#     embedId = {}
#     input = open(embedFile,'r',encoding="utf-8")
#     lines = []
#     a=0
#     for line in input:
#         lines.append(line)
#         a=a+1
#         print(a)
#     nwords = len(lines) - 1
#     splits = lines[1].strip().split(' ')  # 因为第一行是统计信息,所以用第二行
#     dim = len(splits) - 1
#     embeddings=[]
#     # embeddings = [[0 for col in range(dim)] for row in range(nwords)]
#     b=0
#     for lineId in range(len(lines)):
#         b=b+1
#         print(b)
#         splits = lines[lineId].split(' ')
#         if len(splits) > 2:
#             # embedId赋值
#             embedId[splits[0]] = lineId
#             # embeddings赋值
#             emb = [float(splits[i]) for i in range(1, 300)]
#             embeddings.append(emb)
#     return embedId, embeddings
代码4:
def load_txt(filename):
   lines=[]
   vec_dict={}
   with open(filename,r) as f:
       for line in f:
        list=line.strip()
        lines.append(line)
   for i, line in emuate(lines):
        if i=0:
            continue
        line=line.split(" ")
        wordID=line[0]
        wordvec=[float line[i] for i in range(1,300)]
    vec_dict[wordId]=np.array(wordvec)    

    return vec_dict
        

具体内存不足主要的原因是:

  1. 我的虚拟机中确实内存不太够,后来使用实验室32G的主机后,可以得到idvec,而得不到向量的,报的错还是memory error.
  2. 另一个原因,是需要把词向量转换为float形式,在python中str 占的内存>float类型,如代码所示:
print("str",sys.getsizeof(""))
print("float",sys.getsizeof(1.1))
print("int",sys.getsizeof(1))
print("list",sys.getsizeof([]))
print("tuple",sys.getsizeof(()))
print("dic",sys.getsizeof([]))
str 49
float 24
int 28
list 64
tuple 48
dic 64

在我的电脑,64位操作系统,64位的python, 所占内存大小排序为:

dic=list>str>tuple>int>float

读取时候可以用np.load().item就可以复原原来的字典,主要参照下述文件:

https://www.sogou.com/link?url=DOb0bgH2eKh1ibpaMGjuy0bRPfNjeyc9FrxJzwU1-HIm3Pojx-sH_K8z0b4lhih2oEAZ19hjAo8.

然后通过python的字典操作就可以遍历得到每个词的词向量了,dic[vocab]

心得:

距离完全解决项目的问题还有5~6的大关卡,但静下心来,一步步地做总会突破的呀!

你可能感兴趣的:(python)