输入和输出(二进制文件、文本文件、文本格式选项)

输入和输出

  • 1  numpy二进制文件
    • 1.1  numpy.save()
    • 1.2  nuumpy.load()
    • 1.3  numpy.savez()
  • 2  文本文件
    • 2.1  numpy.savetxt()
    • 2.2  numpy.loadtxt()
    • 2.3  numpy.genfromtxt()
  • 3  文本格式选项
    • 3.1  numpy.set_printoptions()
    • 3.2  numpy.get_printoptions()

1.numpy二进制文件

save() 、 savez() 和 load() 函数以 numpy 专用的二进制类型(npy、npz)保存和读取数据,这
三个函数会自动处理ndim、dtype、shape等信息,使用它们读写数组非常方便,但是 save() 输出
的文件很难与其它语言编写的程序兼容。
npy格式:以二进制的方式存储文件,在二进制文件第一行以文本形式保存了数据的元信息(ndim,
dtype,shape等),可以用二进制工具查看内容。
npz格式:以压缩打包的方式存储文件,可以用压缩软件解压。

1.1 numpy.save()

  • numpy.save(file, arr, allow_pickle=True, fix_imports=True)

1.2 nuumpy.load()

  • numpy.load(file, mmap_mode=None, allow_pickle=False, fix_imports=True, encoding=‘ASCII’)
import numpy as np
outfile = r'.\test.npy'
np.random.seed(20201123)
x = np.random.uniform(0, 1, [3, 5])
np.save(outfile, x)
y = np.load(outfile)
print(y)
[[0.03911501 0.91357784 0.21820335 0.61869406 0.25371066]
 [0.75731372 0.16270282 0.77498589 0.41520052 0.15138986]
 [0.34765902 0.22682386 0.80095883 0.39216596 0.79913296]]

1.3 numpy.savez()

  • numpy.savez(file, *args, **kwds)

savez() 第一个参数是文件名,其后的参数都是需要保存的数组,也可以使用关键字参数为数组起一个名字,非关键字参数传递的数组会自动起名为 arr_0, arr_1, … 。

savez() 输出的是一个压缩文件(扩展名为npz),其中每个文件都是一个 save() 保存的npy文件,文件名对应于数组名。 load() 自动识别npz文件,并且返回一个类似于字典的对象,可以通过数组名作为关键字获取数组的内容。

【例】将多个数组保存到一个文件,可以使用 numpy.savez() 函数。

import numpy as np  
outfile = r'.\test.npz'
x = np.linspace(0, np.pi, 5) #linspace函数生成(0,Π)中的五个随机数
y = np.sin(x)
z = np.cos(x)
np.savez(outfile, x, y, z_d=z)
data = np.load(outfile)
np.set_printoptions(suppress=True)
print(data.files)
['z_d', 'arr_0', 'arr_1']
print(data['z_d'])
[ 1.          0.70710678  0.         -0.70710678 -1.        ]
print(data['arr_0'])
[0.         0.78539816 1.57079633 2.35619449 3.14159265]
print(data['arr_1'])
[0.         0.70710678 1.         0.70710678 0.        ]

用解压软件打开 test.npz 文件,会发现其中有三个文件: arr_0.npy , arr_1.npy , z_d.npy ,其中分别保存着数组 x,y,z 的内容

2.文本文件

savetxt() , loadtxt() 和 genfromtxt() 函数用来存储和读取文本文件(如TXT,CSV等)。
genfromtxt() 比 loadtxt() 更加强大,可对缺失数据进行处理

2.1 numpy.savetxt()

  • numpy.savetxt(fname, X, fmt=’%.18e’, delimiter=’ ‘, newline=’\n’, header=’’, footer=’’,comments=’# ', encoding=None) Save an array to a text file.

fname:文件路径。

X:存入文件的数组。

fmt:写入文件中每个元素的字符串格式,默认’%.18e’(保留18位小数的浮点数形式)。

delimiter:分割字符串,默认以空格分隔。

2.2 numpy.loadtxt()

  • numpy.loadtxt(fname, dtype=float, comments=’#’, delimiter=None, converters=None,
    skiprows=0, usecols=None, unpack=False, ndmin=0, encoding=‘bytes’, max_rows=None) Load
    data from a text file.

fname:文件路径。

dtype:数据类型,默认为float。

comments: 字符串或字符串组成的列表,默认为# , 表示注释字符集开始的标志。

skiprows:跳过多少行,一般跳过第一行表头。

usecols:元组(元组内数据为列的数值索引), 用来指定要读取数据的列(第一列为
0)。

unpack:当加载多列数据时是否需要将数据列进行解耦赋值给不同的变量。

【例】写入和读出TXT文件。

import numpy as np
outfile = r'.\test.txt'
x = np.arange(0, 10).reshape(2,-1)
np.savetxt(outfile, x)
y = np.loadtxt(outfile)
print(y)
[[0. 1. 2. 3. 4.]
 [5. 6. 7. 8. 9.]]

输出的text.txt如下:

0.000000000000000000e+00 1.000000000000000000e+00 2.000000000000000000e+00 3.000000000000000000e+00 4.000000000000000000e+00

5.000000000000000000e+00 6.000000000000000000e+00 7.000000000000000000e+00 8.000000000000000000e+00 9.000000000000000000e+00

【例】写入和读出CSV文件

import numpy as np
outfile = r'.\test.csv'
x = np.arange(0, 10, 0.5).reshape(4, -1)
np.savetxt(outfile, x, fmt='%.3f', delimiter=',')  #保留三位小数的浮点数形式,以逗号形式分割
y = np.loadtxt(outfile, delimiter=',')
print(y)
[[0.  0.5 1.  1.5 2. ]
 [2.5 3.  3.5 4.  4.5]
 [5.  5.5 6.  6.5 7. ]
 [7.5 8.  8.5 9.  9.5]]

test.csv文件如下:

0.000,0.500,1.000,1.500,2.000

2.500,3.000,3.500,4.000,4.500

5.000,5.500,6.000,6.500,7.000

7.500,8.000,8.500,9.000,9.500

2.3 numpy.genfromtxt()

  • genfromtxt() 是面向结构数组和缺失数据处理的

numpy.genfromtxt(fname, dtype=float, comments=’#’, delimiter=None, skip_header=0,
skip_footer=0, converters=None, missing_values=None, filling_values=None, usecols=None,
names=None, excludelist=None,
deletechars=’’.join(sorted(NameValidator.defaultdeletechars)), replace_space=’_’,
autostrip=False, case_sensitive=True, defaultfmt=“f%i”, unpack=None, usemask=False,
loose=True, invalid_raise=True, max_rows=None, encoding=‘bytes’)

fname: 要读取的文件名。

dtype: 改行类型。如果为None,则dtypes将由每列的内容单独确定。

comments: 用于表示评论开始的字符。注释后出现在行上的所有字符都将被丢弃

delimiter: 分割值,即表示你的数组用什么来分割。

skiprows :删除行列,用skip_header代替。

skip_header : 要在文件开头跳过的行数。

skip_footer : 要在文件末尾跳过的行数。

converters :将列数据转换为值的函数集。 转换器还可用于为丢失的数据提供默认值converters = {3:lambda s:float(s或0)}。

missing_values: 与缺失数据相对应的字符串集。

usecols: 即选择读哪几列,在讲文件读入代码的时候,我们通常是将属性集读为一个数组。

names:设置为True时,程序将把第一行作为列名称。

unpack : bool, optional(布尔) 如果是True,返回的数组将被转置,以便可以使用‘x,y,z=loadtxt(…)’解压参数。当与记录数据类型一起使用时,每个字段都返回数组。默认是False。

【例】

#!/usr/bin/python3
# -*- coding: utf-8 -*-

# 导入CSV安装包
import csv

# 1. 创建文件对象
f = open('data.csv','w',encoding='utf-8',newline='')

# 2. 基于文件对象构建 csv写入对象
csv_writer = csv.writer(f)

# 3. 构建列表头
csv_writer.writerow(["id","value1","value2","value3"])

# 4. 写入csv文件内容
csv_writer.writerow(["1","123","1.4","23"])
csv_writer.writerow(["2","110","0.5","18"])
csv_writer.writerow(["3","164","2.1","19"])

# 5. 关闭文件
f.close()
import numpy as np
outfile = r'.\data.csv'
x = np.loadtxt(outfile, delimiter=',', skiprows=1)#删除第一行
print(x)
[[  1.  123.    1.4  23. ]
 [  2.  110.    0.5  18. ]
 [  3.  164.    2.1  19. ]]
x = np.loadtxt(outfile, delimiter=',', skiprows=1, usecols=(1, 2)) #读取第二列和第三列
print(x)
[[123.    1.4]
 [110.    0.5]
 [164.    2.1]]
val1, val2 = np.loadtxt(outfile, delimiter=',', skiprows=1, usecols=(1, 2), unpack=True)
print(val1) 
print(val2) #将第一列第二列转置之后赋值给val1和val2两个数组,并把两个数组输出
[123. 110. 164.]
[1.4 0.5 2.1]

【例】无缺失数据

import numpy as np
outfile = r'.\data.csv'
x = np.genfromtxt(outfile, delimiter=',', names=True)
print(x)
[(1., 123., 1.4, 23.) (2., 110., 0.5, 18.) (3., 164., 2.1, 19.)]
print(type(x))

print(x.dtype)
[('id', '
print(x['id']) 
print(x['value1'])
print(x['value2'])
print(x['value3']) 
[1. 2. 3.]
[123. 110. 164.]
[1.4 0.5 2.1]
[23. 18. 19.]

【例】有缺失数据

# 1. 创建文件对象
f = open('data1.csv','w',encoding='utf-8',newline='')

# 2. 基于文件对象构建 csv写入对象
csv_writer = csv.writer(f)

# 3. 构建列表头
csv_writer.writerow(["id","value1","value2","value3"])

# 4. 写入csv文件内容
csv_writer.writerow(["1","123","1.4","23"])
csv_writer.writerow(["2","110","","18"])
csv_writer.writerow(["3","","2.1","19"])

# 5. 关闭文件
f.close()
import numpy as np
outfile = r'.\data1.csv'
x = np.genfromtxt(outfile, delimiter=',', names=True)
print(x)
print(type(x))
print(x.dtype)
[(1., 123., 1.4, 23.) (2., 110., nan, 18.) (3.,  nan, 2.1, 19.)]

[('id', '
print(x['id'])
print(x['value1']) 
print(x['value2']) 
print(x['value3']) 
[1. 2. 3.]
[123. 110.  nan]
[1.4 nan 2.1]
[23. 18. 19.]

3. 文本格式选项

3.1 numpy.set_printoptions()

  • numpy.set_printoptions(precision=None,threshold=None, edgeitems=None,linewidth=None,
    suppress=None, nanstr=None, infstr=None,formatter=None, sign=None, floatmode=None,**kwarg)

Set printing options.

precision :设置浮点精度,控制输出的小数点个数,默认是8。

threshold :概略显示,超过该值则以“…”的形式来表示,默认是1000。

linewidth :用于确定每行多少字符数后插入换行符,默认为75。

suppress :当 suppress=True ,表示小数不需要以科学计数法的形式输出,默认是False。

nanstr :浮点非数字的字符串表示形式,默认 nan 。

infstr :浮点无穷大的字符串表示形式,默认 inf 。

import numpy as np
np.set_printoptions(precision=4)
x = np.array([1.123456789])
print(x)
[1.1235]
np.set_printoptions(threshold=20)
x = np.arange(50)
print(x)
[ 0  1  2 ... 47 48 49]
np.set_printoptions(threshold=np.iinfo(np.int).max)
#整数数组 min=-2147483648, max=2147483647, dtype=int32,隐含意思就是永远不省略
print(x)
[ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47
 48 49]
eps = np.finfo(float).eps 
#eps是取非负的最小值。当计算的IOU为0或为负(但从代码上来看不太可能为负),使用np.finfo(np.float32).eps来替换
x = np.arange(4.)
x = x ** 2 -(x + eps) ** 2
print(x)
#此处第一次输出为0,原因是先运行了np.set_printoptions(precision=2, suppress=True, threshold=5)
#suppress=True 不使用科学计数法表示,重启kernel即可
[-4.9304e-32 -4.4409e-16  0.0000e+00  0.0000e+00]
np.set_printoptions(suppress=True)
print(x)
[-0. -0.  0.  0.]
x = np.linspace(0, 10, 10)
print(x)
[ 0.      1.1111  2.2222  3.3333  4.4444  5.5556  6.6667  7.7778  8.8889
 10.    ]
np.set_printoptions(precision=2, suppress=True, threshold=5)
print(x)
[ 0.    1.11  2.22 ...  7.78  8.89 10.  ]

3.2 numpy.get_printoptions()

  • numpy.get_printoptions() Return the current print options(返回当前print的对象)

【例】

import numpy as np
x = np.get_printoptions()
print(x)
{'edgeitems': 3, 'threshold': 2147483647, 'floatmode': 'maxprec', 'precision': 4, 'suppress': False, 'linewidth': 75, 'nanstr': 'nan', 'infstr': 'inf', 'sign': '-', 'formatter': None, 'legacy': False}

你可能感兴趣的:(python基础,python,numpy)