【python】数据分析——NumPy数据存取与函数(数据可视化必备,升职加薪~
目录
-
-
- 一、 数据CSV文件存取
- 二、多维数据的存取
- 三、NumPy的随机数函数
- 四、NumPy的统计函数
- 五、NumPy的梯度函数
一、 数据CSV文件存取
CSV文件是一种常见的文件格式,用来存储批量数据
CSV (Comma‐Separated Value, 逗号分隔值)
如csv文件:
储存方式如下:
np.savetxt(frame, array, fmt=’%.18e’, delimiter=None) |
• frame : 文件、字符串或产生器,可以是.gz或.bz2的压缩文件 |
• array : 存入文件的数组 |
• fmt : 写入文件的格式,例如:%d %.2f %.18e |
• delimiter : 分割字符串,默认是任何空格 |
import numpy as np
a = np.arange(100).reshape(5,20)
np.savetxt('hi.csv',a,fmt='%d',delimiter=',')
运行之后生成文件hi.csv,内容如下:
0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19
20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39
40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59
60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79
80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99
np.loadtxt(frame, dtype=np.float, delimiter=None, unpack=False) |
• frame : 文件、字符串或产生器,可以是.gz或.bz2的压缩文件 |
• dtype : 数据类型,可选 |
• delimiter : 分割字符串,默认是任何空格 |
• unpack : 如果True,读入属性将分别写入不同变量 |
import numpy as np
a = np.arange(100).reshape(5,20)
np.savetxt('hi.csv',a,fmt='%d',delimiter=',')
b = np.loadtxt('hi.csv',delimiter=',')
print(b)
运行之后,输出下面内容:
[[ 0. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17.
18. 19.]
[20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37.
38. 39.]
[40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57.
58. 59.]
[60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77.
78. 79.]
[80. 81. 82. 83. 84. 85. 86. 87. 88. 89. 90. 91. 92. 93. 94. 95. 96. 97.
98. 99.]]
注意:CSV只能有效存储一维和二维数组
np.savetxt() np.loadtxt()只能有效存取一维和二维数组
二、多维数据的存取
a.tofile(frame, sep=’’, format=’%s’) |
• frame : 文件、字符串 |
• sep : 数据分割字符串,如果是空串,写入文件为二进制 |
• format : 写入数据的格式 |
import numpy as np
a = np.arange(100).reshape(5,10,2)
a.tofile("Hi.csv",sep=",",format='%d')
0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79,80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99
np.fromfile(frame, dtype=float, count=‐1, sep=’’) |
• frame : 文件、字符串 |
• dtype : 读取的数据类型 |
• count : 读入元素个数,‐1表示读入整个文件 |
• sep : 数据分割字符串,如果是空串,写入文件为二进制 |
import numpy as np
a = np.arange(8).reshape(2,2,2)
a.tofile("Hi.csv",sep=",",format='%d')
c = np.fromfile("Hi.csv",dtype=np.int,sep=",")
print(c)
d = np.fromfile("Hi.csv",dtype=np.int,sep=",").reshape(2,2,2)
print(d)
注意:该方法需要读取时知道存入文件时数组的维度和元素类型a.tofile()和np.fromfile()需要配合使用可以通过元数据文件来存储额外信息
三、NumPy的随机数函数
函数 |
说明 |
rand(d0,d1,…,dn) |
根据d0‐dn创建随机数数组,浮点数,[0,1),均匀分布 |
randn(d0,d1,…,dn) |
根据d0‐dn创建随机数数组,标准正态分布 |
randint(low[,high,shape]) |
根据shape创建随机整数或整数数组,范围是[low, high) |
seed(s) |
随机数种子,s是给定的种子值 |
import numpy as np
a = np.random.rand(3,4,5)
print(a)
b = np.random.randn(3,4,5)
print(b)
c = np.random.randint(100,200,(3,4))
print(c)
import numpy as np
np.random.seed(10)
d = np.random.randint(100,200,(3,4))
print(d)
np.random.seed(10)
e = np.random.randint(100,200,(3,4))
print(e)
函数 |
说明 |
shuffle(a) |
根据数组a的第1轴进行随排列,改变数组x |
permutation(a) |
根据数组a的第1轴产生一个新的乱序数组,不改变数组x |
permutation(a) |
从一维数组a中以概率p抽取元素,形成size形状新数组 replace表示是否可以重用元素,默认为False |
import numpy as np
a = np.random.randint(100,200,(3,4))
print(a)
np.random.shuffle(a)
print(a)
np.random.shuffle(a)
print(a)
import numpy as np
a = np.random.randint(100,200,(3,4))
print(a)
np.random.permutation(a)
print(a)
import numpy as np
a = np.random.randint(100,200,(8,))
print(a)
b = np.random.choice(a,(3,2))
print(b)
c = np.random.choice(a,(3,2),replace=False)
print(c)
d = np.random.choice(a,(3,2),p=a/np.sum(a))
print(d)
函数 |
说明 |
uniform(low,high,size) |
产生具有均匀分布的数组,low起始值,high结束值,size形状 |
normal(loc,scale,size) |
产生具有正态分布的数组,loc均值,scale标准差,size形状 |
poisson(lam,size) |
产生具有泊松分布的数组,lam随机事件发生率,size形状 |
import numpy as np
a = np.random.uniform(0,10,(3,4))
print(a)
b = np.random.normal(10,5,(3,4))
print(b)
四、NumPy的统计函数
函数 |
说明 |
sum(a, axis=None) |
根据给定轴axis计算数组a相关元素之和,axis整数或元组 |
mean(a, axis=None) |
根据给定轴axis计算数组a相关元素的期望,axis整数或元组 |
average(a,axis=None,weights=None) |
根据给定轴axis计算数组a相关元素的加权平均值 |
std(a, axis=None) |
根据给定轴axis计算数组a相关元素的标准差 |
var(a, axis=None) |
根据给定轴axis计算数组a相关元素的方差 |
import numpy as np
a = np.arange(15).reshape(3,5)
print(a)
print(np.sum(a))
print(np.mean(a,axis=1))
print(np.average(a,axis=0,weights=[10,5,1]))
print(np.std(a))
print(np.var(a))
函数 |
说明 |
min(a) max(a) |
计算数组a中元素的最小值、最大值 |
argmin(a) argmax(a) |
计算数组a中元素最小值、最大值的降一维后下标 |
unravel_index(index, shape) |
根据shape将一维下标index转换成多维下标 |
ptp(a) |
计算数组a中元素最大值与最小值的差 |
median(a) |
计算数组a中元素的中位数(中值) |
import numpy as np
a = np.arange(15,0,-1).reshape(3,5)
print(a)
print(np.max(a))
print(np.argmax(a))
print(np.unravel_index(np.argmax(a),a.shape))
print(np.ptp(a))
print(np.median(a))
五、NumPy的梯度函数
函数 |
说明 |
np.gradient(f) |
计算数组f中元素的梯度,当f为多维时,返回每个维度梯度 |
import numpy as np
a = np.random.randint(0,20,(5))
print(a)
print(np.gradient(a))
祝贺你!完成第二部分的学习,坚持下去,一步一个脚印,天道酬勤!!!