数据分析之pandas读写文件【to_csv，read_csv】及Numpy之间的转换
1. pandas读写数据操作
1.1 to_csv()
相关参数
- path：路径，可以是相对路径也可以绝对路径。只填写文件名则为相对路径
- sep：分隔符，如果不写默认为 “,”。
- header：是否保留列名，0 为不保存，默认为 True。
- index：是否保留行索引，0 为不保存，默认为 True。
- columns：保留某列或者某些列数据。
- na_rep：替换空值，如果不写，默认是空。
- float_format：数据保存的格式，例：float_format=’ %.2f ’ 保留两位小数
a = np.array(range(0, 12)).reshape(3, 4)
b = np.array(range(0, 10))
print(a)
df = pd.DataFrame(a, index=list("ABC"), columns=list("WXYZ")) # DataFrame为二维数组
print(df)
df.to_csv('Result.csv', sep=";", na_rep="NA", header=0, index=0, columns=list('WZ'))
df.to_csv('Result3.csv', na_rep="NA", header=1, index=1, columns=['Z'])
df.to_csv('D:/PycharmProjects/untitled/数据分析/测试/Result2.csv')
print("------------------------------")
se = pd.Series(b, index=list("ABCDEFGHIG")) # Series为一维数组
print(se)
se.to_csv('reason.csv')
输出：
[[ 0 1 2 3]
[ 4 5 6 7]
[ 8 9 10 11]]
W X Y Z
A 0 1 2 3
B 4 5 6 7
C 8 9 10 11
------------------------------
A 0
B 1
C 2
D 3
E 4
F 5
G 6
H 7
I 8
G 9
dtype: int32
相应的DataFrame和Series还有：
- df.to_excel 写入到 excel 文件
- df.to_json 写入到 json 文件
- df.to_html 写入到 html 文件
1.2 pandas读取文件操作
- pd.read_csv 读取 csv 文件
- filepath_or_buffer:文件路径，必填参数。
- sep：指定分隔符，默认为：’,’
- header：指定哪一行作为表头。默认设置为 0
- index_col: 指定哪一列数据作为行索引，可以是一列，也可以多列。
- names：指定列的名称，用列表表示。
- nrows : 需要读取的行数
- skiprows : 需要忽略的行数
- pd.read_html 读取 html 文件
- pd.read_excel 读取 excel 文件
- pd.read_json 读取 json 文件
def getdistmat(coordinates):
"""
根据坐标，得出城市之间的距离矩阵
:param coordinates:
:return: distmat
"""
num = 436
# print(num)
distmat = np.zeros((num, num)) # 打印一个52行52列的二维数组
for i in range(num):
for j in range(i, num):
distmat[i][j] = distmat[j][i] = geodesic((rsu_set[i]), (rsu_set[j])).m
return distmat # distmat[i][j] = distmat[j][i]表示城市i和j距离
data1 = pd.DataFrame(getdistmat(rsu_set))
data1.to_csv('D:/PycharmProjects/untitled/paper/rsu_dis.csv')
df = pd.read_csv("./rsu_dis.csv", header=0, index_col=0)
# 注意看：打印的df结果、转化为csv后、因为dataframe行索引和列索引
# 注意看：怎么读取转化的二维数组
print(df)
distance_matrix = df.values
print(distance_matrix)
输出
0 1 ... 434 435
0 0.000000 3975.471457 ... 4127.864811 17264.013404
.. ... ... ... ... ...
435 17264.013404 21154.198618 ... 15911.135794 0.000000
[436 rows x 436 columns]
[[ 0. 3975.47145739 4220.34792082 ... 8422.71719903
4127.86481104 17264.01340402]
[ 3975.47145739 0. 5939.86488997 ... 11278.26042049
6323.51409593 21154.19861787]
[ 4127.86481104 6323.51409593 713.56697923 ... 4975.14520999
0. 15911.13579376]
[17264.01340402 21154.19861787 16602.04503987 ... 12045.76122016
15911.13579376 0. ]]
1.3 扩展：Numpy读取数据
data = "D:/PycharmProjects/untitled/数据分析/data.csv"
np_data= np.loadtxt(data, dtype="float", delimiter="/", skiprows=1, usecols=[0, 1])
上面的代码中已经写有Numpy转换数组的格式了，下面直接讲解pandas转Numpy数组
2. pandas转Numpy数组
# DataFrame转Numpy数组
df = pd.DataFrame(np.arange(12).reshape(3, 4))
# df.as_matrix() # 此方法已经淘汰
arr = df.values
print(df)
print("--------------------------")
print(arr)
输出：
0 1 2 3
0 0 1 2 3
1 4 5 6 7
2 8 9 10 11
--------------------------
[[ 0 1 2 3]
[ 4 5 6 7]
[ 8 9 10 11]]
同理：Series转数组也可以通过values实现。
# Series转Numpy数组
data = [['A', 10],
['B', 11]]
result = pd.DataFrame(data, columns=['fla', 'val'])
arr2 = result['val'].values
print(data)
print(result)
print(arr2)
print("--------------------------")
data2 = pd.Series([1, 2, 3])
arr3 = data2.values
print(arr3)
输出：
[['A', 10], ['B', 11]]
fla val
0 A 10
1 B 11
[10 11]
--------------------------
[1 2 3]