本周是Python的基本使用,从真正小白零接触,跟着大神们开始学习
参考书:利用Python进行数据分析(原书第2版)中第三章和第五章
一、Python基础
1)Python环境安装
(1)下载
anaconda是python的包管理器和环境管理器, 是在 conda(一个包管理器和环境管理器)上发展出来的。在数据分析中,将会用到很多第三方的包,而conda(包管理器)可以很方便地在计算机上安装和管理这些包,包括安装、卸载和更新。更关键的是conda可以在不同的项目中建立不同的运行环境。
在官网(https://www.anaconda.com/download)上可直接下载安装包,但速度较慢,可能安装到一半就错误。如果网速好的话可以一试,找到相应版本下载完成后直接安装就好。Anaconda 安装包还可以到华镜像上(https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive)下载安装,优点是下载速度快。
2)Python基本用法-读文件
读写文件是最常见的IO操作。Python内置了读写文件的函数,用法和C是兼容的。在磁盘上读写文件的功能都是由操作系统提供的,现代操作系统不允许普通的程序直接操作磁盘,所以,读写文件就是请求操作系统打开一个文件对象(通常称为文件描述符),然后,通过操作系统提供的接口从这个文件对象中读取数据(读文件),或者把数据写入这个文件对象(写文件)。
读文件
要以读文件的模式打开一个文件对象,使用Python内置的open()函数,传入文件名和标示符:
1>>> f =open('/Users/michael/test.txt', 'r')
标示符'r'表示读,这样,我们就成功地打开了一个文件。
如果文件不存在,open()函数就会抛出一个IOError的错误,并且给出错误码和详细的信息告诉你文件不存在:
>>> f=open('/Users/michael/notfound.txt', 'r')
Traceback (most recent call last):
File"
IOError: [Errno 2] No such fileordirectory: '/Users/michael/notfound.txt'
如果文件打开成功,接下来,调用read()方法可以一次读取文件的全部内容,Python把内容读到内存,用一个str对象表示:
>>> f.read()
'Hello, world!'
最后一步是调用close()方法关闭文件。文件使用完毕后必须关闭,因为文件对象会占用操作系统的资源,并且操作系统同一时间能打开的文件数量也是有限的:
1>>> f.close()
由于文件读写时都有可能产生IOError,一旦出错,后面的f.close()就不会调用。所以,为了保证无论是否出错都能正确地关闭文件,我们可以使用try ... finally来实现:
正确地关闭文件,我们可以使用try ... finally来实现:
try:
f =open('/path/to/file', 'r')
printf.read()
finally:
if f:
f.close()
但是每次都这么写实在太繁琐,所以,Python引入了with语句来自动帮我们调用close()方法:2
with open('/path/to/file', 'r') as f:
printf.read()
这和前面的try ... finally是一样的,但是代码更佳简洁,并且不必调用f.close()方法。
调用read()会一次性读取文件的全部内容,如果文件有10G,内存就爆了,所以,要保险起见,可以反复调用read(size)方法,每次最多读取size个字节的内容。另外,调用readline()可以每次读取一行内容,调用readlines()一次读取所有内容并按行返回list。因此,要根据需要决定怎么调用。
如果文件很小,read()一次性读取最方便;如果不能确定文件大小,反复调用read(size)比较保险;如果是配置文件,调用readlines()最方便:
forline inf.readlines():
print(line.strip()) # 把末尾的'\n'删掉
3)Python基本数据结构:字典、集合等
Python中的内置数据结构(Built-in Data Structure):列表list、元组tuple、字典dict、集合set。
list的显著特征:
列表中的每个元素都可变的,意味着可以对每个元素进行修改和删除;
列表是有序的,每个元素的位置是确定的,可以用索引去访问每个元素;
列表中的元素可以是Python中的任何对象;
可以为任意对象就意味着元素可以是字符串、整数、元组、也可以是list等Python中的对象。
二、Pandas基础
Pandas是一个强大的分析结构化数据的工具集;它的使用基础是Numpy(提供高性能的矩阵运算);用于数据挖掘和数据分析,同时也提供数据清洗功能。
1)Pandas环境安装:pandas库在anaconda中是默认安装的,也可以通过pip(conda) install pandas安装
2)Pandas数据结构:Series是一种一维的数组型对象,它包含了一个值序列,并且包含了数据标签,称为索引(index),最简单的序列可以仅仅由一个数组形成。DataFrame表示的是矩阵的数据表,它包含已排序的列集合,每一列可以是不同的值类型(数值、字符串、布尔值等)。DataFrame既有行索引也有列索引,它可以被视为一个共享相同索引的Series的字典。在DataFrame中,数据被存储为一个以上的二维块,而不是列表、字典或其他一维数组的组合。尽管DataFrame是二维的,但是我们可以利用分层索引在DataFrame中展现更高维度的数据。DataFrame的构建方法有很多种,其中最常用的方式是利用包含等长度列表或NumPy数组的字典来形成DataFrame
三、描述性数据分析的Python实践
1、准备数据
导入 pandas 库,读取 xlsx 文件数据
import pandas as pd
import numpy as np
df = pd.read_excel("score.xlsx")
df.head()
姓名 语文 数学 英语
0 张三 78 99 77
1 李四 68 89 67
2 王五 87 78 90
3 阿大 85 70 98
4 李云龙 98 68 79
5 乔峰 69 45 82
6 毛毛 77 80 60
7 阿牛 69 76 69
8 小红 99 80 88
9 小白 87 88 69
2、计算
1)众数
score=df['数学']
counts = np.bincount(score)
np.argmax(counts)
80
2)中位数
np.median(score)
79.0
3)算术平均数
np.average(score)
77.3
4)加权平均数
per=np.sum(df,axis=1)/3
np.average(score,weights=per)
77.93077247783876
5)方差
np.var(score)
192.20999999999998
6)标准差
np.std(score)
13.863982111933064
3、第二种代码
代码:
import numpy as np
from scipy import stats
from numpy import mean, ptp, var, std
data=np.array([17, 19, 26, 29, 35, 19, 21])
w = [0.1, 0.1, 0.2, 0.1, 0.3, 0.1, 0.1]
print("排序:",np.sort(data))
print("求和:",np.sum(data))
print("\n集中趋势")
print("众数:",stats.mode(data)[0][0])
print("中位数:",np.median(data))
print("平均数:",np.mean(data))
print("25%分位数:",np.percentile(data, 25))
print("50%分位数:",np.percentile(data, 50))
print("75%分位数:",np.percentile(data, 75))
print("四分位差:",np.percentile(data, 75)-np.percentile(data, 25))
print("极差:",ptp(data))
print("加权平均数:",np.average(data,weights=w))
print("几何平均数:",stats.gmean(data))
print("\n离中趋势")
print("方差:",var(data))
print("标准差:",std(data))
print("平均差:",np.sum(abs(data-np.mean(data)))/len(data))
print("异众比率:",1-stats.mode(data)[1][0]/len(data))
print("离散系数:",std(data)/np.mean(data))
print("偏态系数:",stats.skew(data))
print("峰态系数:",stats.kurtosis(data))
运行结果
排序: [17 19 19 21 26 29 35]
求和: 166
集中趋势
众数: 19
中位数: 21.0
平均数: 23.714285714285715
25%分位数: 19.0
50%分位数: 21.0
75%分位数: 27.5
四分位差: 8.5
极差: 18
加权平均数: 26.200000000000003
几何平均数: 22.996368449077114
离中趋势
方差: 36.775510204081634
标准差: 6.0642815076546075
平均差: 5.387755102040816
异众比率: 0.7142857142857143
离散系数: 0.25572271417820636
偏态系数: 0.6820851611428496
峰态系数: -0.8763434634842784