Week 02 Python初步

本周是Python的基本使用,从真正小白零接触,跟着大神们开始学习

参考书:利用Python进行数据分析(原书第2版)中第三章和第五章

一、Python基础

1)Python环境安装

(1)下载

anaconda是python的包管理器和环境管理器, 是在 conda(一个包管理器和环境管理器)上发展出来的。在数据分析中,将会用到很多第三方的包,而conda(包管理器)可以很方便地在计算机上安装和管理这些包,包括安装、卸载和更新。更关键的是conda可以在不同的项目中建立不同的运行环境。

在官网(https://www.anaconda.com/download)上可直接下载安装包,但速度较慢,可能安装到一半就错误。如果网速好的话可以一试,找到相应版本下载完成后直接安装就好。Anaconda 安装包还可以到华镜像上(https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive)下载安装,优点是下载速度快。

2)Python基本用法-读文件

读写文件是最常见的IO操作。Python内置了读写文件的函数,用法和C是兼容的。在磁盘上读写文件的功能都是由操作系统提供的,现代操作系统不允许普通的程序直接操作磁盘,所以,读写文件就是请求操作系统打开一个文件对象(通常称为文件描述符),然后,通过操作系统提供的接口从这个文件对象中读取数据(读文件),或者把数据写入这个文件对象(写文件)。

读文件

要以读文件的模式打开一个文件对象,使用Python内置的open()函数,传入文件名和标示符:

1>>> f =open('/Users/michael/test.txt', 'r')

标示符'r'表示读,这样,我们就成功地打开了一个文件。

如果文件不存在,open()函数就会抛出一个IOError的错误,并且给出错误码和详细的信息告诉你文件不存在:

>>> f=open('/Users/michael/notfound.txt', 'r')

Traceback (most recent call last):

 File"", line 1, in

IOError: [Errno 2] No such fileordirectory: '/Users/michael/notfound.txt'

如果文件打开成功,接下来,调用read()方法可以一次读取文件的全部内容,Python把内容读到内存,用一个str对象表示:

>>> f.read()

'Hello, world!'

最后一步是调用close()方法关闭文件。文件使用完毕后必须关闭,因为文件对象会占用操作系统的资源,并且操作系统同一时间能打开的文件数量也是有限的:

1>>> f.close()

由于文件读写时都有可能产生IOError,一旦出错,后面的f.close()就不会调用。所以,为了保证无论是否出错都能正确地关闭文件,我们可以使用try ... finally来实现:

正确地关闭文件,我们可以使用try ... finally来实现:

try:

  f =open('/path/to/file', 'r')

  printf.read()

finally:

  if f:

    f.close()

但是每次都这么写实在太繁琐,所以,Python引入了with语句来自动帮我们调用close()方法:2

with open('/path/to/file', 'r') as f:

  printf.read()

这和前面的try ... finally是一样的,但是代码更佳简洁,并且不必调用f.close()方法。

调用read()会一次性读取文件的全部内容,如果文件有10G,内存就爆了,所以,要保险起见,可以反复调用read(size)方法,每次最多读取size个字节的内容。另外,调用readline()可以每次读取一行内容,调用readlines()一次读取所有内容并按行返回list。因此,要根据需要决定怎么调用。

如果文件很小,read()一次性读取最方便;如果不能确定文件大小,反复调用read(size)比较保险;如果是配置文件,调用readlines()最方便:

forline inf.readlines():

  print(line.strip()) # 把末尾的'\n'删掉

3)Python基本数据结构:字典、集合等

Python中的内置数据结构(Built-in Data Structure):列表list、元组tuple、字典dict、集合set。

list的显著特征:

列表中的每个元素都可变的,意味着可以对每个元素进行修改和删除;

列表是有序的,每个元素的位置是确定的,可以用索引去访问每个元素;

列表中的元素可以是Python中的任何对象;

可以为任意对象就意味着元素可以是字符串、整数、元组、也可以是list等Python中的对象。

二、Pandas基础

Pandas是一个强大的分析结构化数据的工具集;它的使用基础是Numpy(提供高性能的矩阵运算);用于数据挖掘和数据分析,同时也提供数据清洗功能。

1)Pandas环境安装:pandas库在anaconda中是默认安装的,也可以通过pip(conda) install pandas安装

2)Pandas数据结构:Series是一种一维的数组型对象,它包含了一个值序列,并且包含了数据标签,称为索引(index),最简单的序列可以仅仅由一个数组形成。DataFrame表示的是矩阵的数据表,它包含已排序的列集合,每一列可以是不同的值类型(数值、字符串、布尔值等)。DataFrame既有行索引也有列索引,它可以被视为一个共享相同索引的Series的字典。在DataFrame中,数据被存储为一个以上的二维块,而不是列表、字典或其他一维数组的组合。尽管DataFrame是二维的,但是我们可以利用分层索引在DataFrame中展现更高维度的数据。DataFrame的构建方法有很多种,其中最常用的方式是利用包含等长度列表或NumPy数组的字典来形成DataFrame

三、描述性数据分析的Python实践

1、准备数据

导入 pandas 库,读取 xlsx 文件数据

import pandas as pd

import numpy as np

df = pd.read_excel("score.xlsx")

df.head()

姓名 语文 数学 英语

0 张三 78 99 77

1 李四 68 89 67

2 王五 87 78 90

3 阿大 85 70 98

4 李云龙 98 68 79

5 乔峰 69 45 82

6 毛毛 77 80 60

7 阿牛 69 76 69

8 小红 99 80 88

9 小白 87 88 69

2、计算

1)众数

score=df['数学']

counts = np.bincount(score)

np.argmax(counts)

80

2)中位数

np.median(score)

79.0

3)算术平均数

np.average(score)

77.3

4)加权平均数

per=np.sum(df,axis=1)/3

np.average(score,weights=per)

77.93077247783876

5)方差

np.var(score)

192.20999999999998

6)标准差

np.std(score)

13.863982111933064

3、第二种代码

代码:

import numpy as np

from scipy import stats

from numpy import mean, ptp, var, std

data=np.array([17, 19, 26, 29, 35, 19, 21])

w = [0.1, 0.1, 0.2, 0.1, 0.3, 0.1, 0.1]

print("排序:",np.sort(data))

print("求和:",np.sum(data))

print("\n集中趋势")

print("众数:",stats.mode(data)[0][0])

print("中位数:",np.median(data))

print("平均数:",np.mean(data))

print("25%分位数:",np.percentile(data, 25))

print("50%分位数:",np.percentile(data, 50))

print("75%分位数:",np.percentile(data, 75))

print("四分位差:",np.percentile(data, 75)-np.percentile(data, 25))

print("极差:",ptp(data))

print("加权平均数:",np.average(data,weights=w))

print("几何平均数:",stats.gmean(data))

print("\n离中趋势")

print("方差:",var(data))

print("标准差:",std(data))

print("平均差:",np.sum(abs(data-np.mean(data)))/len(data))

print("异众比率:",1-stats.mode(data)[1][0]/len(data))

print("离散系数:",std(data)/np.mean(data))

print("偏态系数:",stats.skew(data))

print("峰态系数:",stats.kurtosis(data))

运行结果

排序: [17 19 19 21 26 29 35]

求和: 166

集中趋势

众数: 19

中位数: 21.0

平均数: 23.714285714285715

25%分位数: 19.0

50%分位数: 21.0

75%分位数: 27.5

四分位差: 8.5

极差: 18

加权平均数: 26.200000000000003

几何平均数: 22.996368449077114

离中趋势

方差: 36.775510204081634

标准差: 6.0642815076546075

平均差: 5.387755102040816

异众比率: 0.7142857142857143

离散系数: 0.25572271417820636

偏态系数: 0.6820851611428496

峰态系数: -0.8763434634842784

你可能感兴趣的:(Week 02 Python初步)