数据分析与挖掘中常用Python库的介绍与实践案例

                                                              数据分析与挖掘中常用Python库的介绍与实践案例

一、Python介绍

       现在python一词对我们来说并不陌生,尤其是在学术圈,它的影响力远超其它任何一种编程语言, 作为一门简单易学且功能强大的编程语言,它拥有丰富的第三方库,在许多方面都有着广泛的应用,如网站开发、游戏开发、网络爬虫、数据分析、机器学习等。 (更多内容,可参阅程序员在旅途)
       在数据分析方面,python拥有Numpy、SciPy、Pandas、Matplotlib等功能强大的模块可供使用。随着这些模块的逐步完善,python在科学领域的地位越来越重要,这其中包括科学计算、数学建模、数据挖掘等。因此,掌握这些模块的基本使用方法至关重要,下面就逐一介绍下。

二、常用库的使用示例

     2.1 NumPy 库:
     NumPy(官网)提供了N维数组功能以及对数据进行快速处理的能力,弥补了Python本身没有提供数组功能的缺陷。其提供了两种基本的对象:ndarray和ufunc。ndarray是存储单一数据类型的多维数组,而ufunc是能够对数组进行处理的函数(ufunc(通用函数)是一种对ndarray中的数据执行元素级运算的函数)。它也是SciPy、Pandas、Matplotlib的基础依赖库。
     ndarray:N维数组对象(矩阵),所有元素数据类型必须是相同的。
     ndarray属性:ndim属性,表示维度的个数;shape属性,表示各维度得大小;dtype属性,表示数据类型。
     创建ndarray数组的函数如下图:

数据分析与挖掘中常用Python库的介绍与实践案例_第1张图片

   代码示例:

import numpy as np

# 一维数组示例
a = np.array([3, 2, 1, 6, 5])
print('数组a: ', a)  # 数组a:  [3 2 1 6 5]
print(a[:3])  # [3 2 1]
print(a[2:])  # [1 6 5]
print('ufunc函数使用示例,求平方: ', np.square(a))  # ufunc函数使用示例,求平方:  [ 9  4  1 36 25]
a.sort()
print('排序之后的数组a: ', a)  # 排序之后的数组a:  [1 2 3 5 6]

# 二维数组示例
b = np.array([[1, 2, 3], [6, 7, 8], [10, 11, 12]])
print('\n 二维数组b: ', b)  # 二维数组b:  [[ 1  2  3] [ 6  7  8] [10 11 12]]
print('矢量运算结果(所有元素 * 2): \n', 2 * b)  # 矢量运算结果(所有元素 * 2):  [[ 2  4  6] [12 14 16] [20 22 24]]
print(b.dtype)  # int32

# arange([start,] stop[, step,], dtype=None) 四个参数,其中start,step,dtype可以省略,分别是起始点、步长、和返回类型。
c = np.arange(5)  # 起始点0,结束点5,步长1,返回类型array,一维
print('\narrange函数生成的数组:', c)  # arrange函数生成的数组: [0 1 2 3 4]
# zeros函数
d = np.zeros(5, dtype='int8')
print('zero函数生成的数组: ', d)  # zero函数生成的数组:  [0 0 0 0 0]

   2.2 SciPy 库:
   
SciPy(官网)依赖于NumPy,其提供了矩阵支持以及大量基于矩阵运算的对象和函数。SciPy包含的功能有最优化、线性代数、积分、插值、拟合、特殊函数、快速傅里叶变换、信号处理和图像处理、常微分方程求解和其他科学和工程中常用的计算,这些功能是科学工程领域建模和数据挖掘中必须具备的。

SciPy中常用的八个模块(除此之外还有其他模块,在官网查询即可)
模块名称 scipy.integrate scipy.linalg scipy.optimize scipy.signal scipy.sparse scipy.stats scipy.weave scipy.special
应用说明 数值积分例程和微分方程求解器 扩展了由 numpy.linalg 提供的线性代数例程和矩阵分解功能 函数优化器(最小化器)以及根查找算法 信号处理工具 稀疏矩阵和稀疏线性系统求解器 检验连续和离散概率分布、各种统计检验方法,以及更好的描述统计法 利用内联 C++代码加速数组计算的工具 SPECFUN(这是一个实现了许多常用数学函数的 Fortran 库)的包装器

   代码示例:

import numpy as np
from scipy import integrate
from scipy.optimize import fsolve

# 求解积分
def f(x):
    return x
val, abserr = integrate.quad(f, 0, 1)  # 积分结果和误差
print(val, abserr)  # 0.5 5.551115123125783e-15

# 求解方程组 2x1 - x^2 = 1, x1^2 -x2 = 2
def g(x):
    x1 = x[0]
    x2 = x[1]
    return np.array([2 * x1 - x2 ** 2 - 1, x1 ** 2 - x2 - 2])
result = fsolve(g, [1, 1])  # 输入初始值,并进行求解
print(result)  # [1.91963957 1.68501606]

     2.3 Pandas 库:
   
  Pandas(官网)是一个强大的分析结构化数据的工具集;它的使用基础是Numpy(提供高性能的矩阵运算);用于数据挖掘和数据分析,同时也提供数据清洗功能。pandas最初作为金融分析工具被开发,2008年问世,2009年底开源。
     Pandas的基本数据结构是SeriesDataFrame,Series是一种类似于一维数组的对象,是由一组数据(各种NumPy数据类型)以及一组与之相关的数据标签(即索引)组成。仅由一组数据也可产生简单的Series对象。DataFrame是Pandas中的一个表格型的数据结构,包含有一组有序的列,每列可以是不同的值类型(数值、字符串、布尔型等),DataFrame即有行索引也有列索引,可以被看做是由Series组成的字典。

     2.3.1 Series和DataFrame对象的创建,元素的选取:

import pandas as pd
from pandas import Series, DataFrame

a = pd.Series([1, 2, 3, 4])  # 默认的索引
b = Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])  # 显示的添加index
print('Series A : \n', a)
print('Series B : \n', b)

数据分析与挖掘中常用Python库的介绍与实践案例_第2张图片

c = pd.DataFrame({'categorical': pd.Categorical(['d', 'e', 'f', 'm']), 'test': [4, 6, 9, 3], 'numeric': [1, 2, 3, 6],
                  'object': ['a', 'b', 'c', 'd']})
print('输出C:\n', c)
print('简要统计结果: \n', c.describe())  # 统计结果
print('输出前两行:\n', c.head(2))  # 输出前两行
print('C 的转置:\n', c.T)  # C 的转置
print('输出 2-3行:\n', c[2:4])  # 输出2-3行
print('loc,选取 categorical、test 这两列的前三行行数据: \n', c.loc[:2, ('categorical', 'test')])
print('iloc,选择某行某列的值:\n', c.iloc[2,2])  # iloc[]方法的参数,必须是数值。
print('iloc,选择前两行,前两列的数据:\n', c.iloc[:2, 0:2])

数据分析与挖掘中常用Python库的介绍与实践案例_第3张图片

数据分析与挖掘中常用Python库的介绍与实践案例_第4张图片

       2.3.2 Pandas处理文件读写:

# pandas处理文件读写非常的简单
pd.read_csv('C:\\Users\\itour\\Desktop\\credit_card.csv', encoding='utf-8')
pd.to_csv('C:\\Users\\itour\\Desktop\\credit_card.csv', encoding='utf-8')

pd.read_excel('C:\\Users\\itour\\Desktop\\credit_card.xlsx','Sheet1')
pd.to_excel('C:\\Users\\itour\\Desktop\\credit_card.xlsx',sheet_name='Sheet1')

       2.4 Matplotlib 库:
       不管是数据挖掘还是数学建模,最终结果的可视化展示都是需要面对的一个问题,Matplotlib(官网)是Python中最为成熟的绘图库,主要用于绘制2D图形,可以很方便的绘制直方图、散点图、条形图、饼状图、折线图等等。同时,还可以绘制一些界面可交互的图形。
       首先绘图需要导入matplotlib.pyplot,其中pyplot是matplotlib的绘图框架。
       代码示例如下(要注意中文的显示问题):

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

x = np.linspace(0, 2 * np.pi, 50)
y = np.sin(x)

plt.rcParams['font.sans-serif'] = ['SimHei']  # 显示中文标签
plt.rcParams['font.family'] = 'sans-serif'
plt.rcParams['axes.unicode_minus'] = False   # 解决负号'-'显示为方块的问题
plt.figure(figsize=(8,4))
plt.plot(x, y, 'bp--')
plt.xlabel('自变量x')  # x轴标签
plt.ylabel('sin(x)')  # y轴标签
plt.title('y = sin(x) x∈[0,2*pi]')  # 标题
plt.legend()  #图例
plt.show()  #显示图像

数据分析与挖掘中常用Python库的介绍与实践案例_第5张图片

       2.5 scikit-learn 库:
       
scikit-learn是Python下强大的机器学习包,提供了完善的机器学习工具集,包括有数据预处理、分类、回归、聚类、预测、模型分析等。训练模型的具体方法,会在后面的博客中陆续的写出来。

三、总结

       以上几个库,是提升Python作为数据分析生产力工具的基础,因此,如果想用Python做这类工作,这些库是必须要熟练掌握的。

       用Python进行数据分析,得益于这些扩展包的存在,实现起来高效便捷。有时候一些科研人员并不是专门从事编程领域工作的,如果为了实现某一个数据分析任务,需要专门学习一种语言,那Python是当之无愧的首选,真的很简单的一门编程语言,上手容易,语法灵活,不用关注太多语法细节,只需要专心科研任务本身即可。虽然其他的编程语言也可以实现相同的功能,但是操作起来较为复杂,会花费很多不必要的精力在非核心工作上面。

你可能感兴趣的:(Python数据分析与挖掘,数据分析与挖掘常用库,Pandas,NumPy,matplotlib,scikit-learn)