Yedge

【Python学习笔记—保姆版】第四章—关于Pandas、数据准备、数据处理、数据分析、数据可视化

第四章

欢迎访问我搞事情的【知乎账号】：Coffee
以及我的【B站漫威剪辑账号】：VideosMan
若我的笔记对你有帮助，请用小小的手指，点一个大大的赞哦。

#编译器使用的是sypder，其中">>>"代表输入和执行的内容
>>> print(‘Hello World’) #执行代码
Hello World #输出值

【Python学习笔记—保姆版】第四章

第四章
1、关于Pandas
2、数据准备
- pandas和numpy
- 创建DataFrame
- - 1.标准格式创建：
  - 2 .传入等长的列表组成的字典来创建：
  - **3 传入嵌套字典（字典的值也是字典）创建DataFrame**
- 增删改查
- - 1.增加值
  - - 1.增加列。直接为不存在的列赋值就会创建新的列
    - 2.增加行
    - 3.删除行和列：axis代表选中的是行还是列，列是1，行是2.inplace代表有没有真正删除
    - 改
- DataFrame
- - 一、某列所有值
  - 二、某行所有值
  - 三、某行某列对应值df_signal[‘a’].iloc[-1]
  - 四、删除特定行
  - 五、**Python DataFrame 按条件筛选数据**
  - 六、排序
- 数据导入
3、数据处理
- 4.3.1 数据清洗
- - 1、重复值的处理：drop_duplicates()
  - 2、缺失值处理：
  - - 1. dropna() 去除数据结构中值为空的数据行
    - 2. df.fillna() 用其他数值替代NaN，有些时候空数据直接删除会影响分析的结果，可以对数据进行填补。【例4-8】使用数值或者任意字符替代缺失值
    - 3. df.fillna(method='pad') 用前一个数据值替代NaN
    - 4. df.fillna(method='bfill') 用后一个数据值替代NaN
    - 5. df.fillna(df.mean()) 用平均数或者其他描述性统计量来代替NaN。
    - 6. df.fillna(df.mean()[math: physical]) 可以选择列进行缺失值的处理
    - 7. strip()：清除字符型数据左右(首尾)指定的字符，默认为空格，中间的不清除。
  - 3、特定值替换：replace('缺考', 0)
  - 4、删除满足条件元素所在的行：drop()
- 4.3.2 数据抽取
- - 1. 字段抽取：抽出某列上指定位置的数据做成新的列。
  - 2. 字段拆分：按指定的字符sep，拆分已有的字符串。
  - 3. 记录抽取：是指根据一定的条件，对数据进行抽取。
  - 4. 随机抽样：是指随机从数据中按照一定的行数或者比例抽取数据。
  - PS:按照指定条件抽取数据：
  - 5. 字典数据：将字典数据抽取为dataframe，有三种方法。
- 4.3.3 排名索引
- - 说明：axis、ascending、inplace、by
  - **1. 排名排序（索引排序）：df.sort_index()**
  - 2．重新索引：.reindex(index=None,**kwargs)
  - 3. 值排序：df.sort_values()
  - **4、sort_values()中的na_position参数**
  - 5、“值排名”：rank()函数
- 4.3.4 数据合并
- - 1. 记录合并：是指两个结构相同的数据框合并成一个数据框。也就是在一个数据框中追加另一个数据框的数据记录。pd.concat([df1,df2])
  - 2. 字段合并：是指将同一个数据框中的不同的列进行合并，形成新的列。X = x1+x2+…
  - 3. 字段匹配：是指不同结构的数据框(两个或以上的数据框)，按照一定的条件进行合并，即追加列。merge(x,y,left_on,right_on) 外键连接
- 4.3.5 数据计算
- - 1. 简单计算：通过对各字段进行加、减、乘、除等四则算术运算，计算出的结果作为新的字段。
  - 2. 数据标准化：是指将数据按照比例缩放，使之落入特定的区间，一般使用0-1标准化。X*=(x-min)/(max-min)
- 4.3.6 数据分组
- - 说明：pd.cut(series,bins,right=True,labels=NULL)
  - bins
  - labels
- 4.3.7 日期处理
- - 1. 日期转换：是指将字符型的日期格式转换为日期格式数据的过程。
  - 2. 日期格式化：是指将日期型的数据按照给定的格式转化为字符型的数据。
  - 3. 日期抽取：是指从日期格式里面抽取出需要的部分属性
  - 4. 日期判断：
  - 5.日期增长：
4、数据分析
- 4.4.1 基本统计：describe
- 4.4.2 分组分析：groupby（离散值分组）
- 4.4.3 分布分析：cut+groupby（连续值分组）
- 4.4.4 交叉分析：pivot_table（数据透视表）
- 4.4.5 结构分析：pivot_table+sum+div（查比重）
- 4.4.6 相关分析：corr（一维、二维）
5、数据可视化
- 相关注意
- 4.5.1 饼图：plt.pie(gb2.人数，labels=gb2.index，autopct='%.2f%%'，colors=['b'，'pink'，(0.5，0.8，0.3)]，explode=[0，0，0，0，0.1])
- 4.5.2 散点图：plt.plot(df.高代,df.数分,'o',color='pink')
- 4.5.3 折线图：plt.plot(df.学号,df.总分,'-',color='r')
- 4.5.4 柱形图：plt.bar(df.学号后三位,df.总分,width=1,color=['r','b'])
- 4.5.5 直方图：plt.hist(df2.C语言程序设计,bins=10,color='g',cumulative=True)
这是我的线上笔记，希望对你有所帮助；你的点赞收藏，是我坚持的最大动力

1、关于Pandas

Pandas的中文网，介绍得非常详细
https://www.pypandas.cn/docs/

2、数据准备

pandas和numpy

import pandas as pd
import pandas as Series
import numpy as np
from pandas import DataFrame

pandas：生成数据框，处理数据框
```
import pandas as pd
```
```
DataFrame、Series
```

numpy：一些特殊的数值，可视化的使用

import numpy as np

比如

方法	解释
np.nan	空值（缺失值）
np.inf	无穷（ -inf 或 +inf ）
np.arange(16)	返回一个有终点和起点的固定步长的排列
np.random	生成随机数
np.array([1,2,3,4])	返回一个自定义的排列

方法	效果
numpy.size	人数
numpy.mean	平均值
numpy.var	方差
numpy.std	标准差
numpy.max	最高分
numpy.min	最低分

创建DataFrame

1.标准格式创建：

        >>> from pandas import DataFrame
        >>> df = DataFrame(np.arange(16).reshape(4,4),index=['a','b','c','d'],columns =['one','two','three','four'])
        >>> df
           one  two  three  four
        a    0    1      2     3
        b    4    5      6     7
        c    8    9     10    11
        d   12   13     14    15

2 .传入等长的列表组成的字典来创建：

 >>> data = {'a':[5,8],'b':[1,0]}
     >>> df = DataFrame(data)
     >>> df
        a  b
     0  5  1
     1  8  0

同时也可以指定列索引序列

    >>> df = DataFrame(data,columns = ['b','a'])
    >>> df
       b  a
    0  1  5
    1  0  8

3 传入嵌套字典（字典的值也是字典）创建DataFrame

其中我们可以知道，外层键是列索引，内层子键是行索引

  >>> nest_dict={'shanghai':{2015:100,2016:101},'beijing':{2015:102,2016:103}}
   
  >>> df = DataFrame(nest_dict)
  >>> df
        shanghai  beijing
  2015       100      102
  2016       101      103
  >>> nest_dict={'shanghai':{2015:100,2016:101},'beijing':{2015:102,2014:103}}
  >>> df = DataFrame(nest_dict)
  >>> df
        shanghai  beijing
  2014       NaN    103.0
  2015     100.0    102.0
  2016     101.0      NaN

增删改查

(1 封私信 / 4 条消息) dataframe修改某列的值 - 搜索结果 - 知乎 (zhihu.com)

(20条消息) pandas：dataframe在指定位置插入一行数据_碧海蓝天-CSDN博客_dataframe插入一行数据

(22条消息) Python中pandas dataframe删除一行或一列：drop函数_海晨威-CSDN博客_dataframe drop

1.增加值

1.增加列。直接为不存在的列赋值就会创建新的列

df['Hefei'] = 1
df
shanghai beijing Hefei
2014 NaN 103.0 1
2015 100.0 102.0 1
2016 101.0 NaN 1

2.增加行

利用loc方法，当然也可以使用append方法，不过传入的需要是字典形式。

>>> df.loc[4]={'shanghai':5,'beijing':13, 'Hefei':50}
>>> df
      shanghai  beijing  Hefei
2014       NaN    103.0      1
2015     100.0    102.0      1
2016     101.0      NaN      1
4          5.0     13.0     50
>>> df.loc[2]={'shanghai':5,'beijing':13, 'Hefei':50}
>>> df
      shanghai  beijing  Hefei
2014       NaN    103.0      1
2015     100.0    102.0      1
2016     101.0      NaN      1
4          5.0     13.0     50
2          5.0     13.0     50

3.删除行和列：axis代表选中的是行还是列，列是1，行是2.inplace代表有没有真正删除

  >>> df.drop('Hefei',axis = 1,inplace = True)
  >>> df
       shanghai beijing
  2014      NaN     103
  2015      100     102
  2016      101     NaN
  4           5      13
  2           5      13
  3           5      13
  
  df.drop(3,axis = 0,inplace = True)
  >>> df
       shanghai beijing
  2014      NaN     103
  2015      100     102
  2016      101     NaN
  4           5      13
  2           5      13

改

改操作主要记住就是从列开始

>>> df
     shanghai beijing
2014        6       6
2015      100     102
2016      101     NaN
4           5      13
2           5      13
>>> df[:3]
     shanghai beijing
2014        6       6
2015      100     102
2016      101     NaN
>>> df[1] = 3
>>> df
     shanghai beijing  1
2014        6       6  3
2015      100     102  3
2016      101     NaN  3
4           5      13  3
2           5      13  3

DataFrame

df.info():          # 打印摘要
df.describe():      # 描述性统计信息
df.values:          # 数据 
df.to_numpy()       # 数据  (推荐)
df.shape:           # 形状 (行数, 列数)
df.columns:         # 列标签 
df.columns.values:  # 列标签 
df.index:           # 行标签 
df.index.values:    # 行标签 
df.head(n):         # 前n行
df.tail(n):         # 尾n行
pd.options.display.max_columns=n: # 最多显示n列
pd.options.display.max_rows=n:    # 最多显示n行
df.memory_usage():                # 占用内存(字节B)

np.random.seed(1234)
d1 = pd.Series(2*np.random.normal(size = 100)+3)
d2 = np.random.f(2,4,size = 100)
d3 = np.random.randint(1,100,size = 100)
d1.count()  #非空元素计算
d1.min()    #最小值
d1.max()    #最大值
d1.idxmin() #最小值的位置，类似于R中的which.min函数
d1.idxmax() #最大值的位置，类似于R中的which.max函数
d1.quantile(0.1)    #10%分位数
d1.sum()    #求和
d1.mean()   #均值
d1.median() #中位数
d1.mode()   #众数
d1.var()    #方差
d1.std()    #标准差
d1.mad()    #平均绝对偏差
d1.skew()   #偏度
d1.kurt()   #峰度
d1.describe()   #一次性输出多个描述性统计指标

np.nan   #赋空值

一、某列所有值

df['a']#取a列
df[['a','b']]#取a、b列

二、某行所有值

# 前n行，后n行
df.head(n)
df.tail(n)

#iloc只能用数字索引，不能用索引名------(左闭右开)
df.iloc[0:2]#前2行
df.iloc[0]#第0行
df.iloc[0:2,0:2]#0、1行，0、1列
df.iloc[[0,2],[1,2,3]]#第0、2行，1、2、3列

# 选取等于某些值的行记录 用 ==
df.loc[df['column_name'] == some_value]
 # 选取某列是否是某一类型的数值 用 isin
df.loc[df['column_name'].isin(some_values)]
 # 多种条件的选取 用 &
df.loc[(df['column'] == some_value) & df['other_column'].isin(some_values)]
 # 选取不等于某些值的行记录 用 ！=
df.loc[df['column_name'] != some_value]
 # isin返回一系列的数值,如果要选择不符合这个条件的数值使用~
df.loc[~df['column_name'].isin(some_values)]

  #提取出某行某列
  li=list(df.columns)
  df.iloc[[3,4,8],[li.index('animal'),li.index('age')]]

三、某行某列对应值df_signal[‘a’].iloc[-1]

#iat取某个单值,只能数字索引df.iat[1,1]#第1行，1列#at取某个单值,只能index和columns索引df.at[‘one’,‘a’]#one行，a列

四、删除特定行

   # 要删除列“score”<50的所有行：
   df = df.drop(df[df.score < 50].index)
   df = df.drop(df[df['score'] < 50].index)
    
   df.drop(df[df.score < 50].index, inplace=True)
   df.drop(df[df['score'] < 50].index, inplace=True)
   # 多条件情况
   # 可以使用操作符： | 只需其中一个成立, & 同时成立, ~ 表示取反，它们要用括号括起来。
   # 例如删除列“score<50 和>20的所有行
   df = df.drop(df[(df.score < 50) & (df.score > 20)].index

五、Python DataFrame 按条件筛选数据

点击查看更多内容

比如我想查看id等于11396的数据。
pdata1[pdata1['id']==11396]
pdata1[pdata1.id==11396]

查看时间time小于25320的数据。
pdata1[pdata1['time']<25320]
pdata1[pdata1.time<25320]

查看time小于25320且大于等于25270的数据
pdata1[(pdata1['time'] < 25320)&(pdata1['time'] >= 25270)]

可以根据筛选条件查看某几列
pdata1[(pdata1['time'] < 25320)&(pdata1['time'] >= 25270)][['x','y']]
注意多个条件要加括号后在&或|。

六、排序

点击查看更多内容

#表示pd按照xxx这个字段排序，inplace默认为False,如果该值为False，那么原来的pd顺序没变，只是返回的是排序的
pd.sort_values("xxx",inplace=True)

数据导入

从excel导入

from pandas import read_excel
df = read_excel('e://rz2.xlsx')
df

从csv导入

from pandas import read_csv 
path4 = 'C:\\Users\\admin\\Desktop\\大数据爬虫2\\合并\\主键外连接.csv'
df5 = read_csv(path4,engine='python')

3、数据处理

df3=pd.merge(df1,df2,left_on='学号',right_on='学号')  #外键连接
df3=df3.drop(columns=['手机号码'])
df3
df3=df3.replace('缺考', 0)  #特殊值代替

数据分析的第一步是提高数据质量。数据清洗要做的就是处理缺失数据以及清除无意义的信息。这是数据价值链中最关键的步骤。垃圾数据，即使是通过最好的分析，也将产生错误的结果，并误导业务本身。

4.3.1 数据清洗

1、重复值的处理：drop_duplicates()

drop_duplicates()    
把数据结构中行相同的数据去除(保留其中的一行)

【例4-6】数据去重。
这里df是原始数据，其中7、9行、8、10行是重复行
 from pandas import DataFrame
 from pandas import read_excel
df = read_excel('e://rz2.xlsx')
df
Out[1]:
YHM TCSJ YWXT IP
0 S1402048 18922254812 1.225790e+17 221.205.98.55
1 S1411023 13522255003 1.225790e+17 183.184.226.205
2 S1402048 13422259938 NaN 221.205.98.55
3 20031509 18822256753 NaN 222.31.51.200
4 S1405010 18922253721 1.225790e+17 120.207.64.3
5 20140007 NaN 1.225790e+17 222.31.51.200
6 S1404095 13822254373 1.225790e+17 222.31.59.220
7 S1402048 13322252452 1.225790e+17 221.205.98.55
8 S1405011 18922257681 1.225790e+17 183.184.230.38
9 S1402048 13322252452 1.225790e+17 221.205.98.55
10 S1405011 18922257681 1.225790e+17 183.184.230.38

newDF=df.drop_duplicates()
newDF
Out[2]:
YHM TCSJ YWXT IP
0 S1402048 18922254812 1.225790e+17 221.205.98.55
1 S1411023 13522255003 1.225790e+17 183.184.226.205
2 S1402048 13422259938 NaN 221.205.98.55
3 20031509 18822256753 NaN 222.31.51.200
4 S1405010 18922253721 1.225790e+17 120.207.64.3
5 20140007 NaN 1.225790e+17 222.31.51.200
6 S1404095 13822254373 1.225790e+17 222.31.59.220
7 S1402048 13322252452 1.225790e+17 221.205.98.55
8 S1405011 18922257681 1.225790e+17 183.184.230.38
上面的df中第7和第9行数据相同，第8和第10行数据相同，去重后第7、9和8、10各保留一行数据。

2、缺失值处理：

dropna()、df.fillna() 、df.fillna(method=‘pad’)、df.fillna(method=‘bfill’)、df.fillna(df.mean())、df.fillna(df.mean()[math: physical]) 、strip()

对于缺失数据的处理方式有数据补齐、删除对应行、不处理等方法。

【例4-6】缺失处理。
这里df是原始数据，其中2、3、5行有缺失值
from pandas import DataFrame   
from pandas import read_excel   
df = read_excel('e://rz2.xlsx')    
df  
Out[1]:
YHM TCSJ YWXT IP
0 S1402048 18922254812 1.225790e+17 221.205.98.55
1 S1411023 13522255003 1.225790e+17 183.184.226.205
2 S1402048 13422259938 NaN 221.205.98.55
3 20031509 18822256753 NaN 222.31.51.200
4 S1405010 18922253721 1.225790e+17 120.207.64.3
5 20140007 NaN 1.225790e+17 222.31.51.200
6 S1404095 13822254373 1.225790e+17 222.31.59.220
7 S1402048 13322252452 1.225790e+17 221.205.98.55
8 S1405011 18922257681 1.225790e+17 183.184.230.38
9 S1402048 13322252452 1.225790e+17 221.205.98.55
10 S1405011 18922257681 1.225790e+17 183.184.230.38

1. dropna() 去除数据结构中值为空的数据行

【例4-7】删除数据为空所对应的行
from pandas import DataFrame
from pandas import read_excel
df = read_excel('e://rz2.xlsx')
newDF=df.dropna()
newDF
Out[3]:
YHM TCSJ YWXT IP
0 S1402048 18922254812 1.225790e+17 221.205.98.55
1 S1411023 13522255003 1.225790e+17 183.184.226.205
4 S1405010 18922253721 1.225790e+17 120.207.64.3
6 S1404095 13822254373 1.225790e+17 222.31.59.220
7 S1402048 13322252452 1.225790e+17 221.205.98.55
8 S1405011 18922257681 1.225790e+17 183.184.230.38
9 S1402048 13322252452 1.225790e+17 221.205.98.55
10 S1405011 18922257681 1.225790e+17 183.184.230.38
例中的2、3、5行有空值NaN已经被删除。

2. df.fillna() 用其他数值替代NaN，有些时候空数据直接删除会影响分析的结果，可以对数据进行填补。【例4-8】使用数值或者任意字符替代缺失值

【例4-8】使用数值或者任意字符替代缺失值
from pandas import DataFrame
from pandas import read_excel
df = read_excel('e://rz2.xlsx')
df.fillna('?')
Out[4]:
YHM TCSJ YWXT IP DLSJ
0 S1402048 1.89223e+10 1.22579e+17 221.205.98.55 2014-11-04 08:44:46
1 S1411023 1.35223e+10 1.22579e+17 183.184.226.205 2014-11-04 08:45:06
2 S1402048 1.34223e+10 ? 221.205.98.55 2014-11-04 08:46:39
3 20031509 1.88223e+10 ? 222.31.51.200 2014-11-04 08:47:41
4 S1405010 1.89223e+10 1.22579e+17 120.207.64.3 2014-11-04 08:49:03
5 20140007 ? 1.22579e+17 222.31.51.200 2014-11-04 08:50:06
6 S1404095 1.38223e+10 1.22579e+17 222.31.59.220 2014-11-04 08:50:02
7 S1402048 1.33223e+10 1.22579e+17 221.205.98.55 2014-11-04 08:49:18
8 S1405011 1.89223e+10 1.22579e+17 183.184.230.38 2014-11-04 08:14:55
9 S1402048 1.33223e+10 1.22579e+17 221.205.98.55 2014-11-04 08:49:18
10 S1405011 1.89223e+10 1.22579e+17 183.184.230.38 2014-11-04 08:14:55
如2、3、5行有空，用？替代了缺失值。

3. df.fillna(method=‘pad’) 用前一个数据值替代NaN

【例4-9】用前一个数据值替代缺失值
（2、3、5行是缺失值）
from pandas import DataFrame
from pandas import read_excel
df = read_excel('e://rz2.xlsx')
df.fillna(method='pad')
Out[5]:
YHM TCSJ YWXT IP DLSJ
0 S1402048 18922254812 1.225790e+17 221.205.98.55 2014-11-04 08:44:46
1 S1411023 13522255003 1.225790e+17 183.184.226.205 2014-11-04 08:45:06
2 S1402048 13422259938 1.225790e+17 221.205.98.55 2014-11-04 08:46:39
3 20031509 18822256753 1.225790e+17 222.31.51.200 2014-11-04 08:47:41
4 S1405010 18922253721 1.225790e+17 120.207.64.3 2014-11-04 08:49:03
5 20140007 18922253721 1.225790e+17 222.31.51.200 2014-11-04 08:50:06
6 S1404095 13822254373 1.225790e+17 222.31.59.220 2014-11-04 08:50:02
7 S1402048 13322252452 1.225790e+17 221.205.98.55 2014-11-04 08:49:18
8 S1405011 18922257681 1.225790e+17 183.184.230.38 2014-11-04 08:14:55
9 S1402048 13322252452 1.225790e+17 221.205.98.55 2014-11-04 08:49:18
10 S1405011 18922257681 1.225790e+17 183.184.230.38 2014-11-04 08:14:55

4. df.fillna(method=‘bfill’) 用后一个数据值替代NaN

【例4-10】用后一个数据值替代NaN
（2、3、5行是缺失值）
from pandas import DataFrame
from pandas import read_excel
df = read_excel('e://rz2.xlsx')
df.fillna(method='bfill')
Out[6]:
YHM TCSJ YWXT IP DLSJ
0 S1402048 18922254812 1.225790e+17 221.205.98.55 2014-11-04 08:44:46
1 S1411023 13522255003 1.225790e+17 183.184.226.205 2014-11-04 08:45:06
2 S1402048 13422259938 1.225790e+17 221.205.98.55 2014-11-04 08:46:39
3 20031509 18822256753 1.225790e+17 222.31.51.200 2014-11-04 08:47:41
4 S1405010 18922253721 1.225790e+17 120.207.64.3 2014-11-04 08:49:03
5 20140007 13822254373 1.225790e+17 222.31.51.200 2014-11-04 08:50:06
6 S1404095 13822254373 1.225790e+17 222.31.59.220 2014-11-04 08:50:02
7 S1402048 13322252452 1.225790e+17 221.205.98.55 2014-11-04 08:49:18
8 S1405011 18922257681 1.225790e+17 183.184.230.38 2014-11-04 08:14:55
9 S1402048 13322252452 1.225790e+17 221.205.98.55 2014-11-04 08:49:18
10 S1405011 18922257681 1.225790e+17 183.184.230.38 2014-11-04 08:14:55

5. df.fillna(df.mean()) 用平均数或者其他描述性统计量来代替NaN。

【例4-11】使用均值来填补数据。
from pandas import DataFrame
from pandas import read_excel
df = read_excel('e://rz2_0.xlsx')
df

df.fillna(df.mean())
Out[7]:
No math physical Chinese
0 1 76 85 78
1 2 85 56 NaN
2 3 76 95 85
3 4 NaN 75 58
4 5 87 52 68

Out[8]:
No math physical Chinese
0 1 76 85 78.00
1 2 85 56 72.25
2 3 76 95 85.00
3 4 81 75 58.00
4 5 87 52 68.00

6. df.fillna(df.mean()[math: physical]) 可以选择列进行缺失值的处理

【例4-12】为某列使用该列的均值来填补数据
from pandas import DataFrame
from pandas import read_excel
df = read_excel('e://rz2_0.xlsx')
df.fillna(df.mean()['math':'physical'])
Out[26]:
No math physical Chinese
0 1 76.0 85 78.0
1 2 85.0 56 NaN
2 3 76.0 95 85.0
3 4 NaN 75 58.0
4 5 87.0 52 68.0

Out[9]:
No math physical Chinese
0 1 76 85 78
1 2 85 56 NaN
2 3 76 95 85
3 4 81 75 58
4 5 87 52 68

7. strip()：清除字符型数据左右(首尾)指定的字符，默认为空格，中间的不清除。

【例4-13】删除字符串左右或首位指定的字符。
from pandas import DataFrame
from pandas import read_excel
df = read_excel('e://rz2.xlsx')
newDF=df['IP'].str.strip()    #因为IP是一个对象，所以先转为str。
newDF
Out[27]:
YHM TCSJ YWXT IP DLSJ
0 S1402048 18922254812.0 1.2257903137349373e+17 221.205.98.55 2014-11-04 08:44:46
1 S1411023 13522255003.0 1.2257903137349373e+17 183.184.226.205 2014-11-04 08:45:06
2 S1402048 13422259938.0 221.205.98.55 2014-11-04 08:46:39
3 20031509 18822256753.0 222.31.51.200 2014-11-04 08:47:41
4 S1405010 18922253721.0 1.2257903137349373e+17 120.207.64.3 2014-11-04 08:49:03
5 20140007 1.2257903137349373e+17 222.31.51.200 2014-11-04 08:50:06
6 S1404095 13822254373.0 1.2257903137349373e+17 222.31.59.220 2014-11-04 08:50:02
7 S1402048 13322252452.0 1.2257903137349373e+17 221.205.98.55 2014-11-04 08:49:18
8 S1405011 18922257681.0 1.2257903137349373e+17 183.184.230.38 2014-11-04 08:14:55
9 S1402048 13322252452.0 1.2257903137349373e+17 221.205.98.55 2014-11-04 08:49:18
10 S1405011 18922257681.0 1.2257903137349373e+17 183.184.230.38 2014-11-04 08:14:55

Out[10]:
0 221.205.98.55
1 183.184.226.205
2 221.205.98.55
3 222.31.51.200
4 120.207.64.3
5 222.31.51.200
6 222.31.59.220
7 221.205.98.55
8 183.184.230.38
9 221.205.98.55
10 183.184.230.38
Name: IP, dtype: object

3、特定值替换：replace(‘缺考’, 0)

df11 = df11.replace(np.nan,'[正常]')
df11 = df11.replace('none',np.nan)
df11 = df11.replace(' ― ',np.nan)

4、删除满足条件元素所在的行：drop()

df = df.drop(df[].index)

#删除价格大于1000的手机
df_s_acc = df_s.drop(df_s[df_s['价格']>=1000].index) 
Out[68]:
Unnamed: 0 ID值价格 … 标签变更规范日期
5566 6626 1354676 699 … 安全手机 2020/11/1 2020-11-01
5565 6625 1354673 799 … 安全手机 2020/11/1 2020-11-01
101 102 1346463 2699 … 安全手机 2020/11/11 2020-11-11
64 64 1338710 3199 … 安全手机 2020/11/11 2020-11-11
2884 3382 1352445 1499 … 安全手机 2020/11/26 2020-11-26
2892 3391 1349515 1099 … 安全手机 2020/11/26 2020-11-26
2910 3411 1349516 1299 … 安全手机 2020/11/26 2020-11-26
2844 3340 1348871 999 … 安全手机 2020/11/26 2020-11-26
4046 4845 1350884 799 … 安全手机 2020/12/1 2020-12-01
4036 4834 1350882 699 … 安全手机 2020/12/1 2020-12-01
3394 4023 1349976 799 … 安全手机 2020/12/12 2020-12-12
4740 5656 1353088 2399 … 安全手机 2020/12/22 2020-12-22
4737 5653 1353068 1999 … 安全手机 2020/12/22 2020-12-22
4048 4847 1357947 1099 … 安全手机 2021/1/1 2021-01-01
4038 4836 1357933 999 … 安全手机 2021/1/1 2021-01-01
4043 4842 1357949 1199 … 安全手机 2021/1/1 2021-01-01

Out[72]:
Unnamed: 0 ID值价格 … 标签变更规范日期
5566 6626 1354676 699 … 安全手机 2020/11/1 2020-11-01
5565 6625 1354673 799 … 安全手机 2020/11/1 2020-11-01
2844 3340 1348871 999 … 安全手机 2020/11/26 2020-11-26
4046 4845 1350884 799 … 安全手机 2020/12/1 2020-12-01
4036 4834 1350882 699 … 安全手机 2020/12/1 2020-12-01
3394 4023 1349976 799 … 安全手机 2020/12/12 2020-12-12
4038 4836 1357933 999 … 安全手机 2021/1/1 2021-01-01

也可以使用多个条件

df_clear = df.drop(df[df['x']<0.01].index)
# 也可以使用多个条件
df_clear = df.drop(df[(df['x']<0.01) | (df['x']>10)].index) #删除x小于0.01或大于10的行

4.3.2 数据抽取

1. 字段抽取：抽出某列上指定位置的数据做成新的列。

slice(start,stop)
start 开始位置； stop 结束位置

【例4-14】从数据中抽出某列。
from pandas import DataFrame
from pandas import read_excel
df = read_excel('e://rz2.xlsx')
df['TCSJ']=df['TCSJ'].astype(str)   #astype()转化类型
df['TCSJ']

bands = df['TCSJ'].str.slice(0,3)
bands
Out[1]:
0 18922254812
1 13522255003
2 13422259938
3 18822256753
4 18922253721
5 nan
6 13822254373
7 13322252452
8 18922257681
9 13322252452
10 18922257681
Name: TCSJ, dtype: object

Out[2]:
0 189
1 135
2 134
3 188
4 189
5 nan
6 138
7 133
8 189
9 133
10 189
Name: TCSJ, dtype: object

2. 字段拆分：按指定的字符sep，拆分已有的字符串。

split(sep,n,expand=False)   
		  sep      用于分隔字符串的分隔符
		  n        分割后新增的列数
		  expand   是否展开为数据框，默认为False
返回值：expand为True，返回DaraFrame；False返回Series。

【原始数据】

YHM TCSJ YWXT IP DLSJ
0 S1402048 18922254812.0 1.2257903137349373e+17 221.205.98.55 2014-11-04 08:44:46
1 S1411023 13522255003.0 1.2257903137349373e+17 183.184.226.205 2014-11-04 08:45:06
2 S1402048 13422259938.0 221.205.98.55 2014-11-04 08:46:39
3 20031509 18822256753.0 222.31.51.200 2014-11-04 08:47:41
4 S1405010 18922253721.0 1.2257903137349373e+17 120.207.64.3 2014-11-04 08:49:03
5 20140007 1.2257903137349373e+17 222.31.51.200 2014-11-04 08:50:06
6 S1404095 13822254373.0 1.2257903137349373e+17 222.31.59.220 2014-11-04 08:50:02
7 S1402048 13322252452.0 1.2257903137349373e+17 221.205.98.55 2014-11-04 08:49:18
8 S1405011 18922257681.0 1.2257903137349373e+17 183.184.230.38 2014-11-04 08:14:55
9 S1402048 13322252452.0 1.2257903137349373e+17 221.205.98.55 2014-11-04 08:49:18
10 S1405011 18922257681.0 1.2257903137349373e+17 183.184.230.38 2014-11-04 08:14:55

【例4-15】拆分字符串为指定的列数
from pandas import DataFrame
from pandas import read_excel
df = read_excel('e://rz2.xlsx')
newDF=df['IP'].str.strip()  #IP先转为str，再删除首位空格
newDF= df['IP'].str.split('.',1,True)#按第一个"."分成两列，1表示新增的列数
newDF
Out[1]:
0 1
0 221 205.98.55
1 183 184.226.205
2 221 205.98.55
3 222 31.51.200
4 120 207.64.3
5 222 31.51.200
6 222 31.59.220
7 221 205.98.55
8 183 184.230.38
9 221 205.98.55
10 183 184.230.38

newDF.columns = ['IP1','IP2-4'] 
#给第一第二列增加列名称
newDF
Out[2]:
IP1 IP2-4
0 221 205.98.55
1 183 184.226.205
2 221 205.98.55
3 222 31.51.200
4 120 207.64.3
5 222 31.51.200
6 222 31.59.220
7 221 205.98.55
8 183 184.230.38
9 221 205.98.55
10 183 184.230.38

3. 记录抽取：是指根据一定的条件，对数据进行抽取。

dataframe[condition]
       	condition：过滤条件
	返回值：DataFrame
常用的condition类型：
	比较运算：<、>、>=、<=、!=，如：
		df[df.comments>10000)]；
	范围运算：between(left,right)，如：
		df[df.comments.between(1000,10000)]；
	空置运算：pandas.isnull(column) ，如：
		df[df.title.isnull()];
	字符匹配：str.contains(patten,na = False) ，如：
		df[df.title.str.contains(‘电台’,na=False)]
	逻辑运算：&(与)，|(或)，not(取反)；如：
		df[(df.comments>=1000)&(df.comments<=10000)] 与 df[df.comments.between(1000,10000)]等价。

【原始数据】同上

【例4-16】按条件抽取数据。
import pandas
from pandas import read_excel
df = read_excel('e://rz2.xlsx')
df[df.TCSJ==13322252452]
Out[2]:
YHM TCSJ YWXT IP
7 S1402048 13322252452 1.225790e+17 221.205.98.55
9 S1402048 13322252452 1.225790e+17 221.205.98.55
df[df.TCSJ>13500000000]
Out[3]:
YHM TCSJ YWXT IP DLSJ
0 S1402048 18922254812 1.225790e+17 221.205.98.55 2014-11-04 08:44:46
1 S1411023 13522255003 1.225790e+17 183.184.226.205 2014-11-04 08:45:06
3 20031509 18822256753 NaN 222.31.51.200 2014-11-04 08:47:41
4 S1405010 18922253721 1.225790e+17 120.207.64.3 2014-11-04 08:49:03
6 S1404095 13822254373 1.225790e+17 222.31.59.220 2014-11-04 08:50:02
8 S1405011 18922257681 1.225790e+17 183.184.230.38 2014-11-04 08:14:55
10 S1405011 18922257681 1.225790e+17 183.184.230.38 2014-11-04 08:14:55
df[df.TCSJ.between(13400000000,13999999999)]
Out[4]:
YHM TCSJ YWXT IP DLSJ
1 S1411023 13522255003 1.225790e+17 183.184.226.205 2014-11-04 08:45:06
2 S1402048 13422259938 NaN 221.205.98.55 2014-11-04 08:46:39
6 S1404095 13822254373 1.225790e+17 222.31.59.220 2014-11-04 08:50:02
df[df.YWXT.isnull()]
Out[5]:
YHM TCSJ YWXT IP DLSJ
2 S1402048 13422259938 NaN 221.205.98.55 2014-11-04 08:46:39
3 20031509 18822256753 NaN 222.31.51.200 2014-11-04 08:47:41
df[df.IP.str.contains('222.',na=False)]
Out[6]:
YHM TCSJ YWXT IP DLSJ
3 20031509 18822256753 NaN 222.31.51.200 2014-11-04 08:47:41
5 20140007 NaN 1.225790e+17 222.31.51.200 2014-11-04 08:50:06
6 S1404095 13822254373 1.225790e+17 222.31.59.220 2014-11-04 08:50:02

4. 随机抽样：是指随机从数据中按照一定的行数或者比例抽取数据。

        随机抽样函数：
        numpy.random.randint(start,end,num)
        		  start：范围的开始值；
        		  end：范围的结束值；
        		  num：抽样个数
        返回值：行的索引值序列

【原始数据】同上

【例4-17】随机抽取数据。
import numpy
import pandas
from pandas import read_excel
df = read_excel('e://rz2.xlsx’)
df
Out[1]:
YHM TCSJ YWXT IP DLSJ
0 S1402048 18922254812 1.225790e+17 221.205.98.55 2014-11-4 8:44
1 S1411023 13522255003 1.225790e+17 183.184.226.205 2014-11-4 8:45
2 S1402048 13422259938 NaN 221.205.98.55 2014-11-4 8:46
3 20031509 18822256753 NaN 222.31.51.200 2014-11-4 8:47
4 S1405010 18922253721 1.225790e+17 120.207.64.3 2014-11-4 8:49
5 20140007 NaN 1.225790e+17 222.31.51.200 2014-11-4 8:50
6 S1404095 13822254373 1.225790e+17 222.31.59.220 2014-11-4 8:50
7 S1402048 13322252452 1.225790e+17 221.205.98.55 2014-11-4 8:49
8 S1405011 18922257681 1.225790e+17 183.184.230.38 2014-11-4 8:14
9 S1402048 13322252452 1.225790e+17 221.205.98.55 2014-11-4 8:49
10S1405011 18922257681 1.225790e+17 183.184.230.38 2014-11-4 8:14
r = numpy.random.randint(0,10,3)
r
Out[2]: array([8, 2, 9])
df.loc[r,:]  #抽取r行数据
Out[3]:
YHM TCSJ YWXT IP DLSJ
8 S1405011 18922257681 1.225790e+17 183.184.230.38 2014-11-04 08:14:55
2 S1402048 13422259938 NaN 221.205.98.55 2014-11-04 08:46:39
9 S1402048 13322252452 1.225790e+17 221.205.98.55 2014-11-04 08:49:18

PS:按照指定条件抽取数据：

1）使用index标签选取数据：df.loc[行标签,列标签]

df.loc[‘a’:‘b’]  #选取ab两行之间的数据，假设a，b为行索引
df.loc[:,'TCSJ']         #选取TCSJ列的数据
 
df.loc的第一个参数是行标签，第二个参数为列标签(可选参数，默认为所有列标签)，两个参数既可以是列表也可以是单个字符，如果两个参数都为列表则返回的是DataFrame，否则为Series。
按照指定条件抽取数据：

2）使用切片位置选取数据：df.iloc[行位置,列位置] #iloc只能用数字索引，不能用索引名------(左闭右开)

df.iloc[1,1]      #选取第二行，第二列的值，返回的为单个值
df.iloc[[0,2],:]  #选取第一行和第三行的数据
df.iloc[0:2,:]    #选取第一行到第三行(不包含)的数据
df.iloc[:,1]       #选取所有记录的第一列的值，返回的为一个Series
df.iloc[1,:]       #选取第一行数据，返回的为一个Series

说明：loc为location的缩写，iloc则为integer & location的缩写。更广义的切片方式是使用 .ix，它自动根据给到的索引类型判断是使用位置还是标签进行切片。即：iloc为整型索引；loc为字符串索引； ix是 iloc和 loc的合体。

Python默认的行序号是从0开始，我们称为行位置；但实际上0开始的行我们在计数时为第1行，也称为行号，是从1开始；有时index是被命名的，如’one’,‘two’,‘three’,‘four’或’a’,‘b’,‘c’,'d’等字符串，我们称之为标签。loc索引的是行号、标签，不是行位置，如下例中df2.loc[1]索引的是第一行（行号为1），其实位置为0行；iloc索引的是位置，不能是标签或行号；ix则三者皆可。

import pandas as pd
index_loc = ['a','b']
index_iloc = [1,2]
data = [[1,2,3,4],[5,6,7,8]]
columns = ['one','two','three','four']
df1 = pd.DataFrame(data=data,index=index_loc,columns=columns)
df2 = pd.DataFrame(data=data,index=index_iloc,columns=columns)
print(df1.loc['a'])
one 1
two 2
three 3
four 4
Name: a, dtype: int64
print(df1.iloc['a'])    #iloc不能索引字符串
Traceback (most recent call last):
TypeError: cannot do label indexing on with these indexers [a] of
print(df2.iloc[1])      #iloc索引的是行位置

print(df2.loc[1])  #loc[1]索引的是行号，的对应的行位置为0行

print(df1.ix[0])

print(df1.ix['a'])
Out[0]:
one 5
two 6
three 7
four 8
Name: 2, dtype: int64

Out[1]:
one 1
two 2
three 3
four 4
Name: 1, dtype: int64

Out[2]:
one 1
two 2
three 3
four 4
Name: a, dtype: int64

Out[3]:
one 1
two 2
three 3
four 4
Name: a, dtype: int64

3）通过逻辑指针进行数据切片：df[逻辑条件]

df[df. TCSJ >= 18822256753]   #单个逻辑条件
df[(df. TCSJ >=13422259938 )&(df. TCSJ < 13822254373)] #多个逻辑条件组合
这种方式获取的数据切片都是DataFrame。
df[df.TCSJ >= 18822256753]
Out[14]:
YHM TCSJ YWXT IP DLSJ
0 S1402048 18922254812 1.225790e+17 221.205.98.55 2014-11-04 08:44:46
3 20031509 18822256753 NaN 222.31.51.200 2014-11-04 08:47:41
4 S1405010 18922253721 1.225790e+17 120.207.64.3 2014-11-04 08:49:03
8 S1405011 18922257681 1.225790e+17 183.184.230.38 2014-11-04 08:14:55
10 S1405011 18922257681 1.225790e+17 183.184.230.38 2014-11-04 08:14:55

5. 字典数据：将字典数据抽取为dataframe，有三种方法。

import pandas
from pandas import DataFrame
#1.字典的key和value各作为一列
d1={‘a':'[1,2,3]','b':'[0,1,2]'}
a1=pandas.DataFrame.from_dict(d1, orient='index’) 
  #将字典转化为dataframe，且key列做成了index
a1.index.name = 'key'  #将index的列名改成‘key’
b1=a1.reset_index()    #重新增加index，并将原index做成了‘key’列
b1.columns=['key','value'] #对列重新命名为'key'和'value'
b1

Out[1]:
key value
0 b [0,1,2]
1 a [1,2,3]

#2.字典里的每一个元素作为一列(同长)
d2={'a':[1,2,3],'b':[4,5,6]}    #字典的value必须长度相等
a2= DataFrame(d2)
a2

Out[2]:
a b
0 1 4
1 2 5
2 3 6

#3.字典里的每一个元素作为一列(不同长)
d = {'one' : pandas.Series([1, 2, 3]),'two' : pandas.Series([1, 2, 3, 4])} #字典的value长度可以不相等
df = pandas.DataFrame(d)
df

Out[3]:
one two
0 1.0 1
1 2.0 2
2 3.0 3
3 NaN 4

也可以如下处理：

import pandas
from pandas import Series
import numpy as np
from pandas import DataFrame
d = dict( A = np.array([1,2]), B = np.array([1,2,3,4]))
DataFrame(dict([(k,Series(v)) for k,v in d.items()]))

Out[4]:
A B
0 1.0 1
1 2.0 2
2 NaN 3
3 NaN 4

还可以处理如下：

import numpy as np        
import pandas as pd
my_dict = dict( A = np.array([1,2]), B = np.array([1,2,3,4]) )
df = pd.DataFrame.from_dict(my_dict,orient='index').T
df

Out[5]:
A B
0 1.0 1.0
1 2.0 2.0
2 NaN 3.0
3 NaN 4.0

4.3.3 排名索引

说明：axis、ascending、inplace、by

DataFrame中的排序分为两种，一种是对索引排序，一种是对值进行排序。
索引排序： sort_index()；值排序：sort_values()；值排名：rank()
对于索引排序，涉及到对行索引、列索引的排序，并且还涉及到是升序还是降序。函数df.sort_index(axis= , ascending= , inplace=)，需要特别注意这三个参数。axis表示对行操作，还是对列操作；ascending表示升序，还是降序操作。
对于值排序，同样也是涉及到行、列排序问题，升序、降序排列问题。函数df.sort_values(by= , axis= , ascending= , inplace=),也需要特别注意这几个参数，只是多了一个by操作，需要我们指明是按照哪一行或哪一列，进行排序的。

PS：(True\False)大写

axis=0表示对行操作，axis=1表示对列进行操作；

ascending=True表示升序，ascending=False表示降序；

inplace=True表示对原始DataFrame本身操作，因此不需要赋值操作，inplace=False相当于是对原始DataFrame的拷贝，之后的一些操作都是针对这个拷贝文件进行操作的，因此需要我们赋值给一个变量，保存操作后的结果。

1. 排名排序（索引排序）：df.sort_index()

Series的sort_index(ascending=True)方法可以对 index 进行排序操作，ascending 参数用于控制升序或降序，默认为升序。

在 DataFrame 上，.sort_index(axis=0, by=None, ascending=True) 方法多了一个轴向的选择参数与一个 by 参数，by 参数的作用是针对某一(些)列进行排序(不能对行使用 by 参数)。

axis：0按照行名排序；1按照列名排序

from pandas import DataFrame
df0={'Ohio':[0,6,3],'Texas':[7,4,1],'California':[2,8,5]}
df=DataFrame(df0,index=['a','c','d'])
df
Out[1]:
Ohio Texas California
a 0 7 2
c 6 4 8
d 3 1 5
df.sort_index(by='Ohio')
Out[2]:
Ohio Texas California
a 0 7 2
d 3 1 5
c 6 4 8
df.sort_index(by=['California','Texas'])
Out[3]:
Ohio Texas California
a 0 7 2
d 3 1 5
c 6 4 8
df.sort_index(axis=1)
#axis：0按照行名排序；1按照列名排序
California Ohio Texas
a 2 0 7
c 8 6 4
d 5 3 1

排名(Series.rank(method=‘average’, ascending=True))的作用与排序的不同之处在于，它会把对象的 values 替换成名次(从 1 到 n)，对于平级项可以通过方法里的 method 参数来处理，method 参数有四个可选项：average, min, max, first。举例如下：

from pandas import Series
ser=Series([3,2,0,3],index=list('abcd'))
ser
Out[8]:
a 3
b 2
c 0
d 3
ser.rank()
ser.rank(method='min')
ser.rank(method='max')
ser.rank(method='first')
ser.rank()
Out[9]:
a 3.5
b 2.0
c 1.0
d 3.5
dtype: float64

ser.rank(method=‘min’)
Out[10]:
a 3.0
b 2.0
c 1.0
d 3.0
dtype: float64

ser.rank(method=‘max’)
Out[11]:
a 4.0
b 2.0
c 1.0
d 4.0
dtype: float64

ser.rank(method=‘first’)
Out[12]:
a 3.0
b 2.0
c 1.0
d 4.0
dtype: float64

2．重新索引：.reindex(index=None,**kwargs)

Series 对象的重新索引通过其 .reindex(index=None,**kwargs) 方法实现。**kwargs 中常用的参数有两个：method=None和fill_value=np.NaN。

ser = Series([4.5,7.2,-5.3,3.6],index=['d','b','a','c'])
A = ['a','b','c','d','e']
ser.reindex(A)
Out[13]:
a -5.3
b 7.2
c 3.6
d 4.5
e NaN
dtype: float64
ser = ser.reindex(A,fill_value=0)
ser.reindex(A,method='ffill')
ser.reindex(A,fill_value=0,method='ffill')
Out[15]:
a -5.3
b 7.2
c 3.6
d 4.5
e 0.0
dtype: float64

a -5.3
b 7.2
c 3.6
d 4.5
e 4.5
dtype: float64

a -5.3
b 7.2
c 3.6
d 4.5
e 4.5
dtype: float64

.reindex() 方法会返回一个新对象，其 index 严格遵循给出的参数，
method:{‘backfill’, ‘bfill’, ‘pad’, ‘ffill’, None} 参数用于指定插值(填充)方式，当没有给出时，默认用 fill_value 填充，值为 NaN(ffill = pad，bfill = back fill，分别指插值时向前还是向后取值)。
DataFrame 对象的重新索引方法：.reindex(index=None,columns=None,**kwargs)仅比 Series 多了一个可选的 columns 参数，用于给列索引。用法与上例Series类似，只不过插值方法 method 参数只能应用于行，即轴axis = 0。

>>> state = ['Texas','Utha','California']
>>> df.reindex(columns=state,method='ffill')
    Texas  Utha  California
a      1   NaN           2
c      4   NaN           5  
d      7   NaN           8
[3 rows x 3 columns]
>>> df.reindex(index=['a','b','c','d'],columns=state,method='ffill')
   Texas  Utha  California
a      1   NaN           2
b      1   NaN           2
c      4   NaN           5
d      7   NaN           8
[4 rows x 3 columns]

可不可以通过 df.T.reindex(index,method=‘**’).T 这样的方式来实现在列上的插值呢？

答案是肯定的。

另外要注意，使用 reindex(index,method=‘**’) 的时候，index 必须是单调的，否则就会引发一个 ValueError: Must be monotonic for forward fill，比如上例中的最后一次调用，如果使用 index=[‘a’,‘b’,‘d’,‘c’] 就会报错。

3. 值排序：df.sort_values()

1、对某一列进行升序排列(有实际意义)

df = pd.DataFrame({"A":[3,1,5,9,7],
                   "B":[4,1,2,5,3],
                   "C":[3,15,9,6,12],
                   "D":[2,4,6,10,8]},
                   index=list("acbed"))
display(df)

A B C D
a 3 4 3 2
c 1 1 15 4
b 5 2 9 6
e 9 5 6 10
d 7 3 12 8

df.sort_values(by="A",axis=0,ascending=True,inplace=True)
df

Out[133]:
A B C D
c 1 1 15 4
a 3 4 3 2
b 5 2 9 6
d 7 3 12 8
e 9 5 6 10

2、 对某一行进行降序排列(实际意义不大)

df = pd.DataFrame({"A":[3,1,5,9,7],
                 "B":[4,1,2,5,3],
                 "C":[3,15,9,6,12],
                 "D":[2,4,6,10,8]},
                 index=list("acbed"))
display(df)

A B C D
a 3 4 3 2
c 1 1 15 4
b 5 2 9 6
e 9 5 6 10
d 7 3 12 8

df.sort_values(by="a",axis=1,ascending=False,inplace=True)
df

Out[140]:
B A C D
a 4 3 3 2
c 1 1 15 4
b 2 5 9 6
e 5 9 6 10
d 3 7 12 8

4、sort_values()中的na_position参数

na_position参数用于设定缺失值的显示位置，first表示缺失值显示在最前面；last表示缺失值显示在最后面。

df = pd.DataFrame({"A":[10,8,np.nan,2,4],
                 "B":[1,7,5,3,8],
                 "C":[5,2,8,4,1]},
                 index=list("abcde"))
df

Out[141]:
A B C
a 10.0 1 5
b 8.0 7 2
c NaN 5 8
d 2.0 3 4
e 4.0 8 1

df.sort_values(by="A",axis=0,inplace=True,na_position="first")
df

Out[142]:
A B C
c NaN 5 8
d 2.0 3 4
e 4.0 8 1
b 8.0 7 2
a 10.0 1 5

df.sort_values(by="A",axis=0,inplace=True,na_position="last")
df

Out[143]:
A B C
d 2.0 3 4
e 4.0 8 1
b 8.0 7 2
a 10.0 1 5
c NaN 5 8

5、“值排名”：rank()函数

1、rank()函数的常用参数说明

(31条消息) DataFrame(13)：DataFrame的排序与排名问题_数据分析与统计学之美-CSDN博客_dataframe排序

4.3.4 数据合并

1. 记录合并：是指两个结构相同的数据框合并成一个数据框。也就是在一个数据框中追加另一个数据框的数据记录。pd.concat([df1,df2])

concat([dataFrame1, dataFrame2,…])
	  DataFrame1：数据框
返回值：DataFrame

import pandas
from pandas import DataFrame
from pandas import read_excel

df1 = read_excel('E:\\Python\\第4章数据\\rz2.xlsx')
df1

df2 = read_excel('E:\\Python\\第4章数据\\rz3.xlsx')
df2
Out[1]:
YHM TCSJ YWXT IP
0 S1402048 18922254812 1.225790e+17 221.205.98.55
1 S1411023 13522255003 1.225790e+17 183.184.226.205
2 S1402048 13422259938 NaN 221.205.98.55
3 20031509 18822256753 NaN 222.31.51.200
4 S1405010 18922253721 1.225790e+17 120.207.64.3
5 20140007 13422259313 1.225790e+17 222.31.51.200
6 S1404095 13822254373 1.225790e+17 222.31.59.220
7 S1402048 13322252452 1.225790e+17 221.205.98.55
8 S1405011 18922257681 1.225790e+17 183.184.230.38
9 S1402048 13322252452 1.225790e+17 221.205.98.55
10 S1405011 18922257681 1.225790e+17 183.184.230.38

[11 rows x 5 columns]

Out[2]:
YHM TCSJ YWXT IP
0 S1402011 18603514812 1.225790e+17 221.205.98.55
1 S1411022 13103515003 1.225790e+17 183.184.226.205
2 S1402033 13203559930 NaN 221.205.98.55

[3 rows x 5 columns]

合并：两个文件的数据记录都合并到一起了，实现了数据记录的“叠加”或者记录顺延。

df=pandas.concat([df1,df2])
df
Out[3]:
YHM TCSJ YWXT IP
0 S1402048 18922254812 1.225790e+17 221.205.98.55
1 S1411023 13522255003 1.225790e+17 183.184.226.205
2 S1402048 13422259938 NaN 221.205.98.55
3 20031509 18822256753 NaN 222.31.51.200
4 S1405010 18922253721 1.225790e+17 120.207.64.3
5 20140007 13422259313 1.225790e+17 222.31.51.200
6 S1404095 13822254373 1.225790e+17 222.31.59.220
7 S1402048 13322252452 1.225790e+17 221.205.98.55
8 S1405011 18922257681 1.225790e+17 183.184.230.38
9 S1402048 13322252452 1.225790e+17 221.205.98.55
10 S1405011 18922257681 1.225790e+17 183.184.230.38
0 S1402011 18603514812 1.225790e+17 221.205.98.55
1 S1411022 13103515003 1.225790e+17 183.184.226.205
2 S1402033 13203559930 NaN 221.205.98.55

[14 rows x 5 columns]

2. 字段合并：是指将同一个数据框中的不同的列进行合并，形成新的列。X = x1+x2+…

X = x1+x2+…
		  x1：数据列1
		  x2：数据列2
返回值：Series，合并后的系列，要求合并的系列长度一致。
import pandas
from pandas import DataFrame
from pandas import read_csv

df = read_csv('e://rz4.csv',sep=" ",names=['band','area','num'])
df 

df = df.astype(str)
tel=df['band']+df['area']+df['num']
tel
Out[1]:
band area num
0 189 2225 4812
1 135 2225 5003
2 134 2225 9938
3 188 2225 6753
4 189 2225 3721
5 134 2225 9313
6 138 2225 4373
7 133 2225 2452
8 189 2225 7681

Out[2]:
0 18922254812
1 13522255003
2 13422259938
3 18822256753
4 18922253721
5 13422259313
6 13822254373
7 13322252452
8 18922257681
dtype: object

3. 字段匹配：是指不同结构的数据框(两个或以上的数据框)，按照一定的条件进行合并，即追加列。merge(x,y,left_on,right_on) 外键连接

merge(x,y,left_on,right_on) 
		   x：第一个数据框
		   y：第二个数据框
		   left_on：第一个数据框的用于匹配的列
		   right_on：第二个数据框的用于匹配的列
	 返回值：DataFrame

import pandas
from pandas import DataFrame
from pandas import read_excel
df1 = read_excel('e://rz2.xlsx',sheetname='Sheet3')
df1
Out[1]:
id band num
0 1 130 123
1 2 131 124
2 4 133 125
3 5 134 126
df2 = read_excel('e://rz2.xlsx',sheetname='Sheet4')
df2
Out[2]:
id band area
0 1 130 351
1 2 131 352
2 3 132 353
3 4 133 354
4 5 134 355
5 5 135 356
pandas.merge(df1,df2,left_on='id',right_on='id')
Out[3]:
id band_x num band_y area
0 1 130 123 130 351
1 2 131 124 131 352
2 4 133 125 133 354
3 5 134 126 134 355
4 5 134 126 135 356

4.3.5 数据计算

1. 简单计算：通过对各字段进行加、减、乘、除等四则算术运算，计算出的结果作为新的字段。

id	num	price
1	123	159
2	124	753
3	125	456
4	126	852

id	num	price	result
1	123	159	19557
2	124	753	93372
3	125	456	57000
4	126	852	107352

from pandas import read_csv
df = read_csv('e://rz2.csv',sep=',')
df
Out[1]:
id band num price
0 1 130 123 159
1 2 131 124 753
2 3 132 125 456
3 4 133 126 852
result=df.price*df.num
result
Out[2]:
0 19557
1 93372
2 57000
3 107352
dtype: int64
df['result']=result
df
Out[3]:
id band num price result
0 1 130 123 159 19557
1 2 131 124 753 93372
2 3 132 125 456 57000
3 4 133 126 852 107352

2. 数据标准化：是指将数据按照比例缩放，使之落入特定的区间，一般使用0-1标准化。X*=(x-min)/(max-min)

from pandas import read_csv 
df = read_csv('e://rz2.csv',sep=',')
df
Out[1]:
id band num price
0 1 130 123 159
1 2 131 124 753
2 3 132 125 456
3 4 133 126 852
scale=(df.price-df.price.min())/(df.price.max()-df.price.min())
scale
Out[2]:
0 0.000000
1 0.857143
2 0.428571
3 1.000000
Name: price, dtype: float64

4.3.6 数据分组

bins = [0,180,210,240,270,np.inf]   #np.inf 是无穷大
labels=["差","及格", "中","良","优"]
df3["等级"]=pd.cut(df3.总分,bins,right=False,labels=labels)

说明：pd.cut(series,bins,right=True,labels=NULL)

数据分组：根据数据分析对象的特征，按照一定的数据指标，把数据划分为不同的区间来进行研究，以揭示其内在的联系和规律性。简单来说：就是新增一列，将原来的数据按照其性质归入新的类别中。

cut(series,bins,right=True,labels=NULL)
series    需要分组的数据
bins     分组的依据数据
right     分组的时候右边是否闭合
labels    分组的自定义标签，可以不自定义

bins

import pandas
#from pandas import DataFrame
from pandas import read_csv

df = read_csv('e://rz2.csv',sep=',')
df
Out[1]:
id band num price
0 1 130 123 159
1 2 131 124 753
2 3 132 125 456
3 4 133 126 852
bins=[min(df.price)-1,500,max(df.price)+1]
labels=["500以下","500以上"]

pandas.cut(df.price,bins)
Out[2]:
0 (158, 500]
1 (500, 853]
2 (158, 500]
3 (500, 853]
Name: price, dtype: category
Categories (2, object): [(158, 500] < (500, 853]]
pandas.cut(df.price,bins,right=False)
Out[3]:
0 [158, 500)
1 [500, 853)
2 [158, 500)
3 [500, 853)
Name: price, dtype: category
Categories (2, object): [[158, 500) < [500, 853)]
right 值：分组的时候右边是否闭合

labels


pa=pandas.cut(df.price,bins,right=False,labels=labels)
pa
		Out[5]: 
		0    500以下
		1    500以上
		2    500以下
		3    500以上
		Name: price, dtype: category
		Categories (2, object): [500以下 < 500以上]

df['label']=pandas.cut(df.price,bins,right=False,labels=labels)
df
		Out[6]: 
		   id  band  num  price  label
		0   1   130  123    159  500以下
		1   2   131  124    753  500以上
		2   3   132  125    456  500以下
		3   4   133  126    852  500以上

4.3.7 日期处理

1. 日期转换：是指将字符型的日期格式转换为日期格式数据的过程。

to_datetime(dateString,format)
	format格式：
%Y：年份
%m：月份
%d：日期
%H：小时
%M：分钟
%S：秒

【例4-21】to_datetime(df.注册时间,format=’%Y/%m/%d’)。
from pandas import read_csv
from pandas import to_datetime
df = read_csv('e://rz3.csv',sep=',',encoding='utf8')
df
Out[1]:
num price year month date
0 123 159 2016 1 2016/6/1
1 124 753 2016 2 2016/6/2
2 125 456 2016 3 2016/6/3
3 126 852 2016 4 2016/6/4
4 127 210 2016 5 2016/6/5
5 115 299 2016 6 2016/6/6
6 102 699 2016 7 2016/6/7
7 201 599 2016 8 2016/6/8
8 154 199 2016 9 2016/6/9
9 142 899 2016 10 2016/6/10
df_dt = to_datetime(df.date,format="%Y/%m/%d")
df_dt
Out[2]:
0 2016-06-01
1 2016-06-02
2 2016-06-03
3 2016-06-04
4 2016-06-05
5 2016-06-06
6 2016-06-07
7 2016-06-08
8 2016-06-09
9 2016-06-10
Name: date, dtype: datetime64[ns]

注意csv的格式是否是utf8格式，否则会报错。另外，csv里date的格式是文本(字符串)格式。

2. 日期格式化：是指将日期型的数据按照给定的格式转化为字符型的数据。

apply(lambda x:处理逻辑)
datetime.strftime(x,format)

【例4-22】日期型数据转化为字符型数据。
df_dt = to_datetime(df.date,format="%Y/%m/%d")
df_dt_str=df_dt.apply(lambda x: datetime.strftime(x,"%Y/%m/%d"))

from pandas import read_csv
from pandas import to_datetime
from datetime import datetime
df = read_csv('e://rz3.csv',sep=',',encoding='utf8')
df_dt = to_datetime(df.date,format="%Y/%m/%d")
df_dt_str=df_dt.apply(lambda x: datetime.strftime(x,"%Y/%m/%d"))   #apply见后注
df_dt_str
Out[1]:
0 2016/06/01
1 2016/06/02
2 2016/06/03
3 2016/06/04
4 2016/06/05
5 2016/06/06
6 2016/06/07
7 2016/06/08
8 2016/06/09
9 2016/06/10
Name: date, dtype: object
注意：当希望将函数f应用到DataFrame 对象的行或列时，可以使用.apply(f, axis=0, args=(), **kwds) 方法，axis=0表示按列运算，axis=1时表示按行运算。如：
from pandas import DataFrame
df=DataFrame({'ohio':[1,3,6],'texas':[1,4,5],'california':[2,5,8]},index=['a','c','d'])
df
Out[1]:
california ohio texas
a 2 1 1
c 5 3 4
d 8 6 5
f = lambda x:x.max()-x.min()
df.apply(f)  #默认按列运算，同df.apply(f,axis=0)
Out[2]:
california 6
ohio 5
texas 4
dtype: int64
df.apply(f,axis=1)  #按行运算
Out[3]:
a 1
c 2
d 3
dtype: int64

3. 日期抽取：是指从日期格式里面抽取出需要的部分属性

Data_dt.dt.property

second	1-60秒，从1开始到60
minute	1-60分，从1开始到60
hour	1-24小时，从1开始到24
day	1-31日，一个月中第几天，从1开始到31
month	1-12月，从1开始到12
year	年份
weekday	1-7，一周中的第几天，从1开始，最大为7（已改为0-6）

【例4-23】对日期进行抽取。
from pandas import read_csv;
from pandas import to_datetime;
df = read_csv('e://rz3.csv', sep=',', encoding='utf8')
df
Out[1]:
num price year month date
0 123 159 2016 1 2016/6/1
1 124 753 2016 2 2016/6/2
2 125 456 2016 3 2016/6/3
3 126 852 2016 4 2016/6/4
4 127 210 2016 5 2016/6/5
5 115 299 2016 6 2016/6/6
6 102 699 2016 7 2016/6/7
7 201 599 2016 8 2016/6/8
8 154 199 2016 9 2016/6/9
9 142 899 2016 10 2016/6/10
df_dt =to_datetime(df.date,format='%Y/%m/%d')
df_dt
Out[2]:
0 2016-06-01
1 2016-06-02
2 2016-06-03
3 2016-06-04
4 2016-06-05
5 2016-06-06
6 2016-06-07
7 2016-06-08
8 2016-06-09
9 2016-06-10
Name: date, dtype: datetime64[ns]
df_dt.dt.year
Out[3]:
0 2016
1 2016
2 2016
3 2016
4 2016
5 2016
6 2016
7 2016
8 2016
9 2016
Name: date, dtype: int64
df_dt.dt.day
Out[4]:
0 1
1 2
2 3
3 4
4 5
5 6
6 7
7 8
8 9
9 10
Name: date, dtype: int64

4. 日期判断：

Python 时间比较大小并从dataframe中提取满足时间条件的量_siml142857的博客-CSDN博客_dataframe 比较大小

5.日期增长：

python 当前时间减一天-菜鸟笔记

4、数据分析

4.4.1 基本统计：describe

如果分组字段是离散值，则直接使用groupby分组统计

基本统计分析：又叫描述性统计分析，一般统计某个变量的最小值、第一个四分位值、中值、第三个四分位值、以及最大值。
describe() 描述性统计分析函数

 常用的统计函数：
 size        计数(此函数不需要括号)
 sum()      求和
 mean()     平均值
 var()       方差
 std()       标准差

(22条消息) Python对表的行列求和_OlivierJ的博客-CSDN博客_python 列求和

4.4.2 分组分析：groupby（离散值分组）

如果分组字段是连续值，则先进行离散化（cut），然后再使用groupby分组

分组分析：是指根据分组字段将分析对象划分成不同的部分，以进行对比分析各组之间的差异性的一种分析方法。

常用的统计指标：计数、求和、平均值
常用形式：
df.groupby(by=['分类1','分类2',...])['被统计的列'].agg({列别名1：统计函数1，列别名2：统计函数2，…})
		by    用于分组的列
		[ ]    用于统计的列
		.agg   统计别名显示统计值的名称，统计函数用于统计数据
		size   计数
		sum   求和
		mean  均值

from pandas import read_excel 
df = read_excel('e:\\rz4.xlsx')
df
Out[1]:
学号班级姓名性别英语体育军训数分高代解几计算机
0 2308024241 23080242 成龙男 76 78 77 40 23 60 89
1 2308024244 23080242 周怡女 66 91 75 47 47 44 82
2 2308024251 23080242 张波男 85 81 75 45 45 60 80
3 2308024249 23080242 朱浩男 65 50 80 72 62 71 82
4 2308024219 23080242 封印女 73 88 92 61 47 46 83
5 2308024201 23080242 迟培男 60 50 89 71 76 71 82
6 2308024347 23080243 李华女 67 61 84 61 65 78 83
7 2308024307 23080243 陈田男 76 79 86 69 40 69 82
8 2308024326 23080243 余皓男 66 67 85 65 61 71 95
9 2308024320 23080243 李嘉女 62 60 90 60 67 77 95
10 2308024342 23080243 李上初男 76 90 84 60 66 60 82
11 2308024310 23080243 郭窦女 79 67 84 64 64 79 85
12 2308024435 23080244 姜毅涛男 77 71 87 61 73 76 82
13 2308024432 23080244 赵宇男 74 74 88 68 70 71 85
14 2308024446 23080244 周路女 76 80 77 61 74 80 85
15 2308024421 23080244 林建祥男 72 72 81 63 90 75 85
16 2308024433 23080244 李大强男 79 76 77 78 70 70 89
17 2308024428 23080244 李侧通男 64 96 91 69 60 77 83
18 2308024402 23080244 王慧女 73 74 93 70 71 75 88
19 2308024422 23080244 李晓亮男 85 60 85 72 72 83 89
df3.groupby(by=['班级','性别'])['军训'].agg({'总分':numpy.sum,'人数': numpy.size,'平均>值':numpy.mean,'方差':numpy.var,'标准差':numpy.std,'最高分':numpy.max,'最低分':numpy.min})
总分人数平均值方差标准差最高分最低分
班级性别
23080242 女 167 2 83.500000 144.500000 12.020815 92 75
男 321 4 80.250000 38.250000 6.184658 89 75
23080243 女 258 3 86.000000 12.000000 3.464102 90 84
男 255 3 85.000000 1.000000 1.000000 86 84
23080244 女 170 2 85.000000 128.000000 11.313708 93 77
男 509 6 84.833333 25.766667 5.076088 91 77

4.4.3 分布分析：cut+groupby（连续值分组）

分组分析：是指根据分组字段将分析对象划分成不同的部分，以进行对比分析各组之间的差异性的一种分析方法。

常用的统计指标：计数、求和、平均值
   常用形式：
 df.groupby(by=['分类1','分类2',...])['被统计的列'].agg({列别名1：统计函数1，列别名2：统计函数2，…})		
 
 by    用于分组的列		
 [ ]    用于统计的列		
 .agg   统计别名显示统计值的名称，统计函数用于统计数据		
 size   计数		
 sum   求和		
 mean  均值

import numpy
import pandas
from pandas import read_excel
df = read_excel('e:\\rz4.xlsx')
df
Out[1]:
学号班级姓名性别英语体育军训数分高代解几计算机总分
0 2308024241 23080242 成龙男 76 78 77 40 23 60 89 443
1 2308024244 23080242 周怡女 66 91 75 47 47 44 82 452
2 2308024251 23080242 张波男 85 81 75 45 45 60 80 471
3 2308024249 23080242 朱浩男 65 50 80 72 62 71 82 482
4 2308024219 23080242 封印女 73 88 92 61 47 46 83 490
5 2308024201 23080242 迟培男 60 50 89 71 76 71 82 499
6 2308024347 23080243 李华女 67 61 84 61 65 78 83 499
7 2308024307 23080243 陈田男 76 79 86 69 40 69 82 501
8 2308024326 23080243 余皓男 66 67 85 65 61 71 95 510
9 2308024320 23080243 李嘉女 62 60 90 60 67 77 95 511
10 2308024342 23080243 李上初男 76 90 84 60 66 60 82 518
11 2308024310 23080243 郭窦女 79 67 84 64 64 79 85 522
12 2308024435 23080244 姜毅涛男 77 71 87 61 73 76 82 527
13 2308024432 23080244 赵宇男 74 74 88 68 70 71 85 530
14 2308024446 23080244 周路女 76 80 77 61 74 80 85 533
15 2308024421 23080244 林建祥男 72 72 81 63 90 75 85 538
16 2308024433 23080244 李大强男 79 76 77 78 70 70 89 539
17 2308024428 23080244 李侧通男 64 96 91 69 60 77 83 540
18 2308024402 23080244 王慧女 73 74 93 70 71 75 88 544
19 2308024422 23080244 李晓亮男 85 60 85 72 72 83 89 546
labels=['450及其以下','450到500','500及其以上']  #给三段数据贴标签
labels
Out[5]: [‘450及其以下’, ‘450到500’, ‘500及其以上’]
bins = [min(df.总分)-1,450,500,max(df.总分)+1]   #将数据分成三段
bins
Out[3]: [442, 450, 500, 547]
总分分层 = pandas.cut(df.总分,bins,labels=labels)
总分分层
Out[7]:
0 450及其以下
1 450到500
2 450到500
3 450到500
4 450到500
5 450到500
6 450到500
7 500及其以上
8 500及其以上
9 500及其以上
10 500及其以上
11 500及其以上
12 500及其以上
13 500及其以上
14 500及其以上
15 500及其以上
16 500及其以上
17 500及其以上
18 500及其以上
19 500及其以上
Name: 总分, dtype: category
Categories (3, object): [450及其以下 < 450到500 < 500及其以上]
df['总分分层']= 总分分层
df
Out8]:
学号班级姓名性别英语体育军训数分高代解几计算机基础总分总分分层
0 2308024241 23080242 成龙男 76 78 77 40 23 60 89 443 450及其以下
1 2308024244 23080242 周怡女 66 91 75 47 47 44 82 452 450到500
2 2308024251 23080242 张波男 85 81 75 45 45 60 80 471 450到500
3 2308024249 23080242 朱浩男 65 50 80 72 62 71 82 482 450到500
4 2308024219 23080242 封印女 73 88 92 61 47 46 83 490 450到500
5 2308024201 23080242 迟培男 60 50 89 71 76 71 82 499 450到500
6 2308024347 23080243 李华女 67 61 84 61 65 78 83 499 450到500
7 2308024307 23080243 陈田男 76 79 86 69 40 69 82 501 500及其以上
8 2308024326 23080243 余皓男 66 67 85 65 61 71 95 510 500及其以上
9 2308024320 23080243 李嘉女 62 60 90 60 67 77 95 511 500及其以上
10 2308024342 23080243 李上初男 76 90 84 60 66 60 82 518 500及其以上
11 2308024310 23080243 郭窦女 79 67 84 64 64 79 85 522 500及其以上
12 2308024435 23080244 姜毅涛男 77 71 87 61 73 76 82 527 500及其以上
13 2308024432 23080244 赵宇男 74 74 88 68 70 71 85 530 500及其以上
14 2308024446 23080244 周路女 76 80 77 61 74 80 85 533 500及其以上
15 2308024421 23080244 林建祥男 72 72 81 63 90 75 85 538 500及其以上
16 2308024433 23080244 李大强男 79 76 77 78 70 70 89 539 500及其以上
17 2308024428 23080244 李侧通男 64 96 91 69 60 77 83 540 500及其以上
18 2308024402 23080244 王慧女 73 74 93 70 71 75 88 544 500及其以上
19 2308024422 23080244 李晓亮男 85 60 85 72 72 83 89 546 500及其以上
df.groupby(by=['总分分层'])['总分'].agg({'人数':numpy.size})
Out[9]:
人数
总分分层
450及其以下 1
450到500 6
500及其以上 13

4.4.4 交叉分析：pivot_table（数据透视表）

交叉分析：通常用于分析两个或两个以上分组变量之间的关系，以交叉表形式进行变量间关系的对比分析。一般分为：定量、定量分组交叉；定量、定性分组交叉；定性、定性分组交叉。

pivot_table(values,index,columns,aggfunc,fill_value)

values    数据透视表中的值		
index     数据透视表中的行		
columns   数据透视表中的列		
aggfunc   统计函数		
fill_value  NA值的统一替换

import numpy
import pandas
from pandas import read_excel
from pandas import pivot_table     #在spyder下也可以不导入

df = read_excel('e:\\rz4.xlsx')
bins = [min(df.总分)-1,450,500,max(df.总分)+1]
labels=['450及其以下','450到500','500及其以上']
总分分层 = pandas.cut(df.总分,bins,labels=labels)
df['总分分层']= 总分分层
df.pivot_table(values=['总分'],index=['总分分层’],
      columns=['性别'],aggfunc=[numpy.size,numpy.mean])
Out[1]:
size mean
总分总分
性别女男女男
总分分层
450及其以下 NaN 1 NaN 443.000000
450到500 3 3 480.333333 484.000000
500及其以上 4 9 527.500000 527.666667
df.pivot_table(values=['总分'],index=['总分分层’],columns=['性别'],aggfunc=[numpy.size,numpy.mean],fill_value=0) 
#也可以将统计为0的赋值为零，默认为nan。
Out[2]:
size mean
总分总分
性别女男女男
总分分层
450及其以下 0 1 0.000000 443.000000
450到500 3 3 480.333333 484.000000
500及其以上 4 9 527.500000 527.666667s

4.4.5 结构分析：pivot_table+sum+div（查比重）

结构分析：是在分组的基础上，计算各组成部分所占的比重，进而分析总体的内部特征的一种分析方法。

axis参数说明：0表示列；1表示行。

#假设要计算班级团体总分情况
import numpy
import pandas
from pandas import read_excel
from pandas import pivot_table  #在spyder下也可以不导入
df = read_excel('e:\\rz4.xlsx')
df_pt = df.pivot_table(values=['总分’],
     index=['班级'],columns=['性别’],
     aggfunc=[numpy.sum])
df_pt
Out[1]:
sum
总分
性别女男
班级
23080242 942 1895
23080243 1532 1529
23080244 1077 3220
df_pt.sum()
Out[3]:
性别
sum 总分女 3551
男 6644
dtype: int64
df_pt.div(df_pt.sum(axis=1),axis=0)#按列占比
Out[5]:
sum
总分
性别女男
班级
23080242 0.332041 0.667959
23080243 0.500490 0.499510
23080244 0.250640 0.749360
df_pt.sum(axis=1)
Out[2]:
性别
sum 总分女 3551
男 6644
dtype: int64
df_pt.div(df_pt.sum(axis=0),axis=1)#按行占比
Out[6]:
sum
总分
性别女男
班级
23080242 0.265277 0.285220
23080243 0.431428 0.230132
23080244 0.303295 0.484648
df_pt.sum(axis=0)#效果同省略
Out[4]:
班级
23080242 2837
23080243 3061
23080244 4297
dtype: int64

4.4.6 相关分析：corr（一维、二维）

相关分析： 是研究现象之间是否存在某种依存关系，并对具体有依存关系的现象探讨其相关方向以及相关程度，是研究随机变量之间的相关关系的一种统计方法。
相关系数： 可以用来描述定量变量之间的关系

相关系数\|r\|取值范围	相关程度
0<=\|r\|<0.3	低度相关
0.3<=\|r\|<0.8	中度相关
0.8<=\|r\|<=1	高度相关

5、数据可视化

4.5.1 饼图：plt.pie(gb2.人数，labels=gb2.index，autopct=‘%.2f%%’，colors=[‘b’，‘pink’，(0.5，0.8，0.3)]，explode=[0，0，0，0，0.1])

饼图(Pie Graph)：又称圆形图，是一个划分为几个扇形的圆形统计图，它能够直观的反映个体与总体的比例关系

pie(x,labels,colors,explode,autopct)

x         进行绘图的序列
labels     饼图的各部分标签
colors     饼图的各部分颜色，使用GRB标颜色
explode    需要突出的块状序列
autopct    饼图占比的显示格式，%.2f：保留两位小数

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

df = pd.read_excel(r'E:\Python\第4章数据\rz4.xlsx')
df

gb=df.groupby(by=['班级'])['学号'].agg([('人数',np.size)])

  plt.pie(gb.人数,labels=gb.index,autopct='%.2f%%',colors=['b','pink',(0.5,0.8,0.3)],explode=[0,0.2,0])

练习

df2= pd.read_excel(r'E:\Python\第4章数据\09电动1.xls')
df2['C语言程序设计']=pd.cut(df2.C语言程序设计,bins=[0,60,70,80,90,101],right=False,labels=['不及格','及格','中等','良好','优秀']) #right=False 控制左闭右开
gb2=df2.groupby(by=['C语言程序设计'])['学号'].agg([('人数',np.size)]).fillna(0)  #fillna(0)填充空值
plt.pie(gb2.人数,labels=gb2.index,autopct='%.2f%%',colors=['b','pink',(0.5,0.8,0.3)],explode=[0,0,0,0,0.1])
plt.rcParams['font.sans-serif']=['SimHei']  #字体
plt.rcParams['font.size']=30  #字体大小
plt.rcParams['figure.figsize']=[6,6]   #正圆

plt.rcParams，显示设值字体的东西

plt.rcParams

plt.rcParams['font.sans-serif']
Out[43]: 
['DejaVu Sans',
 'Bitstream Vera Sans',
 'Computer Modern Sans Serif',
 'Lucida Grande',
 'Verdana',
 'Geneva',
 'Lucid',
 'Arial',
 'Helvetica',
 'Avant Garde',
 'sans-serif']

plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['font.sans-serif']=['SimHei','...','...'] #没有的往后找

4.5.2 散点图：plt.plot(df.高代,df.数分,‘o’,color=‘pink’)

散点图(scatter diagram)：是以一个变量为横坐标，另一个变量为纵坐标，利用散点(坐标点)的分布形态反映变量关系的一种图形。

plot(x,y, '. ',color=(r,g,b))
plt.xlabel('x轴坐标')
plt.ylabel('y轴坐标')
plt.grid(Ture)
x、y        X轴和Y轴的序列
'. '、'o'      小点还是大点
Color       散点图的颜色，可以用rgb定义，也可以用英文字母定义
RGB颜色的设置：(red,green,blue)  红绿蓝颜色组成

df = pd.read_excel(r'E:\Python\第4章数据\rz4.xlsx')
df

gb=df.groupby(by=['班级'])['学号'].agg([('人数',np.size)])
plt.plot(df.英语,df.数分,'.',color='g')
plt.xlabel('英语')
plt.xlabel('数分')
plt.plot(df.高代,df.数分,'o',color='pink')
plt.plot(df.高代,df.数分,'o',color='pink')

plt.plot(df.高代,df.数分,'-',color='pink') #连线

4.5.3 折线图：plt.plot(df.学号,df.总分,‘-’,color=‘r’)

参数值	注释
-	连续的曲线
—	连续的虚线
-.	连续的用带点的曲线
:	由点连成的曲线
.	小点,散点图
o	大点,散点图
,	像素点(更小的点)的散点图
*	五角星的点散点图
>	右角标记散点图
<	左角标记散点图
1(2,3,4)	伞形上(下左右)标记散点图
s	正方形标记散点图
p	五角星标记散点图
v	下三角标记散点图
^	上三角标记散点图
h	多边形标记散点图
d	钻石标记散点图

       df = pd.read_excel(r'E:\Python\第4章数据\rz4.xlsx')
       df
       plt.plot(df.学号,df.总分,'-',color='r')
学号班级姓名性别英语体育军训数分高代解几计算机基础总分
0 2308024241 23080242 成龙男 76 78 77 40 23 60 89 443
1 2308024244 23080242 周怡女 66 91 75 47 47 44 82 452
2 2308024251 23080242 张波男 85 81 75 45 45 60 80 471
3 2308024249 23080242 朱浩男 65 50 80 72 62 71 82 482
4 2308024219 23080242 封印女 73 88 92 61 47 46 83 490
5 2308024201 23080242 迟培男 60 50 89 71 76 71 82 499
6 2308024347 23080243 李华女 67 61 84 61 65 78 83 499
7 2308024307 23080243 陈田男 76 79 86 69 40 69 82 501
8 2308024326 23080243 余皓男 66 67 85 65 61 71 95 510
9 2308024320 23080243 李嘉女 62 60 90 60 67 77 95 511
10 2308024342 23080243 李上初男 76 90 84 60 66 60 82 518
11 2308024310 23080243 郭窦女 79 67 84 64 64 79 85 522
12 2308024435 23080244 姜毅涛男 77 71 87 61 73 76 82 527
13 2308024432 23080244 赵宇男 74 74 88 68 70 71 85 530
14 2308024446 23080244 周路女 76 80 77 61 74 80 85 533
15 2308024421 23080244 林建祥男 72 72 81 63 90 75 85 538
16 2308024433 23080244 李大强男 79 76 77 78 70 70 89 539
17 2308024428 23080244 李侧通男 64 96 91 69 60 77 83 540
18 2308024402 23080244 王慧女 73 74 93 70 71 75 88 544
19 2308024422 23080244 李晓亮男 85 60 85 72 72 83 89 546

      df=df.sort_values('学号')

     df['学号后三位']=df.学号.astype(str).str.slice(-3,) #分离学号后三位，并加入新一列（不会影响df）
     plt.plot(df.学号后三位,df.总分,'-',color='r')  #画图
     plt.xticks(rotation=60)  #标签旋转度数

      df2= pd.read_excel(r'E:\Python\第4章数据\09电动1.xls')
      plt.plot(df2.姓名,df2.C语言程序设计,'--',color='g')
      plt.xlabel('姓名')
      plt.ylabel('C语言程序设计')
      plt.xticks(rotation=90)
      plt.rcParams['font.sans-serif']=['SimHei']
      plt.rcParams['figure.figsize']=[10,6]

4.5.4 柱形图：plt.bar(df.学号后三位,df.总分,width=1,color=[‘r’,‘b’])

柱形图用于显示一段时间内的数据变化或显示各项之间的比较情况，是一种单位长度的长方形，根据数据大小绘制的统计图，用来比较两个或以上的数据(时间或类别)。

 bar(left,height,width,color)
 barh(bottom,width,height,color)
 left      x轴的位置序列，一般采用arange函数产生一个序列
 height    y轴的数值序列，也就是柱形图高度，一般就是我们需要展示的数据
 width    柱形图的宽度，一般设置为1即可
 color    柱形图填充颜色

df['学号后三位']=df.学号.astype(str).str.slice(-3,)
plt.bar(df.学号后三位,df.总分,width=1,color=['r','b'])  #柱形图
plt.xticks(rotation=60)

plt.barh(df.学号后三位,df.总分,0.6,color=['r','b'])  #条形图

bar

barh

4.5.5 直方图：plt.hist(df2.C语言程序设计,bins=10,color=‘g’,cumulative=True)

直方图(Histogram)：是用一系列等宽不等高的长方形来绘制，宽度表示数据范围的间隔，高度表示在给定间隔内数据出现的频数，变化的高度形态表示数据的分布情况。

用来查看数据的频率

hist(x,color,bins,cumulative=False)
	  x           需要进行绘制的向量
	  color        直方图填充的颜色
	  bins         设置直方图的分组个数
	  cumulative   设置是否累积计数，默认是False

df2= pd.read_excel(r'E:\Python\第4章数据\09电动1.xls')
plt.hist(df2.C语言程序设计,bins=10,color='g',cumulative=False)
plt.hist(df2.C语言程序设计,bins=10,color='g',cumulative=True)

cumulative=False

cumulative=True

bins=20

这是我的线上笔记，希望对你有所帮助；你的点赞收藏，是我坚持的最大动力

【Python学习笔记—保姆版】Notion笔记

你可能感兴趣的:(python,pandas,数据分析)

理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
python os.environ 江湖偌大 python 深度学习
os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
Python中os.environ基本介绍及使用方法鹤冲天Pro #Python python 服务器开发语言
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
Pyecharts数据可视化大屏：打造沉浸式数据分析体验我的运维人生信息可视化数据分析数据挖掘运维开发技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
Python教程：一文了解使用Python处理XPath 旦莫 Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 python os.environ
>>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
使用Faiss进行高效相似度搜索 llzwxh888 faiss python
在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
python是什么意思中文-在python中%是什么意思编程大乐趣
Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
python八股文面试题分享及解析(1) Shawn________ python
#1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
每日算法&面试题，大厂特训二十八天——第二十天（树）肥学 ⚡算法题⚡面试题每日精进 java 算法数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
Python快速入门 —— 第三节：类与对象孤华暗香 Python快速入门 python 开发语言
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
pyecharts——绘制柱形图折线图 2224070247 信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
Python 实现图片裁剪（附代码） | Python工具剑客阿良_ALiang
前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
《Python数据分析实战终极指南》 xjt921122 python 数据分析开发语言
对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
Python中深拷贝与浅拷贝的区别 yuxiaoyu.
转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
ES聚合分析原理与代码实例讲解光剑书架上的书大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据 AIGC AGI LLM Java Python 架构设计 Agent 程序员实现财富自由
ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
Python编译器鹿鹿~ Python编译器 Python python 开发语言后端
嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
一文掌握python面向对象魔术方法（二）程序员neil python python 开发语言
接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
一文掌握python常用的list（列表）操作程序员neil python python 开发语言
目录一、创建列表1.直接创建列表：2.使用list()构造器3.使用列表推导式4.创建空列表二、访问列表元素1.列表支持通过索引访问元素，索引从0开始：2.还可以使用切片操作访问列表的一部分：三、修改列表元素四、添加元素1.append()：在末尾添加元素2.insert()：在指定位置插入元素五、删除元素1.del：删除指定位置的元素2.remove()：删除指定值的第一个匹配项3.pop()：
Python实现简单的机器学习算法 master_chenchengg python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
自然语言处理_tf-idf _feivirus_ 算法机器学习和数学自然语言处理 tf-idf 逆文档频率词频
importpandasaspdimportmath1.数据预处理docA="Thecatsatonmyface"docB="Thedogsatonmybed"wordsA=docA.split("")wordsB=docB.split("")wordsSet=set(wordsA).union(set(wordsB))print(wordsSet){'on','my','face','sat',
K近邻算法_分类鸢尾花数据集 _feivirus_ 算法机器学习和数学分类机器学习 K近邻
importnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score1.数据预处理iris=load_iris()df=pd.DataFrame(data=ir
Java序列化进阶篇 g21121 java序列化
1.transient 类一旦实现了Serializable 接口即被声明为可序列化，然而某些情况下并不是所有的属性都需要序列化，想要人为的去阻止这些属性被序列化，就需要用到transient 关键字。
escape()、encodeURI()、encodeURIComponent()区别详解 aigo JavaScript Web
原文：http://blog.sina.com.cn/s/blog_4586764e0101khi0.html JavaScript中有三个可以对字符串编码的函数，分别是： escape,encodeURI,encodeURIComponent，相应3个解码函数：,decodeURI,decodeURIComponent 。下面简单介绍一下它们的区别 1 escape()函
ArcgisEngine实现对地图的放大、缩小和平移 Cb123456 添加矢量数据对地图的放大、缩小和平移 Engine
ArcgisEngine实现对地图的放大、缩小和平移: 个人觉得是平移，不过网上的都是漫游，通俗的说就是把一个地图对象从一边拉到另一边而已。就看人说话吧. 具体实现: 一、引入命名空间 using ESRI.ArcGIS.Geometry; using ESRI.ArcGIS.Controls; 二、代码实现.
Java集合框架概述天子之骄 Java集合框架概述
集合框架集合框架可以理解为一个容器，该容器主要指映射(map)、集合(set)、数组(array)和列表(list)等抽象数据结构。从本质上来说，Java集合框架的主要组成是用来操作对象的接口。不同接口描述不同的数据类型。简单介绍： Collection接口是最基本的接口，它定义了List和Set，List又定义了LinkLi
旗正4.0页面跳转传值问题何必如此 java jsp
跳转和成功提示 a) 成功字段非空forward 成功字段非空forward，不会弹出成功字段，为jsp转发，页面能超链接传值,传输变量时需要拼接。接拼接方式list.jsp?test="+strweightUnit+"或list.jsp?test="+weightUnit+&qu
全网唯一:移动互联网服务器端开发课程 cocos2d-x小菜 web开发移动开发移动端开发移动互联程序员
移动互联网时代来了！ App市场爆发式增长为Web开发程序员带来新一轮机遇，近两年新增创业者，几乎全部选择了移动互联网项目！传统互联网企业中超过98%的门户网站已经或者正在从单一的网站入口转向PC、手机、Pad、智能电视等多端全平台兼容体系。据统计，AppStore中超过85%的App项目都选择了PHP作为后端程
Log4J通用配置|注意问题笔记 7454103 DAO apache tomcat log4j Web
关于日志的等级那些去百度就知道了！这几天要搭个新框架配置了日志记下来！做个备忘！ #这里定义能显示到的最低级别,若定义到INFO级别,则看不到DEBUG级别的信息了~! log4j.rootLogger=INFO,allLog # DAO层 log记录到dao.log 控制台和总日志文件 log4j.logger.DAO=INFO,dao,C
SQLServer TCP/IP 连接失败问题 ---SQL Server Configuration Manager darkranger sql c windows SQL Server XP
当你安装完之后,连接数据库的时候可能会发现你的TCP/IP 没有启动.. 发现需要启动客户端协议 : TCP/IP 需要打开 SQL Server Configuration Manager... 却发现无法打开 SQL Server Configuration Manager..?? 解决方法: C:\WINDOWS\system32目录搜索framedyn.
[置顶] 做有中国特色的程序员 aijuans 程序员
从出版业说起网络作品排到靠前的，都不会太难看，一般人不爱看某部作品也是因为不喜欢这个类型，而此人也不会全不喜欢这些网络作品。究其原因，是因为网络作品都是让人先白看的，看的好了才出了头。而纸质作品就不一定了，排行榜靠前的，有好作品，也有垃圾。许多大牛都是写了博客，后来出了书。这些书也都不次，可能有人让为不好，是因为技术书不像小说，小说在读故事，技术书是在学知识或温习知识，有些技术书读得可
document.domain 跨域问题 avords document
document.domain用来得到当前网页的域名。比如在地址栏里输入：javascript:alert(document.domain); //www.315ta.com我们也可以给document.domain属性赋值，不过是有限制的，你只能赋成当前的域名或者基础域名。比如：javascript:alert(document.domain = "315ta.com");
关于管理软件的一些思考 houxinyou 管理
工作好多看年了,一直在做管理软件,不知道是我最开始做的时候产生了一些惯性的思维,还是现在接触的管理软件水平有所下降.换过好多年公司,越来越感觉现在的管理软件做的越来越乱. 在我看来,管理软件不论是以前的结构化编程,还是现在的面向对象编程,不管是CS模式,还是BS模式.模块的划分是很重要的.当然,模块的划分有很多种方式.我只是以我自己的划分方式来说一下. 做为管理软件,就像现在讲究MVC这
NoSQL数据库之Redis数据库管理(String类型和hash类型) bijian1013 redis 数据库 NoSQL
一.Redis的数据类型 1.String类型及操作 String是最简单的类型，一个key对应一个value，string类型是二进制安全的。Redis的string可以包含任何数据，比如jpg图片或者序列化的对象。 Set方法：设置key对应的值为string类型的value
Tomcat 一些技巧征客丶 java tomcat dos
以下操作都是在windows 环境下一、Tomcat 启动时配置 JAVA_HOME 在 tomcat 安装目录，bin 文件夹下的 catalina.bat 或 setclasspath.bat 中添加 set JAVA_HOME=JAVA 安装目录 set JRE_HOME=JAVA 安装目录/jre 即可；二、查看Tomcat 版本在 tomcat 安装目
【Spark七十二】Spark的日志配置 bit1129 spark
在测试Spark Streaming时，大量的日志显示到控制台，影响了Spark Streaming程序代码的输出结果的查看(代码中通过println将输出打印到控制台上)，可以通过修改Spark的日志配置的方式，不让Spark Streaming把它的日志显示在console 在Spark的conf目录下，把log4j.properties.template修改为log4j.p
Haskell版冒泡排序 bookjovi 冒泡排序 haskell
面试的时候问的比较多的算法题要么是binary search，要么是冒泡排序，真的不想用写C写冒泡排序了，贴上个Haskell版的，思维简单，代码简单，下次谁要是再要我用C写冒泡排序，直接上个haskell版的，让他自己去理解吧。 sort [] = [] sort [x] = [x] sort (x:x1:xs) | x>x1 = x1:so
java 路径配置文件读取 bro_feng java
这几天做一个项目，关于路径做如下笔记，有需要供参考。取工程内的文件，一般都要用相对路径，这个自然不用多说。在src统计目录建配置文件目录res,在res中放入配置文件。读取文件使用方式： 1. MyTest.class.getResourceAsStream("/res/xx.properties") 2. properties.load(MyTest.
读《研磨设计模式》-代码笔记-简单工厂模式 bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * 个人理解：简单工厂模式就是IOC; * 客户端要用到某一对象，本来是由客户创建的，现在改成由工厂创建，客户直接取就好了 */ interface IProduct {
SVN与JIRA的关联 chenyu19891124 SVN
SVN与JIRA的关联一直都没能装成功，今天凝聚心思花了一天时间整合好了。下面是自己整理的步骤：一、搭建好SVN环境，尤其是要把SVN的服务注册成系统服务二、装好JIRA，自己用是jira-4.3.4破解版三、下载SVN与JIRA的插件并解压，然后拷贝插件包下lib包里的三个jar，放到Atlassian\JIRA 4.3.4\atlassian-jira\WEB-INF\lib下，再
JWFDv0.96 最新设计思路 comsci 数据结构算法工作企业应用公告
随着工作流技术的发展，工作流产品的应用范围也不断的在扩展，开始进入了像金融行业(我已经看到国有四大商业银行的工作流产品招标公告了)，实时生产控制和其它比较重要的工程领域，而
vi 保存复制内容格式粘贴 daizj vi 粘贴复制保存原格式不变形
vi是linux中非常好用的文本编辑工具，功能强大无比，但对于复制带有缩进格式的内容时，粘贴的时候内容错位很严重，不会按照复制时的格式排版，vi能不能在粘贴时，按复制进的格式进行粘贴呢？答案是肯定的，vi有一个很强大的命令可以实现此功能。在命令模式输入:set paste，则进入paste模式，这样再进行粘贴时
shell脚本运行时报错误：/bin/bash^M: bad interpreter 的解决办法 dongwei_6688 shell脚本
出现原因：windows上写的脚本，直接拷贝到linux系统上运行由于格式不兼容导致解决办法： 1. 比如文件名为myshell.sh，vim myshell.sh 2. 执行vim中的命令 : set ff?查看文件格式，如果显示fileformat=dos，证明文件格式有问题 3. 执行vim中的命令 :set fileformat=unix 将文件格式改过来就可以了，然后:w
高一上学期难记忆单词 dcj3sjt126com word english
honest 诚实的；正直的 argue 争论 classical 古典的 hammer 锤子 share 分享；共有 sorrow 悲哀；悲痛 adventure 冒险 error 错误；差错 closet 壁橱；储藏室 pronounce 发音；宣告 repeat 重做；重复 majority 大多数；大半 native 本国的，本地的，本国
hibernate查询返回DTO对象，DTO封装了多个pojo对象的属性 frankco POJO hibernate查询 DTO
DTO-数据传输对象；pojo-最纯粹的java对象与数据库中的表一一对应。简单讲：DTO起到业务数据的传递作用，pojo则与持久层数据库打交道。有时候我们需要查询返回DTO对象，因为DTO
Partition List hcx2013 partition
Given a linked list and a value x, partition it such that all nodes less than x come before nodes greater than or equal to x. You should preserve the original relative order of th
Spring MVC测试框架详解——客户端测试 jinnianshilongnian
上一篇《Spring MVC测试框架详解——服务端测试》已经介绍了服务端测试，接下来再看看如果测试Rest客户端，对于客户端测试以前经常使用的方法是启动一个内嵌的jetty/tomcat容器，然后发送真实的请求到相应的控制器；这种方式的缺点就是速度慢；自Spring 3.2开始提供了对RestTemplate的模拟服务器测试方式，也就是说使用RestTemplate测试时无须启动服务器，而是模拟一
关于推荐个人观点 liyonghui160com 推荐系统关于推荐个人观点
回想起来，我也做推荐了3年多了，最近公司做了调整招聘了很多算法工程师，以为需要多么高大上的算法才能搭建起来的，从实践中走过来，我只想说【不是这样的】第一次接触推荐系统是在四年前入职的时候，那时候，机器学习和大数据都是没有的概念，什么大数据处理开源软件根本不存在，我们用多台计算机web程序记录用户行为，用.net的w
不间断旋转的动画 pangyulei 动画
CABasicAnimation* rotationAnimation; rotationAnimation = [CABasicAnimation animationWithKeyPath:@"transform.rotation.z"]; rotationAnimation.toValue = [NSNumber numberWithFloat: M
自定义annotation sha1064616837 java enum annotation reflect
对象有的属性在页面上可编辑，有的属性在页面只可读，以前都是我们在页面上写死的，时间一久有时候会混乱，此处通过自定义annotation在类属性中定义。越来越发现Java的Annotation真心很强大，可以帮我们省去很多代码，让代码看上去简洁。下面这个例子主要用到了 1.自定义annotation：@interface，以及几个配合着自定义注解使用的几个注解 2.简单的反射 3.枚举
Spring 源码 up2pu spring
1.Spring源代码 https://github.com/SpringSource/spring-framework/branches/3.2.x 注：兼容svn检出 2.运行脚本 import-into-eclipse.bat 注：需要设置JAVA_HOME为jdk 1.7 build.gradle compileJava { sourceCompatibilit
利用word分词来计算文本相似度 yangshangchuan word word分词文本相似度余弦相似度简单共有词
word分词提供了多种文本相似度计算方式：方式一：余弦相似度，通过计算两个向量的夹角余弦值来评估他们的相似度实现类：org.apdplat.word.analysis.CosineTextSimilarity 用法如下： String text1 = "我爱购物"; String text2 = "我爱读书"; String text3 =

【Python学习笔记—保姆版】第四章—关于Pandas、数据准备、数据处理、数据分析、数据可视化

第四章

【Python学习笔记—保姆版】第四章

1、关于Pandas

2、数据准备

pandas和numpy

创建DataFrame

1.标准格式创建：

2 .传入等长的列表组成的字典来创建：

3 传入嵌套字典（字典的值也是字典）创建DataFrame

增删改查

1.增加值

1.增加列。直接为不存在的列赋值就会创建新的列

2.增加行

3.删除行和列：axis代表选中的是行还是列，列是1，行是2.inplace代表有没有真正删除

改

DataFrame

一、某列所有值

二、某行所有值

三、某行某列对应值df_signal[‘a’].iloc[-1]

四、删除特定行

五、Python DataFrame 按条件筛选数据

六、排序

数据导入

3、数据处理

4.3.1 数据清洗

1、重复值的处理：drop_duplicates()

2、缺失值处理：

1. dropna() 去除数据结构中值为空的数据行

2. df.fillna() 用其他数值替代NaN，有些时候空数据直接删除会影响分析的结果，可以对数据进行填补。【例4-8】使用数值或者任意字符替代缺失值

3. df.fillna(method=‘pad’) 用前一个数据值替代NaN

4. df.fillna(method=‘bfill’) 用后一个数据值替代NaN

5. df.fillna(df.mean()) 用平均数或者其他描述性统计量来代替NaN。

6. df.fillna(df.mean()[math: physical]) 可以选择列进行缺失值的处理

7. strip()：清除字符型数据左右(首尾)指定的字符，默认为空格，中间的不清除。

3、特定值替换：replace(‘缺考’, 0)

4、删除满足条件元素所在的行：drop()

4.3.2 数据抽取

1. 字段抽取：抽出某列上指定位置的数据做成新的列。

2. 字段拆分：按指定的字符sep，拆分已有的字符串。

3. 记录抽取：是指根据一定的条件，对数据进行抽取。

4. 随机抽样：是指随机从数据中按照一定的行数或者比例抽取数据。

PS:按照指定条件抽取数据：

5. 字典数据：将字典数据抽取为dataframe，有三种方法。

4.3.3 排名索引

说明：axis、ascending、inplace、by

1. 排名排序（索引排序）：df.sort_index()

2．重新索引：.reindex(index=None,**kwargs)

3. 值排序：df.sort_values()

4、sort_values()中的na_position参数

5、“值排名”：rank()函数

4.3.4 数据合并

1. 记录合并：是指两个结构相同的数据框合并成一个数据框。也就是在一个数据框中追加另一个数据框的数据记录。pd.concat([df1,df2])

2. 字段合并：是指将同一个数据框中的不同的列进行合并，形成新的列。X = x1+x2+…

3. 字段匹配：是指不同结构的数据框(两个或以上的数据框)，按照一定的条件进行合并，即追加列。merge(x,y,left_on,right_on) 外键连接

4.3.5 数据计算

1. 简单计算：通过对各字段进行加、减、乘、除等四则算术运算，计算出的结果作为新的字段。

2. 数据标准化：是指将数据按照比例缩放，使之落入特定的区间，一般使用0-1标准化。X*=(x-min)/(max-min)

4.3.6 数据分组

说明：pd.cut(series,bins,right=True,labels=NULL)

bins

labels

4.3.7 日期处理

1. 日期转换：是指将字符型的日期格式转换为日期格式数据的过程。

2. 日期格式化：是指将日期型的数据按照给定的格式转化为字符型的数据。

3. 日期抽取：是指从日期格式里面抽取出需要的部分属性

4. 日期判断：

5.日期增长：

4、数据分析

4.4.1 基本统计：describe

4.4.2 分组分析：groupby（离散值分组）

4.4.3 分布分析：cut+groupby（连续值分组）

4.4.4 交叉分析：pivot_table（数据透视表）

4.4.5 结构分析：pivot_table+sum+div（查比重）

4.4.6 相关分析：corr（一维、二维）

5、数据可视化

相关注意

4.5.1 饼图：plt.pie(gb2.人数，labels=gb2.index，autopct=‘%.2f%%’，colors=[‘b’，‘pink’，(0.5，0.8，0.3)]，explode=[0，0，0，0，0.1])

4.5.2 散点图：plt.plot(df.高代,df.数分,‘o’,color=‘pink’)

4.5.3 折线图：plt.plot(df.学号,df.总分,‘-’,color=‘r’)