onemorepoint

pandas 基础操作更新

创建一个Series,同时让pandas自动生成索引列
创建一个DataFrame数据框
查看数据
数据的简单统计
数据的排序
选择数据（类似于数据库中sql语句）
- 另外可以使用标签来选择
- 通过位置获取数据
- 布尔值索引
- 设定数值（类似于sql update 或者add）
- 缺失值处理
- 数据操作
- 统计个数与离散化
- pandas 处理字符串（单独一个大的章节，这人不做详述）
数据合并
- 首先看concat合并数据框
- merge方式合并（数据库中的join）
- Append方式合并数据
分组操作Groupby操作
reshape操作
- stack 与unstack 方法
pivot_table 透视表
至此，pandas的基础的使用介绍也就结束了，后续会有专题性质的分析，包括(字符串处理，apply的使用，数据合并，透视表，时间序列的分析）


import pandas as pd
import numpy as np


import matplotlib.pyplot as plt

创建一个Series,同时让pandas自动生成索引列


s = pd.Series([1,3,5,np.nan,6,8])


# 查看s
s

0    1.0
1    3.0
2    5.0
3    NaN
4    6.0
5    8.0
dtype: float64

创建一个DataFrame数据框


### 创建一个DataFrame ，可以传入一个numpy array 可以自己构建索引以及列标
dates = pd.date_range('2018-11-01',periods=7)
#### 比如说生成一个时间序列，以20181101 为起始位置的，7个日期组成的时间序列，数据的类型为datetime64[ns]


dates

DatetimeIndex(['2018-11-01', '2018-11-02', '2018-11-03', '2018-11-04',
               '2018-11-05', '2018-11-06', '2018-11-07'],
              dtype='datetime64[ns]', freq='D')


df = pd.DataFrame(np.random.randn(7,4),index= dates,columns=list('ABCD'))
df
# 产生随机正态分布的数据，7行4列，分别对应的index的长度以及column的长度

	A	B	C	D
2018-11-01	-0.170364	-0.237541	0.529903	0.660073
2018-11-02	-0.158446	-0.488535	0.082960	-1.913573
2018-11-03	-0.518426	0.730866	-1.033830	0.712624
2018-11-04	1.013527	0.270167	0.081805	0.178193
2018-11-05	-0.897497	-0.016279	-0.234993	0.081208
2018-11-06	-0.030580	0.545561	1.091127	-0.131579
2018-11-07	-0.313342	-0.688179	-0.417754	0.855027


### 同时用可以使用dict的实行创建DataFrame
df2 = pd.DataFrame({"A":1,
                   "B":"20181101",
                   'C':np.array([3]*4,dtype='int32'),
                   'D':pd.Categorical(['test','train','test','train']),
                   "E":1.5},
                  )
df2

	A	B	C	D	E
0	1	20181101	3	test	1.5
1	1	20181101	3	train	1.5
2	1	20181101	3	test	1.5
3	1	20181101	3	train	1.5


df2.dtypes
### 查看数据框中的数据类型,常见的数据类型还有时间类型以及float类型

A       int64
B      object
C       int32
D    category
E     float64
dtype: object

查看数据



# 比如说看前5行
df.head()

	A	B	C	D
2018-11-01	-0.170364	-0.237541	0.529903	0.660073
2018-11-02	-0.158446	-0.488535	0.082960	-1.913573
2018-11-03	-0.518426	0.730866	-1.033830	0.712624
2018-11-04	1.013527	0.270167	0.081805	0.178193
2018-11-05	-0.897497	-0.016279	-0.234993	0.081208


# 后4行
df.tail(4)

	A	B	C	D
2018-11-04	1.013527	0.270167	0.081805	0.178193
2018-11-05	-0.897497	-0.016279	-0.234993	0.081208
2018-11-06	-0.030580	0.545561	1.091127	-0.131579
2018-11-07	-0.313342	-0.688179	-0.417754	0.855027


# 查看DataFrame的索引
df.index

DatetimeIndex(['2018-11-01', '2018-11-02', '2018-11-03', '2018-11-04',
               '2018-11-05', '2018-11-06', '2018-11-07'],
              dtype='datetime64[ns]', freq='D')


# 查看DataFrame的列索引
df.columns

Index(['A', 'B', 'C', 'D'], dtype='object')


# 查看DataFrame的数据,将DataFrame转化为numpy array 的数据形式
df.values

array([[-0.1703643 , -0.23754121,  0.52990284,  0.66007285],
       [-0.15844565, -0.48853537,  0.08296043, -1.91357255],
       [-0.51842554,  0.73086567, -1.03382969,  0.71262388],
       [ 1.01352712,  0.27016714,  0.08180539,  0.17819344],
       [-0.89749689, -0.01627937, -0.23499323,  0.08120819],
       [-0.03058032,  0.54556063,  1.09112723, -0.13157934],
       [-0.31334198, -0.68817881, -0.41775393,  0.85502652]])

数据的简单统计


# 可以使用describe函数对DataFrame中的数值型数据进行统计
df.describe()

	A	B	C	D
count	7.000000	7.000000	7.000000	7.000000
mean	-0.153590	0.016580	0.014174	0.063139
std	0.590144	0.527860	0.680939	0.945526
min	-0.897497	-0.688179	-1.033830	-1.913573
25%	-0.415884	-0.363038	-0.326374	-0.025186
50%	-0.170364	-0.016279	0.081805	0.178193
75%	-0.094513	0.407864	0.306432	0.686348
max	1.013527	0.730866	1.091127	0.855027


df2.describe()
### 对于其他的数据类型的数据describe函数会自动过滤掉

	A	C	E
count	4.0	4.0	4.0
mean	1.0	3.0	1.5
std	0.0	0.0	0.0
min	1.0	3.0	1.5
25%	1.0	3.0	1.5
50%	1.0	3.0	1.5
75%	1.0	3.0	1.5
max	1.0	3.0	1.5


### DataFrame 的转置，将列索引与行索引进行调换，行数据与列数进行调换
df.T

	2018-11-01 00:00:00	2018-11-02 00:00:00	2018-11-03 00:00:00	2018-11-04 00:00:00	2018-11-05 00:00:00	2018-11-06 00:00:00	2018-11-07 00:00:00
A	-0.170364	-0.158446	-0.518426	1.013527	-0.897497	-0.030580	-0.313342
B	-0.237541	-0.488535	0.730866	0.270167	-0.016279	0.545561	-0.688179
C	0.529903	0.082960	-1.033830	0.081805	-0.234993	1.091127	-0.417754
D	0.660073	-1.913573	0.712624	0.178193	0.081208	-0.131579	0.855027

df

	A	B	C	D
2018-11-01	-0.170364	-0.237541	0.529903	0.660073
2018-11-02	-0.158446	-0.488535	0.082960	-1.913573
2018-11-03	-0.518426	0.730866	-1.033830	0.712624
2018-11-04	1.013527	0.270167	0.081805	0.178193
2018-11-05	-0.897497	-0.016279	-0.234993	0.081208
2018-11-06	-0.030580	0.545561	1.091127	-0.131579
2018-11-07	-0.313342	-0.688179	-0.417754	0.855027

数据的排序


df.sort_index(ascending=False)
### 降序，按照列进行降序，通过该索引列

	A	B	C	D
2018-11-07	-0.313342	-0.688179	-0.417754	0.855027
2018-11-06	-0.030580	0.545561	1.091127	-0.131579
2018-11-05	-0.897497	-0.016279	-0.234993	0.081208
2018-11-04	1.013527	0.270167	0.081805	0.178193
2018-11-03	-0.518426	0.730866	-1.033830	0.712624
2018-11-02	-0.158446	-0.488535	0.082960	-1.913573
2018-11-01	-0.170364	-0.237541	0.529903	0.660073



print(df.sort_values(by=['B','A']))
#  默认是升序,可以选择多指排序，先照B，后排A，如果B中的数据一样，则按照A中的大小进行排序
df.sort_values(by='B')

                   A         B         C         D
2018-11-07 -0.313342 -0.688179 -0.417754  0.855027
2018-11-02 -0.158446 -0.488535  0.082960 -1.913573
2018-11-01 -0.170364 -0.237541  0.529903  0.660073
2018-11-05 -0.897497 -0.016279 -0.234993  0.081208
2018-11-04  1.013527  0.270167  0.081805  0.178193
2018-11-06 -0.030580  0.545561  1.091127 -0.131579
2018-11-03 -0.518426  0.730866 -1.033830  0.712624

	A	B	C	D
2018-11-07	-0.313342	-0.688179	-0.417754	0.855027
2018-11-02	-0.158446	-0.488535	0.082960	-1.913573
2018-11-01	-0.170364	-0.237541	0.529903	0.660073
2018-11-05	-0.897497	-0.016279	-0.234993	0.081208
2018-11-04	1.013527	0.270167	0.081805	0.178193
2018-11-06	-0.030580	0.545561	1.091127	-0.131579
2018-11-03	-0.518426	0.730866	-1.033830	0.712624

选择数据（类似于数据库中sql语句）


df['A']
# 取出单独的一列数据，等价于df.A

2018-11-01   -0.170364
2018-11-02   -0.158446
2018-11-03   -0.518426
2018-11-04    1.013527
2018-11-05   -0.897497
2018-11-06   -0.030580
2018-11-07   -0.313342
Freq: D, Name: A, dtype: float64


# 通过[]进行行选择切片
df[0:3]

	A	B	C	D
2018-11-01	-0.170364	-0.237541	0.529903	0.660073
2018-11-02	-0.158446	-0.488535	0.082960	-1.913573
2018-11-03	-0.518426	0.730866	-1.033830	0.712624


# 同时对于时间索引而言，可以直接使用比如
df['2018-11-01':'2018-11-04']

	A	B	C	D
2018-11-01	-0.170364	-0.237541	0.529903	0.660073
2018-11-02	-0.158446	-0.488535	0.082960	-1.913573
2018-11-03	-0.518426	0.730866	-1.033830	0.712624
2018-11-04	1.013527	0.270167	0.081805	0.178193

另外可以使用标签来选择



df.loc['2018-11-01']

A   -0.170364
B   -0.237541
C    0.529903
D    0.660073
Name: 2018-11-01 00:00:00, dtype: float64


#### 通过标签来进行多个轴上的进行选择
df.loc[:,["A","B"]] # 等价于df[["A","B"]]

	A	B
2018-11-01	-0.170364	-0.237541
2018-11-02	-0.158446	-0.488535
2018-11-03	-0.518426	0.730866
2018-11-04	1.013527	0.270167
2018-11-05	-0.897497	-0.016279
2018-11-06	-0.030580	0.545561
2018-11-07	-0.313342	-0.688179


df.loc["2018-11-01":"2018-11-03",["A","B"]]

	A	B
2018-11-01	-0.170364	-0.237541
2018-11-02	-0.158446	-0.488535
2018-11-03	-0.518426	0.730866


#### 获得一个标量数据
df.loc['2018-11-01','A']

-0.17036430076617162

通过位置获取数据


df.iloc[3]  # 获得第四行的数据

A    1.013527
B    0.270167
C    0.081805
D    0.178193
Name: 2018-11-04 00:00:00, dtype: float64


df.iloc[1:3,1:4]  #  与numpy中的ndarray类似

	B	C	D
2018-11-02	-0.488535	0.08296	-1.913573
2018-11-03	0.730866	-1.03383	0.712624


# 可以选取不连续的行或者列进行取值
df.iloc[[1,3],[1,3]]

	B	D
2018-11-02	-0.488535	-1.913573
2018-11-04	0.270167	0.178193


#  对行进行切片处理
df.iloc[1:3,:]

	A	B	C	D
2018-11-02	-0.158446	-0.488535	0.08296	-1.913573
2018-11-03	-0.518426	0.730866	-1.03383	0.712624


# 对列进行切片
df.iloc[:,1:4]

	B	C	D
2018-11-01	-0.237541	0.529903	0.660073
2018-11-02	-0.488535	0.082960	-1.913573
2018-11-03	0.730866	-1.033830	0.712624
2018-11-04	0.270167	0.081805	0.178193
2018-11-05	-0.016279	-0.234993	0.081208
2018-11-06	0.545561	1.091127	-0.131579
2018-11-07	-0.688179	-0.417754	0.855027


# 获取特定的值
df.iloc[1,3]

-1.9135725473596013

布尔值索引


# 使用单列的数据作为条件进行筛选
df[df.A>0]

	A	B	C	D
2018-11-04	1.013527	0.270167	0.081805	0.178193


 #很少用到，很少使用这种大范围的条件进行筛选
df[df>0]

	A	B	C	D
2018-11-01	NaN	NaN	0.529903	0.660073
2018-11-02	NaN	NaN	0.082960	NaN
2018-11-03	NaN	0.730866	NaN	0.712624
2018-11-04	1.013527	0.270167	0.081805	0.178193
2018-11-05	NaN	NaN	NaN	0.081208
2018-11-06	NaN	0.545561	1.091127	NaN
2018-11-07	NaN	NaN	NaN	0.855027


# 使用isin()方法过滤
df2.head()

	A	B	C	D	E
0	1	20181101	3	test	1.5
1	1	20181101	3	train	1.5
2	1	20181101	3	test	1.5
3	1	20181101	3	train	1.5


df2[df2['D'].isin(['test'])]

	A	B	C	D	E
0	1	20181101	3	test	1.5
2	1	20181101	3	test	1.5

设定数值（类似于sql update 或者add）

设定一个新的列


df['E'] = [1,2,3,4,5,6,7]

df

	A	B	C	D	E
2018-11-01	-0.170364	-0.237541	0.529903	0.660073	1
2018-11-02	-0.158446	-0.488535	0.082960	-1.913573	2
2018-11-03	-0.518426	0.730866	-1.033830	0.712624	3
2018-11-04	1.013527	0.270167	0.081805	0.178193	4
2018-11-05	-0.897497	-0.016279	-0.234993	0.081208	5
2018-11-06	-0.030580	0.545561	1.091127	-0.131579	6
2018-11-07	-0.313342	-0.688179	-0.417754	0.855027	7

通过标签设定新的值


df.loc['2018-11-01','E']= 10  # 第一行，E列的数据修改为10

df

	A	B	C	D	E
2018-11-01	-0.170364	-0.237541	0.529903	0.660073	10
2018-11-02	-0.158446	-0.488535	0.082960	-1.913573	2
2018-11-03	-0.518426	0.730866	-1.033830	0.712624	3
2018-11-04	1.013527	0.270167	0.081805	0.178193	4
2018-11-05	-0.897497	-0.016279	-0.234993	0.081208	5
2018-11-06	-0.030580	0.545561	1.091127	-0.131579	6
2018-11-07	-0.313342	-0.688179	-0.417754	0.855027	7


df.iloc[1,4]=5000  # 第二行第五列数据修改为5000

df

	A	B	C	D	E
2018-11-01	-0.170364	-0.237541	0.529903	0.660073	10
2018-11-02	-0.158446	-0.488535	0.082960	-1.913573	5000
2018-11-03	-0.518426	0.730866	-1.033830	0.712624	3
2018-11-04	1.013527	0.270167	0.081805	0.178193	4
2018-11-05	-0.897497	-0.016279	-0.234993	0.081208	5
2018-11-06	-0.030580	0.545561	1.091127	-0.131579	6
2018-11-07	-0.313342	-0.688179	-0.417754	0.855027	7


df3 =df.copy()
df3[df3<0]= -df3
df3  # 都变成非负数

	A	B	C	D	E
2018-11-01	0.170364	0.237541	0.529903	0.660073	10
2018-11-02	0.158446	0.488535	0.082960	1.913573	5000
2018-11-03	0.518426	0.730866	1.033830	0.712624	3
2018-11-04	1.013527	0.270167	0.081805	0.178193	4
2018-11-05	0.897497	0.016279	0.234993	0.081208	5
2018-11-06	0.030580	0.545561	1.091127	0.131579	6
2018-11-07	0.313342	0.688179	0.417754	0.855027	7

缺失值处理

df

	A	B	C	D	E
2018-11-01	-0.170364	-0.237541	0.529903	0.660073	10
2018-11-02	-0.158446	-0.488535	0.082960	-1.913573	5000
2018-11-03	-0.518426	0.730866	-1.033830	0.712624	3
2018-11-04	1.013527	0.270167	0.081805	0.178193	4
2018-11-05	-0.897497	-0.016279	-0.234993	0.081208	5
2018-11-06	-0.030580	0.545561	1.091127	-0.131579	6
2018-11-07	-0.313342	-0.688179	-0.417754	0.855027	7


df['E']=[1,np.nan,2,np.nan,4,np.nan,6]


df.loc['2018-11-01':'2018-11-03','D']=np.nan

df

	A	B	C	D	E
2018-11-01	-0.170364	-0.237541	0.529903	NaN	1.0
2018-11-02	-0.158446	-0.488535	0.082960	NaN	NaN
2018-11-03	-0.518426	0.730866	-1.033830	NaN	2.0
2018-11-04	1.013527	0.270167	0.081805	0.178193	NaN
2018-11-05	-0.897497	-0.016279	-0.234993	0.081208	4.0
2018-11-06	-0.030580	0.545561	1.091127	-0.131579	NaN
2018-11-07	-0.313342	-0.688179	-0.417754	0.855027	6.0

去掉缺失值的行


df4 = df.copy()


df4.dropna(how='any')

	A	B	C	D	E
2018-11-05	-0.897497	-0.016279	-0.234993	0.081208	4.0
2018-11-07	-0.313342	-0.688179	-0.417754	0.855027	6.0


df4.dropna(how='all')
# """DataFrame.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)""" 
# aixs 轴0或者1 index或者columns
# how 方式
# thresh 超过阈值个数的缺失值
# subset 那些字段的处理
# inplace 是否直接在原数据框中的替换

	A	B	C	D	E
2018-11-01	-0.170364	-0.237541	0.529903	NaN	1.0
2018-11-02	-0.158446	-0.488535	0.082960	NaN	NaN
2018-11-03	-0.518426	0.730866	-1.033830	NaN	2.0
2018-11-04	1.013527	0.270167	0.081805	0.178193	NaN
2018-11-05	-0.897497	-0.016279	-0.234993	0.081208	4.0
2018-11-06	-0.030580	0.545561	1.091127	-0.131579	NaN
2018-11-07	-0.313342	-0.688179	-0.417754	0.855027	6.0

对缺失值就行填充


df4.fillna(1000)

	A	B	C	D	E
2018-11-01	-0.170364	-0.237541	0.529903	1000.000000	1.0
2018-11-02	-0.158446	-0.488535	0.082960	1000.000000	1000.0
2018-11-03	-0.518426	0.730866	-1.033830	1000.000000	2.0
2018-11-04	1.013527	0.270167	0.081805	0.178193	1000.0
2018-11-05	-0.897497	-0.016279	-0.234993	0.081208	4.0
2018-11-06	-0.030580	0.545561	1.091127	-0.131579	1000.0
2018-11-07	-0.313342	-0.688179	-0.417754	0.855027	6.0

对数据进行布尔值进行填充


pd.isnull(df4)

	A	B	C	D	E
2018-11-01	False	False	False	True	False
2018-11-02	False	False	False	True	True
2018-11-03	False	False	False	True	False
2018-11-04	False	False	False	False	True
2018-11-05	False	False	False	False	False
2018-11-06	False	False	False	False	True
2018-11-07	False	False	False	False	False

数据操作


#统计的工作一般情况下都不包含缺失值，
df4.mean() 
#  默认是对列进行求平均，沿着行方向也就是axis=0

A   -0.153590
B    0.016580
C    0.014174
D    0.245712
E    3.250000
dtype: float64


df4.mean(axis=1)
#  沿着列方向求每行的平均

2018-11-01    0.280499
2018-11-02   -0.188007
2018-11-03    0.294653
2018-11-04    0.385923
2018-11-05    0.586488
2018-11-06    0.368632
2018-11-07    1.087150
Freq: D, dtype: float64


 # 对于拥有不同维度，需要对齐的对象进行操作。Pandas会自动的沿着指定的维度进行广播：
s = pd.Series([1,3,4,np.nan,6,7,8],index=dates)
s

2018-11-01    1.0
2018-11-02    3.0
2018-11-03    4.0
2018-11-04    NaN
2018-11-05    6.0
2018-11-06    7.0
2018-11-07    8.0
Freq: D, dtype: float64


df4.sub(s,axis='index')

	A	B	C	D	E
2018-11-01	-1.170364	-1.237541	-0.470097	NaN	0.0
2018-11-02	-3.158446	-3.488535	-2.917040	NaN	NaN
2018-11-03	-4.518426	-3.269134	-5.033830	NaN	-2.0
2018-11-04	NaN	NaN	NaN	NaN	NaN
2018-11-05	-6.897497	-6.016279	-6.234993	-5.918792	-2.0
2018-11-06	-7.030580	-6.454439	-5.908873	-7.131579	NaN
2018-11-07	-8.313342	-8.688179	-8.417754	-7.144973	-2.0

df4

	A	B	C	D	E
2018-11-01	-0.170364	-0.237541	0.529903	NaN	1.0
2018-11-02	-0.158446	-0.488535	0.082960	NaN	NaN
2018-11-03	-0.518426	0.730866	-1.033830	NaN	2.0
2018-11-04	1.013527	0.270167	0.081805	0.178193	NaN
2018-11-05	-0.897497	-0.016279	-0.234993	0.081208	4.0
2018-11-06	-0.030580	0.545561	1.091127	-0.131579	NaN
2018-11-07	-0.313342	-0.688179	-0.417754	0.855027	6.0


df4.apply(np.cumsum)

	A	B	C	D	E
2018-11-01	-0.170364	-0.237541	0.529903	NaN	1.0
2018-11-02	-0.328810	-0.726077	0.612863	NaN	NaN
2018-11-03	-0.847235	0.004789	-0.420966	NaN	3.0
2018-11-04	0.166292	0.274956	-0.339161	0.178193	NaN
2018-11-05	-0.731205	0.258677	-0.574154	0.259402	7.0
2018-11-06	-0.761786	0.804237	0.516973	0.127822	NaN
2018-11-07	-1.075128	0.116059	0.099219	0.982849	13.0


df4.apply(lambda x: x.max()-x.min())

A    1.911024
B    1.419044
C    2.124957
D    0.986606
E    5.000000
dtype: float64

统计个数与离散化


s = pd.Series(np.random.randint(0,7,size=15))
s

0     5
1     4
2     1
3     2
4     1
5     0
6     2
7     6
8     4
9     3
10    1
11    1
12    1
13    3
14    2
dtype: int32


s.value_counts()
# 统计元素的个数，并按照元素统计量进行排序，未出现的元素不会显示出来

1    5
2    3
4    2
3    2
6    1
5    1
0    1
dtype: int64


s.reindex(range(0,7))
# 按照固定的顺序输出元素的个数统计

0    5
1    4
2    1
3    2
4    1
5    0
6    2
dtype: int32


s.mode()
#  众数

0    1
dtype: int32

离散化


# 连续值转化为离散值，可以使用cut函数进行操作（bins based on vlaues） qcut （bins based on sample
# quantiles） 函数
arr = np.random.randint(0,20,size=15)  # 正态分布
arr

array([ 5, 18, 13, 16, 16,  1, 15, 11,  0, 17, 16, 18, 15, 12, 13])


factor = pd.cut(arr,3)
factor

[(-0.018, 6.0], (12.0, 18.0], (12.0, 18.0], (12.0, 18.0], (12.0, 18.0], ..., (12.0, 18.0], (12.0, 18.0], (12.0, 18.0], (6.0, 12.0], (12.0, 18.0]]
Length: 15
Categories (3, interval[float64]): [(-0.018, 6.0] < (6.0, 12.0] < (12.0, 18.0]]


pd.value_counts(factor)

(12.0, 18.0]     10
(-0.018, 6.0]     3
(6.0, 12.0]       2
dtype: int64


factor1 = pd.cut(arr,[-1,5,10,15,20])


pd.value_counts(factor1)

(15, 20]    6
(10, 15]    6
(-1, 5]     3
(5, 10]     0
dtype: int64


factor2 = pd.qcut(arr,[0,0.25,0.5,0.75,1])


pd.value_counts(factor2)

(11.5, 15.0]      5
(-0.001, 11.5]    4
(16.0, 18.0]      3
(15.0, 16.0]      3
dtype: int64

pandas 处理字符串（单独一个大的章节，这人不做详述）

数据合并

concat
merge（类似于sql数据库中的join）
append

首先看concat合并数据框


df = pd.DataFrame(np.random.randn(10,4))  #  10行列的标准正态分布数据框
df

	0	1	2	3
0	0.949746	-0.050767	1.478622	-0.239901
1	-0.297120	-0.562589	0.371837	1.180715
2	0.953856	0.492295	0.821156	-0.323328
3	0.016153	1.554225	-1.166304	-0.904040
4	0.204763	-0.951291	-1.317620	0.672900
5	2.241006	-0.925746	-1.961408	0.853367
6	2.217133	-0.430812	0.518926	1.741445
7	-0.571104	-0.437305	-0.902241	0.786231
8	-2.511387	0.523760	1.811622	-0.777296
9	0.252690	0.901952	0.619614	-0.006631


d1,d2,d3  = df[:3],df[3:7],df[7:]
d1,d2,d3

(          0         1         2         3
 0  0.949746 -0.050767  1.478622 -0.239901
 1 -0.297120 -0.562589  0.371837  1.180715
 2  0.953856  0.492295  0.821156 -0.323328,
           0         1         2         3
 3  0.016153  1.554225 -1.166304 -0.904040
 4  0.204763 -0.951291 -1.317620  0.672900
 5  2.241006 -0.925746 -1.961408  0.853367
 6  2.217133 -0.430812  0.518926  1.741445,
           0         1         2         3
 7 -0.571104 -0.437305 -0.902241  0.786231
 8 -2.511387  0.523760  1.811622 -0.777296
 9  0.252690  0.901952  0.619614 -0.006631)


pd.concat([d1,d2,d3])
#合并三个数据框，数据结构相同，通常合并相同结构的数据，数据框中的字段一致，类似于数据添加新的数据来源

	0	1	2	3
0	0.949746	-0.050767	1.478622	-0.239901
1	-0.297120	-0.562589	0.371837	1.180715
2	0.953856	0.492295	0.821156	-0.323328
3	0.016153	1.554225	-1.166304	-0.904040
4	0.204763	-0.951291	-1.317620	0.672900
5	2.241006	-0.925746	-1.961408	0.853367
6	2.217133	-0.430812	0.518926	1.741445
7	-0.571104	-0.437305	-0.902241	0.786231
8	-2.511387	0.523760	1.811622	-0.777296
9	0.252690	0.901952	0.619614	-0.006631

merge方式合并（数据库中的join）


left = pd.DataFrame({'key':['foo','foo'],"lval":[1,2]})
right = pd.DataFrame({'key':['foo','foo'],'rval':[4,5]})


left

	key	lval
0	foo	1
1	foo	2


right

	key	rval
0	foo	4
1	foo	5


pd.merge(left,right,on='key')

	key	lval	rval
0	foo	1	4
1	foo	1	5
2	foo	2	4
3	foo	2	5


left = pd.DataFrame({'key':['foo','bar'],"lval":[1,2]})
right = pd.DataFrame({'key':['foo','bar'],'rval':[4,5]})
pd.merge(left,right,on='key')

	key	lval	rval
0	foo	1	4
1	bar	2	5


left

	key	lval
0	foo	1
1	bar	2


right

	key	rval
0	foo	4
1	bar	5

Append方式合并数据


#  与concat 类似，常用的方法可以参考一下日子
df = pd.DataFrame(np.random.randn(8,4),columns=['A','B','C','D'])
df

	A	B	C	D
0	1.825997	-0.331086	-0.067143	0.747226
1	-0.027497	0.861639	0.928621	-2.549617
2	-0.546645	-0.072253	-0.788483	0.484140
3	-0.472240	-1.776993	-1.647407	0.170596
4	-0.099453	0.380143	-0.890510	1.233741
5	0.351915	0.137522	-1.165938	1.128146
6	0.558442	-1.047060	-0.598197	-1.979876
7	0.067321	-1.037666	-1.140675	-0.098562


## 
d1 = df.iloc[3]
df.append(d1,ignore_index= True)

	A	B	C	D
0	1.825997	-0.331086	-0.067143	0.747226
1	-0.027497	0.861639	0.928621	-2.549617
2	-0.546645	-0.072253	-0.788483	0.484140
3	-0.472240	-1.776993	-1.647407	0.170596
4	-0.099453	0.380143	-0.890510	1.233741
5	0.351915	0.137522	-1.165938	1.128146
6	0.558442	-1.047060	-0.598197	-1.979876
7	0.067321	-1.037666	-1.140675	-0.098562
8	-0.472240	-1.776993	-1.647407	0.170596

分组操作Groupby操作


df = pd.DataFrame({"A":['foo','bar','foo','bar'],
                  "B":['one','one','two','three'],
                  "C":np.random.randn(4),
                  "D":np.random.randn(4)})
df

	A	B	C	D
0	foo	one	0.938910	0.505163
1	bar	one	0.660543	0.353860
2	foo	two	0.520309	1.157462
3	bar	three	-1.054927	0.290693


df.groupby('A').sum()

	C	D
A
bar	-0.394384	0.644553
foo	1.459219	1.662625


df.groupby('A').size()

A
bar    2
foo    2
dtype: int64


df.groupby(['A',"B"]).sum()

		C	D
A	B
bar	one	0.660543	0.353860
bar	three	-1.054927	0.290693
foo	one	0.938910	0.505163
foo	two	0.520309	1.157462


df.groupby(['A',"B"]).size()

A    B    
bar  one      1
     three    1
foo  one      1
     two      1
dtype: int64

reshape操作


tuples = list(zip(*[['bar','bar','baz','baz','foo','foo','qux','qux'],
                   ['one','two','one','two','one','two','one','two']]))


index = pd.MultiIndex.from_tuples(tuples,names=['first','second'])
df = pd.DataFrame(np.random.randn(8,2),index= index,columns=['A','B'])
df2 =  df[:4]

df2

		A	B
first	second
bar	one	0.510758	0.641370
bar	two	0.481230	-0.470894
baz	one	-0.076294	0.121247
baz	two	0.378507	-1.358932

df

		A	B
first	second
bar	one	0.510758	0.641370
bar	two	0.481230	-0.470894
baz	one	-0.076294	0.121247
baz	two	0.378507	-1.358932
foo	one	-0.873012	0.531595
foo	two	0.266968	-0.393124
qux	one	0.981866	1.205994
qux	two	0.265772	0.132489

stack 与unstack 方法


df2_stacked = df2.stack()  
#  将column也作为index


df2_stacked

first  second   
bar    one     A    0.510758
               B    0.641370
       two     A    0.481230
               B   -0.470894
baz    one     A   -0.076294
               B    0.121247
       two     A    0.378507
               B   -1.358932
dtype: float64


df2_stacked.unstack()  #  回复到原来的状态

		A	B
first	second
bar	one	0.510758	0.641370
bar	two	0.481230	-0.470894
baz	one	-0.076294	0.121247
baz	two	0.378507	-1.358932


df2_stacked

first  second   
bar    one     A    0.510758
               B    0.641370
       two     A    0.481230
               B   -0.470894
baz    one     A   -0.076294
               B    0.121247
       two     A    0.378507
               B   -1.358932
dtype: float64


df2_stacked.unstack(1)

	second	one	two
first
bar	A	0.510758	0.481230
bar	B	0.641370	-0.470894
baz	A	-0.076294	0.378507
baz	B	0.121247	-1.358932


df2_stacked.unstack(0)

	first	bar	baz
second
one	A	0.510758	-0.076294
one	B	0.641370	0.121247
two	A	0.481230	0.378507
two	B	-0.470894	-1.358932

pivot_table 透视表


df = pd.DataFrame({'A' : ['one', 'one', 'two', 'three'] * 3,                    'B' : ['A', 'B', 'C'] * 4,
                 'C' : ['foo', 'foo', 'foo', 'bar', 'bar', 'bar'] * 2,
                  'D' : np.random.randn(12),
                 'E' : np.random.randn(12)})

df

	A	B	C	D	E
0	one	A	foo	0.006247	-0.894827
1	one	B	foo	1.653974	-0.340107
2	two	C	foo	-1.627485	-1.011403
3	three	A	bar	-0.716002	1.533422
4	one	B	bar	0.422688	-0.807675
5	one	C	bar	0.264818	0.249770
6	two	A	foo	0.643288	-1.166616
7	three	B	foo	0.348041	-0.659099
8	one	C	foo	1.593486	-1.098731
9	one	A	bar	-0.389344	0.919528
10	two	B	bar	-1.407450	1.269716
11	three	C	bar	-0.172672	0.883970


pd.pivot_table(df,values='D',index=['A','B'],columns=['C'],aggfunc=np.mean)

	C	bar	foo
A	B
one	A	-0.389344	0.006247
	B	0.422688	1.653974
	C	0.264818	1.593486
three	A	-0.716002	NaN
	B	NaN	0.348041
	C	-0.172672	NaN
two	A	NaN	0.643288
	B	-1.407450	NaN
	C	NaN	-1.627485


pd.pivot_table(df,values='D',index=['A','B'],columns=['C'],aggfunc=np.sum)

	C	bar	foo
A	B
one	A	-0.389344	0.006247
	B	0.422688	1.653974
	C	0.264818	1.593486
three	A	-0.716002	NaN
	B	NaN	0.348041
	C	-0.172672	NaN
two	A	NaN	0.643288
	B	-1.407450	NaN
	C	NaN	-1.627485


pd.pivot_table(df,values='D',index=['A','B'],columns=['C'],aggfunc=np.mean,fill_value=0)

	C	bar	foo
A	B
one	A	-0.389344	0.006247
	B	0.422688	1.653974
	C	0.264818	1.593486
three	A	-0.716002	0.000000
	B	0.000000	0.348041
	C	-0.172672	0.000000
two	A	0.000000	0.643288
	B	-1.407450	0.000000
	C	0.000000	-1.627485


df1 = pd.pivot_table(df,values='D',index=['A','B'],columns=['C'],aggfunc=np.mean,fill_value=0)


df1.index

MultiIndex(levels=[['one', 'three', 'two'], ['A', 'B', 'C']],
           labels=[[0, 0, 0, 1, 1, 1, 2, 2, 2], [0, 1, 2, 0, 1, 2, 0, 1, 2]],
           names=['A', 'B'])


df1.stack()

A      B  C  
one    A  bar   -0.389344
          foo    0.006247
       B  bar    0.422688
          foo    1.653974
       C  bar    0.264818
          foo    1.593486
three  A  bar   -0.716002
          foo    0.000000
       B  bar    0.000000
          foo    0.348041
       C  bar   -0.172672
          foo    0.000000
two    A  bar    0.000000
          foo    0.643288
       B  bar   -1.407450
          foo    0.000000
       C  bar    0.000000
          foo   -1.627485
dtype: float64


df1.unstack()

C	bar			foo
B	A	B	C	A	B	C
A
one	-0.389344	0.422688	0.264818	0.006247	1.653974	1.593486
three	-0.716002	0.000000	-0.172672	0.000000	0.348041	0.000000
two	0.000000	-1.407450	0.000000	0.643288	0.000000	-1.627485


df1.unstack(1)

C	bar			foo
B	A	B	C	A	B	C
A
one	-0.389344	0.422688	0.264818	0.006247	1.653974	1.593486
three	-0.716002	0.000000	-0.172672	0.000000	0.348041	0.000000
two	0.000000	-1.407450	0.000000	0.643288	0.000000	-1.627485


df1.unstack(0)

C	bar			foo
A	one	three	two	one	three	two
B
A	-0.389344	-0.716002	0.00000	0.006247	0.000000	0.643288
B	0.422688	0.000000	-1.40745	1.653974	0.348041	0.000000
C	0.264818	-0.172672	0.00000	1.593486	0.000000	-1.627485

至此，pandas的基础的使用介绍也就结束了，后续会有专题性质的分析，包括(字符串处理，apply的使用，数据合并，透视表，时间序列的分析）

posted on 2018-12-09 20:42 多一点阅读(...) 评论(...) 编辑收藏

你可能感兴趣的:(python,pandas)

理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
python os.environ 江湖偌大 python 深度学习
os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
Python中os.environ基本介绍及使用方法鹤冲天Pro #Python python 服务器开发语言
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
Pyecharts数据可视化大屏：打造沉浸式数据分析体验我的运维人生信息可视化数据分析数据挖掘运维开发技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
Python教程：一文了解使用Python处理XPath 旦莫 Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 python os.environ
>>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
使用Faiss进行高效相似度搜索 llzwxh888 faiss python
在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
python是什么意思中文-在python中%是什么意思编程大乐趣
Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
python八股文面试题分享及解析(1) Shawn________ python
#1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
每日算法&面试题，大厂特训二十八天——第二十天（树）肥学 ⚡算法题⚡面试题每日精进 java 算法数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
Python快速入门 —— 第三节：类与对象孤华暗香 Python快速入门 python 开发语言
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
pyecharts——绘制柱形图折线图 2224070247 信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
Python 实现图片裁剪（附代码） | Python工具剑客阿良_ALiang
前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
《Python数据分析实战终极指南》 xjt921122 python 数据分析开发语言
对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
Python中深拷贝与浅拷贝的区别 yuxiaoyu.
转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
Python编译器鹿鹿~ Python编译器 Python python 开发语言后端
嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
一文掌握python面向对象魔术方法（二）程序员neil python python 开发语言
接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
一文掌握python常用的list（列表）操作程序员neil python python 开发语言
目录一、创建列表1.直接创建列表：2.使用list()构造器3.使用列表推导式4.创建空列表二、访问列表元素1.列表支持通过索引访问元素，索引从0开始：2.还可以使用切片操作访问列表的一部分：三、修改列表元素四、添加元素1.append()：在末尾添加元素2.insert()：在指定位置插入元素五、删除元素1.del：删除指定位置的元素2.remove()：删除指定值的第一个匹配项3.pop()：
Python实现简单的机器学习算法 master_chenchengg python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
自然语言处理_tf-idf _feivirus_ 算法机器学习和数学自然语言处理 tf-idf 逆文档频率词频
importpandasaspdimportmath1.数据预处理docA="Thecatsatonmyface"docB="Thedogsatonmybed"wordsA=docA.split("")wordsB=docB.split("")wordsSet=set(wordsA).union(set(wordsB))print(wordsSet){'on','my','face','sat',
K近邻算法_分类鸢尾花数据集 _feivirus_ 算法机器学习和数学分类机器学习 K近邻
importnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score1.数据预处理iris=load_iris()df=pd.DataFrame(data=ir
python中的深拷贝与浅拷贝 anshejd70787 python
深拷贝和浅拷贝浅拷贝的时候，修改原来的对象，浅拷贝的对象不会发生改变。1、对象的赋值对象的赋值实际上是对象之间的引用：当创建一个对象，然后将这个对象赋值给另外一个变量的时候，python并没有拷贝这个对象，而只是拷贝了这个对象的引用。当对对象做赋值或者是参数传递或者作为返回值的时候，总是传递原始对象的引用，而不是一个副本。如下所示：>>>aList=["kel","abc",123]>>>bLis
强大的销售团队背后竟然是大数据分析的身影蓝儿唯美数据分析
Mark Roberge是HubSpot的首席财务官，在招聘销售职位时使用了大量数据分析。但是科技并没有挤走直觉。大家都知道数理学家实际上已经渗透到了各行各业。这些热衷数据的人们通过处理数据理解商业流程的各个方面，以重组弱点，增强优势。 Mark Roberge是美国HubSpot公司的首席财务官，HubSpot公司在构架集客营销现象方面出过一份力——因此他也是一位数理学家。他使用数据分析
Haproxy+Keepalived高可用双机单活 bylijinnan 负载均衡 keepalived haproxy 高可用
我们的应用MyApp不支持集群，但要求双机单活（两台机器：master和slave）： 1.正常情况下，只有master启动MyApp并提供服务 2.当master发生故障时，slave自动启动本机的MyApp，同时虚拟IP漂移至slave，保持对外提供服务的IP和端口不变 F5据说也能满足上面的需求，但F5的通常用法都是双机双活，单活的话还没研究过服务器资源 10.7
eclipse编辑器中文乱码问题解决 0624chenhong eclipse乱码
使用Eclipse编辑文件经常出现中文乱码或者文件中有中文不能保存的问题，Eclipse提供了灵活的设置文件编码格式的选项，我们可以通过设置编码格式解决乱码问题。在Eclipse可以从几个层面设置编码格式：Workspace、Project、Content Type、File 本文以Eclipse 3.3（英文）为例加以说明： 1. 设置Workspace的编码格式： Windows-&g
基础篇--resources资源不懂事的小屁孩 android
最近一直在做java开发，偶尔敲点android代码，突然发现有些基础给忘记了，今天用半天时间温顾一下resources的资源。 String.xml 字符串资源涉及国际化问题 http://www.2cto.com/kf/201302/190394.html string-array
接上篇补上window平台自动上传证书文件的批处理问卷酷的飞上天空 window
@echo off : host=服务器证书域名或ip，需要和部署时服务器的域名或ip一致 ou=公司名称, o=公司名称 set host=localhost set ou=localhost set o=localhost set password=123456 set validity=3650 set salias=s
企业物联网大潮涌动：如何做好准备？蓝儿唯美企业
物联网的可能性也许是无限的。要找出架构师可以做好准备的领域然后利用日益连接的世界。尽管物联网（IoT）还很新，企业架构师现在也应该为一个连接更加紧密的未来做好计划，而不是跟上闸门被打开后的集成挑战。“问题不在于物联网正在进入哪些领域，而是哪些地方物联网没有在企业推进，” Gartner研究总监Mike Walker说。 Gartner预测到2020年物联网设备安装量将达260亿，这些设备在全
spring学习——数据库（mybatis持久化框架配置） a-john mybatis
Spring提供了一组数据访问框架，集成了多种数据访问技术。无论是JDBC，iBATIS(mybatis)还是Hibernate，Spring都能够帮助消除持久化代码中单调枯燥的数据访问逻辑。可以依赖Spring来处理底层的数据访问。 mybatis是一种Spring持久化框架，要使用mybatis，就要做好相应的配置： 1，配置数据源。有很多数据源可以选择，如：DBCP，JDBC，aliba
Java静态代理、动态代理实例 aijuans Java静态代理
采用Java代理模式，代理类通过调用委托类对象的方法，来提供特定的服务。委托类需要实现一个业务接口，代理类返回委托类的实例接口对象。按照代理类的创建时期，可以分为：静态代理和动态代理。所谓静态代理：　指程序员创建好代理类，编译时直接生成代理类的字节码文件。所谓动态代理：　在程序运行时，通过反射机制动态生成代理类。一、静态代理类实例： 1、Serivce.ja
Struts1与Struts2的12点区别 asia007 Struts1与Struts2
1) 在Action实现类方面的对比：Struts 1要求Action类继承一个抽象基类；Struts 1的一个具体问题是使用抽象类编程而不是接口。Struts 2 Action类可以实现一个Action接口，也可以实现其他接口，使可选和定制的服务成为可能。Struts 2提供一个ActionSupport基类去实现常用的接口。即使Action接口不是必须实现的，只有一个包含execute方法的P
初学者要多看看帮助文档不要用js来写Jquery的代码百合不是茶 jquery js
解析json数据的时候需要将解析的数据写到文本框中, 出现了用js来写Jquery代码的问题; 1, JQuery的赋值有问题代码如下: data.username 表示的是: 网易 $("#use
经理怎么和员工搞好关系和信任 bijian1013 团队项目管理管理
产品经理应该有坚实的专业基础，这里的基础包括产品方向和产品策略的把握，包括设计，也包括对技术的理解和见识，对运营和市场的敏感，以及良好的沟通和协作能力。换言之，既然是产品经理，整个产品的方方面面都应该能摸得出门道。这也不懂那也不懂，如何让人信服？如何让自己懂？就是不断学习，不仅仅从书本中，更从平时和各种角色的沟通
如何为rich:tree不同类型节点设置右键菜单 sunjing contextMenu tree Richfaces
组合使用target和targetSelector就可以啦，如下： <rich:tree id="ruleTree" value="#{treeAction.ruleTree}" var="node" nodeType="#{node.type}" selectionChangeListener=&qu
【Redis二】Redis2.8.17搭建主从复制环境 bit1129 redis
开始使用Redis2.8.17 Redis第一篇在Redis2.4.5上搭建主从复制环境，对它的主从复制的工作机制，真正的惊呆了。不知道Redis2.8.17的主从复制机制是怎样的，Redis到了2.4.5这个版本，主从复制还做成那样，Impossible is nothing! 本篇把主从复制环境再搭一遍看看效果，这次在Unbuntu上用官方支持的版本。 Ubuntu上安装Red
JSONObject转换JSON--将Date转换为指定格式白糖_ JSONObject
项目中，经常会用JSONObject插件将JavaBean或List<JavaBean>转换为JSON格式的字符串，而JavaBean的属性有时候会有java.util.Date这个类型的时间对象，这时JSONObject默认会将Date属性转换成这样的格式： {"nanos":0,"time":-27076233600000,
JavaScript语言精粹读书笔记 braveCS JavaScript
【经典用法】： //①定义新方法 Function .prototype.method=function(name, func){ this.prototype[name]=func; return this; } //②给Object增加一个create方法，这个方法创建一个使用原对
编程之美-找符合条件的整数用字符串来表示大整数避免溢出 bylijinnan 编程之美
import java.util.LinkedList; public class FindInteger { /** * 编程之美找符合条件的整数用字符串来表示大整数避免溢出 * 题目：任意给定一个正整数N，求一个最小的正整数M(M>1)，使得N*M的十进制表示形式里只含有1和0 * * 假设当前正在搜索由0，1组成的K位十进制数
读书笔记 chengxuyuancsdn 读书笔记
1、Struts访问资源 2、把静态参数传递给一个动作 3、<result>type属性 4、s:iterator、s:if c:forEach 5、StringBuilder和StringBuffer 6、spring配置拦截器 1、访问资源 (1)通过ServletActionContext对象和实现ServletContextAware,ServletReque
[通讯与电力]光网城市建设的一些问题 comsci 问题
信号防护的问题,前面已经说过了,这里要说光网交换机与市电保障的关系我们过去用的ADSL线路,因为是电话线,在小区和街道电力中断的情况下,只要在家里用笔记本电脑+蓄电池,连接ADSL,同样可以上网........
oracle 空间RESUMABLE daizj oracle 空间不足 RESUMABLE 错误挂起
空间RESUMABLE操作转 Oracle从9i开始引入这个功能，当出现空间不足等相关的错误时，Oracle可以不是马上返回错误信息，并回滚当前的操作，而是将操作挂起，直到挂起时间超过RESUMABLE TIMEOUT，或者空间不足的错误被解决。这一篇简单介绍空间RESUMABLE的例子。第一次碰到这个特性是在一次安装9i数据库的过程中，在利用D
重构第一次写的线程池 dieslrae 线程池 python
最近没有什么学习欲望,修改之前的线程池的计划一直搁置,这几天比较闲,还是做了一次重构,由之前的2个类拆分为现在的4个类. 1、首先是工作线程类:TaskThread,此类为一个工作线程,用于完成一个工作任务,提供等待(wait),继续(proceed),绑定任务(bindTask)等方法 #!/usr/bin/env python # -*- coding:utf8 -*-
C语言学习六指针 dcj3sjt126com c
初识指针，简单示例程序： /* 指针就是地址，地址就是指针地址就是内存单元的编号指针变量是存放地址的变量指针和指针变量是两个不同的概念但是要注意：通常我们叙述时会把指针变量简称为指针，实际它们含义并不一样 */ # include <stdio.h> int main(void) { int * p; // p是变量的名字， int *
yii2 beforeSave afterSave beforeDelete dcj3sjt126com delete
public function afterSave($insert, $changedAttributes) { parent::afterSave($insert, $changedAttributes); if($insert) { //这里是新增数据 } else { //这里是更新数据 } }
timertask shuizhaosi888 timertask
java.util.Timer timer = new java.util.Timer(true); // true 说明这个timer以daemon方式运行（优先级低， // 程序结束timer也自动结束），注意，javax.swing // 包中也有一个Timer类，如果import中用到swing包， // 要注意名字的冲突。 TimerTask task = new
Spring Security（13）——session管理 234390216 session Spring Security 攻击保护超时
session管理目录 1.1 检测session超时 1.2 concurrency-control 1.3 session 固定攻击保护
公司项目NODEJS实践0.3[ mongo / session ...] 逐行分析JS源代码 mongodb session nodejs
http://www.upopen.cn 一、前言书接上回，我们搭建了WEB服务端路由、模板等功能，完成了register 通过ajax与后端的通信，今天主要完成数据与mongodb的存取，实现注册 / 登录 /
pojo.vo.po.domain区别 LiaoJuncai java VO POJO javabean domain
　　POJO = "Plain Old Java Object"，是MartinFowler等发明的一个术语，用来表示普通的Java对象，不是JavaBean, EntityBean 或者 SessionBean。POJO不但当任何特殊的角色，也不实现任何特殊的Java框架的接口如，EJB， JDBC等等。　　　　即POJO是一个简单的普通的Java对象，它包含业务逻辑
Windows Error Code OhMyCC windows
0 操作成功完成. 1 功能错误. 2 系统找不到指定的文件. 3 系统找不到指定的路径. 4 系统无法打开文件. 5 拒绝访问. 6 句柄无效. 7 存储控制块被损坏. 8 存储空间不足, 无法处理此命令. 9 存储控制块地址无效. 10 环境错误. 11 试图加载格式错误的程序. 12 访问码无效. 13 数据无效. 14 存储器不足, 无法完成此操作. 15 系
在storm集群环境下发布Topology roadrunners 集群 storm topology spout bolt
storm的topology设计和开发就略过了。本章主要来说说如何在storm的集群环境中，通过storm的管理命令来发布和管理集群中的topology。 1、打包打包插件是使用maven提供的maven-shade-plugin，详细见maven-shade-plugin。 <plugin> <groupId>org.apache.maven.
为什么不允许代码里出现“魔数” tomcat_oracle java
　　在一个新项目中，我最先做的事情之一，就是建立使用诸如Checkstyle和Findbugs之类工具的准则。目的是制定一些代码规范，以及避免通过静态代码分析就能够检测到的bug。　　迟早会有人给出案例说这样太离谱了。其中的一个案例是Checkstyle的魔数检查。它会对任何没有定义常量就使用的数字字面量给出警告，除了-1、0、1和2。　　很多开发者在这个检查方面都有问题，这可以从结果
zoj 3511 Cake Robbery(线段树) 阿尔萨斯线段树
题目链接：zoj 3511 Cake Robbery 题目大意：就是有一个N边形的蛋糕，切M刀，从中挑选一块边数最多的，保证没有两条边重叠。解题思路：有多少个顶点即为有多少条边，所以直接按照切刀切掉点的个数排序，然后用线段树维护剩下的还有哪些点。 #include <cstdio> #include <cstring> #include <vector&

pandas 基础操作 更新

pandas 基础操作 更新

创建一个Series,同时让pandas自动生成索引列

创建一个DataFrame数据框

查看数据

数据的简单统计

数据的排序

选择数据（类似于数据库中sql语句）

数据合并

分组操作Groupby操作

reshape操作

pivot_table 透视表

至此，pandas的基础的使用介绍也就结束了，后续会有专题性质的分析，包括(字符串处理，apply的使用，数据合并，透视表，时间序列的分析）

你可能感兴趣的:(python,pandas)

pandas 基础操作更新

pandas 基础操作更新