python中的pandas小试

在实习的项目中,得到宽表后的后续工作是用R语言写的,包括数据探索,数据清洗,建模,模型分析。因为之前用过python,写过简单爬虫,就想着自己试着将R语言的脚本写成python,或许对于未来有帮组、

然而,在pyhon3.5连接teradata的问题上一直搞不通、、、

所以,只能先学一下pandas之类的基础了,本来想法是直接将R语言改成python,简单粗暴的方法也是最有效的做法。

一、pandas包的常用数据类型:Series和DataFrame

其实,Series和DataFrame分别对应的是R语言中的向量和数据框data.frame,连名字都一样。我个人觉得没多大的差别,只是听说python的DataFrame比R的dataframe更强大,慢慢研究吧。

我觉得,Series和DataFrame比起R语言中的向量和数据框,只是丰富了行的功能,也就是索引值。在R语言中,数据框就更类似于数据库中的表,更关注的是列,也就是属性。数据库中筛选列用select,筛选行用where。

1、Series:向量

python的常用数据类型,list,tuple,dictionary,pandas包中的Series可以接收这三者的值,并将其转换成向量,list和tuple是没有索引的(index),dictionary是默认将key当做索引,而values当做值。

①接收一个tuple:

>ser1=Series(('a','b','c'))
>ser1
Out[173]: 
0    a
1    b
2    c
dtype: object

②接收一个list:

>ser2=Series(['m','n','q'])
>ser2
Out[175]: 
0    m
1    n
2    q
dtype: object

③接收一个dictionary:

>ser3=Series({'a':[1,2,3],'b':[1,5,6]})
>ser3
Out[177]: 
a    [1, 2, 3]
b    [1, 5, 6]
dtype: object

>ser3.index
Out[178]: Index(['a', 'b'], dtype='object')

>ser3.values
Out[179]: array([[1, 2, 3], [1, 5, 6]], dtype=object)

>ser3.values[1]
Out[180]: [1, 5, 6]

④可以指定索引值,如果没有指定Series的索引,则自动生成从0开始的索引值。

>ser4=Series([2,3,4,5,6],index=['a','b','c','d','e'])


>ser4
Out[184]: 
a    2
b    3
c    4
d    5
e    6
dtype: int64

如果索引值不足,则提示错误,超出也会提示错误。只能一对一、、、

很明显可以通过索引值来得到values的值,这与R语言向量一样。

>ser4['c']
Out[190]: 4

⑤两个Series的合并运算,类似SQL的连接,R语言中的marge()。

>ser
Out[192]: 
ohio      3500
oregon    1600
texas     7100
utah       500
dtype: int64

>ser2
Out[194]: 
ohio          3500
oregon        1600
texas         7100
california     400

>ser+ser2
Out[195]: 
california        NaN
ohio           7000.0
oregon         3200.0
texas         14200.0
utah              NaN

Series就这些东西,太简单了,去R语言了解一下向量的用法,基本上就可以懂的差不多。

不同的是,Series是python的包,故操作python中的数据类型,有意思!


2、DataFrame 数据框,

Series是一个带索引的一列,但是DataFrame是一个带索引的多列,多了很多方法。

①DataFrame同样可以接受python自带的数据类型list,dictionary,但是接收不了tuple,最多只能接收两个list。

>pd=DataFrame({'a':[1,2,3],'b':[3,5,6],'c':[2,6,8]})
>pd
Out[206]: 
   a  b  c
0  1  3  2
1  2  5  6
2  3  6  8

或者:

>dic={'a':[1,2,3],'b':[3,5,6],'c':[2,6,8]}

>pd2=DataFrame(dic,index=['one','two','three'])

>pd2
Out[216]: 
           a  b  c
one    1  3  2
two     2  5  6
three  3  6  8

很有意思的是,DataFrame可以接收一个嵌套的dictionary字典,外层keys默认是列名,内层keys默认是行名,也就是索引index,列子如下:

>pd3=DataFrame({'a':{2001:2.4,2002:2.5},'b':{2000:2.3,2001:2.7,2002:3.5},'c':{2001:4.8,2002:3.9}})
>pd3
Out[225]: 
          a        b       c
2000  NaN  2.3  NaN
2001  2.4  2.7  4.8
2002  2.5  3.5  3.9

DataFrame是一个列的数据集合,其引用列的方式为:

>pd2['a']
Out[219]: 
one      1
two      2
three    3
Name: a, dtype: int64
或者:
>pd2.a
Out[220]: 
one      1
two      2
three    3
Name: a, dtype: int64

没了,也不知道哪里需要研究的,拿来就可以用,DataFrame的底层实现也不用去研究,python在数据处理中只当做一个工具,至于DataFrame.ix属性的使用, 下面再补充吧。


3、索引index

①reindex:重新排列索引,如果根据重新排列的索引找不到原来值则默认是NaN值;

>pd2
Out[237]: 
       a  b  c
one    1  3  2
two    2  5  6
three  3  6  8

>pd2.reindex(index=['three','two','one'])
Out[239]: 
       a  b  c
three  3  6  8
two    2  5  6
one    1  3  2

对列进行重新索引为:

>pd2.reindex(columns=['b','c','a'])
Out[240]: 
       b  c  a
one    3  2  1
two    5  6  2
three  6  8  3


4、drop()函数

与reindex()一样,默认也是对行进行操作,

df.drop([’one','two'],axis=0):删除df中索引名index是'one'和'two'的两行

df.drop(['a','b'],axis=1):删除df中列名是’a'和‘b’的两列


5、pandas专门引用了一个ix属性,用来按照类似numpy包方法引用数据

>pd2
Out[257]: 
       a  b  c
one    1  3  2
two    2  5  6
three  3  6  8

>pd2.ix['two',['a','b']]
Out[258]: 
a    2
b    5
Name: two, dtype: int64

注释:pd2.ix是属性值,用引用list的方式引用它,中间用逗号隔开,前后分别是行列,这个跟R语言也一样。

R语言中,如果选择第1到第3号,和全部的列用df[1:3,],而在python中用df[1:3,:],冒号不能省略!

有了DataFrame.ix后,数据框的引用非常的方便。













你可能感兴趣的:(R语言和统计分析,Python基础和数据分析)