高效使用ndarray Series DataFrame

python 机器学习的基础库 numpy 和 pandas 定义了3种非常适合矩阵运算的数据结构：numpy.ndarray 、pandas.Series、pandas.DataFrame
它们之间有着很强的相关性

import pandas as pd
series = pd.Series([1, 2, 3, 4])
dataFrame = pd.DataFrame([[1, 2], [3, 4]])

• ndarray: 这是最基础的类型，本质上就是一个n维矩阵
• Series:它主要由两部分组成，index 和 values
  index是它的索引，在上面示例中的series由于没有指定index因此默认为[0, 1, 2, 3]，索引可以是任意类型，不一定非是数字类型
  values是它存放的内容，是一个1维的ndarray
• DataFrame: 可以将它看作是多列Series组成的，也可以看作是多行Series组成。或者可以看作主要由三部分组成，columns, index, values
  columns 是它的列名，默认也是数字升序，可以是任意类型
  index 是它的行名，默认数字升序，可以是任意类型
  values 是它存放的内容，是一个2维的ndarray

虽然这几种数据类型非常适合处理大数据，但是没能高效的使用它们会导致难以忍受的时间开销和空间开销

需要避免的几种操作

1. 大量的拼接操作

很多人想要在最终结果获得一个DataFrame类型的数据，就直接初始化一个空的DataFrame，每获得一条新数据，就对其进行拼接，获得最终的结果
实际上这3种数据类型非常不适合拼接

import pandas as pd
import time

time_start = time.time()
a = pd.Series()
for i in range(10000):
    a = pd.concat([a, pd.Series([i])])
time_end = time.time()
print("直接拼接", time_end - time_start)
time_start = time.time()
b = [0]
for i in range(10000):
    b.append(i)
pd.Series(b)
time_end = time.time()
print("list转换", time_end - time_start)

同样生成一个0到10000的Series
时间：

直接拼接 4.054653882980347
list转换 0.0050258636474609375

可以很明显的看到它们的时间差

2. 循环

我们用DataFrame 和 Series时候应该尽量用矩阵计算来代替循环操作
因为这几种数据类型本身就是为矩阵运算而设计的，矩阵运算的效率非常高
另外，Series的花式索引也是代替循环的一种好的方法：

meanMr = titanic.Age[titanic.Name == 'Mr'].mean()

这里的 titanic.Name == 'Mr' 会生成一个与titanic.Name 这个Series相同大小的Series，但是由True 和 False组成
titanic.Age中传入该索引，会留下索引中True那些项
所以 meanMr 获得的是 名字为Mr 的人的age的均值

推荐使用的操作

它们有大量内置的集合运算，可以求 交集，并集等，但是没有求补集的方法。
它们有大量用于查询的运算，类似SQL语句，有groupby语法，有sum average mean 等聚合函数

first_mention_id = first_df.groupby('mention_id')['label'].agg(['count', 'sum'])
first_mention_id = first_mention_id.index[(first_mention_id['count'] == 2) & (first_mention_id['sum'] == 1)]

first_df 是一个DataFrame 有 mention_id label 等列
这里的first_mention_id 就获得了有两个label 并且两个label加和为1的所有mention_id