pandas详细教程

pandas.read.csv()函数

pandas.read.csv()可以将csv文件读入转化为DateFrame格式的数据（DateFrame是一种pandas的一种二维数据）

dfon = pd.read_csv('C:\\Users\T480s\Desktop\o2o\data\ccf_online_stage1_train.csv',na_values=['null'])
print(dfon)
print("data is ok")

注意路径格式
NaN表示浮点和非浮点数组中的缺失数据
内置的None会被当NA处理

data read end.
           User_id  Merchant_id  Action  Coupon_id Discount_rate  \
0         13740231        18907       2  100017492        500:50   
1         13740231        34805       1        NaN           NaN   
2         14336199        18907       0        NaN           NaN   
3         14336199        18907       0        NaN           NaN   

pd.isnull()

输出DateFrame数据中NaN为true,不是则为false

数据选择

数据选择行·

print dfon[0:2]`

` 输出前两行

数据选择列

print df`on['a'] #or dfon.`a

输出a列

数据选择位置

print dfon.loc[0:2,[‘a’]] 输出前两行的a列

str.split()

默认是以空格为分隔符，默认切割整个字符串，返回切分后元素的列表

sa='sdj ihwfn sdjf'
s = sa.split()
print(s[1])

以*为分隔符

sa='sdj*ihwfn*sdjf*'
s = sa.split('*')
print(s[1])

.unique()

返回参数数组中所有不同的值，并按照从小到大排序

fillna函数

df['distance'] = df['Distance'].fillna(-1)

对数值为NULL的用-1填充

sorted函数

python中的内置有sorted函数可以对list进行排序

str.count

统计字符出现的次数

热独编码

很多机器学习任务中，特征并不总是连续值，而有可能是分类值。

如果将特征用数字表示，效率会高很多。

分类器往往默认数据数据是连续的（可以计算距离？），并且是有序的（而上面这个0并不是说比1要高级）。但是，按照我们上述的表示，数字并不是有序的，而是随机分配的。

为了解决上述问题，其中一种可能的解决方法是采用独热编码（One-Hot Encoding）。独热编码即 One-Hot 编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候，其中只有一位有效。
例如：

from sklearn import preprocessing
enc = preprocessing.OneHotEncoder()
enc.fit([[0, 0, 3], [1, 1, 0], [0, 2, 1], [1, 0, 2]])
enc.transform([[0, 1, 3]]).toarray()

array([[ 1.,  0.,  0.,  1.,  0.,  0.,  0.,  0.,  1.]])

pd.get_dummies()

df = pd.DataFrame([    ['green', 'A'],    ['red', 'B'],    ['blue', 'A']])
df.columns = ['color', 'class']
df = pd.get_dummies(df) 

pd.apply函数

DataFrame.apply(func, axis=0, broadcast=False, raw=False, reduce=None, args=(), **kwds)

函数的传入参数根据axis来定，比如axis = 1，就会把一行数据作为Series（一维数组）的数据结构传入给自己实现的函数中，我们在函数中实现对Series不同属性之间的计算，返回一个结果，则apply函数

会自动遍历每一行DataFrame的数据，最后将所有结果组合成一个Series数据结构并返回。

model.fit()

fit( x, y, batch_size=32, epochs=10, verbose=1, callbacks=None,
validation_split=0.0, validation_data=None, shuffle=True, 
class_weight=None, sample_weight=None, initial_epoch=0)
x：输入数据。如果模型只有一个输入，那么x的类型是numpy 

array，如果模型有多个输入，那么x的类型应当为list，list的元素是对应于各个输入的numpy array
y：标签，numpy array
batch_size：整数，指定进行梯度下降时每个batch包含的样本数。训练时一个batch的样本会被计算一次梯度下降，使目标函数优化一步。
epochs：整数，训练终止时的epoch值，训练将在达到该epoch值时停止，当没有设置initial_epoch时，它就是训练的总轮数，否则训练的总轮数为epochs - inital_epoch
verbose：日志显示，0为不在标准输出流输出日志信息，1为输出进度条记录，2为每个epoch输出一行记录
callbacks：list，其中的元素是keras.callbacks.Callback的对象。这个list中的回调函数将会在训练过程中的适当时机被调用，参考回调函数
validation_split：0~1之间的浮点数，用来指定训练集的一定比例数据作为验证集。验证集将不参与训练，并在每个epoch结束后测试的模型的指标，如损失函数、精确度等。注意，validation_split的划分在shuffle之前，因此如果你的数据本身是有序的，需要先手工打乱再指定validation_split，否则可能会出现验证集样本不均匀。
validation_data：形式为（X，y）的tuple，是指定的验证集。此参数将覆盖validation_spilt。
shuffle：布尔值或字符串，一般为布尔值，表示是否在训练过程中随机打乱输入样本的顺序。若为字符串“batch”，则是用来处理HDF5数据的特殊情况，它将在batch内部将数据打乱。
class_weight：字典，将不同的类别映射为不同的权值，该参数用来在训练过程中调整损失函数（只能用于训练）
sample_weight：权值的numpy 

array，用于在训练时调整损失函数（仅用于训练）。可以传递一个1D的与样本等长的向量用于对样本进行1对1的加权，或者在面对时序数据时，传递一个的形式为（samples，sequence_length）的矩阵来为每个时间步上的样本赋不同的权。这种情况下请确定在编译模型时添加了sample_weight_mode=’temporal’。
initial_epoch: 从该参数指定的epoch开始训练，在继续之前的训练时有用。

pickle.dump

pickle.dump(obj, file, [,protocol])
函数的功能：将obj对象序列化存入已经打开的file中。
参数讲解：

obj：想要序列化的obj对象。
file:文件名称。
protocol：序列化使用的协议。如果该项省略，则默认为0。如果为负值或HIGHEST_PROTOCOL，则使用最高的协议版本

pickle.load(file)

    函数的功能：将file中的对象序列化读出。
    参数讲解：

file：文件名称。