python做数据预处理（可到TB级）

最近在处理的一个数据

读取数据：分块读取处理

方式1

_reader = pd.read_csv(path, iterator = True)
#前47000行数据
chunkSize = 47000
print 'preproc',chunkSize
reader = _reader.get_chunk(chunkSize)

方式2

reader = pd.read_table('tmp.sv', sep='|', chunksize=4) 
for chunk in reader:
    执行处理数据语句

方式3：

方式1加入try except

#使用不同分块大小来读取再调用 pandas.concat 连接DataFrame，chunkSize设置在1000万条左右速度优化比较明显。
loop = True
chunkSize = 100000
chunks = []
while loop:
    try:
        chunk = reader.get_chunk(chunkSize)
        chunks.append(chunk)
    except StopIteration:
        loop = False
        print "Iteration is stopped."
df = pd.concat(chunks, ignore_index=True)

处理非数字型

datacleaner 的autoclean函数

使用数字等效编码非数字变量（例如，带有字符串的分类变量）
来源：https://github.com/rhiever/datacleaner

处理离散值

离散特征的编码分为两种情况：
1、离散特征的取值之间没有大小的意义，比如color：[red,blue],那么就使用one-hot编码
2、离散特征的取值有大小的意义，比如size:[X,XL,XXL],那么就使用数值的映射{X:1,XL:2,XXL:3}

http://scikit-learn.org/stable/modules/preprocessing.html#standardization-or-mean-removal-and-variance-scaling
pandas使用get_dummies进行one-hot编码
pandas.get_dummies 离散特征编码

导出CSV追加写入

待补充

参考：
使用Python Pandas处理亿级数据
Python如何处理大数据（知识整理）
python大规模数据处理技巧之一：数据常用操作
使用pandas进行数据清洗