在数据分析时候的一些小技巧-基于python

1.在读取数据

我们在通过pandas读取数据的时候，可以选择的读取方式有很多种，这里提几点技巧。

import pandas as pd
df = pd.read_csv('../data/XXX.csv',sep='\t',nrows = 100)

1.1 在设置路径的时候，注意使用的斜杠方向，同时推荐一种写法如下

df = pd.read_csv(r'C:\Users\12810\Desktop\temp\XXX.csv',sep='\t',nrows = 100) # 前面一个正则‘r’，不用修改斜杠方向

1.2 设置一个只读取100个样本，对于初步写代码的时候加速运行有很大的帮助。

2.如何在数据框新增一列

df['new_col'] = XX # 加列的数据

3.apply与lambda函数的混合使用

df.apply(lambda x: x.split(','))

# 更多zip()、map()、lambda()连用请参照：
# https://blog.csdn.net/HG0724/article/details/117374802

4.‘_’定义变量有什么用

按照习惯，有时候单个独立下划线是用作一个名字，来表示某个变量是临时的或无关紧要的。·

for _ in range(10):
    print('我是：',_)

我是： 0
我是： 1
我是： 2
我是： 3
我是： 4
我是： 5
我是： 6
我是： 7
我是： 8
我是： 9

5.统计一列数据的元素频率并用直方图表示

df['label'].value_counts().plot(kind='bar')

用于在数据分析中，找出某一列的数据中，元素的个数是多少，并可视化，很实用。

6.Counter模块的介绍

from collections import Counter # 一个计数器模块

参考：https://blog.csdn.net/ch_improve/article/details/89388389

# 统计字符个数
str_1 = 'wdqdqwdqwqwd11dq2wd'
count_result = Counter(str_1) # 
print(count_result)

Counter({'d': 6, 'w': 5, 'q': 5, '1': 2, '2': 1})

count_result.most_common(3)

[('d', 6), ('w', 5), ('q', 5)]