python——类型转换和冗余数据删除

1.类型转换

import pandas as pd
import datetime

一般我们拿到日期型数据时，基本都是字符串表示的，该如何将其转换为日期型和日期时间型。

法1：

dt = '2019/06/13 16:16:39'
d = '2017-04-24'

str2datetime = datetime.datetime.strptime(dt,'%Y/%m/%d %H:%M:%S')
str2date1 = datetime.datetime.strptime(d,'%Y-%m-%d')
str2date2 =  datetime.datetime.strptime(d,'%Y-%m-%d').date()
print(str2datetime)
print(str2date1)
print(str2date2)

2019-06-13 16:16:39
2017-04-24 00:00:00
2017-04-24

法2：

# 字符串转换为时间格式

dt = pd.DataFrame(['2019/06/13 16:16:39','2019-03-02 23:12:23','2019-03-22 13:12:23',
                   '2019-05-02 15:12:30','2019-04-02 17:33:23','20/05/02'])
print(dt)

                     0
0  2019/06/13 16:16:39
1  2019-03-02 23:12:23
2  2019-03-22 13:12:23
3  2019-05-02 15:12:30
4  2019-04-02 17:33:23
5             20/05/02

dt.iloc[:,0] = pd.to_datetime(dt.iloc[:,0],format='%Y-%m-%d',errors = 'coerce')# 将其他格式显示成NaT

print(dt)

                    0
0 2019-06-13 16:16:39
1 2019-03-02 23:12:23
2 2019-03-22 13:12:23
3 2019-05-02 15:12:30
4 2019-04-02 17:33:23
5                 NaT

salesDf=dt.dropna(how='any')
print(salesDf)

                    0
0 2019-06-13 16:16:39
1 2019-03-02 23:12:23
2 2019-03-22 13:12:23
3 2019-05-02 15:12:30
4 2019-04-02 17:33:23

2.冗余数据删除

1.删除缺失值
dropna() 默认删除含有缺失值的行，参数how = 'all’指删除全部为空值的行

data3 = pd.read_excel(io=r'D:\BD\data3.xlsx')

data3.dtypes

id              int64
gender         object
age           float64
edu            object
custom_amt     object
order_date     object
dtype: object

data3.head()

	id	gender	age	edu	custom_amt	order_date
0	890	female	43.0	NaN	￥2177.94	2018年12月25日
1	2391	male	52.0	NaN	￥2442.18	2017年5月24日
2	2785	male	39.0	NaN	￥849.79	2018年5月15日
3	1361	female	26.0	NaN	￥2482.22	2018年5月16日
4	888	female	61.0	本科	￥2027.9	2018年1月21日

上述数据中用户id应为字符型,消费金额应为数值型,订单日期应为日期型

# 用户id转换为字符型
data3['id'] = data3['id'].astype(str)

# 用户消费金额转换为数值型 ,消费金额中包含人民币符号'￥'，所以要从第二个元素开始截断
data3['custom_amt'] = data3['custom_amt'].str[1:].astype(float)

# 订单日期转换为日期型
data3['order_date'] = pd.to_datetime(data3['order_date'],format = '%Y年%m月%d日')

2.删除重复数据
data3.duplicated().any()

判断数据中是否存在重复观测,如果不加any(),则会返回一个与原数据行数相同的序列，使用了any()方法，则只返回一个值(True或False)

duplicated方法和drop_duplicates方法 都有一个重要的参数，默认情况下不设置该参数时，表示对数据的所有列进行重复性判断，如果需要按照指定的变量做数据的重复性判断时，就可以使用该参数指定具体的变量列表。

# 构造数据
df = pd.DataFrame(dict(name = ['张三','李四','王二','张三','赵五','丁一','王二'],
                      gender = ['男','男','女','男','女','女','男'],
                      age = [29,25,27,29,21,22,27],
                      income = [15600,14000,18500,15600,10500,18000,13000],
                      edu = ['本科','本科','硕士','本科','大专','本科','硕士']))
df

	name	gender	age	income	edu
0	张三	男	29	15600	本科
1	李四	男	25	14000	本科
2	王二	女	27	18500	硕士
3	张三	男	29	15600	本科
4	赵五	女	21	10500	大专
5	丁一	女	22	18000	本科
6	王二	男	27	13000	硕士

# 默认情况下，对每行所有变量进行判断,删除第二条重复行，删除第二行的张三
df.drop_duplicates()

	name	gender	age	income	edu
0	张三	男	29	15600	本科
1	李四	男	25	14000	本科
2	王二	女	27	18500	硕士
4	赵五	女	21	10500	大专
5	丁一	女	22	18000	本科
6	王二	男	27	13000	硕士

# 根据用户姓名和年龄来删除重复值
df.drop_duplicates(subset = ['name','age'])

	name	gender	age	income	edu
0	张三	男	29	15600	本科
1	李四	男	25	14000	本科
2	王二	女	27	18500	硕士
4	赵五	女	21	10500	大专
5	丁一	女	22	18000	本科

使用drop_duplicates方法删除重复数据，并不能直接影响到原始数据，即原始数据中还是存在重复观测的，若使用inplace = True，则会用删除后的数据替换原始数据