2021-06-14

今天主要任务是：（1）数据加载及初步观察；（2）pandas基础；（3）探索性数据分析

---

（1）数据加载及初步观察

---

import numpy as np

import pandas as pd

import os

os.getcwd()

data= pd.read_csv('train.csv')

pd.read_csv()和pd.read_table()区别是两着行与行之间的分隔符不一样 在read_csv（）中，定界符为,，在read_table（）中，定界符为\ t。

更换DATaFrame的列索引和和行索引
data.columns=names

data=data.set_index('乘客ID')# 开始用该段代码data.index=data['乘客ID']，存在问题是ID作为行索引，但ID还在数据中

查看数据的基本情况

data.info()

data.describe()

data.head()#读前5行，data.head(n=10)

data.tail()#读最后5行，data.tail(n=10)

data.isnull().sum()#查看所有列中无效值

Pandas的两种数据类型，Series和DataFrame

Series是一维数组，有列索引

DataFrame多维数组，对应多个索引

data['Cabin'].value_counts()# 这个函数很有用，表示该列中不同类别的个数

Pandas操作

del test_1['a']

test_1.drop(['a'，‘b’],axis=1)#敲代码是把axis=1没有输入，代码有问题

data.drop(['PassengerId','Name','Age','Ticket'],axis=1).head()#data本身没有变化，只是显示中没有上述几项

midage= data[(data['Age']>10) & (data['Age']<50)]# 两个条件有小括号

midage.loc[[100],['Pclass','Sex']]#midage = midage.reset_index(drop=True)如果不进行重定位，取出来的值是错误的

midage.loc[[100,105,108],['Pclass','Name','Sex']]

midage.iloc[[100,105,108],[2,3,4]]#loc 和iloc 区别

frame.sort_values(by=['a','c'],ascending=False)#对两列进行排序的原理还没有弄清？

对分别看看泰坦尼克号数据集中 票价、父母子女 这列数据的基本统计数据

text[年龄'].describe()# 可以显示某列数据的各种统计数据

count 714.000000

mean      29.699118

std      14.526497

min        0.420000

25%      20.125000

50%      28.000000

75%      38.000000

max      80.000000

Name: 年龄, dtype: float64

总的心得：（1）必须对所处理的数据进行较为详细的分析，今天的任务只给了一个简单的引导，后续还应该对DATaFrame的各种函数进行熟练操作；（2）要有数据敏感性，并不是所有的数据都是对确定目标有意义的，比如在本次任务中，助教就给出了票价和生存之间可能存在强相关