阿水ashui
阿水ashui

Datawhale数据分析组队学习打卡第二次

【回顾&引言】前面一章的内容大家可以感觉到我们主要是对基础知识做一个梳理，让大家了解数据分析的一些操作，主要做了数据的各个角度的观察。那么在这里，我们主要是做数据分析的流程性学习，主要是包括了数据清洗以及数据的特征处理，数据重构以及数据可视化。这些内容是为数据分析最后的建模和模型评价做一个铺垫。

2 第二章：数据清洗及特征处理

开始之前，导入numpy、pandas包和数据

#加载所需的库
import numpy as np
import pandas as pd

#加载数据train.csv
df = pd.read_csv('train.csv')
df.head(3)
PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked
0 1 0 3 Braund, Mr. Owen Harris male 22.0 1 0 A/5 21171 7.2500 NaN S
1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 0 PC 17599 71.2833 C85 C
2 3 1 3 Heikkinen, Miss. Laina female 26.0 0 0 STON/O2. 3101282 7.9250 NaN S

数据清洗简述

我们拿到的数据通常是不干净的，所谓的不干净，就是数据中有缺失值，有一些异常点等，需要经过一定的处理才能继续做后面的分析或建模，所以拿到数据的第一步是进行数据清洗，本章我们将学习缺失值、重复值、字符串和数据转换等操作，将数据清洗成可以分析或建模的样子。

2.1 缺失值观察与处理

我们拿到的数据经常会有很多缺失值，比如我们可以看到Cabin列存在NaN，那其他列还有没有缺失值，这些缺失值要怎么处理呢

2.1.1 任务一：缺失值观察

(1) 请查看每个特征缺失值个数
(2) 请查看Age， Cabin， Embarked列的数据
以上方式都有多种方式，所以建议大家学习的时候多多益善

#方法一
df.info()


RangeIndex: 891 entries, 0 to 890
Data columns (total 12 columns):
PassengerId    891 non-null int64
Survived       891 non-null int64
Pclass         891 non-null int64
Name           891 non-null object
Sex            891 non-null object
Age            714 non-null float64
SibSp          891 non-null int64
Parch          891 non-null int64
Ticket         891 non-null object
Fare           891 non-null float64
Cabin          204 non-null object
Embarked       889 non-null object
dtypes: float64(2), int64(5), object(5)
memory usage: 83.6+ KB

#方法二
df.isnull().sum()

PassengerId      0
Survived         0
Pclass           0
Name             0
Sex              0
Age            177
SibSp            0
Parch            0
Ticket           0
Fare             0
Cabin          687
Embarked         2
dtype: int64

df[['Age','Cabin','Embarked']].head(3)
Age Cabin Embarked
0 22.0 NaN S
1 38.0 C85 C
2 26.0 NaN S

2.1.2 任务二：对缺失值进行处理

(1)处理缺失值一般有几种思路

(2) 请尝试对Age列的数据的缺失值进行处理

(3) 请尝试使用不同的方法直接对整张表的缺失值进行处理

以下是举例：

df[df['Age']==None]=0
df.head(3)
PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked
0 1 0 3 Braund, Mr. Owen Harris male 22.0 1 0 A/5 21171 7.2500 NaN S
1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 0 PC 17599 71.2833 C85 C
2 3 1 3 Heikkinen, Miss. Laina female 26.0 0 0 STON/O2. 3101282 7.9250 NaN S 
df[df['Age'].isnull()] = 0 # 还好
df.head(3)
PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked
0 1 0 3 Braund, Mr. Owen Harris male 22.0 1 0 A/5 21171 7.2500 NaN S
1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 0 PC 17599 71.2833 C85 C
2 3 1 3 Heikkinen, Miss. Laina female 26.0 0 0 STON/O2. 3101282 7.9250 NaN S 
df[df['Age'] == np.nan] = 0
df.head()
PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked
0 1 0 3 Braund, Mr. Owen Harris male 22.0 1 0 A/5 21171 7.2500 NaN S
1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 0 PC 17599 71.2833 C85 C
2 3 1 3 Heikkinen, Miss. Laina female 26.0 0 0 STON/O2. 3101282 7.9250 NaN S
3 4 1 1 Futrelle, Mrs. Jacques Heath (Lily May Peel) female 35.0 1 0 113803 53.1000 C123 S
4 5 0 3 Allen, Mr. William Henry male 35.0 0 0 373450 8.0500 NaN S

【思考】检索空缺值用np.nan要比用None好，这是为什么？

【回答】数值列读取数据后，空缺值的数据类型为float64所以用None一般索引不到，比较的时候最好用np.nan

df.dropna().head(3)
PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked
1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 0 PC 17599 71.2833 C85 C
3 4 1 1 Futrelle, Mrs. Jacques Heath (Lily May Peel) female 35.0 1 0 113803 53.1000 C123 S
6 7 0 1 McCarthy, Mr. Timothy J male 54.0 0 0 17463 51.8625 E46 S 
df.fillna(0).head(3)
PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked
0 1 0 3 Braund, Mr. Owen Harris male 22.0 1 0 A/5 21171 7.2500 0 S
1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 0 PC 17599 71.2833 C85 C
2 3 1 3 Heikkinen, Miss. Laina female 26.0 0 0 STON/O2. 3101282 7.9250 0 S

【思考】dropna和fillna有哪些参数，分别如何使用呢?

【参考】https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.dropna.html

【参考】https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.fillna.html

2.2 重复值观察与处理

由于这样那样的原因，数据中会不会存在重复值呢，如果存在要怎样处理呢

2.2.1 任务一：请查看数据中的重复值

df[df.duplicated()]
PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked

2.2.2 任务二：对重复值进行处理

(1)重复值有哪些处理方式呢？

(2)处理我们数据的重复值

方法多多益善

以下是对整个行有缺失值的清理的方法举例：

df.drop_duplicates().head()
PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked
0 1 0 3 Braund, Mr. Owen Harris male 22.0 1 0 A/5 21171 7.2500 NaN S
1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 0 PC 17599 71.2833 C85 C
2 3 1 3 Heikkinen, Miss. Laina female 26.0 0 0 STON/O2. 3101282 7.9250 NaN S
3 4 1 1 Futrelle, Mrs. Jacques Heath (Lily May Peel) female 35.0 1 0 113803 53.1000 C123 S
4 5 0 3 Allen, Mr. William Henry male 35.0 0 0 373450 8.0500 NaN S

2.2.3 任务三：将前面清洗的数据保存为csv格式

df.to_csv('test_clear.csv')

2.3 特征观察与处理

我们对特征进行一下观察，可以把特征大概分为两大类：
数值型特征：Survived ，Pclass， Age ，SibSp， Parch， Fare，其中Survived， Pclass为离散型数值特征，Age，SibSp， Parch， Fare为连续型数值特征
文本型特征：Name， Sex， Cabin，Embarked， Ticket，其中Sex， Cabin， Embarked， Ticket为类别型文本特征。

数值型特征一般可以直接用于模型的训练，但有时候为了模型的稳定性及鲁棒性会对连续变量进行离散化。文本型特征往往需要转换成数值型特征才能用于建模分析。

2.3.1 任务一：对年龄进行分箱（离散化）处理

(1) 分箱操作是什么？

(2) 将连续变量Age平均分箱成5个年龄段，并分别用类别变量12345表示

(3) 将连续变量Age划分为[0,5) [5,15) [15,30) [30,50) [50,80)五个年龄段，并分别用类别变量12345表示

(4) 将连续变量Age按10% 30% 50 70% 90%五个年龄段，并用分类变量12345表示

(5) 将上面的获得的数据分别进行保存，保存为csv格式

#将连续变量Age平均分箱成5个年龄段，并分别用类别变量12345表示
df['AgeBand'] = pd.cut(df['Age'], 5,labels = ['1','2','3','4','5'])
df.head()
PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked AgeBand
0 1 0 3 Braund, Mr. Owen Harris male 22.0 1 0 A/5 21171 7.2500 NaN S 2
1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 0 PC 17599 71.2833 C85 C 3
2 3 1 3 Heikkinen, Miss. Laina female 26.0 0 0 STON/O2. 3101282 7.9250 NaN S 2
3 4 1 1 Futrelle, Mrs. Jacques Heath (Lily May Peel) female 35.0 1 0 113803 53.1000 C123 S 3
4 5 0 3 Allen, Mr. William Henry male 35.0 0 0 373450 8.0500 NaN S 3 
df.to_csv('test_ave.csv')

#将连续变量Age划分为[0,5) [5,15) [15,30) [30,50) [50,80)五个年龄段，并分别用类别变量12345表示
df['AgeBand'] = pd.cut(df['Age'],[0,5,15,30,50,80],labels = ['1','2','3','4','5'])
df.head(3)
PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked AgeBand
0 1 0 3 Braund, Mr. Owen Harris male 22.0 1 0 A/5 21171 7.2500 NaN S 3
1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 0 PC 17599 71.2833 C85 C 4
2 3 1 3 Heikkinen, Miss. Laina female 26.0 0 0 STON/O2. 3101282 7.9250 NaN S 3
3 4 1 1 Futrelle, Mrs. Jacques Heath (Lily May Peel) female 35.0 1 0 113803 53.1000 C123 S 4
4 5 0 3 Allen, Mr. William Henry male 35.0 0 0 373450 8.0500 NaN S 4 
df.to_csv('test_cut.csv')

#将连续变量Age按10% 30% 50 70% 90%五个年龄段，并用分类变量12345表示
df['AgeBand'] = pd.qcut(df['Age'],[0,0.1,0.3,0.5,0.7,0.9],labels = ['1','2','3','4','5'])
df.head()
PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked AgeBand
0 1 0 3 Braund, Mr. Owen Harris male 22.0 1 0 A/5 21171 7.2500 NaN S 2
1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 0 PC 17599 71.2833 C85 C 5
2 3 1 3 Heikkinen, Miss. Laina female 26.0 0 0 STON/O2. 3101282 7.9250 NaN S 3
3 4 1 1 Futrelle, Mrs. Jacques Heath (Lily May Peel) female 35.0 1 0 113803 53.1000 C123 S 4
4 5 0 3 Allen, Mr. William Henry male 35.0 0 0 373450 8.0500 NaN S 4 
df.to_csv('test_pr.csv')

【参考】https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.cut.html

【参考】https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.qcut.html

2.3.2 任务二：对文本变量进行转换

(1) 查看文本变量名及种类
(2) 将文本变量Sex， Cabin ，Embarked用数值变量12345表示
(3) 将文本变量Sex， Cabin， Embarked用one-hot编码表示

方法多多益善

#查看类别文本变量名及种类

#方法一: value_counts
df['Sex'].value_counts()

male      577
female    314
Name: Sex, dtype: int64

df['Cabin'].value_counts()

G6             4
B96 B98        4
C23 C25 C27    4
F33            3
D              3
              ..
A36            1
C62 C64        1
A20            1
C148           1
C111           1
Name: Cabin, Length: 147, dtype: int64

df['Embarked'].value_counts()

S    644
C    168
Q     77
Name: Embarked, dtype: int64

#方法二: unique
df['Sex'].unique()

array(['male', 'female'], dtype=object)

df['Sex'].nunique()

2

#将类别文本转换为12345

#方法一: replace
df['Sex_num'] = df['Sex'].replace(['male','female'],[1,2])
df.head()
PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked AgeBand Sex_num
0 1 0 3 Braund, Mr. Owen Harris male 22.0 1 0 A/5 21171 7.2500 NaN S 2 1
1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 0 PC 17599 71.2833 C85 C 5 2
2 3 1 3 Heikkinen, Miss. Laina female 26.0 0 0 STON/O2. 3101282 7.9250 NaN S 3 2
3 4 1 1 Futrelle, Mrs. Jacques Heath (Lily May Peel) female 35.0 1 0 113803 53.1000 C123 S 4 2
4 5 0 3 Allen, Mr. William Henry male 35.0 0 0 373450 8.0500 NaN S 4 1 
#方法二: map
df['Sex_num'] = df['Sex'].map({'male': 1, 'female': 2})
df.head()
PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked AgeBand Sex_num
0 1 0 3 Braund, Mr. Owen Harris male 22.0 1 0 A/5 21171 7.2500 NaN S 2 1
1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 0 PC 17599 71.2833 C85 C 5 2
2 3 1 3 Heikkinen, Miss. Laina female 26.0 0 0 STON/O2. 3101282 7.9250 NaN S 3 2
3 4 1 1 Futrelle, Mrs. Jacques Heath (Lily May Peel) female 35.0 1 0 113803 53.1000 C123 S 4 2
4 5 0 3 Allen, Mr. William Henry male 35.0 0 0 373450 8.0500 NaN S 4 1 
#方法三: 使用sklearn.preprocessing的LabelEncoder
from sklearn.preprocessing import LabelEncoder
for feat in ['Cabin', 'Ticket']:
    lbl = LabelEncoder()  
    label_dict = dict(zip(df[feat].unique(), range(df[feat].nunique())))
    df[feat + "_labelEncode"] = df[feat].map(label_dict)
    df[feat + "_labelEncode"] = lbl.fit_transform(df[feat].astype(str))

df.head()
PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked AgeBand Sex_num Cabin_labelEncode Ticket_labelEncode
0 1 0 3 Braund, Mr. Owen Harris male 22.0 1 0 A/5 21171 7.2500 NaN S 2 1 147 523
1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 0 PC 17599 71.2833 C85 C 5 2 81 596
2 3 1 3 Heikkinen, Miss. Laina female 26.0 0 0 STON/O2. 3101282 7.9250 NaN S 3 2 147 669
3 4 1 1 Futrelle, Mrs. Jacques Heath (Lily May Peel) female 35.0 1 0 113803 53.1000 C123 S 4 2 55 49
4 5 0 3 Allen, Mr. William Henry male 35.0 0 0 373450 8.0500 NaN S 4 1 147 472 
#将类别文本转换为one-hot编码

#方法一: OneHotEncoder
for feat in ["Age", "Embarked"]:
#     x = pd.get_dummies(df["Age"] // 6)
#     x = pd.get_dummies(pd.cut(df['Age'],5))
    x = pd.get_dummies(df[feat], prefix=feat)
    df = pd.concat([df, x], axis=1)
    #df[feat] = pd.get_dummies(df[feat], prefix=feat)
    
df.head()
PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare ... Age_65.0 Age_66.0 Age_70.0 Age_70.5 Age_71.0 Age_74.0 Age_80.0 Embarked_C Embarked_Q Embarked_S
0 1 0 3 Braund, Mr. Owen Harris male 22.0 1 0 A/5 21171 7.2500 ... 0 0 0 0 0 0 0 0 0 1
1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 0 PC 17599 71.2833 ... 0 0 0 0 0 0 0 1 0 0
2 3 1 3 Heikkinen, Miss. Laina female 26.0 0 0 STON/O2. 3101282 7.9250 ... 0 0 0 0 0 0 0 0 0 1
3 4 1 1 Futrelle, Mrs. Jacques Heath (Lily May Peel) female 35.0 1 0 113803 53.1000 ... 0 0 0 0 0 0 0 0 0 1
4 5 0 3 Allen, Mr. William Henry male 35.0 0 0 373450 8.0500 ... 0 0 0 0 0 0 0 0 0 1

5 rows × 107 columns

2.3.3 任务三（附加）：从纯文本Name特征里提取出Titles的特征(所谓的Titles就是Mr,Miss,Mrs等)

df['Title'] = df.Name.str.extract('([A-Za-z]+)\.', expand=False)
df.head()
PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare ... Age_66.0 Age_70.0 Age_70.5 Age_71.0 Age_74.0 Age_80.0 Embarked_C Embarked_Q Embarked_S Title
0 1 0 3 Braund, Mr. Owen Harris male 22.0 1 0 A/5 21171 7.2500 ... 0 0 0 0 0 0 0 0 1 Mr
1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 0 PC 17599 71.2833 ... 0 0 0 0 0 0 1 0 0 Mrs
2 3 1 3 Heikkinen, Miss. Laina female 26.0 0 0 STON/O2. 3101282 7.9250 ... 0 0 0 0 0 0 0 0 1 Miss
3 4 1 1 Futrelle, Mrs. Jacques Heath (Lily May Peel) female 35.0 1 0 113803 53.1000 ... 0 0 0 0 0 0 0 0 1 Mrs
4 5 0 3 Allen, Mr. William Henry male 35.0 0 0 373450 8.0500 ... 0 0 0 0 0 0 0 0 1 Mr

5 rows × 108 columns

# 保存上面的为最终结论
df.to_csv('test_fin.csv')

你可能感兴趣的:(Pandas学习)

  • Python数据分析之pandas学习！ Python_trys python数据分析pandas开发语言学习ide
    Python中的pandas模块进行数据分析。接下来pandas介绍中将学习到如下8块内容：1、数据结构简介：DataFrame和Series2、数据索引index3、利用pandas查询数据4、利用pandas的DataFrames进行统计分析5、利用pandas实现SQL操作6、利用pandas进行缺失值的处理7、利用pandas实现Excel的数据透视表功能8、多层索引的使用在文章开始前打个
  • pandas学习一 敬德修业－自强不息 pandas学习
    series[ˈsɪəriːz]系列级数创建pandas对象方法及数据访问importpandasaspds1=pd.Series([1,2,3])#默认创建索引print(s1)print(s1.index)s2=pd.Series({‘山东’:1.1,‘北京’:1.2})#隐式指定索引和数据s3=pd.Series(data=[2.4,5.6],index=[‘天津’,‘上海’])#显示指定索
  • pandas学习二 敬德修业－自强不息 pandas学习python
    genre[ˈʒɒnrə]让column靠乐母操作pandas的index三种方法(重新设置行index,将某列设置为index,将index设置为列)importpandasaspddf=pd.DataFrame({‘地区’:[‘山东’,‘北京’],“⼈⼝”:[1.1,1.2],“省会”:[“济南”,“北京”]})print(df)print(df.index)重新创建一个行级索引df2=df.
  • pandas学习之concat合并及读写CSV文件 changzoe pythonpython合并csv
    读取CSV文件读取中文的CSV文件中有中文，用“UTF-8”会出现乱码问题，解决：importpandasaspdimportnumpyasnpdata=pd.read_csv('C:/Users/elenawang/Desktop/csv_res_1.csv',header=None,encoding="gb2312",names=['mobi','loc','time'])详细参数：读取CSV
  • 快速上手Python三剑客--Pandas篇 ~聊音小生。 快速上手Python三剑客Pythonpythonpandas
    Pandas学习什么是Pandas？Pandas是一个开源的数据分析和数据处理库，它是基于Python编程语言的Pandas提供了易于使用的数据结构和数据分析工具，特别适用于处理结构化数据，如表格型数据（类似于Excel表格）Pandas是数据科学和分析领域中常用的工具之一，它使得用户能够轻松地从各种数据源中导入数据，并对数据进行高效的操作和分析Pandas的数据结构有哪些？Pandas主要引入了
  • pandas学习笔记（一） 坝坝头伯爵 学习python机器学习
    基本数据结构1.Series对于一个Series，其中最常用的属性为值（values）、索引（index）、名字（name），类型（dtype）s=pd.Series(np.random.randn(5),index=['a','b','c','d','e'],name='这是一个Series',dtype='float64')sa-0.152799b-1.208334c0.668842d1.54
  • 5分钟搞定几百张表格转换，Python办公自动化就是这么6！ 木头里有虫911
    最近在参加学习开源社区Datawhale组织的"21天精通Pandas学习"，其中有个练习题做起来很有意思，练习题本身很简单，我在这里稍微引申一下让大家体会一下Pandas处理数据功能的灵活和强大。题目如下：提供2020-04-12到2020-12-31日的美国新冠病毒（COVID-19）各个州的统计数据，原始数据是每一天为一份csv文件，每份csv文件包含了各个州的报告感染人数，死亡人数等数据，
  • python的pandas数据分析处理基础学习 计算衎 pythonpandas数据分析
    pandas学习一、pandas基础1.什么是pandas？一个开源的python类库：用于数据分析、数据处理、数据可视化高性能容易使用的数据结构容易使用的数据分析工具很方便和其他类库一起使用：numpy：用于数学计算scikit-learn：用于机器学习2.pandas的安装方法一：pip3installpandas方法二：下载使用Python类库集成安装包：anacondalink：https
  • pandas学习-3 蓝剑狼
    Pandas数据结构Series：基本技巧数据查看/重新索引/对齐/添加、修改、删除值#数据查看s=pd.Series(np.random.rand(50))print("1".center(40,'*'))print(s.head(3))print("2".center(40,'*'))print(s.tail())#.head()查看头部数据#.tail()查看尾部数据#默认查看5条#执行结果
  • pandas学习手札（四）-cumsum函数 橘猫吃不胖
    cumsum函数的使用Series.cumsum(self,axis=None,skipna=True,*args,**kwargs)ReturncumulativesumoveraDataFrameorSeriesaxis.ReturnsaDataFrameorSeriesofthesamesizecontainingthecumulativesum.cumulative是累计、累积的意思，也就
  • Python学习笔记4-Pandas CrazyWolf_081c
    Pandas学习莫烦python，非常感谢~记录自己在学习python过程中的点滴。Pandas安装Anaconda安装pip安装Pandas基本介绍SeriesDataFramedtype:查看数据中的类型index:查看队列的序号（行）columns:查看数据的名称（列）values:查看数据所有值describe:查看数据的总结transpose:翻转数据（转置）sort_index:对数据
  • pandas学习笔记------set_index() ACE-Mayer 数据科学Python信号处理python数据挖掘机器学习
    pandas中set_index()方法是专门用来将某一列设置为index的方法。主要参数：keys：需要设置为index的列名drop：TrueorFalse。将某列设置为index后，是否删除原来的该列。默认为True，即删除（Deletecolumnstobeusedasthenewindex.）append：TrueorFalse。新的index设置之后，是否要删除原来的index。默认为
  • pandas学习笔记-3 Aries_Li
    6.pandas数据排序(源码见demo6.py)#!/usr/bin/envpython#encoding:utf-8importpandasaspdmovies=pd.read_csv('https://blog.searchinfogo.com/download/data/data/imdb_1000.csv')print(movies.head())print(movies['title'
  • Pandas学习 毕业了迷茫
    1/27这周主要学习了pandas。它是Python用于数据分析的主要模块。内容确实比较多，也可能是自己不怎么熟悉，所以即使看了两三遍视频依然还是有点蒙，在做题的时候完全想不到做法。先来看看本周一些小问题。1.操作中不小心误删除代码，通过Ctrl+z恢复。2.data=pd.DataFrame(np.arange(16).reshape((4,4)),index=["Ohio","Colorado
  • pandas学习汇总(关于怎样处理数据与分析) hannah2sah #python数据分析
    不知道有没有小伙伴跟我一样，之前也断断续续学习过python相关的知识，可是迟迟就是入不了门，开始是出现了问题，不知道怎么解决问题，动不动就是入门到放弃；后续是认认真真看视频，认认真真“复制”代码，可是还是没学懂，后续发现学习都还是一点一滴的来的，最开始就要从最最最简单的东西开始，从自己熟悉的东西入手，而不是看一些复杂的代码，从懂一行代码开始，再到后续慢慢学会看复杂的代码下面的内容基于《对比exc
  • pandas整表写入excel指定位置_Pandas学习笔记——读写Excel文件 weixin_39851872
    一、环境准备Windows10python3.6.5pandas：可以使用pip进行安装(pipinstallpandas)开发工具：Anaconda或者PyCharm数据准备：从网络获取或自己生成的Excel格式数据二、学习内容使用Pandas读写Excel格式文件三、细节1导入pandasimportpandasaspd2获取数据源(直接获取数据源、先切换目录后获取数据源)读取csv文件数据，
  • 没想到这么齐全！这份 Python 实战干货yyds Python数据挖掘 python机器学习数据分析及可视化python开发语言机器学习人工智能数据分析
    今天我分享一些Python学习神器资料，有需要的小伙文末自行免费领取。1.200+Python练手案例：2.Python全套视频教程等：3.浙大Python学习套装：*4.Python实战案例：5.Pandas学习大礼包6.学习手册大礼包Python知识手册网络编程、正则、mysql知识手册爬虫查询手册数据分析知识手册机器学习知识手册深度学习知识手册金融量化知识手册技术交流技术要学会分享、交流，不
  • 2019-12-12 Pandas学习 TonyRecording
    1.常用数据类型series一维，带标签(索引)的数组dataframe二维，series容器series对象本质由两个数组构成，一个数组构成对象的键（index）一个数组构成值（values）2.pandas读取外部数据pd.read_csv/excel("文件路径名")
  • numpy和pandas学习 我为什么可以这么菜 Python学习python
    参考视频：【莫烦Python】Numpy&Pandas(数据处理教程)Numpy&Pandas简介运算速度快：numpy和pandas都是采用C语言编写,pandas又是基于numpy,是numpy的升级版本。消耗资源少：采用的是矩阵运算，会比python自带的字典或者列表快好多NumpyNumpy属性ndim：维度shape：行数和列数size：元素个数importnumpyasnp#为了方便使
  • 1、pands库的介绍 算法程序员&mlh Pandas库的使用python
    为什么要学习pandas?那么问题来了：numpy已经能够帮助我们处理数据，能够结合matplotlib解决我们数据分析的问题，那么pandas学习的目的在什么地方呢？numpy能够帮我们处理处理数值型数据，但是这还不够，很多时候，我们的数据除了数值之外，还有字符串，还有时间序列等比如：我们通过爬虫获取到了存储在数据库中的数据所以，pandas出现了。什么是Pandas?Pandas的名称来自于面
  • 机器学习-Pandas学习笔记 小蒋的技术栈记录 机器学习机器学习pandas学习
    PandasPython的数据分析库，与Numpy配合使用，可以从常见的格式如CSV、JSON等中读取数据。可以进行数据清洗、数据加工工作。数据结构Series，Pandas.Series(data,index,dtype,name,copy)data类型是Numpy的ndarray类型，index指定下标，如果不给默认从0开始，name给series名字数据类型DataFrame，Pandas.
  • Pandas学习-第三章-索引-2020-12-22 wzz_1c19
    问1：分别只使用query和loc选出年龄不超过四十岁且工作部门为Dairy或Bakery的男性。读入数据问2：选出员工ID号为奇数所在行的第1、第3和倒数第2列。问3：按照以下步骤进行索引操作：3.1把后三列设为索引后交换内外两层后面3.2--3.7问没做，sorry。以及Ex2.巧克力数据集也没做，因为问1就把我难住了，不会用.join()和.split()。但其实练习1问3中有几小问也要用到
  • Pandas学习 Wangthirteen
    Pandas介绍Pandas基于Numpy的一个第三方的工具库，Pandas主要是，用于做数据清洗方面的工作，如果是数据量比较大，而且清洗工作不是那么复杂的话，通常几步代码就能搞定Pandas和Numpy一样，也有两个核心的数据结构分别是Series和DateFrameSeriesSeries是一维序列，定长的字典序列，他有两个主要属性，index和valuesindex默认是0.1.2.3...
  • Pandas学习笔记 WangXinmingg 学习笔记pandas学习笔记
    Pandas数据分析处理库数据预处理导入一份泰坦尼克号乘客数据df.head()展示读取数据，默认读取前5行df.tail()默认读取后5行df.head(10)读取前10行DataFrame结构Pandas工具包的基础结构，二维矩阵结构，行表示数据样本，列表示特征指标。基本上读取数据返回的都是DataFrame结构。DataFrame能调用的属性很多，具体查看API文档。举例几种：数据索引Pan
  • Pandas学习笔记 Louis yeap pandas学习笔记javapython
    Pandas学习笔记Pandas是一个流行的Python开源数据分析库，提供了丰富的数据结构和数据处理工具，特别适用于数据清洗、处理、分析和可视化。它是数据科学家、分析师和工程师们在Python生态系统中进行数据处理和分析的重要工具之一。Pandas主要提供两种核心数据结构：Series和DataFrame。Series：Series是一维标记数组，类似于Python中的列表或数组，但附带了标签（
  • pandas学习笔记—json与dataframe的互相转换 ACE-Mayer 信号处理机器学习数据科学jsonpython机器学习数据挖掘
    目录1、两类json格式（1）对象格式（2）数组对象格式2、json转dataframe2.1对象格式json2.2数组对象格式json3、dataframe转json3.1df.to_json()方法3.2to_dict()方法1、两类json格式（1）对象格式{"name":"JSON","address":"北京市西城区","age":25}#JSON的对象格式的字符串（2）数组对象格式[{
  • python笔记手册_Python学习笔记-Pandas学习手册 weixin_39568172 python笔记手册
    Pandas手册为什么需要PandasPandas(paneldata&DataAnalysis)是基于Numpy的专门用于数据分析的库，处理大型的结构化表格数据尤其方便。pandas借鉴了R的数据结构，并支持numpy中定义的计算(比如矩阵运算)，另外，底层用Cython和C做了很多速度上的优化。总之，Pandas是数据分析工作者使用Python时最常使用的库。关键缩写和包导入在这个速查手册中，
  • Python学习笔记4-Pandas Crazy WolfT1 pythonpythonpython入门
    Pandas学习莫烦python，非常感谢~记录自己在学习python过程中的点滴。Pandas安装Anaconda安装pip安装Pandas基本介绍SeriesDataFramedtype:查看数据中的类型index:查看队列的序号（行）columns:查看数据的名称（列）values:查看数据所有值describe:查看数据的总结transpose:翻转数据（转置）sort_index:对数据
  • 百日筑基篇——Pandas学习三（pyhton入门八） 星石传说 python篇pandas学习
    百日筑基篇——Pandas学习三（pyhton入门八）文章目录前言一、数据排序二、字符串处理三、数据合并方法1.merge方法2.concat方法四、分组数据统计五、数据重塑1.stack2.pivot总结前言上一篇文章介绍了一下pandas库中的一些函数，而本章则继续介绍库中的函数在数据处理中的应用。一、数据排序运用sort_values方法，importpandasaspdpath=r"C:\
  • Pandas学习笔记（1）- Pandas基础 HαLlus pythonpython数据分析
    分享一下近期的Pandas学习笔记~文章目录01Pandas基本功能1-1Series基本功能1-2DataFrame基本功能02Pandas描述性统计2-1基本统计计算2-2统计信息汇总.describe()03Pandas函数应用3-0Python运算符与Pandas方法的映射关系3-1表格函数3-2行列函数官方文档.apply.method(lambdax:*func*)3.3元素函数官方文
  • 对于规范和实现，你会混淆吗？ yangshangchuan HotSpot
    昨晚和朋友聊天，喝了点咖啡，由于我经常喝茶，很长时间没喝咖啡了，所以失眠了，于是起床读JVM规范，读完后在朋友圈发了一条信息： JVM Run-Time Data Areas：The Java Virtual Machine defines various run-time data areas that are used during execution of a program. So
  • android 网络 百合不是茶 网络
    android的网络编程和java的一样没什么好分析的都是一些死的照着写就可以了,所以记录下来  方便查找   ,  服务器使用的是TomCat   服务器代码;  servlet的使用需要在xml中注册 package servlet; import java.io.IOException; import java.util.Arr
  • [读书笔记]读法拉第传 comsci 读书笔记
          1831年的时候,一年可以赚到1000英镑的人..应该很少的...       要成为一个科学家,没有足够的资金支持,很多实验都无法完成       但是当钱赚够了以后....就不能够一直在商业和市场中徘徊......
  • 随机数的产生 沐刃青蛟 随机数
    c++中阐述随机数的方法有两种：   一是产生假随机数（不管操作多少次，所产生的数都不会改变）          这类随机数是使用了默认的种子值产生的，所以每次都是一样的。   //默认种子 for (int i = 0; i < 5; i++) { cout<<
  • PHP检测函数所在的文件名 IT独行者 PHP函数
    很简单的功能，用到PHP中的反射机制，具体使用的是ReflectionFunction类，可以获取指定函数所在PHP脚本中的具体位置。 创建引用脚本。 代码：   [php]   view plain copy // Filename: functions.php    <?php&nbs
  • 银行各系统功能简介 文强chu 金融
    银行各系统功能简介 　 业务系统 核心业务系统 业务功能包括：总账管理、卡系统管理、客户信息管理、额度控管、存款、贷款、资金业务、国际结算、支付结算、对外接口等 清分清算系统 以清算日期为准，将账务类交易、非账务类交易的手续费、代理费、网络服务费等相关费用，按费用类型计算应收、应付金额，经过清算人员确认后上送核心系统完成结算的过程 国际结算系
  • Python学习1(pip django 安装以及第一个project) 小桔子 pythondjangopip
        最近开始学习python,要安装个pip的工具。听说这个工具很强大，安装了它，在安装第三方工具的话so easy!然后也下载了，按照别人给的教程开始安装，奶奶的怎么也安装不上！ 第一步：官方下载pip-1.5.6.tar.gz, https://pypi.python.org/pypi/pip easy! 第二部：解压这个压缩文件，会看到一个setup.p
  • php 数组 aichenglong PHP排序数组循环多维数组
    1 php中的创建数组 $product = array('tires','oil','spark');//array()实际上是语言结构而不  是函数 2 如果需要创建一个升序的排列的数字保存在一个数组中，可以使用range()函数来自动创建数组 $numbers=range(1,10)//1 2 3 4 5 6 7 8 9 10 $numbers=range(1,10,
  • 安装python2.7 AILIKES python
    安装python2.7 1、下载可从 http://www.python.org/进行下载#wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz 2、复制解压 #mkdir -p /opt/usr/python #cp  /opt/soft/Python-2
  • java异常的处理探讨 百合不是茶 JAVA异常
    //java异常  /* 1，了解java 中的异常处理机制，有三种操作 a,声明异常  b,抛出异常  c,捕获异常 2，学会使用try-catch-finally来处理异常 3，学会如何声明异常和抛出异常 4，学会创建自己的异常   */   //2，学会使用try-catch-finally来处理异常  
  • getElementsByName实例 bijian1013 element
    实例1： <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/x
  • 探索JUnit4扩展：Runner bijian1013 java单元测试JUnit
            参加敏捷培训时，教练提到Junit4的Runner和Rule，于是特上网查一下，发现很多都讲的太理论，或者是举的例子实在是太牵强。多搜索了几下，搜索到两篇我觉得写的非常好的文章。         文章地址：http://www.blogjava.net/jiangshachina/archive/20
  • [MongoDB学习笔记二]MongoDB副本集 bit1129 mongodb
    1. 副本集的特性   1)一台主服务器(Primary),多台从服务器(Secondary)   2)Primary挂了之后，从服务器自动完成从它们之中选举一台服务器作为主服务器，继续工作，这就解决了单点故障，因此，在这种情况下，MongoDB集群能够继续工作   3)挂了的主服务器恢复到集群中只能以Secondary服务器的角色加入进来   2
  • 【Spark八十一】Hive in the spark assembly bit1129 assembly
    Spark SQL supports most commonly used features of HiveQL. However, different HiveQL statements are executed in different manners: 1. DDL statements (e.g. CREATE TABLE, DROP TABLE, etc.)
  • Nginx问题定位之监控进程异常退出 ronin47
    nginx在运行过程中是否稳定，是否有异常退出过？这里总结几项平时会用到的小技巧。 1. 在error.log中查看是否有signal项，如果有，看看signal是多少。 比如，这是一个异常退出的情况： $grep signal error.log 2012/12/24 16:39:56 [alert] 13661#0: worker process 13666 exited on s
  • No grammar constraints (DTD or XML schema).....两种解决方法 byalias xml
    方法一：常用方法   关闭XML验证 工具栏：windows => preferences => xml => xml files => validation => Indicate when no grammar is specified:选择Ignore即可。 方法二：（个人推荐） 添加 内容如下 <?xml version=
  • Netty源码学习-DefaultChannelPipeline bylijinnan netty
    package com.ljn.channel; /** * ChannelPipeline采用的是Intercepting Filter 模式 * 但由于用到两个双向链表和内部类，这个模式看起来不是那么明显，需要仔细查看调用过程才发现 * * 下面对ChannelPipeline作一个模拟，只模拟关键代码： */ public class Pipeline {
  • MYSQL数据库常用备份及恢复语句 chicony mysql
    备份MySQL数据库的命令，可以加选不同的参数选项来实现不同格式的要求。 mysqldump -h主机 -u用户名 -p密码 数据库名 > 文件 备份MySQL数据库为带删除表的格式，能够让该备份覆盖已有数据库而不需要手动删除原有数据库。 mysqldump -–add-drop-table -uusername -ppassword databasename > ba
  • 小白谈谈云计算--基于Google三大论文 CrazyMizzz Google云计算GFS
        之前在没有接触到云计算之前，只是对云计算有一点点模糊的概念，觉得这是一个很高大上的东西，似乎离我们大一的还很远。后来有机会上了一节云计算的普及课程吧，并且在之前的一周里拜读了谷歌三大论文。不敢说理解，至少囫囵吞枣啃下了一大堆看不明白的理论。现在就简单聊聊我对于云计算的了解。     我先说说GFS   &n
  • hadoop 平衡空间设置方法 daizj hadoopbalancer
    在hdfs-site.xml中增加设置balance的带宽，默认只有1M： <property>   <name>dfs.balance.bandwidthPerSec</name>     <value>10485760</value>     <description&g
  • Eclipse程序员要掌握的常用快捷键 dcj3sjt126com 编程
      判断一个人的编程水平，就看他用键盘多，还是鼠标多。用键盘一是为了输入代码（当然了，也包括注释），再有就是熟练使用快捷键。 曾有人在豆瓣评 《卓有成效的程序员》：“人有多大懒，才有多大闲”。之前我整理了一个 程序员图书列表，目的也就是通过读书，让程序员变懒。  程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可以那么勤奋，每天都孜孜不倦得
  • Android学习之路 dcj3sjt126com Android学习
    转自：http://blog.csdn.net/ryantang03/article/details/6901459 以前有J2EE基础，接触JAVA也有两三年的时间了，上手Android并不困难，思维上稍微转变一下就可以很快适应。以前做的都是WEB项目，现今体验移动终端项目，让我越来越觉得移动互联网应用是未来的主宰。 下面说说我学习Android的感受，我学Android首先是看MARS的视
  • java 遍历Map的四种方法 eksliang javaHashMapjava 遍历Map的四种方法
    转载请出自出处： http://eksliang.iteye.com/blog/2059996 package com.ickes; import java.util.HashMap; import java.util.Iterator; import java.util.Map; import java.util.Map.Entry; /** * 遍历Map的四种方式
  • 【精典】数据库相关相关 gengzg 数据库
    package C3P0; import java.sql.Connection; import java.sql.SQLException; import java.beans.PropertyVetoException; import com.mchange.v2.c3p0.ComboPooledDataSource; public class DBPool{
  • 自动补全 huyana_town 自动补全
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xhtml&quo
  • jquery在线预览PDF文件，打开PDF文件 天梯梦 jquery
    最主要的是使用到了一个jquery的插件jquery.media.js，使用这个插件就很容易实现了。   核心代码 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.
  • ViewPager刷新单个页面的方法 lovelease androidviewpagertag刷新
      使用ViewPager做滑动切换图片的效果时，如果图片是从网络下载的，那么再子线程中下载完图片时我们会使用handler通知UI线程，然后UI线程就可以调用mViewPager.getAdapter().notifyDataSetChanged()进行页面的刷新，但是viewpager不同于listview，你会发现单纯的调用notifyDataSetChanged()并不能刷新页面
  • 利用按位取反（~）从复合枚举值里清除枚举值 草料场 enum
    以 C# 中的 System.Drawing.FontStyle 为例。   如果需要同时有多种效果， 如：“粗体”和“下划线”的效果，可以用按位或（|） FontStyle style = FontStyle.Bold | FontStyle.Underline;   如果需要去除 style 里的某一种效果，
  • Linux系统新手学习的11点建议 刘星宇 编程工作linux脚本
    　　随着Linux应用的扩展许多朋友开始接触Linux，根据学习Windwos的经验往往有一些茫然的感觉：不知从何处开始学起。这里介绍学习Linux的一些建议。 　　一、从基础开始：常常有些朋友在Linux论坛问一些问题，不过，其中大多数的问题都是很基础的。例如：为什么我使用一个命令的时候，系统告诉我找不到该目录，我要如何限制使用者的权限等问题，这些问题其实都不是很难的，只要了解了 Linu
  • hibernate dao层应用之HibernateDaoSupport二次封装 wangzhezichuan DAOHibernate
    /** * <p>方法描述:sql语句查询 返回List<Class> </p> * <p>方法备注: Class 只能是自定义类 </p> * @param calzz * @param sql * @return * <p>创建人：王川</p> * <p>创建时间：Jul
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他