古杜且偲
古杜且偲

数据清洗（二）：python数据清洗

python数据清洗

Pandas数据清洗流程：

  • 1.数据的读写：read_csv、read_excel、to_csv to_excel
  • 2.数据的探索与描述：info、head、describe、shape、value_counts
  • 3.数据的选择与整理：df索引、列的选取、显式loc、隐式iloc、掩码、映射函数map、apply
  • 4.数据的分组：groupby
  • 5.数据的分割、合并：索引、drop、pop、del、append、concat、merge
  • 6.缺失值、异常值、重复值的处理：fillna、drop_duplicates
  • 7.文本字符串的处理：series.str

1、数据的读取

%pwd  
# 魔法方法显示的是当前路径

'C:\\Users\\Administrator\\Desktop\\python\\机器学习案例汇总'

#导入相应的包
import numpy as np
import pandas as pd

#导入数据集
df = pd.read_csv('data/1.data清洗/taobao_data.csv',encoding='utf-8')

#查看数据集前2行
df.head() #默认查看前5行
宝贝 价格 成交量 卖家 位置
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0 16647 夏奈凤凰旗舰店 江苏
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0 14045 夏洛特的文艺 上海
2 母亲节衣服夏季妈妈装夏装套装短袖中年人40-50岁中老年女装T恤 298.0 13458 云新旗舰店 江苏
3 母亲节衣服中老年人春装女40岁50中年妈妈装套装夏装奶奶装两件套 279.0 13340 韶妃旗舰店 浙江
4 中老年女装春夏装裤大码 中年妇女40-50岁妈妈装夏装套装七分裤 59.0 12939 千百奈旗舰店 江苏 
#查看数据集后3行
df.tail(3)
宝贝 价格 成交量 卖家 位置
97 母亲节妈妈装夏装套装女40-50岁夏季衣服两件套中老年春装连衣裙 195.0 4000 若澜锦蒂旗舰店 浙江
98 母亲节衣服夏季中老年女装夏装短袖套装雪纺衫T恤妈妈装两件套 498.0 3968 蕴涵旗舰店 江苏
99 中老年女装春装t恤纱袖针织衫40-50岁妈妈装七分袖上衣夏装打底衫 688.0 3956 潮流前线9170 浙江

2、数据的探索

#查看数据集形状
df.shape

(100, 5)

#快速了解数据的结构
df.info()


RangeIndex: 100 entries, 0 to 99
Data columns (total 5 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   宝贝      100 non-null    object 
 1   价格      100 non-null    float64
 2   成交量     100 non-null    int64  
 3   卖家      100 non-null    object 
 4   位置      100 non-null    object 
dtypes: float64(1), int64(1), object(3)
memory usage: 4.0+ KB

#快速查看数据的描述性统计信息
df.describe()
价格 成交量
count 100.000000 100.00000
mean 231.669000 6388.93000
std 130.971061 2770.07536
min 29.000000 3956.00000
25% 128.750000 4476.50000
50% 198.000000 5314.50000
75% 298.000000 7053.75000
max 698.000000 16647.00000

3、数据的选择与整理

行的选择 ——三种方法选取前5行

df.head()
宝贝 价格 成交量 卖家 位置
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0 16647 夏奈凤凰旗舰店 江苏
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0 14045 夏洛特的文艺 上海
2 母亲节衣服夏季妈妈装夏装套装短袖中年人40-50岁中老年女装T恤 298.0 13458 云新旗舰店 江苏
3 母亲节衣服中老年人春装女40岁50中年妈妈装套装夏装奶奶装两件套 279.0 13340 韶妃旗舰店 浙江
4 中老年女装春夏装裤大码 中年妇女40-50岁妈妈装夏装套装七分裤 59.0 12939 千百奈旗舰店 江苏 
df[:5]  #选择0~4行
宝贝 价格 成交量 卖家 位置
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0 16647 夏奈凤凰旗舰店 江苏
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0 14045 夏洛特的文艺 上海
2 母亲节衣服夏季妈妈装夏装套装短袖中年人40-50岁中老年女装T恤 298.0 13458 云新旗舰店 江苏
3 母亲节衣服中老年人春装女40岁50中年妈妈装套装夏装奶奶装两件套 279.0 13340 韶妃旗舰店 浙江
4 中老年女装春夏装裤大码 中年妇女40-50岁妈妈装夏装套装七分裤 59.0 12939 千百奈旗舰店 江苏 
df.iloc[0:5] #选择0~4行
宝贝 价格 成交量 卖家 位置
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0 16647 夏奈凤凰旗舰店 江苏
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0 14045 夏洛特的文艺 上海
2 母亲节衣服夏季妈妈装夏装套装短袖中年人40-50岁中老年女装T恤 298.0 13458 云新旗舰店 江苏
3 母亲节衣服中老年人春装女40岁50中年妈妈装套装夏装奶奶装两件套 279.0 13340 韶妃旗舰店 浙江
4 中老年女装春夏装裤大码 中年妇女40-50岁妈妈装夏装套装七分裤 59.0 12939 千百奈旗舰店 江苏 
df.iloc[:5,:] #选择前5行
宝贝 价格 成交量 卖家 位置
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0 16647 夏奈凤凰旗舰店 江苏
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0 14045 夏洛特的文艺 上海
2 母亲节衣服夏季妈妈装夏装套装短袖中年人40-50岁中老年女装T恤 298.0 13458 云新旗舰店 江苏
3 母亲节衣服中老年人春装女40岁50中年妈妈装套装夏装奶奶装两件套 279.0 13340 韶妃旗舰店 浙江
4 中老年女装春夏装裤大码 中年妇女40-50岁妈妈装夏装套装七分裤 59.0 12939 千百奈旗舰店 江苏 
df.loc[:4,:] #选择前5行
宝贝 价格 成交量 卖家 位置
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0 16647 夏奈凤凰旗舰店 江苏
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0 14045 夏洛特的文艺 上海
2 母亲节衣服夏季妈妈装夏装套装短袖中年人40-50岁中老年女装T恤 298.0 13458 云新旗舰店 江苏
3 母亲节衣服中老年人春装女40岁50中年妈妈装套装夏装奶奶装两件套 279.0 13340 韶妃旗舰店 浙江
4 中老年女装春夏装裤大码 中年妇女40-50岁妈妈装夏装套装七分裤 59.0 12939 千百奈旗舰店 江苏

列的选择——三种方法选取前2列

df[['宝贝','价格']].head(2)
宝贝 价格
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0 
df.loc[:,['宝贝','价格']].head(2)
宝贝 价格
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0 
df.iloc[:,:2].head(2)
宝贝 价格
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0 
# 用列 把显式的隐式索引找出来，然后用隐式 去处理
df.columns.get_indexer(['宝贝', '价格']) 

array([0, 1], dtype=int64)

df.iloc[1:4,df.columns.get_indexer(['宝贝', '价格'])]
# = df.iloc[1:4,[0,1]]
宝贝 价格
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0
2 母亲节衣服夏季妈妈装夏装套装短袖中年人40-50岁中老年女装T恤 298.0
3 母亲节衣服中老年人春装女40岁50中年妈妈装套装夏装奶奶装两件套 279.0 
df.iloc[:, df.columns.get_indexer(['宝贝', '价格'])].head(2)
# 适用于列非常多的数据集
宝贝 价格
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0

区域块的选择——三种方法选择前3行，前2列

df.iloc[:3,:2]  
# 选择前3行，前2列
宝贝 价格
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0
2 母亲节衣服夏季妈妈装夏装套装短袖中年人40-50岁中老年女装T恤 298.0 
df.loc[0:2,['宝贝','价格']]
# 0:2表示行的标签
宝贝 价格
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0
2 母亲节衣服夏季妈妈装夏装套装短袖中年人40-50岁中老年女装T恤 298.0 
df.index[0:3]

RangeIndex(start=0, stop=3, step=1)

df.columns[:2]

Index(['宝贝', '价格'], dtype='object')

df.loc[df.index[0:3],df.columns[:2]]
# df.index[0:3]
# 实际返回的0,1,2
宝贝 价格
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0
2 母亲节衣服夏季妈妈装夏装套装短袖中年人40-50岁中老年女装T恤 298.0 
# 小练习：用iloc方法选择70——74行,价格和卖家这两列

df.columns

Index(['宝贝', '价格', '成交量', '卖家', '位置'], dtype='object')

df.iloc[70:75,[1,3]]
价格 卖家
70 320.0 朵莹旗舰店
71 318.0 晨旭服饰678
72 177.0 步古旗舰店
73 288.0 妈妈装工厂店1988
74 218.0 第二号鞋铺 
df.iloc[70:75,[1,3]]
价格 卖家
70 320.0 朵莹旗舰店
71 318.0 晨旭服饰678
72 177.0 步古旗舰店
73 288.0 妈妈装工厂店1988
74 218.0 第二号鞋铺 
df.columns.get_indexer(['价格', '卖家'])

array([1, 3], dtype=int64)

df.iloc[70:75,df.columns.get_indexer(['价格', '卖家'])]
价格 卖家
70 320.0 朵莹旗舰店
71 318.0 晨旭服饰678
72 177.0 步古旗舰店
73 288.0 妈妈装工厂店1988
74 218.0 第二号鞋铺

数据的整理

  • 增加一列销售额
  • 过滤掉价格>=100,成交量<8000的商品信息
df.head(2)
宝贝 价格 成交量 卖家 位置
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0 16647 夏奈凤凰旗舰店 江苏
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0 14045 夏洛特的文艺 上海 
df['销售额'] = df['价格'] * df['成交量']
df.head(2)
宝贝 价格 成交量 卖家 位置 销售额
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0 16647 夏奈凤凰旗舰店 江苏 1648053.0
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0 14045 夏洛特的文艺 上海 4016870.0
  • 增加分析的条件，过滤掉价格>=100,成交量<8000的商品信息
df['成交量'] >=8000

0      True
1      True
2      True
3      True
4      True
      ...  
95    False
96    False
97    False
98    False
99    False
Name: 成交量, Length: 100, dtype: bool

df['价格']<100

0      True
1     False
2     False
3     False
4      True
      ...  
95    False
96    False
97    False
98    False
99    False
Name: 价格, Length: 100, dtype: bool

#和关系的集合逻辑
df[(df['价格']<100) & (df['成交量']>=8000)]
宝贝 价格 成交量 卖家 位置 销售额
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0 16647 夏奈凤凰旗舰店 江苏 1648053.0
4 中老年女装春夏装裤大码 中年妇女40-50岁妈妈装夏装套装七分裤 59.0 12939 千百奈旗舰店 江苏 763401.0 
df.index[(df['价格']<100) & (df['成交量']>=8000)]

Int64Index([0, 4], dtype='int64')

df.iloc[df.index[(df.价格<100) & (df.成交量>=8000)],:]
宝贝 价格 成交量 卖家 位置 销售额
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0 16647 夏奈凤凰旗舰店 江苏 1648053.0
4 中老年女装春夏装裤大码 中年妇女40-50岁妈妈装夏装套装七分裤 59.0 12939 千百奈旗舰店 江苏 763401.0 
df.loc[(df.价格<100) & (df.成交量>=8000),:]
宝贝 价格 成交量 卖家 位置 销售额
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0 16647 夏奈凤凰旗舰店 江苏 1648053.0
4 中老年女装春夏装裤大码 中年妇女40-50岁妈妈装夏装套装七分裤 59.0 12939 千百奈旗舰店 江苏 763401.0 
df[~(df.价格>=100) & ~(df.成交量<8000)]
宝贝 价格 成交量 卖家 位置 销售额
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0 16647 夏奈凤凰旗舰店 江苏 1648053.0
4 中老年女装春夏装裤大码 中年妇女40-50岁妈妈装夏装套装七分裤 59.0 12939 千百奈旗舰店 江苏 763401.0

and/or 只能针对左右只有一个布尔值来进行运算
&/| 可以针对左右多个布尔值进行一一比较

# 将位置设置为索引
df1=df.set_index('位置')
df1.head(2)
宝贝 价格 成交量 卖家 销售额
位置
江苏 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0 16647 夏奈凤凰旗舰店 1648053.0
上海 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0 14045 夏洛特的文艺 4016870.0 
df2=df1.sort_index()# 分组并降序排序
df2.head(2)
宝贝 价格 成交量 卖家 销售额
位置
上海 中老年女装夏装套装加肥加大码T恤上衣妈妈装时尚短袖夏季两件套 298.0 5325 简港旗舰店 1586850.0
上海 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0 14045 夏洛特的文艺 4016870.0 
df3=df.set_index(['位置','卖家'])
# 设置‘位置’与‘卖家’为索引
# 并根据位置进行排序
df3.head()
宝贝 价格 成交量 销售额
位置 卖家
江苏 夏奈凤凰旗舰店 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0 16647 1648053.0
上海 夏洛特的文艺 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0 14045 4016870.0
江苏 云新旗舰店 母亲节衣服夏季妈妈装夏装套装短袖中年人40-50岁中老年女装T恤 298.0 13458 4010484.0
浙江 韶妃旗舰店 母亲节衣服中老年人春装女40岁50中年妈妈装套装夏装奶奶装两件套 279.0 13340 3721860.0
江苏 千百奈旗舰店 中老年女装春夏装裤大码 中年妇女40-50岁妈妈装夏装套装七分裤 59.0 12939 763401.0 
df3.sort_index(level=0).head(2)
宝贝 价格 成交量 销售额
位置 卖家
上海 xudong158 中老年女装夏装短袖t恤衫中年妇女母亲节衣服妈妈装雪纺套装上衣 99.0 4572 452628.0
佳福妈妈商城 中老年人女装套装妈妈装夏装大码奶奶装40-50岁60短袖T恤70两件套 29.0 4752 137808.0 
#删除宝贝和卖家这两列

#方法一
new_df=df.copy()
new_df.head()
宝贝 价格 成交量 卖家 位置 销售额
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0 16647 夏奈凤凰旗舰店 江苏 1648053.0
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0 14045 夏洛特的文艺 上海 4016870.0
2 母亲节衣服夏季妈妈装夏装套装短袖中年人40-50岁中老年女装T恤 298.0 13458 云新旗舰店 江苏 4010484.0
3 母亲节衣服中老年人春装女40岁50中年妈妈装套装夏装奶奶装两件套 279.0 13340 韶妃旗舰店 浙江 3721860.0
4 中老年女装春夏装裤大码 中年妇女40-50岁妈妈装夏装套装七分裤 59.0 12939 千百奈旗舰店 江苏 763401.0 
del new_df['宝贝']

del new_df['卖家']

new_df.head()
价格 成交量 位置 销售额
0 99.0 16647 江苏 1648053.0
1 286.0 14045 上海 4016870.0
2 298.0 13458 江苏 4010484.0
3 279.0 13340 浙江 3721860.0
4 59.0 12939 江苏 763401.0 
#方法二

df_deal=df.drop(['宝贝','卖家'],axis=1)

df_deal.head()
价格 成交量 位置 销售额
0 99.0 16647 江苏 1648053.0
1 286.0 14045 上海 4016870.0
2 298.0 13458 江苏 4010484.0
3 279.0 13340 浙江 3721860.0
4 59.0 12939 江苏 763401.0

4、数据的分组

df.head()
宝贝 价格 成交量 卖家 位置 销售额
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0 16647 夏奈凤凰旗舰店 江苏 1648053.0
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0 14045 夏洛特的文艺 上海 4016870.0
2 母亲节衣服夏季妈妈装夏装套装短袖中年人40-50岁中老年女装T恤 298.0 13458 云新旗舰店 江苏 4010484.0
3 母亲节衣服中老年人春装女40岁50中年妈妈装套装夏装奶奶装两件套 279.0 13340 韶妃旗舰店 浙江 3721860.0
4 中老年女装春夏装裤大码 中年妇女40-50岁妈妈装夏装套装七分裤 59.0 12939 千百奈旗舰店 江苏 763401.0 
df['位置'].value_counts()

江苏    44
浙江    28
上海    10
湖北     7
北京     6
河北     3
广东     1
河南     1
Name: 位置, dtype: int64

len(df['位置'].value_counts())

8

# 将所需的字段作为索引，然后使用汇总函数进行汇总计算

#根据位置进行分组，计算成交量的均值
df['成交量'].groupby(df['位置']).mean()

位置
上海    6801.500000
北京    4519.333333
广东    5164.000000
江苏    7030.909091
河北    6050.666667
河南    5986.000000
浙江    5779.500000
湖北    6182.000000
Name: 成交量, dtype: float64

df.groupby(df['位置']).mean()
价格 成交量 销售额
位置
上海 161.200000 6801.500000 1.256211e+06
北京 150.000000 4519.333333 6.846817e+05
广东 326.000000 5164.000000 1.683464e+06
江苏 223.611364 7030.909091 1.551363e+06
河北 152.000000 6050.666667 9.224000e+05
河南 119.000000 5986.000000 7.123340e+05
浙江 290.428571 5779.500000 1.650173e+06
湖北 254.714286 6182.000000 1.536022e+06 
# 根据位置进行索引，然后求价格的均值，成交量的总和，销售额的均值
df.groupby(df['位置']).agg({
     '价格':np.mean,'成交量':np.sum,'销售额':np.mean})
# agg是聚合函数 aggregation的缩写
价格 成交量 销售额
位置
上海 161.200000 68015 1.256211e+06
北京 150.000000 27116 6.846817e+05
广东 326.000000 5164 1.683464e+06
江苏 223.611364 309360 1.551363e+06
河北 152.000000 18152 9.224000e+05
河南 119.000000 5986 7.123340e+05
浙江 290.428571 161826 1.650173e+06
湖北 254.714286 43274 1.536022e+06 
# 按多组列进行分组汇总
df.groupby([df['位置'],df['卖家']]).mean()
# 默认将分组的列作为索引
价格 成交量 销售额
位置 卖家
上海 xudong158 99.0 4572.0 452628.0
佳福妈妈商城 29.0 4752.0 137808.0
夏洛特的文艺 286.0 14045.0 4016870.0
妃莲慕旗舰店 133.0 5377.5 718505.0
婆家娘家商城 198.0 5304.0 1050192.0
... ... ... ... ...
湖北 凯利娜格旗舰店 178.0 4111.0 731758.0
千百萌旗舰店 199.0 12398.0 2467202.0
千香旗舰店 158.0 5001.0 790158.0
欧芮嘉旗舰店 368.0 4041.0 1487088.0
薇诗琪旗舰店 318.0 8580.0 2728440.0

85 rows × 3 columns

# 直接使用列名进行分组
df.groupby('位置').mean()
# 将指定的字段作为索引，对所有的数值型字段进行汇总计算
价格 成交量 销售额
位置
上海 161.200000 6801.500000 1.256211e+06
北京 150.000000 4519.333333 6.846817e+05
广东 326.000000 5164.000000 1.683464e+06
江苏 223.611364 7030.909091 1.551363e+06
河北 152.000000 6050.666667 9.224000e+05
河南 119.000000 5986.000000 7.123340e+05
浙江 290.428571 5779.500000 1.650173e+06
湖北 254.714286 6182.000000 1.536022e+06 
df.groupby(['位置','卖家']).mean()
价格 成交量 销售额
位置 卖家
上海 xudong158 99.0 4572.0 452628.0
佳福妈妈商城 29.0 4752.0 137808.0
夏洛特的文艺 286.0 14045.0 4016870.0
妃莲慕旗舰店 133.0 5377.5 718505.0
婆家娘家商城 198.0 5304.0 1050192.0
... ... ... ... ...
湖北 凯利娜格旗舰店 178.0 4111.0 731758.0
千百萌旗舰店 199.0 12398.0 2467202.0
千香旗舰店 158.0 5001.0 790158.0
欧芮嘉旗舰店 368.0 4041.0 1487088.0
薇诗琪旗舰店 318.0 8580.0 2728440.0

85 rows × 3 columns

df.groupby('位置').size()   # 返回分组个数大小

位置
上海    10
北京     6
广东     1
江苏    44
河北     3
河南     1
浙江    28
湖北     7
dtype: int64

df.groupby(['位置','卖家']).size()

位置  卖家       
上海  xudong158    1
    佳福妈妈商城       1
    夏洛特的文艺       1
    妃莲慕旗舰店       2
    婆家娘家商城       1
                ..
湖北  凯利娜格旗舰店      1
    千百萌旗舰店       1
    千香旗舰店        1
    欧芮嘉旗舰店       1
    薇诗琪旗舰店       1
Length: 85, dtype: int64

5、数据的分割与合并

  • concat()函数
  • merge()函数
df.head(3)
宝贝 价格 成交量 卖家 位置 销售额
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0 16647 夏奈凤凰旗舰店 江苏 1648053.0
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0 14045 夏洛特的文艺 上海 4016870.0
2 母亲节衣服夏季妈妈装夏装套装短袖中年人40-50岁中老年女装T恤 298.0 13458 云新旗舰店 江苏 4010484.0 
#把行索引为20-29，列名为位置和卖家的数据切出来
#方法一：
df1 = df.loc[20:29,['位置','卖家']]
df1
位置 卖家
20 江苏 纳笛佳女装旗舰店
21 上海 简港旗舰店
22 浙江 潮流前线9170
23 浙江 胖织缘福旗舰店
24 浙江 卧雪旗舰店
25 江苏 衣之绒旗舰店
26 江苏 康乃馨老年装
27 江苏 妈咪衣橱纺
28 江苏 爱莱嘉旗舰店
29 江苏 高康洁 
#方法二
df1=df[20:30][['位置','卖家']]
df1
位置 卖家
20 江苏 纳笛佳女装旗舰店
21 上海 简港旗舰店
22 浙江 潮流前线9170
23 浙江 胖织缘福旗舰店
24 浙江 卧雪旗舰店
25 江苏 衣之绒旗舰店
26 江苏 康乃馨老年装
27 江苏 妈咪衣橱纺
28 江苏 爱莱嘉旗舰店
29 江苏 高康洁 
#把行索引为25-35，列索引为卖家、价格、成交量提取出来
#方法一
df2 = df[25:36][['卖家','价格','成交量']]
df2
卖家 价格 成交量
25 衣之绒旗舰店 399.0 7046
26 康乃馨老年装 128.0 7002
27 妈咪衣橱纺 396.0 6929
28 爱莱嘉旗舰店 49.0 6816
29 高康洁 108.0 6795
30 蒲洛妃旗舰店 108.0 6755
31 悦薇孔雀旗舰店 298.0 6270
32 摩尼树旗舰店 198.0 6262
33 梵忆轩旗舰店 148.0 6224
34 loueddssd倍艾旗舰店 198.0 6168
35 蒲洛妃旗舰店 258.0 6085 
#方法二
df2 = df.loc[25:35,['卖家','价格','成交量']]
df2
卖家 价格 成交量
25 衣之绒旗舰店 399.0 7046
26 康乃馨老年装 128.0 7002
27 妈咪衣橱纺 396.0 6929
28 爱莱嘉旗舰店 49.0 6816
29 高康洁 108.0 6795
30 蒲洛妃旗舰店 108.0 6755
31 悦薇孔雀旗舰店 298.0 6270
32 摩尼树旗舰店 198.0 6262
33 梵忆轩旗舰店 148.0 6224
34 loueddssd倍艾旗舰店 198.0 6168
35 蒲洛妃旗舰店 258.0 6085 
#方法三
df2 = df.iloc[25:36,[3,1,2]]
df2
卖家 价格 成交量
25 衣之绒旗舰店 399.0 7046
26 康乃馨老年装 128.0 7002
27 妈咪衣橱纺 396.0 6929
28 爱莱嘉旗舰店 49.0 6816
29 高康洁 108.0 6795
30 蒲洛妃旗舰店 108.0 6755
31 悦薇孔雀旗舰店 298.0 6270
32 摩尼树旗舰店 198.0 6262
33 梵忆轩旗舰店 148.0 6224
34 loueddssd倍艾旗舰店 198.0 6168
35 蒲洛妃旗舰店 258.0 6085 
# pd.merge()根据一个或多个key值，将dataframe连接（join）
# pd.concat()沿着一个轴将多个对象堆叠起来
# combine_first()如果有缺失值，另外一个数据集根据对齐进行填充

pd.merge(df1,df2)
位置 卖家 价格 成交量
0 江苏 衣之绒旗舰店 399.0 7046
1 江苏 康乃馨老年装 128.0 7002
2 江苏 妈咪衣橱纺 396.0 6929
3 江苏 爱莱嘉旗舰店 49.0 6816
4 江苏 高康洁 108.0 6795 
pd.merge(df1,df2,how='right')
位置 卖家 价格 成交量
0 江苏 衣之绒旗舰店 399.0 7046
1 江苏 康乃馨老年装 128.0 7002
2 江苏 妈咪衣橱纺 396.0 6929
3 江苏 爱莱嘉旗舰店 49.0 6816
4 江苏 高康洁 108.0 6795
5 NaN 蒲洛妃旗舰店 108.0 6755
6 NaN 蒲洛妃旗舰店 258.0 6085
7 NaN 悦薇孔雀旗舰店 298.0 6270
8 NaN 摩尼树旗舰店 198.0 6262
9 NaN 梵忆轩旗舰店 148.0 6224
10 NaN loueddssd倍艾旗舰店 198.0 6168 
pd.merge(df1,df2,on='卖家')
位置 卖家 价格 成交量
0 江苏 衣之绒旗舰店 399.0 7046
1 江苏 康乃馨老年装 128.0 7002
2 江苏 妈咪衣橱纺 396.0 6929
3 江苏 爱莱嘉旗舰店 49.0 6816
4 江苏 高康洁 108.0 6795 
pd.merge(df1,df2,how='inner')
#通常情况下，前一个是左表，后一个是右表
#how默认为inner,还可以使用outer、left、right
位置 卖家 价格 成交量
0 江苏 衣之绒旗舰店 399.0 7046
1 江苏 康乃馨老年装 128.0 7002
2 江苏 妈咪衣橱纺 396.0 6929
3 江苏 爱莱嘉旗舰店 49.0 6816
4 江苏 高康洁 108.0 6795 
# 按照索引合并
pd.merge(df1,df2,left_index=True,right_index=True)
位置 卖家_x 卖家_y 价格 成交量
25 江苏 衣之绒旗舰店 衣之绒旗舰店 399.0 7046
26 江苏 康乃馨老年装 康乃馨老年装 128.0 7002
27 江苏 妈咪衣橱纺 妈咪衣橱纺 396.0 6929
28 江苏 爱莱嘉旗舰店 爱莱嘉旗舰店 49.0 6816
29 江苏 高康洁 高康洁 108.0 6795 
# concat进行轴方向上的连接

item1=df[:5]['宝贝']
item2=df[5:10]['宝贝']
item3=df[10:15]['宝贝']

item3

10    母亲节衣服夏季中年女装春装套装40-50岁妈妈装外套中老年人上衣
11     母亲节衣服中老年人女装奶奶短袖两件套中年40岁胖妈妈装夏装套装
12    母亲节中老年女装短袖t恤40-50岁中年妈妈装夏装套装上衣两件套
13     母亲节中老年女装短袖t恤40-50岁中年妈妈装夏装雪纺两件套装
14      中老年女装春装真两件套长袖针织开衫外套妈妈装夏装短袖T恤上衣
Name: 宝贝, dtype: object

pd.concat([item1,item2,item3]) # 默认axis=0，按照行连接

0         新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤
1         中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装
2       母亲节衣服夏季妈妈装夏装套装短袖中年人40-50岁中老年女装T恤
3       母亲节衣服中老年人春装女40岁50中年妈妈装套装夏装奶奶装两件套
4       中老年女装春夏装裤大码 中年妇女40-50岁妈妈装夏装套装七分裤
5     中老年女装夏装短袖T恤40-50岁中年春装30打底衫妈妈装母亲节衣服
6      妈妈装春夏装T恤宽松雪纺衬衫40-50岁中老年女装大码中袖上衣套装
7      中老年女装夏季T恤雪纺衫妈妈装夏装套装短袖中年妇女40-50岁t恤
8       妈妈夏装两件套母亲节衣服老人上衣60-70岁人夏季中老年女装套装
9          中老年女装夏装套装圆领上衣裤子夏季中年妈妈装短袖T恤两件套
10      母亲节衣服夏季中年女装春装套装40-50岁妈妈装外套中老年人上衣
11       母亲节衣服中老年人女装奶奶短袖两件套中年40岁胖妈妈装夏装套装
12      母亲节中老年女装短袖t恤40-50岁中年妈妈装夏装套装上衣两件套
13       母亲节中老年女装短袖t恤40-50岁中年妈妈装夏装雪纺两件套装
14        中老年女装春装真两件套长袖针织开衫外套妈妈装夏装短袖T恤上衣
Name: 宝贝, dtype: object

cols_1=df[:6]['宝贝']
cols_2=df[:6]['价格']
cols_3=df[:6]['成交量']

pd.concat([cols_1,cols_2,cols_3],axis=1) # axis=1,按照列连接
宝贝 价格 成交量
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 99.0 16647
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 286.0 14045
2 母亲节衣服夏季妈妈装夏装套装短袖中年人40-50岁中老年女装T恤 298.0 13458
3 母亲节衣服中老年人春装女40岁50中年妈妈装套装夏装奶奶装两件套 279.0 13340
4 中老年女装春夏装裤大码 中年妇女40-50岁妈妈装夏装套装七分裤 59.0 12939
5 中老年女装夏装短袖T恤40-50岁中年春装30打底衫妈妈装母亲节衣服 198.0 12664 
cols_1=df[:6][['宝贝','位置']]
cols_2=df[:6][['价格','成交量']]

cols_2
价格 成交量
0 99.0 16647
1 286.0 14045
2 298.0 13458
3 279.0 13340
4 59.0 12939
5 198.0 12664 
pd.concat([cols_1,cols_2],axis=1)
宝贝 位置 价格 成交量
0 新款中老年女装春装雪纺打底衫妈妈装夏装中袖宽松上衣中年人t恤 江苏 99.0 16647
1 中老年女装清凉两件套妈妈装夏装大码短袖T恤上衣雪纺衫裙裤套装 上海 286.0 14045
2 母亲节衣服夏季妈妈装夏装套装短袖中年人40-50岁中老年女装T恤 江苏 298.0 13458
3 母亲节衣服中老年人春装女40岁50中年妈妈装套装夏装奶奶装两件套 浙江 279.0 13340
4 中老年女装春夏装裤大码 中年妇女40-50岁妈妈装夏装套装七分裤 江苏 59.0 12939
5 中老年女装夏装短袖T恤40-50岁中年春装30打底衫妈妈装母亲节衣服 江苏 198.0 12664

6、数据的重塑与透视

6.1 数据的重塑

data = pd.read_csv('data/1.data清洗/hz_weather.csv')
data.head(2)
日期 最高气温 最低气温 天气 风向 风力
0 2017-01-01 17 7 晴 西北风 2级
1 2017-01-02 16 8 多云 东北风 2级 
data.shape

(118, 6)

data.stack() 
# 列转为行
# 结果为结构层次化索引的series

0    日期      2017-01-01
     最高气温            17
     最低气温             7
     天气               晴
     风向             西北风
                ...    
117  最高气温            29
     最低气温            16
     天气              多云
     风向              东风
     风力              2级
Length: 708, dtype: object

data.unstack()

日期  0      2017-01-01
    1      2017-01-02
    2      2017-01-03
    3      2017-01-04
    4      2017-01-05
              ...    
风力  113            5级
    114            2级
    115            2级
    116            3级
    117            2级
Length: 708, dtype: object

data.stack().unstack().head()
日期 最高气温 最低气温 天气 风向 风力
0 2017-01-01 17 7 晴 西北风 2级
1 2017-01-02 16 8 多云 东北风 2级
2 2017-01-03 15 8 多云 东北风 1级
3 2017-01-04 15 11 小雨 西北风 2级
4 2017-01-05 13 11 小到中雨 北风 2级

6.2 数据的透视

df = data.set_index('日期')
df.head(3)
最高气温 最低气温 天气 风向 风力
日期
2017-01-01 17 7 晴 西北风 2级
2017-01-02 16 8 多云 东北风 2级
2017-01-03 15 8 多云 东北风 1级 
#建立一个透视表：值是最高气温的平均值，天气为行索引，风力为列索引

df1 = pd.pivot_table(df                     
                     ,values=['最高气温']
                     ,index=['天气']
                     ,columns=['风力']
                     ,aggfunc='max'         # 设置值的计算方式
                     # ill_value='missing'  # 填充透视表中缺失值的方式，默认 NaN
                     ,margins=True         # 统计每行每列的情况
                     ,dropna=True          # 删除透视表中全部都为空值的列
                     ,margins_name='总计'  # 改变统计行和列的名称
                    )

df1
最高气温
风力 1级 2级 3级 4级 5级 6级 微风 总计
天气
中雨 NaN 11.0 11.0 27.0 NaN NaN NaN 27
多云 17.0 29.0 31.0 26.0 16.0 25.0 NaN 31
小到中雨 NaN 13.0 NaN NaN NaN NaN NaN 13
小雨 14.0 19.0 15.0 19.0 NaN NaN 13.0 19
晴 18.0 26.0 29.0 27.0 NaN 19.0 15.0 29
阴 16.0 18.0 14.0 26.0 NaN NaN NaN 26
阵雨 NaN 21.0 26.0 30.0 19.0 NaN NaN 30
雨夹雪 NaN NaN NaN 7.0 NaN NaN NaN 7
总计 18.0 29.0 31.0 30.0 19.0 25.0 15.0 31

练习：行索引是风向，列索引是风力，值是最低气温的最小值，建一个透视表


df2 = pd.pivot_table(df                     
                     ,values=['最低气温']
                     ,index=['风向']
                     ,columns=['风力']
                     ,aggfunc='min'         # 设置值的计算方式
                     # ill_value='missing'  # 填充透视表中缺失值的方式，默认 NaN
                     ,margins=True         # 统计每行每列的情况
                     ,dropna=True          # 删除透视表中全部都为空值的列
                     ,margins_name='总计'  # 改变统计行和列的名称
                    )

df2
最低气温
风力 1级 2级 3级 4级 5级 6级 微风 总计
风向
东北风 2.0 -2.0 -3.0 6.0 NaN NaN NaN -3
东南风 0.0 -1.0 12.0 NaN NaN NaN NaN -1
东风 0.0 2.0 2.0 11.0 NaN NaN NaN 0
北风 -1.0 3.0 -1.0 -1.0 7.0 16.0 3.0 -1
南风 2.0 3.0 16.0 15.0 NaN NaN NaN 2
西北风 NaN 7.0 NaN NaN NaN 6.0 NaN 6
西南风 4.0 9.0 7.0 21.0 NaN NaN NaN 4
总计 -1.0 -2.0 -3.0 -1.0 7.0 6.0 3.0 -3

7.数据的分组、分割与合并、重塑

  • 1.按照出发地和目的地，生成旅游路线的平均价格汇总表
  • 2.汇总一个大表，包含出发地——目的地，路线总数以及平均价格
  • 3.查看出发地目的地的平均价格的透视分析
  • 4.从杭州出发—目的地-去程方式-平均价格的数据透视表
df_free=pd.read_csv('data/1.data清洗/qunar_free_trip.csv')
df_free.head(2)
出发地 目的地 价格 节省 路线名 酒店 房间 去程航司 去程方式 去程时间 回程航司 回程方式 回程时间
0 北京 厦门 1866 492 北京-厦门3天2晚 | 入住厦门温特雅酒店 + 联合航空/首都航空往返机票 厦门温特雅酒店 舒适型 3.9分/5分 标准房(大床)(预付) 大床 不含早 1间2晚 联合航空 KN5927 直飞 16:55-19:45 首都航空 JD5376 直飞 22:15-01:15
1 北京 厦门 2030 492 北京-厦门3天2晚 | 入住厦门华美达长升大酒店 + 联合航空/首都航空往返机票 厦门华美达长升大酒店 4.1分/5分 标准房(错峰出游) 大/双床 双早 1间2晚 联合航空 KN5927 直飞 16:55-19:45 首都航空 JD5376 直飞 22:15-01:15 
df_free.shape

(30821, 13)

df_all=pd.read_csv('data/1.data清洗/qunar_route_cnt.csv',encoding='utf-8')
df_all.head(2)
出发地 目的地 路线总数
0 北京 厦门 359
1 北京 青岛 471 
df_all.shape

(247, 3)

1. 按照出发地和目的地，生成旅游路线的平均价格汇总表

df_free.head(2)
出发地 目的地 价格 节省 路线名 酒店 房间 去程航司 去程方式 去程时间 回程航司 回程方式 回程时间
0 北京 厦门 1866 492 北京-厦门3天2晚 | 入住厦门温特雅酒店 + 联合航空/首都航空往返机票 厦门温特雅酒店 舒适型 3.9分/5分 标准房(大床)(预付) 大床 不含早 1间2晚 联合航空 KN5927 直飞 16:55-19:45 首都航空 JD5376 直飞 22:15-01:15
1 北京 厦门 2030 492 北京-厦门3天2晚 | 入住厦门华美达长升大酒店 + 联合航空/首都航空往返机票 厦门华美达长升大酒店 4.1分/5分 标准房(错峰出游) 大/双床 双早 1间2晚 联合航空 KN5927 直飞 16:55-19:45 首都航空 JD5376 直飞 22:15-01:15 
df_free.info()


RangeIndex: 30821 entries, 0 to 30820
Data columns (total 13 columns):
 #   Column  Non-Null Count  Dtype 
---  ------  --------------  ----- 
 0   出发地     30821 non-null  object
 1   目的地     30821 non-null  object
 2   价格      30821 non-null  int64 
 3   节省      30821 non-null  int64 
 4   路线名     30821 non-null  object
 5   酒店      30821 non-null  object
 6   房间      30821 non-null  object
 7   去程航司    30821 non-null  object
 8   去程方式    30821 non-null  object
 9   去程时间    30821 non-null  object
 10  回程航司    30821 non-null  object
 11  回程方式    30821 non-null  object
 12  回程时间    30821 non-null  object
dtypes: int64(2), object(11)
memory usage: 3.1+ MB

df_free.groupby(['出发地','目的地'],as_index=False).mean().head(3)
出发地 目的地 价格 节省
0 上海 三亚 1627.35 444.39
1 上海 丽江 1981.49 569.38
2 上海 乌鲁木齐 3223.76 711.80 
# 删除节省这一列
df1 = df_free.groupby(['出发地','目的地'],as_index=False).mean()
# del df1['节省']
df1.drop('节省',axis=1,inplace=True)

df1.head()
出发地 目的地 价格
0 上海 三亚 1627.3500
1 上海 丽江 1981.4900
2 上海 乌鲁木齐 3223.7600
3 上海 九寨沟 1893.7125
4 上海 北京 1317.0900 
df_free.groupby(['出发地','目的地'],as_index=False).agg({
     '价格':np.mean}).head(3)
出发地 目的地 价格
0 上海 三亚 1627.35
1 上海 丽江 1981.49
2 上海 乌鲁木齐 3223.76 
df_free.groupby(['出发地','目的地'],as_index=False)['价格'].mean().head(3)
出发地 目的地 价格
0 上海 三亚 1627.35
1 上海 丽江 1981.49
2 上海 乌鲁木齐 3223.76

2. 汇总一个大表，包含出发地—目的地，路线总数以及平均价格

df_free.head(2)
出发地 目的地 价格 节省 路线名 酒店 房间 去程航司 去程方式 去程时间 回程航司 回程方式 回程时间
0 北京 厦门 1866 492 北京-厦门3天2晚 | 入住厦门温特雅酒店 + 联合航空/首都航空往返机票 厦门温特雅酒店 舒适型 3.9分/5分 标准房(大床)(预付) 大床 不含早 1间2晚 联合航空 KN5927 直飞 16:55-19:45 首都航空 JD5376 直飞 22:15-01:15
1 北京 厦门 2030 492 北京-厦门3天2晚 | 入住厦门华美达长升大酒店 + 联合航空/首都航空往返机票 厦门华美达长升大酒店 4.1分/5分 标准房(错峰出游) 大/双床 双早 1间2晚 联合航空 KN5927 直飞 16:55-19:45 首都航空 JD5376 直飞 22:15-01:15 
new_df=df_free.groupby(['出发地','目的地'],as_index=False).mean()

new_df.head()
出发地 目的地 价格 节省
0 上海 三亚 1627.3500 444.390
1 上海 丽江 1981.4900 569.380
2 上海 乌鲁木齐 3223.7600 711.800
3 上海 九寨沟 1893.7125 492.425
4 上海 北京 1317.0900 344.650 
del new_df['节省']

new_df.head(3)
出发地 目的地 价格
0 上海 三亚 1627.35
1 上海 丽江 1981.49
2 上海 乌鲁木齐 3223.76 
new_df.shape

(313, 3)

df2 = new_df.set_index(['出发地','目的地'])
df2.head(3)
价格
出发地 目的地
上海 三亚 1627.35
丽江 1981.49
乌鲁木齐 3223.76 
df_free.groupby(['出发地','目的地']).agg({
     '价格':np.mean}) 
# 这一行代码即为上述所有df2生成代码的总和
价格
出发地 目的地
上海 三亚 1627.3500
丽江 1981.4900
乌鲁木齐 3223.7600
九寨沟 1893.7125
北京 1317.0900
... ... ...
青岛 海口 1718.7900
深圳 1738.4800
西安 1185.9400
重庆 1547.2900
长沙 1804.0100

313 rows × 1 columns

df_all.head()
出发地 目的地 路线总数
0 北京 厦门 359
1 北京 青岛 471
2 北京 杭州 1228
3 北京 丽江 1160
4 北京 九寨沟 168 
df3 = df_all.set_index(['出发地','目的地'])
df3
路线总数
出发地 目的地
北京 厦门 359
青岛 471
杭州 1228
丽江 1160
九寨沟 168
... ... ...
厦门 北京 1444
成都 丽江 1160
西安 876
武汉 厦门 352
杭州 1234

247 rows × 1 columns

df4 = pd.concat([df2,df3],axis=1,sort=True)
df4.head()
价格 路线总数
出发地 目的地
上海 三亚 1627.3500 397
丽江 1981.4900 1159
乌鲁木齐 3223.7600 136
九寨沟 1893.7125 168
北京 1317.0900 1444 
df4.head()
价格 路线总数
出发地 目的地
上海 三亚 1627.3500 397
丽江 1981.4900 1159
乌鲁木齐 3223.7600 136
九寨沟 1893.7125 168
北京 1317.0900 1444 
df4.shape

(313, 2)

# 删除缺失值
df4_ = df4.dropna()

df4_.shape

(247, 2)

用merge方法进行合并

new_df.head(3)
出发地 目的地 价格
0 上海 三亚 1627.35
1 上海 丽江 1981.49
2 上海 乌鲁木齐 3223.76 
df_all.head()
出发地 目的地 路线总数
0 北京 厦门 359
1 北京 青岛 471
2 北京 杭州 1228
3 北京 丽江 1160
4 北京 九寨沟 168 
df5 = pd.merge(new_df,df_all)
df5.head()
出发地 目的地 价格 路线总数
0 上海 三亚 1627.3500 397
1 上海 丽江 1981.4900 1159
2 上海 乌鲁木齐 3223.7600 136
3 上海 九寨沟 1893.7125 168
4 上海 北京 1317.0900 1444 
df5.shape

(247, 4)

3. 查看出发地目的地的平均价格的透视分析

df_free.head(2)
出发地 目的地 价格 节省 路线名 酒店 房间 去程航司 去程方式 去程时间 回程航司 回程方式 回程时间
0 北京 厦门 1866 492 北京-厦门3天2晚 | 入住厦门温特雅酒店 + 联合航空/首都航空往返机票 厦门温特雅酒店 舒适型 3.9分/5分 标准房(大床)(预付) 大床 不含早 1间2晚 联合航空 KN5927 直飞 16:55-19:45 首都航空 JD5376 直飞 22:15-01:15
1 北京 厦门 2030 492 北京-厦门3天2晚 | 入住厦门华美达长升大酒店 + 联合航空/首都航空往返机票 厦门华美达长升大酒店 4.1分/5分 标准房(错峰出游) 大/双床 双早 1间2晚 联合航空 KN5927 直飞 16:55-19:45 首都航空 JD5376 直飞 22:15-01:15 
pd.pivot_table(df_free,index=['出发地'],columns=['目的地'],values=['价格']).head(2)
价格
目的地 三亚 三亚湾 上海 丽江 乌鲁木齐 九寨沟 兰州 北京 北海 南京 ... 西安 鄂尔多斯 重庆 银川 长春 长沙 陵水 青岛 黄山 鼓浪屿
出发地
上海 1627.35 NaN NaN 1981.49 3223.76 1893.7125 NaN 1317.09 NaN NaN ... 1381.83 NaN 1641.17 NaN NaN 1147.92 NaN 886.32 1290.33 NaN
北京 2760.40 NaN NaN 1958.16 2362.06 1953.7400 NaN NaN NaN NaN ... 1283.86 NaN NaN 1025.14 NaN 1300.92 NaN 1016.96 NaN NaN

2 rows × 52 columns

4. 从杭州出发-目的地-去程方式-平均价格的数据透视表

dff = df_free[df_free['出发地']=='杭州']

dff.head(3)
出发地 目的地 价格 节省 路线名 酒店 房间 去程航司 去程方式 去程时间 回程航司 回程方式 回程时间
8760 杭州 厦门 1172 326 杭州-厦门3天2晚 | 入住厦门温特雅酒店 + 山东航空往返机票 厦门温特雅酒店 舒适型 3.9分/5分 标准房(大床)(预付) 大床 不含早 1间2晚 山东航空 SC1174 直飞 22:10-23:45 山东航空 SC8837 直飞 06:50-08:20
8761 杭州 厦门 1336 326 杭州-厦门3天2晚 | 入住厦门华美达长升大酒店 + 山东航空往返机票 厦门华美达长升大酒店 4.1分/5分 标准房(错峰出游) 大/双床 双早 1间2晚 山东航空 SC1174 直飞 22:10-23:45 山东航空 SC8837 直飞 06:50-08:20
8762 杭州 厦门 1445 367 杭州-厦门3天2晚 | 入住厦门毕思特酒店 + 山东航空往返机票 厦门毕思特酒店 高档型 4.4分/5分 标准大床房(特惠)[双... 大床 双早 1间2晚 山东航空 SC1174 直飞 22:10-23:45 山东航空 SC8837 直飞 06:50-08:20 
dff['出发地'].value_counts()

杭州    2053
Name: 出发地, dtype: int64

dff.shape

(2053, 13)

pd.pivot_table(dff,values=['价格'],
               index=['出发地','目的地'],
               columns=['去程方式'])
价格
去程方式 直飞 经停
出发地 目的地
杭州 三亚 1839.35 NaN
丽江 NaN 2918.320000
九寨沟 NaN 1952.700000
北海 NaN 2910.000000
厦门 1208.38 NaN
呼和浩特 NaN 1557.570000
哈尔滨 NaN 1690.990000
大连 1710.09 NaN
天子山 1682.03 NaN
天津 1506.03 NaN
张家界 1682.03 NaN
成都 NaN 1898.811111
桂林 1438.98 NaN
武汉 1190.16 NaN
沈阳 1948.03 NaN
西双版纳 NaN 1716.310000
西宁 NaN 2851.820000
西安 1242.89 NaN
重庆 1644.17 NaN
长沙 1160.92 NaN
青岛 1049.23 NaN

8. 缺失值、异常值、重复值的处理

data = pd.read_csv('data/1.data清洗/hz_weather.csv')
data.head()
日期 最高气温 最低气温 天气 风向 风力
0 2017-01-01 17 7 晴 西北风 2级
1 2017-01-02 16 8 多云 东北风 2级
2 2017-01-03 15 8 多云 东北风 1级
3 2017-01-04 15 11 小雨 西北风 2级
4 2017-01-05 13 11 小到中雨 北风 2级 
data.shape

(118, 6)

data.isnull().sum()

日期      0
最高气温    0
最低气温    0
天气      0
风向      0
风力      0
dtype: int64

# 求缺失值的比例
data.isnull().mean()

日期      0.0
最高气温    0.0
最低气温    0.0
天气      0.0
风向      0.0
风力      0.0
dtype: float64

data2=pd.pivot_table(data,
                     index=['天气'],
                     columns=['风向'],
                     values=['最高气温'])
data2
最高气温
风向 东北风 东南风 东风 北风 南风 西北风 西南风
天气
中雨 11.000000 NaN 18.5 11.000000 NaN NaN NaN
多云 14.111111 13.75 15.0 13.333333 24.333333 21.0 18.666667
小到中雨 NaN NaN NaN 13.000000 NaN NaN NaN
小雨 13.500000 11.00 14.5 9.250000 NaN 14.0 13.000000
晴 10.250000 15.80 18.0 18.000000 19.000000 18.0 27.500000
阴 13.500000 16.00 13.0 15.600000 14.000000 11.0 NaN
阵雨 NaN 21.00 26.0 15.333333 28.000000 12.0 27.500000
雨夹雪 NaN NaN NaN 7.000000 NaN NaN NaN 
# 缺失值的比例
data2.isnull().mean()  
# 求缺失值比例的取巧方法

      风向 
最高气温  东北风    0.375
      东南风    0.375
      东风     0.250
      北风     0.000
      南风     0.500
      西北风    0.375
      西南风    0.500
dtype: float64

data2.isnull().sum()/data2.shape[0] 
# 求缺失值比例常规写法

      风向 
最高气温  东北风    0.375
      东南风    0.375
      东风     0.250
      北风     0.000
      南风     0.500
      西北风    0.375
      西南风    0.500
dtype: float64

data2.mean()

      风向 
最高气温  东北风    12.472222
      东南风    15.510000
      东风     17.500000
      北风     12.814583
      南风     21.333333
      西北风    15.200000
      西南风    21.666667
dtype: float64

data2.fillna(data2.mean()) 
# 最常用的方法是用均值填充缺失值
# 每列填充每一列的均值
最高气温
风向 东北风 东南风 东风 北风 南风 西北风 西南风
天气
中雨 11.000000 15.51 18.5 11.000000 21.333333 15.2 21.666667
多云 14.111111 13.75 15.0 13.333333 24.333333 21.0 18.666667
小到中雨 12.472222 15.51 17.5 13.000000 21.333333 15.2 21.666667
小雨 13.500000 11.00 14.5 9.250000 21.333333 14.0 13.000000
晴 10.250000 15.80 18.0 18.000000 19.000000 18.0 27.500000
阴 13.500000 16.00 13.0 15.600000 14.000000 11.0 21.666667
阵雨 12.472222 21.00 26.0 15.333333 28.000000 12.0 27.500000
雨夹雪 12.472222 15.51 17.5 7.000000 21.333333 15.2 21.666667

删除空值
可使用函数df.dropna,并不会改变原始数据

data2.dropna() 
# 默认删除含有缺失值的行
最高气温
风向 东北风 东南风 东风 北风 南风 西北风 西南风
天气
多云 14.111111 13.75 15.0 13.333333 24.333333 21.0 18.666667
晴 10.250000 15.80 18.0 18.000000 19.000000 18.0 27.500000 
data2.dropna(axis=1,how='all')
最高气温
风向 东北风 东南风 东风 北风 南风 西北风 西南风
天气
中雨 11.000000 NaN 18.5 11.000000 NaN NaN NaN
多云 14.111111 13.75 15.0 13.333333 24.333333 21.0 18.666667
小到中雨 NaN NaN NaN 13.000000 NaN NaN NaN
小雨 13.500000 11.00 14.5 9.250000 NaN 14.0 13.000000
晴 10.250000 15.80 18.0 18.000000 19.000000 18.0 27.500000
阴 13.500000 16.00 13.0 15.600000 14.000000 11.0 NaN
阵雨 NaN 21.00 26.0 15.333333 28.000000 12.0 27.500000
雨夹雪 NaN NaN NaN 7.000000 NaN NaN NaN

缺失值的填充

# 1、使用字符串来填充
data2.fillna('missing')
最高气温
风向 东北风 东南风 东风 北风 南风 西北风 西南风
天气
中雨 11 missing 18.5 11.000000 missing missing missing
多云 14.1111 13.75 15 13.333333 24.3333 21 18.6667
小到中雨 missing missing missing 13.000000 missing missing missing
小雨 13.5 11 14.5 9.250000 missing 14 13
晴 10.25 15.8 18 18.000000 19 18 27.5
阴 13.5 16 13 15.600000 14 11 missing
阵雨 missing 21 26 15.333333 28 12 27.5
雨夹雪 missing missing missing 7.000000 missing missing missing 
# 2、使用前一个数据来代替缺失值
data2.fillna(method='pad',limit=1)
最高气温
风向 东北风 东南风 东风 北风 南风 西北风 西南风
天气
中雨 11.000000 NaN 18.5 11.000000 NaN NaN NaN
多云 14.111111 13.75 15.0 13.333333 24.333333 21.0 18.666667
小到中雨 14.111111 13.75 15.0 13.000000 24.333333 21.0 18.666667
小雨 13.500000 11.00 14.5 9.250000 NaN 14.0 13.000000
晴 10.250000 15.80 18.0 18.000000 19.000000 18.0 27.500000
阴 13.500000 16.00 13.0 15.600000 14.000000 11.0 27.500000
阵雨 13.500000 21.00 26.0 15.333333 28.000000 12.0 27.500000
雨夹雪 NaN 21.00 26.0 7.000000 28.000000 12.0 27.500000 
# 使用后一个值来填充bfill
data2.bfill()
最高气温
风向 东北风 东南风 东风 北风 南风 西北风 西南风
天气
中雨 11.000000 13.75 18.5 11.000000 24.333333 21.0 18.666667
多云 14.111111 13.75 15.0 13.333333 24.333333 21.0 18.666667
小到中雨 13.500000 11.00 14.5 13.000000 19.000000 14.0 13.000000
小雨 13.500000 11.00 14.5 9.250000 19.000000 14.0 13.000000
晴 10.250000 15.80 18.0 18.000000 19.000000 18.0 27.500000
阴 13.500000 16.00 13.0 15.600000 14.000000 11.0 27.500000
阵雨 NaN 21.00 26.0 15.333333 28.000000 12.0 27.500000
雨夹雪 NaN NaN NaN 7.000000 NaN NaN NaN 
# 均值填充
data2.fillna(data2.mean())  #最常用
最高气温
风向 东北风 东南风 东风 北风 南风 西北风 西南风
天气
中雨 11.000000 15.51 18.5 11.000000 21.333333 15.2 21.666667
多云 14.111111 13.75 15.0 13.333333 24.333333 21.0 18.666667
小到中雨 12.472222 15.51 17.5 13.000000 21.333333 15.2 21.666667
小雨 13.500000 11.00 14.5 9.250000 21.333333 14.0 13.000000
晴 10.250000 15.80 18.0 18.000000 19.000000 18.0 27.500000
阴 13.500000 16.00 13.0 15.600000 14.000000 11.0 21.666667
阵雨 12.472222 21.00 26.0 15.333333 28.000000 12.0 27.500000
雨夹雪 12.472222 15.51 17.5 7.000000 21.333333 15.2 21.666667

异常值的处理

# 定义x>3标准差或<-3标准差

data = pd.read_csv('data/1.data清洗/hz_weather.csv')
data
日期 最高气温 最低气温 天气 风向 风力
0 2017-01-01 17 7 晴 西北风 2级
1 2017-01-02 16 8 多云 东北风 2级
2 2017-01-03 15 8 多云 东北风 1级
3 2017-01-04 15 11 小雨 西北风 2级
4 2017-01-05 13 11 小到中雨 北风 2级
... ... ... ... ... ... ...
113 2017-04-26 19 13 阵雨 北风 5级
114 2017-04-27 21 11 多云 西北风 2级
115 2017-04-28 26 13 晴 西南风 2级
116 2017-04-29 29 15 晴 西南风 3级
117 2017-04-30 29 16 多云 东风 2级

118 rows × 6 columns

low = data['最高气温'].mean()-3*data['最高气温'].std()
high = data['最高气温'].mean()+3*data['最高气温'].std()

(data['最高气温'] > high) | (data['最高气温'] < low) 
data[(data['最高气温'] > high) | (data['最高气温'] < low) ]
日期 最高气温 最低气温 天气 风向 风力 
def func(data,column):
    high = data[column].mean() + 3 * data[column].std()
    low = data[column].mean() - 3* data[column].std()
    res_df = data[(data[column] > high) | (data[column]< low)]
    return res_df

func(data,'最低气温')
日期 最高气温 最低气温 天气 风向 风力 
data.head()
日期 最高气温 最低气温 天气 风向 风力
0 2017-01-01 17 7 晴 西北风 2级
1 2017-01-02 16 8 多云 东北风 2级
2 2017-01-03 15 8 多云 东北风 1级
3 2017-01-04 15 11 小雨 西北风 2级
4 2017-01-05 13 11 小到中雨 北风 2级 
data.info()


RangeIndex: 118 entries, 0 to 117
Data columns (total 6 columns):
 #   Column  Non-Null Count  Dtype 
---  ------  --------------  ----- 
 0   日期      118 non-null    object
 1   最高气温    118 non-null    int64 
 2   最低气温    118 non-null    int64 
 3   天气      118 non-null    object
 4   风向      118 non-null    object
 5   风力      118 non-null    object
dtypes: int64(2), object(4)
memory usage: 5.7+ KB

data['最高气温'].std()

6.3899548141154945

data['最高气温'].mean()

15.542372881355933

l = data['最高气温'].mean()-2*data['最高气温'].std()
h = data['最高气温'].mean()+2*data['最高气温'].std()
((data['最高气温']<l)|(data['最高气温']>h)).sum()

5

h = data['最高气温'].mean()+2*data['最高气温'].std()

# 在原数据集中增加一列‘异常值’(超过2倍标准差算异常值)
data['异常值'] = (data['最高气温']<l) | (data['最高气温']>h)

data.head()
日期 最高气温 最低气温 天气 风向 风力 异常值
0 2017-01-01 17 7 晴 西北风 2级 False
1 2017-01-02 16 8 多云 东北风 2级 False
2 2017-01-03 15 8 多云 东北风 1级 False
3 2017-01-04 15 11 小雨 西北风 2级 False
4 2017-01-05 13 11 小到中雨 北风 2级 False 
data['异常值'].value_counts()

False    113
True       5
Name: 异常值, dtype: int64

# 计算异常值的方法二
sta=(data['最高气温']-data['最高气温'].mean())/data['最高气温'].std()
sta

0      0.228112
1      0.071617
2     -0.084879
3     -0.084879
4     -0.397870
         ...   
113    0.541104
114    0.854095
115    1.636573
116    2.106060
117    2.106060
Name: 最高气温, Length: 118, dtype: float64

sum(sta.abs()>2)

5

data['是否异常']= sta.abs()>2

data.head()
日期 最高气温 最低气温 天气 风向 风力 异常值 是否异常
0 2017-01-01 17 7 晴 西北风 2级 False False
1 2017-01-02 16 8 多云 东北风 2级 False False
2 2017-01-03 15 8 多云 东北风 1级 False False
3 2017-01-04 15 11 小雨 西北风 2级 False False
4 2017-01-05 13 11 小到中雨 北风 2级 False False 
data[data['是否异常']==True]
日期 最高气温 最低气温 天气 风向 风力 异常值 是否异常
102 2017-04-15 31 17 多云 南风 3级 True True
103 2017-04-16 30 21 阵雨 西南风 4级 True True
105 2017-04-18 29 16 晴 北风 3级 True True
116 2017-04-29 29 15 晴 西南风 3级 True True
117 2017-04-30 29 16 多云 东风 2级 True True

重复值duplicated

grade = pd.read_csv("data/1.data清洗/student_grade.txt",sep="\t")
grade_one = grade.head().copy()
grade_two = grade.iloc[3:8].copy()
data = grade_one.append(grade_two,ignore_index=True)
data[data.duplicated()] # 判断是不是重复数据
data.drop_duplicates() # 删除完全相同的行
data.drop_duplicates(subset="英语")
data.drop_duplicates(subset=["英语","语文"])
data.drop_duplicates(subset=["英语","语文"],inplace=True)

data.head()
姓名 语文 数学 英语 总分 班名次
0 杨璐 131 143 144 418 1
2 韩林霖 127 139 142 408 3
3 沙龙逸 123 148 136 407 4
4 李鉴学 126 135 140 401 5
7 韩雨萌 129 133 138 400 6 
data.duplicated().sum()

0

data.duplicated().sum() 
# 检查重复值，对整行进行比较

0

sum(data.duplicated())
# 检查重复值

0

data = pd.read_csv('data/1.data清洗/hz_weather.csv')
# 检查重复值，并计算重复值的比例
data['最高气温'].duplicated().mean()

0.7796610169491526

data['最高气温'].duplicated().sum()/len(data['最高气温'])

0.7796610169491526

d2=data.drop_duplicates('最高气温') 
# drop_duplicates删除

d2
日期 最高气温 最低气温 天气 风向 风力
0 2017-01-01 17 7 晴 西北风 2级
1 2017-01-02 16 8 多云 东北风 2级
2 2017-01-03 15 8 多云 东北风 1级
4 2017-01-05 13 11 小到中雨 北风 2级
5 2017-01-06 12 10 小雨 东北风 1级
6 2017-01-07 11 9 中雨 北风 2级
9 2017-01-10 9 4 多云 北风 1级
10 2017-01-11 8 5 小雨 北风 1级
11 2017-01-12 7 4 小雨 西南风 1级
12 2017-01-13 10 1 多云 北风 1级
19 2017-01-20 6 -3 晴 东北风 3级
28 2017-01-29 20 4 多云 北风 3级
45 2017-02-15 18 7 晴 南风 1级
46 2017-02-16 19 9 小雨 西南风 2级
49 2017-02-19 21 7 多云 西南风 3级
75 2017-03-19 14 10 小雨 东风 1级
84 2017-03-28 22 12 多云 西南风 3级
90 2017-04-03 23 12 多云 东风 4级
91 2017-04-04 25 15 多云 南风 4级
92 2017-04-05 26 16 阴 北风 4级
93 2017-04-06 27 18 中雨 东风 4级
101 2017-04-14 28 16 晴 南风 3级
102 2017-04-15 31 17 多云 南风 3级
103 2017-04-16 30 21 阵雨 西南风 4级
105 2017-04-18 29 16 晴 北风 3级
110 2017-04-23 24 12 晴 东风 2级 
d2['最高气温'].value_counts()

31    1
30    1
7     1
8     1
9     1
10    1
11    1
12    1
13    1
14    1
15    1
16    1
17    1
18    1
19    1
20    1
21    1
22    1
23    1
24    1
25    1
26    1
27    1
28    1
29    1
6     1
Name: 最高气温, dtype: int64

9. 文本字符串的处理

import numpy as np
import pandas as pd

df_pop=pd.read_csv('data/1.data清洗/european_cities.csv')
df_pop.head()
Rank City State Population Date of census/estimate
0 1 London[2] United Kingdom 8,615,246 1 June 2014
1 2 Berlin Germany 3,437,916 31 May 2014
2 3 Madrid Spain 3,165,235 1 January 2014
3 4 Rome Italy 2,872,086 30 September 2014
4 5 Paris France 2,273,305 1 January 2013 
df_pop.shape

(105, 5)

df_pop.info()


RangeIndex: 105 entries, 0 to 104
Data columns (total 5 columns):
 #   Column                   Non-Null Count  Dtype 
---  ------                   --------------  ----- 
 0   Rank                     105 non-null    int64 
 1   City                     105 non-null    object
 2   State                    105 non-null    object
 3   Population               105 non-null    object
 4   Date of census/estimate  105 non-null    object
dtypes: int64(1), object(4)
memory usage: 4.2+ KB

1 处理中间有，（）之类的数据：replace(’,’,’’)

df_pop['Population'][:3]

0    8,615,246
1    3,437,916
2    3,165,235
Name: Population, dtype: object

type(df_pop['Population'][0])

str

int(df_pop['Population'][0].replace(',',''))

8615246

实现方法一：

df_pop.shape[0]

105

#方法一：
re = []  # 放置最后结果
for i in range(df_pop.shape[0]):
    re.append(int(df_pop['Population'][i].replace(',','')))

len(re)

105

df_pop['Pop'] = re

df_pop.info()


RangeIndex: 105 entries, 0 to 104
Data columns (total 6 columns):
 #   Column                   Non-Null Count  Dtype 
---  ------                   --------------  ----- 
 0   Rank                     105 non-null    int64 
 1   City                     105 non-null    object
 2   State                    105 non-null    object
 3   Population               105 non-null    object
 4   Date of census/estimate  105 non-null    object
 5   Pop                      105 non-null    int64 
dtypes: int64(2), object(4)
memory usage: 5.0+ KB

df_pop.head()
Rank City State Population Date of census/estimate Pop
0 1 London[2] United Kingdom 8,615,246 1 June 2014 8615246
1 2 Berlin Germany 3,437,916 31 May 2014 3437916
2 3 Madrid Spain 3,165,235 1 January 2014 3165235
3 4 Rome Italy 2,872,086 30 September 2014 2872086
4 5 Paris France 2,273,305 1 January 2013 2273305 
df_pop.info()


RangeIndex: 105 entries, 0 to 104
Data columns (total 6 columns):
 #   Column                   Non-Null Count  Dtype 
---  ------                   --------------  ----- 
 0   Rank                     105 non-null    int64 
 1   City                     105 non-null    object
 2   State                    105 non-null    object
 3   Population               105 non-null    object
 4   Date of census/estimate  105 non-null    object
 5   Pop                      105 non-null    int64 
dtypes: int64(2), object(4)
memory usage: 5.0+ KB

实现方法二：

df_pop['Population'].apply(lambda x:int(x.replace(',','')))

0      8615246
1      3437916
2      3165235
3      2872086
4      2273305
        ...   
100     309869
101     309105
102     308735
103     308269
104     306888
Name: Population, Length: 105, dtype: int64

# 将每一行字符串进行替换处理，将，替换为空
df_pop['subtr']=df_pop['Population'].apply(lambda x:int(x.replace(',','')))
# lambda相当于函数
# def rep(x):
#     return x.replace(',','')
# apply 循环

df_pop.head()
Rank City State Population Date of census/estimate Pop subtr
0 1 London[2] United Kingdom 8,615,246 1 June 2014 8615246 8615246
1 2 Berlin Germany 3,437,916 31 May 2014 3437916 3437916
2 3 Madrid Spain 3,165,235 1 January 2014 3165235 3165235
3 4 Rome Italy 2,872,086 30 September 2014 2872086 2872086
4 5 Paris France 2,273,305 1 January 2013 2273305 2273305

2. 通常对文本型数据进行去除前后空格处理：strip()

df_pop.columns

Index(['Rank', 'City', 'State', 'Population', 'Date of census/estimate', 'Pop',
       'subtr'],
      dtype='object')

df_pop['State'].values

array([' United Kingdom', ' Germany', ' Spain', ' Italy', ' France',
       ' Romania', ' Austria', ' Germany', ' Hungary', ' Poland',
       ' Spain', ' Germany', ' Italy', ' Bulgaria', ' Czech Republic',
       ' Belgium', ' United Kingdom', ' Germany', ' Italy', ' Sweden',
       ' Italy', ' France', ' Netherlands', ' Croatia', ' Spain',
       ' Poland', ' United Kingdom', ' Poland', ' Germany', ' Latvia',
       ' Spain', ' Italy', ' Spain', ' Greece', ' Poland', ' Netherlands',
       ' Finland', ' Germany', ' United Kingdom', ' Italy', ' Germany',
       ' Germany', ' Germany', ' Spain', ' Denmark', ' United Kingdom',
       ' Portugal', ' Poland', ' Germany', ' Lithuania', ' Germany',
       ' Germany', ' Sweden', ' Ireland', ' United Kingdom', ' Germany',
       ' Netherlands', ' United Kingdom', ' Belgium', ' United Kingdom',
       ' Germany', ' Germany', ' France', ' United Kingdom', ' Poland',
       ' France', ' Spain', ' Estonia', ' United Kingdom',
       'Slovakia Slovak Republic', ' Poland', ' Spain', ' Italy',
       ' Spain', ' Italy', ' Czech Republic', ' Poland', ' Germany',
       ' Spain', ' United Kingdom', ' Poland', ' France', ' Germany',
       ' Bulgaria', ' Bulgaria', ' Spain', ' United Kingdom',
       ' Netherlands', ' Spain', ' Germany', ' United Kingdom',
       ' Denmark', ' Romania', ' United Kingdom', ' Italy', ' Greece',
       ' United Kingdom', ' Romania', ' Italy', ' Spain', ' Germany',
       ' Sweden', ' United Kingdom', ' Poland', ' Lithuania'],
      dtype=object)

df_pop['State'][0].strip() 
# strip的功能是去除前后空格
# lstrip去除左边的空格
# rstrip去除右边的空格

'United Kingdom'

str_stri=df_pop['State'].apply(lambda x: x.strip())
str_stri[10]

'Spain'

df_pop['State']=str_stri 
# 替换掉原来的国家名

df_pop['State'].values

array(['United Kingdom', 'Germany', 'Spain', 'Italy', 'France', 'Romania',
       'Austria', 'Germany', 'Hungary', 'Poland', 'Spain', 'Germany',
       'Italy', 'Bulgaria', 'Czech Republic', 'Belgium', 'United Kingdom',
       'Germany', 'Italy', 'Sweden', 'Italy', 'France', 'Netherlands',
       'Croatia', 'Spain', 'Poland', 'United Kingdom', 'Poland',
       'Germany', 'Latvia', 'Spain', 'Italy', 'Spain', 'Greece', 'Poland',
       'Netherlands', 'Finland', 'Germany', 'United Kingdom', 'Italy',
       'Germany', 'Germany', 'Germany', 'Spain', 'Denmark',
       'United Kingdom', 'Portugal', 'Poland', 'Germany', 'Lithuania',
       'Germany', 'Germany', 'Sweden', 'Ireland', 'United Kingdom',
       'Germany', 'Netherlands', 'United Kingdom', 'Belgium',
       'United Kingdom', 'Germany', 'Germany', 'France', 'United Kingdom',
       'Poland', 'France', 'Spain', 'Estonia', 'United Kingdom',
       'Slovakia Slovak Republic', 'Poland', 'Spain', 'Italy', 'Spain',
       'Italy', 'Czech Republic', 'Poland', 'Germany', 'Spain',
       'United Kingdom', 'Poland', 'France', 'Germany', 'Bulgaria',
       'Bulgaria', 'Spain', 'United Kingdom', 'Netherlands', 'Spain',
       'Germany', 'United Kingdom', 'Denmark', 'Romania',
       'United Kingdom', 'Italy', 'Greece', 'United Kingdom', 'Romania',
       'Italy', 'Spain', 'Germany', 'Sweden', 'United Kingdom', 'Poland',
       'Lithuania'], dtype=object)

3 正则表达式（pandas）

# 如果我们想要在一系列文本提取信息,可以使用正则表达式
# 正则表达式通常被用来检索某个规则的文本

import numpy as np 
import pandas as pd

df1=pd.read_csv('data/1.data清洗/getlinks.csv')
df1
title link
0 网民最喜欢的旅游目的地榜单出炉 http://cntour.cn/news/4221/
1 让生活更幸福是旅游业的使命 http://cntour.cn/news/4212/
2 “一带一路”国家中东欧游客增两倍 http://cntour.cn/news/4202/
3 旅游业改革开启旅游强国新篇章 http://cntour.cn/news/4191/ 
df1.shape

(4, 2)

df1['link']

0    http://cntour.cn/news/4221/
1    http://cntour.cn/news/4212/
2    http://cntour.cn/news/4202/
3    http://cntour.cn/news/4191/
Name: link, dtype: object

pandas使用str.extract提取信息

# 提取一个数字
df1['link'].str.extract('(\d)',expand=False )
# expand=False (return Index/Series)

0    4
1    4
2    4
3    4
Name: link, dtype: object

# 提取一个数字及其之后的所有数字
df1['link'].str.extract('(\d+)',expand=True )
# expand=True (return DataFrame)
0
0 4221
1 4212
2 4202
3 4191 
# 提取一个数字及其之后的所有内容
df1['link'].str.extract('(\d.*)',expand=True )
0
0 4221/
1 4212/
2 4202/
3 4191/ 
df1['link']

0    http://cntour.cn/news/4221/
1    http://cntour.cn/news/4212/
2    http://cntour.cn/news/4202/
3    http://cntour.cn/news/4191/
Name: link, dtype: object

# 提取两个//之间的一个数字及其之后所有内容
df1['link'].str.extract('/(\d.*)/',expand=True ) 
# 括号与‘’之间的内容表示起止
0
0 4221
1 4212
2 4202
3 4191 
df1['link'].str.extract('//(.+)/',expand=True  ) # 贪婪
0
0 cntour.cn/news/4221
1 cntour.cn/news/4212
2 cntour.cn/news/4202
3 cntour.cn/news/4191 
df1['link'].str.extract('//(.*)/',expand=True ) # 贪婪
0
0 cntour.cn/news/4221
1 cntour.cn/news/4212
2 cntour.cn/news/4202
3 cntour.cn/news/4191 
df1['link'].str.extract('//(.+?)/',expand=True ) 
# 非贪婪,?是阻止贪婪模式
0
0 cntour.cn
1 cntour.cn
2 cntour.cn
3 cntour.cn 
df1['link']

0    http://cntour.cn/news/4221/
1    http://cntour.cn/news/4212/
2    http://cntour.cn/news/4202/
3    http://cntour.cn/news/4191/
Name: link, dtype: object

练习1：匹配所有的cntour
练习2：匹配出所有的news




df1['link'].str.extract('//(.*).cn')
0
0 cntour
1 cntour
2 cntour
3 cntour 
df1['link'].str.extract('//(.+)\.',expand=True )
#\ 就是转义，\.表示将.变为它本来的意义
0
0 cntour
1 cntour
2 cntour
3 cntour 
df1['link'].str.extract('n/(.+?)/')
0
0 news
1 news
2 news
3 news

【知识点】
*和 + 这两个限定符都是贪婪的，因为他们会尽可能多的匹配文字
当加上？，实现非贪婪匹配，也叫最小匹配

10.实战演练

df=pd.read_csv('data/1.data清洗/qunar_routes.csv')
df.head()
出发地 目的地 路线信息 酒店信息
0 杭州 丽江 机酒自由行\n丽江5日自由行,入住丽江添富太和休闲度假酒店+接送机,品古城文化,享至尊服务,... 4.4分\n高档型
1 杭州 丽江 机酒自由行\n丽江6日自由行,入住丽江添富太和休闲度假酒店+接送机,品古城文化,享至尊服务,... 4.4分\n高档型
2 杭州 丽江 机酒自由行\n丽江+香格里拉 丽江+香格里拉6日自由行,机票+特色客栈,丽江往返+接机\n特... 4.4分\n经济型
3 杭州 丽江 机酒自由行\n丽江+大理 丽江、大理双城6天自由行,3晚丽江特色客栈,2晚大理洱海边客栈,赠... 4.4分\n经济型
4 杭州 丽江 机酒自由行\n丽江5日自由行,入住丽江听心祥和院+接送机\n5天4晚|天天出发|飞机|舒适游... 4.7分\n高档型 
df.shape

(120, 4)

df.info()


RangeIndex: 120 entries, 0 to 119
Data columns (total 4 columns):
 #   Column  Non-Null Count  Dtype 
---  ------  --------------  ----- 
 0   出发地     120 non-null    object
 1   目的地     120 non-null    object
 2   路线信息    120 non-null    object
 3   酒店信息    120 non-null    object
dtypes: object(4)
memory usage: 3.9+ KB

df.酒店信息[:5]

0    4.4分\n高档型
1    4.4分\n高档型
2    4.4分\n经济型
3    4.4分\n经济型
4    4.7分\n高档型
Name: 酒店信息, dtype: object

# 提取酒店评分
df["酒店评分"] = df.酒店信息.str.extract('(.+)分',expand=False)
df.head()
出发地 目的地 路线信息 酒店信息 酒店评分
0 杭州 丽江 机酒自由行\n丽江5日自由行,入住丽江添富太和休闲度假酒店+接送机,品古城文化,享至尊服务,... 4.4分\n高档型 4.4
1 杭州 丽江 机酒自由行\n丽江6日自由行,入住丽江添富太和休闲度假酒店+接送机,品古城文化,享至尊服务,... 4.4分\n高档型 4.4
2 杭州 丽江 机酒自由行\n丽江+香格里拉 丽江+香格里拉6日自由行,机票+特色客栈,丽江往返+接机\n特... 4.4分\n经济型 4.4
3 杭州 丽江 机酒自由行\n丽江+大理 丽江、大理双城6天自由行,3晚丽江特色客栈,2晚大理洱海边客栈,赠... 4.4分\n经济型 4.4
4 杭州 丽江 机酒自由行\n丽江5日自由行,入住丽江听心祥和院+接送机\n5天4晚|天天出发|飞机|舒适游... 4.7分\n高档型 4.7 
# 提取酒店等级
df['酒店等级']=df.酒店信息.str.extract('\n(.*)',expand=False)
df.head()
出发地 目的地 路线信息 酒店信息 酒店评分 酒店等级
0 杭州 丽江 机酒自由行\n丽江5日自由行,入住丽江添富太和休闲度假酒店+接送机,品古城文化,享至尊服务,... 4.4分\n高档型 4.4 高档型
1 杭州 丽江 机酒自由行\n丽江6日自由行,入住丽江添富太和休闲度假酒店+接送机,品古城文化,享至尊服务,... 4.4分\n高档型 4.4 高档型
2 杭州 丽江 机酒自由行\n丽江+香格里拉 丽江+香格里拉6日自由行,机票+特色客栈,丽江往返+接机\n特... 4.4分\n经济型 4.4 经济型
3 杭州 丽江 机酒自由行\n丽江+大理 丽江、大理双城6天自由行,3晚丽江特色客栈,2晚大理洱海边客栈,赠... 4.4分\n经济型 4.4 经济型
4 杭州 丽江 机酒自由行\n丽江5日自由行,入住丽江听心祥和院+接送机\n5天4晚|天天出发|飞机|舒适游... 4.7分\n高档型 4.7 高档型 
df['路线信息'][11]

'自由行\n昆明+大理+丽江+香格里拉 云南旅游新模式，分离试旅游。丽江自由行，云南/大理/丽江香格里拉10天9晚游\n洱海湾\n10天9晚|天天出发|直飞|大理金沙半岛海景养生酒店\n5.0分 | 已售23人\n\uf2442180起/人'

df['路线信息'][56]

'自由行\n丽江+大理 往返直飞丽江+泸沽湖+大理7天自由行 送特色美食旅游车接机4星入住\n多商圈, 含接送机\n7天6晚|天天出发|直飞|多酒店可选\n\uf2443198起/人'

df['路线信息'][33]

'自由行\n昆明+西双版纳+丽江 VIP私人定制环飞：私家团：昆明-西双版纳万达主题乐园-丽江冰川公园7日游！\n豪华型新城印象丽江\n7天6晚|天天出发|飞机|丽江官房大酒店旗店区\n5.0分 | 已售26人\n\uf2446080起/人专享红包团'

# 提取价格信息
df["价格"]=df.路线信息.str.extract('(\d+)起/人',expand=False)
df.head()
出发地 目的地 路线信息 酒店信息 酒店评分 酒店等级 价格
0 杭州 丽江 机酒自由行\n丽江5日自由行,入住丽江添富太和休闲度假酒店+接送机,品古城文化,享至尊服务,... 4.4分\n高档型 4.4 高档型 1888
1 杭州 丽江 机酒自由行\n丽江6日自由行,入住丽江添富太和休闲度假酒店+接送机,品古城文化,享至尊服务,... 4.4分\n高档型 4.4 高档型 1872
2 杭州 丽江 机酒自由行\n丽江+香格里拉 丽江+香格里拉6日自由行,机票+特色客栈,丽江往返+接机\n特... 4.4分\n经济型 4.4 经济型 1517
3 杭州 丽江 机酒自由行\n丽江+大理 丽江、大理双城6天自由行,3晚丽江特色客栈,2晚大理洱海边客栈,赠... 4.4分\n经济型 4.4 经济型 1612
4 杭州 丽江 机酒自由行\n丽江5日自由行,入住丽江听心祥和院+接送机\n5天4晚|天天出发|飞机|舒适游... 4.7分\n高档型 4.7 高档型 1740 
# 提取天数信息
df['天数']=df.路线信息.str.extract('(\d+)天\d晚',expand=False)
df.head()
出发地 目的地 路线信息 酒店信息 酒店评分 酒店等级 价格 天数
0 杭州 丽江 机酒自由行\n丽江5日自由行,入住丽江添富太和休闲度假酒店+接送机,品古城文化,享至尊服务,... 4.4分\n高档型 4.4 高档型 1888 5
1 杭州 丽江 机酒自由行\n丽江6日自由行,入住丽江添富太和休闲度假酒店+接送机,品古城文化,享至尊服务,... 4.4分\n高档型 4.4 高档型 1872 6
2 杭州 丽江 机酒自由行\n丽江+香格里拉 丽江+香格里拉6日自由行,机票+特色客栈,丽江往返+接机\n特... 4.4分\n经济型 4.4 经济型 1517 6
3 杭州 丽江 机酒自由行\n丽江+大理 丽江、大理双城6天自由行,3晚丽江特色客栈,2晚大理洱海边客栈,赠... 4.4分\n经济型 4.4 经济型 1612 6
4 杭州 丽江 机酒自由行\n丽江5日自由行,入住丽江听心祥和院+接送机\n5天4晚|天天出发|飞机|舒适游... 4.7分\n高档型 4.7 高档型 1740 5 
df.info()


RangeIndex: 120 entries, 0 to 119
Data columns (total 8 columns):
 #   Column  Non-Null Count  Dtype 
---  ------  --------------  ----- 
 0   出发地     120 non-null    object
 1   目的地     120 non-null    object
 2   路线信息    120 non-null    object
 3   酒店信息    120 non-null    object
 4   酒店评分    120 non-null    object
 5   酒店等级    120 non-null    object
 6   价格      120 non-null    object
 7   天数      119 non-null    object
dtypes: object(8)
memory usage: 7.6+ KB

# df['天数'] = df['天数'].apply(lambda x: int(x))
# 酒店评分转化为浮点数
df['酒店评分']=df['酒店评分'].apply(lambda x:float(x))
# 将价格转化为浮点数
df['价格']=df['价格'].apply(lambda x: float(x))
df.info()


RangeIndex: 120 entries, 0 to 119
Data columns (total 8 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   出发地     120 non-null    object 
 1   目的地     120 non-null    object 
 2   路线信息    120 non-null    object 
 3   酒店信息    120 non-null    object 
 4   酒店评分    120 non-null    float64
 5   酒店等级    120 non-null    object 
 6   价格      120 non-null    float64
 7   天数      119 non-null    object 
dtypes: float64(2), object(6)
memory usage: 7.6+ KB

# 删除固定行(比如含空值的行)
# 方法一：找到含有空值行的index,df.drop(index)
# 方法二：df[布尔索引]    （df[df[列名].notnull()]）
# 方法三：df.loc[布尔索引,:] 

df[df['天数'].isnull()].index

Int64Index([88], dtype='int64')

#方法一：
df.drop(df[df['天数'].isnull()].index)
出发地 目的地 路线信息 酒店信息 酒店评分 酒店等级 价格 天数
0 杭州 丽江 机酒自由行\n丽江5日自由行,入住丽江添富太和休闲度假酒店+接送机,品古城文化,享至尊服务,... 4.4分\n高档型 4.4 高档型 1888.0 5
1 杭州 丽江 机酒自由行\n丽江6日自由行,入住丽江添富太和休闲度假酒店+接送机,品古城文化,享至尊服务,... 4.4分\n高档型 4.4 高档型 1872.0 6
2 杭州 丽江 机酒自由行\n丽江+香格里拉 丽江+香格里拉6日自由行,机票+特色客栈,丽江往返+接机\n特... 4.4分\n经济型 4.4 经济型 1517.0 6
3 杭州 丽江 机酒自由行\n丽江+大理 丽江、大理双城6天自由行,3晚丽江特色客栈,2晚大理洱海边客栈,赠... 4.4分\n经济型 4.4 经济型 1612.0 6
4 杭州 丽江 机酒自由行\n丽江5日自由行,入住丽江听心祥和院+接送机\n5天4晚|天天出发|飞机|舒适游... 4.7分\n高档型 4.7 高档型 1740.0 5
... ... ... ... ... ... ... ... ...
115 杭州 丽江 自由行\n丽江+大理+香格里拉 双飞丽江<丽江+香格里拉+大理7天自由行>赠表演+接送机+专... 4.9分\n舒适型 4.9 舒适型 2610.0 7
116 杭州 丽江 自由行\n双飞云南！全程自由行+昆明大理丽江6天5晚+N日自由行+特色客栈+接送机\n多商圈... 4.9分\n其他 4.9 其他 3020.0 6
117 杭州 丽江 自由行\n丽江+大理+香格里拉 直飞丽江9天自由行（含往返机票+20KM专用车+接送机+特色... 4.9分\n舒适型 4.9 舒适型 3418.0 9
118 杭州 丽江 自由行\n直飞丽江5天4晚自由行+N天自由行+特色客栈+接送机服务+20公里免费用车\n新城... 4.1分\n高档型 4.1 高档型 2110.0 5
119 杭州 丽江 自由行\n昆明+大理+丽江 双廊精选双飞昆明大理丽江自由行3+N天随意搭配+旅游达人推荐吃喝... 4.1分\n高档型 4.1 高档型 2199.0 6

119 rows × 8 columns

#方法二：
df[df['天数'].notnull()][80:90]
出发地 目的地 路线信息 酒店信息 酒店评分 酒店等级 价格 天数
80 杭州 丽江 自由行\n丽江+香格里拉 逼格旅行丨双飞丽江+香格里拉5日游丨宿精品客栈丨含接送机+旅途用车... 4.5分\n其他 4.5 其他 2340.0 5
81 杭州 丽江 自由行\n丽江+大理 遇见纯玩错峰游 大理丽江6天5晚奢旅自由行，杭州直飞丽江往返机票含税。... 4.1分\n舒适型 4.1 舒适型 3580.0 6
82 杭州 丽江 自由行\n丽江+大理+香格里拉 云南私家团大理+丽江+香格里拉7日6晚杨丽萍艺术酒店悦榕庄洲... 4.7分\n豪华型 4.7 豪华型 11080.0 7
83 杭州 丽江 自由行\n丽江+大理+香格里拉 直飞丽江纯玩定制5天4晚半自由行包含接送机+精选古城客栈+赠... 3.5分\n舒适型 3.5 舒适型 2690.0 5
84 杭州 丽江 自由行\n丽江+大理+香格里拉 直飞丽江 纯玩 精选TOP古城客栈（可现选）可赠送 三选一套... 4.9分\n其他 4.9 其他 2630.0 6
85 杭州 丽江 自由行\n0限制直飞昆明全程自由行+N日自由行+舒适客栈5天4晚游；赠送拉市海丽水金沙\n多... 4.9分\n其他 4.9 其他 2160.0 5
86 杭州 丽江 自由行\n丽江+大理+香格里拉 <飞机往返丽江> 丽江+大理+香格里拉4天自由行+管家式服务... 4.9分\n其他 4.9 其他 2380.0 4
87 杭州 丽江 自由行\n丽江+香格里拉 双飞丽江<丽江+香格里拉+泸沽湖7天自由行>赠表演+接送机+专车使... 4.9分\n舒适型 4.9 舒适型 2670.0 7
89 杭州 丽江 自由行\n丽江+大理+香格里拉 直飞丽江 定制纯玩自由行（特色客栈+香格里拉+泸沽湖+大理多... 4.9分\n其他 4.9 其他 2740.0 6
90 杭州 丽江 自由行\n丽江+香格里拉 <双飞往返丽江+香格里拉5天自由行>赠丽水金沙+接送机+专车使用（... 4.9分\n舒适型 4.9 舒适型 2370.0 5 
# 将酒店评分转换成浮点数
df['酒店评分']=df['酒店评分'].apply(lambda x: float(x))
# df['天数'].apply(lambda x: int(x)) 说明天数里面有空值
df.info()


RangeIndex: 120 entries, 0 to 119
Data columns (total 8 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   出发地     120 non-null    object 
 1   目的地     120 non-null    object 
 2   路线信息    120 non-null    object 
 3   酒店信息    120 non-null    object 
 4   酒店评分    120 non-null    float64
 5   酒店等级    120 non-null    object 
 6   价格      120 non-null    float64
 7   天数      119 non-null    object 
dtypes: float64(2), object(6)
memory usage: 7.6+ KB

# 确认天数有没有空值
df['天数'].isnull().sum()
# 删除天数为空值的那一行
df=df.loc[df['天数'].notnull(),:]
df.info()


Int64Index: 119 entries, 0 to 119
Data columns (total 8 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   出发地     119 non-null    object 
 1   目的地     119 non-null    object 
 2   路线信息    119 non-null    object 
 3   酒店信息    119 non-null    object 
 4   酒店评分    119 non-null    float64
 5   酒店等级    119 non-null    object 
 6   价格      119 non-null    float64
 7   天数      119 non-null    object 
dtypes: float64(2), object(6)
memory usage: 8.4+ KB

# 将天数转换为整数
df['天数']=df['天数'].apply(lambda x:int(x))
df.info()


Int64Index: 119 entries, 0 to 119
Data columns (total 8 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   出发地     119 non-null    object 
 1   目的地     119 non-null    object 
 2   路线信息    119 non-null    object 
 3   酒店信息    119 non-null    object 
 4   酒店评分    119 non-null    float64
 5   酒店等级    119 non-null    object 
 6   价格      119 non-null    float64
 7   天数      119 non-null    int64  
dtypes: float64(2), int64(1), object(5)
memory usage: 8.4+ KB

# 重置索引
df.index = range(df.shape[0])
df.info()


RangeIndex: 119 entries, 0 to 118
Data columns (total 8 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   出发地     119 non-null    object 
 1   目的地     119 non-null    object 
 2   路线信息    119 non-null    object 
 3   酒店信息    119 non-null    object 
 4   酒店评分    119 non-null    float64
 5   酒店等级    119 non-null    object 
 6   价格      119 non-null    float64
 7   天数      119 non-null    int64  
dtypes: float64(2), int64(1), object(5)
memory usage: 7.6+ KB

df.head()
出发地 目的地 路线信息 酒店信息 酒店评分 酒店等级 价格 天数
0 杭州 丽江 机酒自由行\n丽江5日自由行,入住丽江添富太和休闲度假酒店+接送机,品古城文化,享至尊服务,... 4.4分\n高档型 4.4 高档型 1888.0 5
1 杭州 丽江 机酒自由行\n丽江6日自由行,入住丽江添富太和休闲度假酒店+接送机,品古城文化,享至尊服务,... 4.4分\n高档型 4.4 高档型 1872.0 6
2 杭州 丽江 机酒自由行\n丽江+香格里拉 丽江+香格里拉6日自由行,机票+特色客栈,丽江往返+接机\n特... 4.4分\n经济型 4.4 经济型 1517.0 6
3 杭州 丽江 机酒自由行\n丽江+大理 丽江、大理双城6天自由行,3晚丽江特色客栈,2晚大理洱海边客栈,赠... 4.4分\n经济型 4.4 经济型 1612.0 6
4 杭州 丽江 机酒自由行\n丽江5日自由行,入住丽江听心祥和院+接送机\n5天4晚|天天出发|飞机|舒适游... 4.7分\n高档型 4.7 高档型 1740.0 5 
# 处理酒店等级字段
df['酒店等级'].value_counts()

舒适型    38
其他     32
高档型    24
豪华型    20
经济型     5
Name: 酒店等级, dtype: int64

dic={
     '其他':0,'经济型':1,'舒适型':2,'高档型':3,'豪华型':4}

df['酒店等级'][:5]

0    高档型
1    高档型
2    经济型
3    经济型
4    高档型
Name: 酒店等级, dtype: object

df['酒店等级'].map(dic)[:5]

0    3
1    3
2    1
3    1
4    3
Name: 酒店等级, dtype: int64

df['酒店等级']=df['酒店等级'].map(dic)

df.info()


RangeIndex: 119 entries, 0 to 118
Data columns (total 8 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   出发地     119 non-null    object 
 1   目的地     119 non-null    object 
 2   路线信息    119 non-null    object 
 3   酒店信息    119 non-null    object 
 4   酒店评分    119 non-null    float64
 5   酒店等级    119 non-null    int64  
 6   价格      119 non-null    float64
 7   天数      119 non-null    int64  
dtypes: float64(2), int64(2), object(4)
memory usage: 7.6+ KB

df.head()
出发地 目的地 路线信息 酒店信息 酒店评分 酒店等级 价格 天数
0 杭州 丽江 机酒自由行\n丽江5日自由行,入住丽江添富太和休闲度假酒店+接送机,品古城文化,享至尊服务,... 4.4分\n高档型 4.4 3 1888.0 5
1 杭州 丽江 机酒自由行\n丽江6日自由行,入住丽江添富太和休闲度假酒店+接送机,品古城文化,享至尊服务,... 4.4分\n高档型 4.4 3 1872.0 6
2 杭州 丽江 机酒自由行\n丽江+香格里拉 丽江+香格里拉6日自由行,机票+特色客栈,丽江往返+接机\n特... 4.4分\n经济型 4.4 1 1517.0 6
3 杭州 丽江 机酒自由行\n丽江+大理 丽江、大理双城6天自由行,3晚丽江特色客栈,2晚大理洱海边客栈,赠... 4.4分\n经济型 4.4 1 1612.0 6
4 杭州 丽江 机酒自由行\n丽江5日自由行,入住丽江听心祥和院+接送机\n5天4晚|天天出发|飞机|舒适游... 4.7分\n高档型 4.7 3 1740.0 5

数据处理好之后，便可以选取特征带入模型，进行预测

import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif']=['Simhei']  # 显示中文
plt.rcParams['axes.unicode_minus']=False    # 显示负号

# 对变量画直方图，查看是否有异常值
fig, axes = plt.subplots(1, 3, figsize=(12, 4))  #创建画布（1*3个画布）

df["酒店等级"].plot(ax=axes[0], kind='hist', title="酒店等级")
df["酒店评分"].plot(ax=axes[1], kind='hist', title="酒店评分")
df["价格"].plot(ax=axes[2], kind='hist', title="价格");

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5bGQzXzg-1633320025791)(output_283_0.png)]

11. 时序数据处理

import time
import datetime as dt
import pandas as pd
import numpy as np

time.time()
# 时间戳，可以计算时间的距离
# 时间戳是指格林威治时间自1970年1月1日(00:00:00 GMT)至当前时间的总秒数。
# 北京时间1970.1.1（08:00:00）

1610678087.3518448

1.获取系统时间

time.localtime()

time.struct_time(tm_year=2021, tm_mon=1, tm_mday=15, tm_hour=10, tm_min=34, tm_sec=50, tm_wday=4, tm_yday=15, tm_isdst=0)

2.将系统时间格式化

time.strftime

  • %Y Year with century as a decimal number.
  • %m Month as a decimal number [01,12].
  • %d Day of the month as a decimal number [01,31].
  • %H Hour (24-hour clock) as a decimal number [00,23].
  • %M Minute as a decimal number [00,59].
  • %S Second as a decimal number [00,61].
  • %z Time zone offset from UTC.
  • %a Locale’s abbreviated weekday name.
  • %A Locale’s full weekday name.
  • %b Locale’s abbreviated month name.
  • %B Locale’s full month name.
  • %c Locale’s appropriate date and time representation.
  • %I Hour (12-hour clock) as a decimal number [01,12].
  • %p Locale’s equivalent of either AM or PM.
time.strftime('%Y-%m-%d',time.localtime())

'2021-01-15'

time.strftime('%Y-%m-%d %H:%M:%S',time.localtime())

'2021-01-15 10:35:30'

3.将系统时间转换为时间戳

time.mktime

  • year (including century, e.g. 1998)
  • month (1-12)
  • day (1-31)
  • hours (0-23)
  • minutes (0-59)
  • seconds (0-59)
  • weekday (0-6, Monday is 0)
  • Julian day (day in the year, 1-366)
  • DST (Daylight Savings Time) flag (-1, 0 or 1)
time.localtime()

time.struct_time(tm_year=2021, tm_mon=1, tm_mday=15, tm_hour=10, tm_min=37, tm_sec=19, tm_wday=4, tm_yday=15, tm_isdst=0)

time.mktime(time.localtime())

1610678241.0

4.将时间戳转换成系统时间

time.localtime(1552922267.0)

time.struct_time(tm_year=2019, tm_mon=3, tm_mday=18, tm_hour=23, tm_min=17, tm_sec=47, tm_wday=0, tm_yday=77, tm_isdst=0)

time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(1552922267.0))

'2019-03-18 23:17:47'

5.时间数据的操作

dt.datetime
# datetime(year, month, day[, hour[, minute[, second[, microsecond[,tzinfo]]]]])

datetime.datetime

dt.datetime(2019,3,20)

datetime.datetime(2019, 3, 20, 0, 0)

pd.date_range
# 生成时间序列

 pandas.core.indexes.datetimes.DatetimeIndex>

pd.date_range(dt.datetime(2019,3,20),periods=4)

DatetimeIndex(['2019-03-20', '2019-03-21', '2019-03-22', '2019-03-23'], dtype='datetime64[ns]', freq='D')

pd.date_range('2019-3-20',periods=4)
# 指定开始日期和生成的个数，默认按照day(freq='D')

DatetimeIndex(['2019-03-20', '2019-03-21', '2019-03-22', '2019-03-23'], dtype='datetime64[ns]', freq='D')

pd.date_range('2019-3-20','2019-4-20')
# 指定起始日期

DatetimeIndex(['2019-03-20', '2019-03-21', '2019-03-22', '2019-03-23',
               '2019-03-24', '2019-03-25', '2019-03-26', '2019-03-27',
               '2019-03-28', '2019-03-29', '2019-03-30', '2019-03-31',
               '2019-04-01', '2019-04-02', '2019-04-03', '2019-04-04',
               '2019-04-05', '2019-04-06', '2019-04-07', '2019-04-08',
               '2019-04-09', '2019-04-10', '2019-04-11', '2019-04-12',
               '2019-04-13', '2019-04-14', '2019-04-15', '2019-04-16',
               '2019-04-17', '2019-04-18', '2019-04-19', '2019-04-20'],
              dtype='datetime64[ns]', freq='D')

pd.date_range('2019-3-20 11:00','2019-3-20 23:00',freq='H')
# 按小时生成时间序列

DatetimeIndex(['2019-03-20 11:00:00', '2019-03-20 12:00:00',
               '2019-03-20 13:00:00', '2019-03-20 14:00:00',
               '2019-03-20 15:00:00', '2019-03-20 16:00:00',
               '2019-03-20 17:00:00', '2019-03-20 18:00:00',
               '2019-03-20 19:00:00', '2019-03-20 20:00:00',
               '2019-03-20 21:00:00', '2019-03-20 22:00:00',
               '2019-03-20 23:00:00'],
              dtype='datetime64[ns]', freq='H')

ser=pd.Series(np.arange(10),index=pd.date_range('2019-3-20',periods=10))
# 生成一个以时间序列为索引的series序列

ser

2019-03-20    0
2019-03-21    1
2019-03-22    2
2019-03-23    3
2019-03-24    4
2019-03-25    5
2019-03-26    6
2019-03-27    7
2019-03-28    8
2019-03-29    9
Freq: D, dtype: int32

ser['2019-03-25']

5

print(ser.index[2])
# 打印第3个索引值

2019-03-22 00:00:00

ser.index[2].year

2019

ser.index[2].month

3

ser.index[2].day

22

ser.index[2].week

12

6.简单的时序分析

data=pd.read_csv('data/1.data清洗/hz_weather.csv')
data.head()
日期 最高气温 最低气温 天气 风向 风力
0 2017-01-01 17 7 晴 西北风 2级
1 2017-01-02 16 8 多云 东北风 2级
2 2017-01-03 15 8 多云 东北风 1级
3 2017-01-04 15 11 小雨 西北风 2级
4 2017-01-05 13 11 小到中雨 北风 2级 
df=data[['日期','最高气温','最低气温']]
df.head()
日期 最高气温 最低气温
0 2017-01-01 17 7
1 2017-01-02 16 8
2 2017-01-03 15 8
3 2017-01-04 15 11
4 2017-01-05 13 11 
df.info()


RangeIndex: 118 entries, 0 to 117
Data columns (total 3 columns):
 #   Column  Non-Null Count  Dtype 
---  ------  --------------  ----- 
 0   日期      118 non-null    object
 1   最高气温    118 non-null    int64 
 2   最低气温    118 non-null    int64 
dtypes: int64(2), object(1)
memory usage: 2.9+ KB

# 1.修改日期格式
df.loc[:,'日期']=pd.to_datetime(df['日期'].values,format='%Y-%m-%d')

df.info()


RangeIndex: 118 entries, 0 to 117
Data columns (total 3 columns):
 #   Column  Non-Null Count  Dtype         
---  ------  --------------  -----         
 0   日期      118 non-null    datetime64[ns]
 1   最高气温    118 non-null    int64         
 2   最低气温    118 non-null    int64         
dtypes: datetime64[ns](1), int64(2)
memory usage: 2.9 KB

# 2、将日期设置为索引
df.set_index('日期',inplace=True)

df.index

DatetimeIndex(['2017-01-01', '2017-01-02', '2017-01-03', '2017-01-04',
               '2017-01-05', '2017-01-06', '2017-01-07', '2017-01-08',
               '2017-01-09', '2017-01-10',
               ...
               '2017-04-21', '2017-04-22', '2017-04-23', '2017-04-24',
               '2017-04-25', '2017-04-26', '2017-04-27', '2017-04-28',
               '2017-04-29', '2017-04-30'],
              dtype='datetime64[ns]', name='日期', length=118, freq=None)

df.index<'2017-3-1'

array([ True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True, False, False, False, False,
       False, False, False, False, False, False, False, False, False,
       False, False, False, False, False, False, False, False, False,
       False, False, False, False, False, False, False, False, False,
       False, False, False, False, False, False, False, False, False,
       False, False, False, False, False, False, False, False, False,
       False, False, False, False, False, False, False, False, False,
       False])

# 提取1月份的数据
df_jan=df[(df.index>='2017-1-1')&(df.index<'2017-2-1')]

df_jan.info()


DatetimeIndex: 31 entries, 2017-01-01 to 2017-01-31
Data columns (total 2 columns):
 #   Column  Non-Null Count  Dtype
---  ------  --------------  -----
 0   最高气温    31 non-null     int64
 1   最低气温    31 non-null     int64
dtypes: int64(2)
memory usage: 744.0 bytes

df['2017-1-1':'2017-1-31']
最高气温 最低气温
日期
2017-01-01 17 7
2017-01-02 16 8
2017-01-03 15 8
2017-01-04 15 11
2017-01-05 13 11
2017-01-06 12 10
2017-01-07 11 9
2017-01-08 12 5
2017-01-09 11 4
2017-01-10 9 4
2017-01-11 8 5
2017-01-12 7 4
2017-01-13 10 1
2017-01-14 10 2
2017-01-15 8 2
2017-01-16 9 2
2017-01-17 11 7
2017-01-18 8 6
2017-01-19 8 0
2017-01-20 6 -3
2017-01-21 7 -1
2017-01-22 8 -2
2017-01-23 8 -1
2017-01-24 9 3
2017-01-25 10 2
2017-01-26 13 3
2017-01-27 13 5
2017-01-28 17 7
2017-01-29 20 4
2017-01-30 8 0
2017-01-31 8 3 
# 转换成月份
df.to_period('M').head()
最高气温 最低气温
日期
2017-01 17 7
2017-01 16 8
2017-01 15 8
2017-01 15 11
2017-01 13 11

你可能感兴趣的:(python,python)

  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • python os.environ 江湖偌大 python深度学习
    os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
  • Python中os.environ基本介绍及使用方法 鹤冲天Pro #Pythonpython服务器开发语言
    文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
  • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
  • python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 pythonos.environ
    >>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
  • 使用Faiss进行高效相似度搜索 llzwxh888 faisspython
    在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
  • python是什么意思中文-在python中%是什么意思 编程大乐趣
    Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
  • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
  • python八股文面试题分享及解析(1) Shawn________ python
    #1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
  • 每日算法&面试题，大厂特训二十八天——第二十天（树） 肥学 ⚡算法题⚡面试题每日精进java算法数据结构
    目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
  • Python快速入门 —— 第三节：类与对象 孤华暗香 Python快速入门python开发语言
    第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
  • pyecharts——绘制柱形图折线图 2224070247 信息可视化pythonjava数据可视化
    一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
  • Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang
    前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
  • python os 环境变量 CV矿工 python开发语言numpy
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
  • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（1） 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • 《Python数据分析实战终极指南》 xjt921122 python数据分析开发语言
    对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
  • Python中深拷贝与浅拷贝的区别 yuxiaoyu.
    转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
  • Python开发常用的三方模块如下： 换个网名有点难 python开发语言
    Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
  • Python编译器 鹿鹿~ Python编译器Pythonpython开发语言后端
    嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
  • 一文掌握python面向对象魔术方法（二） 程序员neil pythonpython开发语言
    接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
  • 一文掌握python常用的list（列表）操作 程序员neil pythonpython开发语言
    目录一、创建列表1.直接创建列表：2.使用list()构造器3.使用列表推导式4.创建空列表二、访问列表元素1.列表支持通过索引访问元素，索引从0开始：2.还可以使用切片操作访问列表的一部分：三、修改列表元素四、添加元素1.append()：在末尾添加元素2.insert()：在指定位置插入元素五、删除元素1.del：删除指定位置的元素2.remove()：删除指定值的第一个匹配项3.pop()：
  • Python实现简单的机器学习算法 master_chenchengg pythonpython办公效率python开发IT
    Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
  • python中的深拷贝与浅拷贝 anshejd70787 python
    深拷贝和浅拷贝浅拷贝的时候，修改原来的对象，浅拷贝的对象不会发生改变。1、对象的赋值对象的赋值实际上是对象之间的引用：当创建一个对象，然后将这个对象赋值给另外一个变量的时候，python并没有拷贝这个对象，而只是拷贝了这个对象的引用。当对对象做赋值或者是参数传递或者作为返回值的时候，总是传递原始对象的引用，而不是一个副本。如下所示：>>>aList=["kel","abc",123]>>>bLis
  • 用Python实现简单的猜数字游戏 程序媛了了 python游戏java
    猜数字游戏代码：importrandomdefpythonit():a=random.randint(1,100)n=int(input("输入你猜想的数字："))whilen!=a:ifn>a:print("很遗憾，猜大了")n=int(input("请再次输入你猜想的数字："))elifna::如果玩家猜的数字n大于随机数字a，则输出"很遗憾，猜大了"，并提示玩家再次输入。elifn
  • 用Python实现读取统计单词个数 程序媛了了 python游戏java
    完整实例代码：fromcollectionsimportCounterdefpythonit():danci={}withopen("pythonit.txt","r",encoding="utf-8")asf:foriinf:words=i.strip().split()forwordinwords:ifwordnotindanci:danci[word]=1else:danci[word]+=
  • 集合框架 天子之骄 java数据结构集合框架
       集合框架 集合框架可以理解为一个容器，该容器主要指映射(map)、集合(set)、数组(array)和列表(list)等抽象数据结构。 从本质上来说，Java集合框架的主要组成是用来操作对象的接口。不同接口描述不同的数据类型。   简单介绍：   Collection接口是最基本的接口，它定义了List和Set，List又定义了LinkLi
  • Table Driven（表驱动）方法实例 bijian1013 javaenumTable Driven表驱动
    实例一： /** * 驾驶人年龄段 * 保险行业，会对驾驶人的年龄做年龄段的区分判断 * 驾驶人年龄段：01-[18,25);02-[25,30);03-[30-35);04-[35,40);05-[40,45);06-[45,50);07-[50-55);08-[55,+∞) */ public class AgePeriodTest { //if...el
  • Jquery 总结 cuishikuan javajqueryAjaxWebjquery方法
    1.$.trim方法用于移除字符串头部和尾部多余的空格。如：$.trim('   Hello   ') // Hello2.$.contains方法返回一个布尔值，表示某个DOM元素（第二个参数）是否为另一个DOM元素（第一个参数）的下级元素。如：$.contains(document.documentElement, document.body); 3.$
  • 面向对象概念的提出 麦田的设计者 java面向对象面向过程
            面向对象中，一切都是由对象展开的，组织代码，封装数据。   在台湾面向对象被翻译为了面向物件编程，这充分说明了，这种编程强调实体。       下面就结合编程语言的发展史，聊一聊面向过程和面向对象。      c语言由贝尔实
  • linux网口绑定 被触发 linux
    刚在一台IBM Xserver服务器上装了RedHat Linux Enterprise AS 4，为了提高网络的可靠性配置双网卡绑定。 一、环境描述 我的RedHat Linux Enterprise AS 4安装双口的Intel千兆网卡，通过ifconfig -a命令看到eth0和eth1两张网卡。 二、双网卡绑定步骤： 2.1 修改/etc/sysconfig/network
  • XML基础语法 肆无忌惮_ xml
    一、什么是XML？ XML全称是Extensible Markup Language，可扩展标记语言。很类似HTML。XML的目的是传输数据而非显示数据。XML的标签没有被预定义，你需要自行定义标签。XML被设计为具有自我描述性。是W3C的推荐标准。   二、为什么学习XML？ 用来解决程序间数据传输的格式问题 做配置文件 充当小型数据库   三、XML与HTM
  • 为网页添加自己喜欢的字体 知了ing 字体 秒表 css
    @font-face { font-family: miaobiao;//定义字体名字 font-style: normal; font-weight: 400; src: url('font/DS-DIGI-e.eot');//字体文件 } 使用： <label style="font-size:18px;font-famil
  • redis范围查询应用-查找IP所在城市 矮蛋蛋 redis
    原文地址： http://www.tuicool.com/articles/BrURbqV 需求 根据IP找到对应的城市 原来的解决方案 oracle表（ip_country）： 查询IP对应的城市： 1.把a.b.c.d这样格式的IP转为一个数字，例如为把210.21.224.34转为3524648994 2. select city from ip_
  • 输入两个整数， 计算百分比 alleni123 java
    public static String getPercent(int x, int total){ double result=(x*1.0)/(total*1.0); System.out.println(result); DecimalFormat df1=new DecimalFormat("0.0000%");
  • 百合——————>怎么学习计算机语言 百合不是茶 java 移动开发
        对于一个从没有接触过计算机语言的人来说，一上来就学面向对象，就算是心里上面接受的了，灵魂我觉得也应该是跟不上的，学不好是很正常的现象，计算机语言老师讲的再多，你在课堂上面跟着老师听的再多，我觉得你应该还是学不会的，最主要的原因是你根本没有想过该怎么来学习计算机编程语言，记得大一的时候金山网络公司在湖大招聘我们学校一个才来大学几天的被金山网络录取，一个刚到大学的就能够去和
  • linux下tomcat开机自启动 bijian1013 tomcat
    方法一： 修改Tomcat/bin/startup.sh 为: export JAVA_HOME=/home/java1.6.0_27 export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:. export PATH=$JAVA_HOME/bin:$PATH export CATALINA_H
  • spring aop实例 bijian1013 javaspringAOP
    1.AdviceMethods.java package com.bijian.study.spring.aop.schema; public class AdviceMethods { public void preGreeting() { System.out.println("--how are you!--"); } } 2.beans.x
  • [Gson八]GsonBuilder序列化和反序列化选项enableComplexMapKeySerialization bit1129 serialization
    enableComplexMapKeySerialization配置项的含义  Gson在序列化Map时，默认情况下，是调用Key的toString方法得到它的JSON字符串的Key，对于简单类型和字符串类型，这没有问题，但是对于复杂数据对象，如果对象没有覆写toString方法，那么默认的toString方法将得到这个对象的Hash地址。   GsonBuilder用于
  • 【Spark九十一】Spark Streaming整合Kafka一些值得关注的问题 bit1129 Stream
    包括Spark Streaming在内的实时计算数据可靠性指的是三种级别： 1. At most once，数据最多只能接受一次，有可能接收不到 2. At least once, 数据至少接受一次，有可能重复接收 3. Exactly once  数据保证被处理并且只被处理一次，   具体的多读几遍http://spark.apache.org/docs/lates
  • shell脚本批量检测端口是否被占用脚本 ronin47
    #!/bin/bash cat ports |while read line do#nc -z -w 10 $line nc -z -w 2 $line 58422>/dev/null2>&1if[ $?-eq 0]then echo $line:ok else echo $line:fail fi done 这里的ports 既可以是文件
  • java-2.设计包含min函数的栈 bylijinnan java
    具体思路参见：http://zhedahht.blog.163.com/blog/static/25411174200712895228171/ import java.util.ArrayList; import java.util.List; public class MinStack { //maybe we can use origin array rathe
  • Netty源码学习-ChannelHandler bylijinnan javanetty
    一般来说，“有状态”的ChannelHandler不应该是“共享”的，“无状态”的ChannelHandler则可“共享” 例如ObjectEncoder是“共享”的, 但 ObjectDecoder 不是 因为每一次调用decode方法时，可能数据未接收完全（incomplete）， 它与上一次decode时接收到的数据“累计”起来才有可能是完整的数据，是“有状态”的 p
  • java生成随机数 cngolon java
    方法一： /** * 生成随机数 * @author [email protected] * @return */ public synchronized static String getChargeSequenceNum(String pre){ StringBuffer sequenceNum = new StringBuffer(); Date dateTime = new D
  • POI读写海量数据 ctrain 海量数据
    import java.io.FileOutputStream; import java.io.OutputStream; import org.apache.poi.xssf.streaming.SXSSFRow; import org.apache.poi.xssf.streaming.SXSSFSheet; import org.apache.poi.xssf.streaming
  • mysql 日期格式化date_format详细使用 daizj mysqldate_format日期格式转换日期格式化
    日期转换函数的详细使用说明  DATE_FORMAT(date,format) Formats the date value according to the format string. The following specifiers may be used in the format string. The&n
  • 一个程序员分享8年的开发经验 dcj3sjt126com 程序员
      在中国有很多人都认为IT行为是吃青春饭的，如果过了30岁就很难有机会再发展下去!其实现实并不是这样子的，在下从事.NET及JAVA方面的开发的也有8年的时间了，在这里在下想凭借自己的亲身经历，与大家一起探讨一下。 明确入行的目的 很多人干IT这一行都冲着“收入高”这一点的，因为只要学会一点HTML, DIV+CSS，要做一个页面开发人员并不是一件难事，而且做一个页面开发人员更容
  • android欢迎界面淡入淡出效果 dcj3sjt126com android
    很多Android应用一开始都会有一个欢迎界面，淡入淡出效果也是用得非常多的，下面来实现一下。 主要代码如下： package com.myaibang.activity; import android.app.Activity;import android.content.Intent;import android.os.Bundle;import android.os.CountDown
  • linux 复习笔记之常见压缩命令 eksliang tar解压linux系统常见压缩命令linux压缩命令tar压缩
    转载请出自出处:http://eksliang.iteye.com/blog/2109693 linux中常见压缩文件的拓展名 *.gz gzip程序压缩的文件 *.bz2 bzip程序压缩的文件 *.tar tar程序打包的数据，没有经过压缩 *.tar.gz tar程序打包后，并经过gzip程序压缩 *.tar.bz2 tar程序打包后，并经过bzip程序压缩 *.zi
  • Android 应用程序发送shell命令 gqdy365 android
    项目中需要直接在APP中通过发送shell指令来控制lcd灯，其实按理说应该是方案公司在调好lcd灯驱动之后直接通过service送接口上来给APP，APP调用就可以控制了，这是正规流程，但我们项目的方案商用的mtk方案，方案公司又没人会改，只调好了驱动，让应用程序自己实现灯的控制，这不蛋疼嘛！！！！ 发就发吧！ 一、关于shell指令： 我们知道，shell指令是Linux里面带的
  • java 无损读取文本文件 hw1287789687 读取文件无损读取读取文本文件charset
    java 如何无损读取文本文件呢？ 以下是有损的 @Deprecated public static String getFullContent(File file, String charset) { BufferedReader reader = null; if (!file.exists()) { System.out.println("getFull
  • Firebase 相关文章索引 justjavac firebase
    Awesome Firebase 最近谷歌收购Firebase的新闻又将Firebase拉入了人们的视野，于是我做了这个 github 项目。 Firebase 是一个数据同步的云服务，不同于 Dropbox 的「文件」，Firebase 同步的是「数据」，服务对象是网站开发者，帮助他们开发具有「实时」（Real-Time）特性的应用。 开发者只需引用一个 API 库文件就可以使用标准 RE
  • C++学习重点 lx.asymmetric C++笔记
    1.c++面向对象的三个特性：封装性，继承性以及多态性。   2.标识符的命名规则：由字母和下划线开头，同时由字母、数字或下划线组成；不能与系统关键字重名。   3.c++语言常量包括整型常量、浮点型常量、布尔常量、字符型常量和字符串性常量。   4.运算符按其功能开以分为六类：算术运算符、位运算符、关系运算符、逻辑运算符、赋值运算符和条件运算符。 &n
  • java bean和xml相互转换 q821424508 javabeanxmlxml和bean转换java bean和xml转换
    这几天在做微信公众号 做的过程中想找个java bean转xml的工具，找了几个用着不知道是配置不好还是怎么回事，都会有一些问题， 然后脑子一热谢了一个javabean和xml的转换的工具里，自己用着还行，虽然有一些约束吧 ， 还是贴出来记录一下      顺便你提一下下，这个转换工具支持属性为集合、数组和非基本属性的对象。   packag
  • C 语言初级 位运算 1140566087 位运算c
    第十章 位运算   1、位运算对象只能是整形或字符型数据，在VC6.0中int型数据占4个字节   2、位运算符： 运算符 作用 ~ 按位求反 << 左移 >> 右移 & 按位与 ^ 按位异或 | 按位或 他们的优先级从高到低；   3、位运算符的运算功能： a、按位取反： ~01001101 = 101
  • 14点睛Spring4.1-脚本编程 wiselyman spring4
    14.1 Scripting脚本编程 脚本语言和java这类静态的语言的主要区别是:脚本语言无需编译,源码直接可运行; 如果我们经常需要修改的某些代码,每一次我们至少要进行编译,打包,重新部署的操作,步骤相当麻烦; 如果我们的应用不允许重启,这在现实的情况中也是很常见的; 在spring中使用脚本编程给上述的应用场景提供了解决方案,即动态加载bean; spring支持脚本
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他