hoooooolyhu
hoooooolyhu

pandas 新手指引

# 10 Minutes to pandas ｐａｎｄａｓ入门教程，面向新手，如需高级教程，移步[pandas cookbook](http://pandas.pydata.org/pandas-docs/stable/cookbook.html#cookbook) 按照约定，一般按照如下形式对ｐａｎｄａｓ进行导入 
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# 使用ｉｐｙｔｈｏｎ　ｎｏｔｅｂｏｏｋ绘图，加入如下命令
%matplotlib inline
## pandas 对象的创建 通过ｐｙｔｈｏｎ列表构造一个ｐａｎｄａｓ的Ｓｅｒｉｅｓ对象 
# Series 自动生成索引
s = pd.Series([1,2,3,np.nan, 4,5])
s
0 1.0 1 2.0 2 3.0 3 NaN 4 4.0 5 5.0 dtype: float64 使用numpy的数组创建一个ｐａｎｄａｓ的ＤａｔａＦｒａｍｅ，指定日期序列为行索引，指定’A’,’B’,’C’,’D’为列索引 
dates = pd.date_range('20160101', periods=6)
dates
DatetimeIndex([‘2016-01-01’, ‘2016-01-02’, ‘2016-01-03’, ‘2016-01-04’, ‘2016-01-05’, ‘2016-01-06’], dtype=’datetime64[ns]’, freq=’D’) 
df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))

df
A B C D
2016-01-01 -0.808397 -1.548973 1.013311 1.981536
2016-01-02 1.966543 0.468294 0.168445 -1.474018
2016-01-03 -1.308454 0.625522 -2.465547 1.757797
2016-01-04 -1.430586 -0.732160 -0.034836 0.216295
2016-01-05 -0.519748 0.386824 -2.775289 -0.088892
2016-01-06 1.027911 -0.311089 0.646725 0.773003

或者，可以通过传递字典来创建Ｄａｔａｆｒａｍｅ对象

df2 = pd.DataFrame({
        'A': pd.Timestamp('20160701'),
        'B': pd.Series(1, index=list(range(4)), dtype='float32'),
        'C': np.array([3] * 4, dtype='int32'),
        'D': pd.Categorical(['Test', 'Train', 'Test', 'Train']),
        'E': 1,
        'F': 'foo'
    })
df2
A B C D E F
0 2016-07-01 1.0 3 Test 1 foo
1 2016-07-01 1.0 3 Train 1 foo
2 2016-07-01 1.0 3 Test 1 foo
3 2016-07-01 1.0 3 Train 1 foo

df2的每一列都拥有不同的类型，可以通过dtypes属性查看

df2.dtypes
A datetime64[ns] B float32 C int32 D category E int64 F object dtype: object ## 查看数据 查看数据的前几行和后几行 
# head(n) 方法查看前n行
df.head(3)
A B C D
2016-01-01 -0.808397 -1.548973 1.013311 1.981536
2016-01-02 1.966543 0.468294 0.168445 -1.474018
2016-01-03 -1.308454 0.625522 -2.465547 1.757797 
# tail(n) 方法查看后n行
df.tail(2)
A B C D
2016-01-05 -0.519748 0.386824 -2.775289 -0.088892
2016-01-06 1.027911 -0.311089 0.646725 0.773003

查看DataFrame的行列信息和数据信息

df.index
DatetimeIndex([‘2016-01-01’, ‘2016-01-02’, ‘2016-01-03’, ‘2016-01-04’, ‘2016-01-05’, ‘2016-01-06’], dtype=’datetime64[ns]’, freq=’D’) 
df.columns
Index([‘A’, ‘B’, ‘C’, ‘D’], dtype=’object’) 
df.values
array([[-0.8083965 , -1.54897301, 1.01331067, 1.98153559], [ 1.96654297, 0.46829396, 0.16844495, -1.47401779], [-1.30845444, 0.62552152, -2.46554656, 1.75779664], [-1.43058558, -0.73216048, -0.03483597, 0.21629514], [-0.51974796, 0.3868237 , -2.77528915, -0.08889186], [ 1.02791114, -0.31108897, 0.64672466, 0.77300274]]) 简单数据统计信息 
df.describe()
A B C D
count 6.000000 6.000000 6.000000 6.000000
mean -0.178788 -0.185264 -0.574532 0.527620
std 1.372179 0.846927 1.629433 1.278357
min -1.430586 -1.548973 -2.775289 -1.474018
25% -1.183440 -0.626893 -1.857869 -0.012595
50% -0.664072 0.037867 0.066804 0.494649
75% 0.640996 0.447926 0.527155 1.511598
max 1.966543 0.625522 1.013311 1.981536

矩阵的转置

df.T
2016-01-01 00:00:00 2016-01-02 00:00:00 2016-01-03 00:00:00 2016-01-04 00:00:00 2016-01-05 00:00:00 2016-01-06 00:00:00
A -0.808397 1.966543 -1.308454 -1.430586 -0.519748 1.027911
B -1.548973 0.468294 0.625522 -0.732160 0.386824 -0.311089
C 1.013311 0.168445 -2.465547 -0.034836 -2.775289 0.646725
D 1.981536 -1.474018 1.757797 0.216295 -0.088892 0.773003

索引排序

df.sort_index(axis=1, ascending=False)
D C B A
2016-01-01 1.981536 1.013311 -1.548973 -0.808397
2016-01-02 -1.474018 0.168445 0.468294 1.966543
2016-01-03 1.757797 -2.465547 0.625522 -1.308454
2016-01-04 0.216295 -0.034836 -0.732160 -1.430586
2016-01-05 -0.088892 -2.775289 0.386824 -0.519748
2016-01-06 0.773003 0.646725 -0.311089 1.027911

通过某一列值进行排序

df.sort_values(by='C')
A B C D
2016-01-05 -0.519748 0.386824 -2.775289 -0.088892
2016-01-03 -1.308454 0.625522 -2.465547 1.757797
2016-01-04 -1.430586 -0.732160 -0.034836 0.216295
2016-01-02 1.966543 0.468294 0.168445 -1.474018
2016-01-06 1.027911 -0.311089 0.646725 0.773003
2016-01-01 -0.808397 -1.548973 1.013311 1.981536
## 数据的选择 ### 获取数据 
# 选取单独一列数据，获取到的数据是Ｓｅｒｉｅｓ对象，
# df['A'] 等价与　df.A
df['A']
2016-01-01 -0.808397 2016-01-02 1.966543 2016-01-03 -1.308454 2016-01-04 -1.430586 2016-01-05 -0.519748 2016-01-06 1.027911 Freq: D, Name: A, dtype: float64 通过切片技术，获取相对应的行. **PS: 末端包含** 
df[0:3]
A B C D
2016-01-01 -0.808397 -1.548973 1.013311 1.981536
2016-01-02 1.966543 0.468294 0.168445 -1.474018
2016-01-03 -1.308454 0.625522 -2.465547 1.757797 
df['20160102': '20160104']
A B C D
2016-01-02 1.966543 0.468294 0.168445 -1.474018
2016-01-03 -1.308454 0.625522 -2.465547 1.757797
2016-01-04 -1.430586 -0.732160 -0.034836 0.216295

通过标签选择数据。　ps:使用 .at, .iat, .loc, .iloc, .ix属性来实现

df.loc['20160101']
A -0.808397 B -1.548973 C 1.013311 D 1.981536 Name: 2016-01-01 00:00:00, dtype: float64 花式索引，选取多列数据 
df.loc[:, ['A','B']]
A B
2016-01-01 -0.808397 -1.548973
2016-01-02 1.966543 0.468294
2016-01-03 -1.308454 0.625522
2016-01-04 -1.430586 -0.732160
2016-01-05 -0.519748 0.386824
2016-01-06 1.027911 -0.311089

通过标签来切片

df.loc['20160102':'20160103', ['B','C']]
B C
2016-01-02 0.468294 0.168445
2016-01-03 0.625522 -2.465547 
df.loc['20160103',['A', 'B']]
A -1.308454 B 0.625522 Name: 2016-01-03 00:00:00, dtype: float64 获取单个数据 
print(df.loc['20160101', 'A'])
# 或者使用.at属性
print(df.at[dates[0], 'A'])
-0.808396502432 -0.808396502432 通过位置选择,通过整数坐标来获取数据片段或单个数据,此时切片跟python, numpy一致，即末端不包含。 
df.iloc[3]
A -1.430586 B -0.732160 C -0.034836 D 0.216295 Name: 2016-01-04 00:00:00, dtype: float64 
df.iloc[3:5, 0:2]
A B
2016-01-04 -1.430586 -0.732160
2016-01-05 -0.519748 0.386824 
df.iloc[[1,2,4],[0,2]]
A C
2016-01-02 1.966543 0.168445
2016-01-03 -1.308454 -2.465547
2016-01-05 -0.519748 -2.775289 
df.iloc[1:3]
A B C D
2016-01-02 1.966543 0.468294 0.168445 -1.474018
2016-01-03 -1.308454 0.625522 -2.465547 1.757797 
df.iloc[:,1:3]
B C
2016-01-01 -1.548973 1.013311
2016-01-02 0.468294 0.168445
2016-01-03 0.625522 -2.465547
2016-01-04 -0.732160 -0.034836
2016-01-05 0.386824 -2.775289
2016-01-06 -0.311089 0.646725 
df.iloc[1,1] # 等价与　df.iat{1,1}
0.46829396335234058 ### 布尔型索引 
df[df.A > 0]
A B C D
2016-01-02 1.966543 0.468294 0.168445 -1.474018
2016-01-06 1.027911 -0.311089 0.646725 0.773003 
df[df >0]
A B C D
2016-01-01 NaN NaN 1.013311 1.981536
2016-01-02 1.966543 0.468294 0.168445 NaN
2016-01-03 NaN 0.625522 NaN 1.757797
2016-01-04 NaN NaN NaN 0.216295
2016-01-05 NaN 0.386824 NaN NaN
2016-01-06 1.027911 NaN 0.646725 0.773003

使用　isin 方法来筛选数据

df2 = df.copy()
df2['E'] = ['one', 'one', 'two', 'three', 'four', 'three']
df2
A B C D E
2016-01-01 -0.808397 -1.548973 1.013311 1.981536 one
2016-01-02 1.966543 0.468294 0.168445 -1.474018 one
2016-01-03 -1.308454 0.625522 -2.465547 1.757797 two
2016-01-04 -1.430586 -0.732160 -0.034836 0.216295 three
2016-01-05 -0.519748 0.386824 -2.775289 -0.088892 four
2016-01-06 1.027911 -0.311089 0.646725 0.773003 three 
df2[df2['E'].isin(['one','three'])]
A B C D E
2016-01-01 -0.808397 -1.548973 1.013311 1.981536 one
2016-01-02 1.966543 0.468294 0.168445 -1.474018 one
2016-01-04 -1.430586 -0.732160 -0.034836 0.216295 three
2016-01-06 1.027911 -0.311089 0.646725 0.773003 three
### 数据的设置 通过索引匹配插入新的一列 
s1 = pd.Series([1,2,3,4,5,6], index=pd.date_range('2016010２', periods=6))
df['F'] = s1
df
A B C D F
2016-01-01 0.000000 0.000000 1.013311 1.981536 NaN
2016-01-02 1.966543 0.468294 0.168445 -1.474018 1.0
2016-01-03 -1.308454 0.625522 -2.465547 1.757797 2.0
2016-01-04 -1.430586 -0.732160 -0.034836 0.216295 3.0
2016-01-05 -0.519748 0.386824 -2.775289 -0.088892 4.0
2016-01-06 1.027911 -0.311089 0.646725 0.773003 5.0

也可以通过标签来赋值

df.at[dates[0], 'A'] = 0
df
A B C D F
2016-01-01 0.000000 0.000000 1.013311 1.981536 NaN
2016-01-02 1.966543 0.468294 0.168445 -1.474018 1.0
2016-01-03 -1.308454 0.625522 -2.465547 1.757797 2.0
2016-01-04 -1.430586 -0.732160 -0.034836 0.216295 3.0
2016-01-05 -0.519748 0.386824 -2.775289 -0.088892 4.0
2016-01-06 1.027911 -0.311089 0.646725 0.773003 5.0

通过位来赋值

df.iat[0, 1] = 0
df
A B C D F
2016-01-01 0.000000 0.000000 1.013311 1.981536 NaN
2016-01-02 1.966543 0.468294 0.168445 -1.474018 1.0
2016-01-03 -1.308454 0.625522 -2.465547 1.757797 2.0
2016-01-04 -1.430586 -0.732160 -0.034836 0.216295 3.0
2016-01-05 -0.519748 0.386824 -2.775289 -0.088892 4.0
2016-01-06 1.027911 -0.311089 0.646725 0.773003 5.0

将numpy数组赋值给某列

df.loc[:, 'D'] = np.array([5] * len(df))
df
A B C D F
2016-01-01 0.000000 0.000000 1.013311 5 NaN
2016-01-02 1.966543 0.468294 0.168445 5 1.0
2016-01-03 -1.308454 0.625522 -2.465547 5 2.0
2016-01-04 -1.430586 -0.732160 -0.034836 5 3.0
2016-01-05 -0.519748 0.386824 -2.775289 5 4.0
2016-01-06 1.027911 -0.311089 0.646725 5 5.0 
df2 = df.copy()
df2[df2>0] = -df2
df2
A B C D F
2016-01-01 0.000000 0.000000 -1.013311 -5 NaN
2016-01-02 -1.966543 -0.468294 -0.168445 -5 -1.0
2016-01-03 -1.308454 -0.625522 -2.465547 -5 -2.0
2016-01-04 -1.430586 -0.732160 -0.034836 -5 -3.0
2016-01-05 -0.519748 -0.386824 -2.775289 -5 -4.0
2016-01-06 -1.027911 -0.311089 -0.646725 -5 -5.0
## 处理缺失数据 pandas使用np.nan来表征缺失数据，这些数据在计算时默认不会被使用 
df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E'])
df1.loc[dates[0]:dates[1], 'E'] = 1
df1
A B C D F E
2016-01-01 0.000000 0.000000 1.013311 5 NaN 1.0
2016-01-02 1.966543 0.468294 0.168445 5 1.0 1.0
2016-01-03 -1.308454 0.625522 -2.465547 5 2.0 NaN
2016-01-04 -1.430586 -0.732160 -0.034836 5 3.0 NaN

方案一、丢弃所有数据缺失的行

df1.dropna(how='any')
A B C D F E
2016-01-02 1.966543 0.468294 0.168445 5 1.0 1.0

方案二、填充缺失值

df1.fillna(value=5)
A B C D F E
2016-01-01 0.000000 0.000000 1.013311 5 5.0 1.0
2016-01-02 1.966543 0.468294 0.168445 5 1.0 1.0
2016-01-03 -1.308454 0.625522 -2.465547 5 2.0 5.0
2016-01-04 -1.430586 -0.732160 -0.034836 5 3.0 5.0

可以获取到缺失数据的掩码

df.isnull()
# 值为Ｔｒｕｅ的位置即是数据缺失的位置
A B C D F
2016-01-01 False False False False True
2016-01-02 False False False False False
2016-01-03 False False False False False
2016-01-04 False False False False False
2016-01-05 False False False False False
2016-01-06 False False False False False
## 数据操作 数据操作默认不会使用缺失值 ### 状态操作 
df.mean()
A -0.044056 B 0.072898 C -0.574532 D 5.000000 F 3.000000 dtype: float64 
# 行内统计
df.mean(1)
2016-01-01 1.503328 2016-01-02 1.720656 2016-01-03 0.770304 2016-01-04 1.160484 2016-01-05 1.218357 2016-01-06 2.272709 Freq: D, dtype: float64 当对维度不同的数据进行操作时，　数据之间需要对其，ｐａｎｄａｓ会自动在不同维度之间进行广播 
s = pd.Series([1,3,5,np.nan, 6, 8], index=dates).shift(2)
s
2016-01-01 NaN 2016-01-02 NaN 2016-01-03 1.0 2016-01-04 3.0 2016-01-05 5.0 2016-01-06 NaN Freq: D, dtype: float64 
df.sub(s, axis='index')
A B C D F
2016-01-01 NaN NaN NaN NaN NaN
2016-01-02 NaN NaN NaN NaN NaN
2016-01-03 -2.308454 -0.374478 -3.465547 4.0 1.0
2016-01-04 -4.430586 -3.732160 -3.034836 2.0 0.0
2016-01-05 -5.519748 -4.613176 -7.775289 0.0 -1.0
2016-01-06 NaN NaN NaN NaN NaN
### 函数应用 将函数应用到数据上 
df.apply(np.cumsum, axis=0)
A B C D F
2016-01-01 0.000000 0.000000 1.013311 5 NaN
2016-01-02 1.966543 0.468294 1.181756 10 1.0
2016-01-03 0.658089 1.093815 -1.283791 15 3.0
2016-01-04 -0.772497 0.361655 -1.318627 20 6.0
2016-01-05 -1.292245 0.748479 -4.093916 25 10.0
2016-01-06 -0.264334 0.437390 -3.447191 30 15.0 
df.apply(lambda x: x.max() - x.min())
A 3.397129 B 1.357682 C 3.788600 D 0.000000 F 4.000000 dtype: float64 ## 直方图 
s = pd.Series(np.random.randint(0,7,size=10))
s
0 1 1 5 2 6 3 5 4 6 5 4 6 0 7 3 8 6 9 5 dtype: int64 
s.value_counts()
6 3 5 3 4 1 3 1 1 1 0 1 dtype: int64 ### 字符串操作 
s = pd.Series(['A', 'B', 'C', 'Aaba', 'BAcd', np.nan, 'CBA', 'dog', 'CAT'])
s.str.lower()
0 a 1 b 2 c 3 aaba 4 bacd 5 NaN 6 cba 7 dog 8 cat dtype: object ## 数据合并 ### 数据连接 concat 
# concat 函数将对象连接在一起
df = pd.DataFrame(np.random.randn(10,4))
df
0 1 2 3
0 -0.859307 -0.723708 -1.121663 1.438285
1 -0.168126 -0.343567 0.678940 0.394126
2 -0.541090 1.908998 -0.543378 -0.109371
3 -1.108110 0.332687 -1.320752 1.022476
4 0.591171 -1.259859 0.930266 0.688108
5 -0.065470 -0.957394 1.423691 -0.295647
6 1.728151 0.162709 0.836916 -0.573260
7 -0.025487 0.307945 -0.414787 -0.045495
8 -0.601439 -0.167967 -1.198304 0.242739
9 0.495473 -0.348495 1.599757 0.184015 
pieces = [df[:3], df[5:]]
pd.concat(pieces)
0 1 2 3
0 -0.859307 -0.723708 -1.121663 1.438285
1 -0.168126 -0.343567 0.678940 0.394126
2 -0.541090 1.908998 -0.543378 -0.109371
5 -0.065470 -0.957394 1.423691 -0.295647
6 1.728151 0.162709 0.836916 -0.573260
7 -0.025487 0.307945 -0.414787 -0.045495
8 -0.601439 -0.167967 -1.198304 0.242739
9 0.495473 -0.348495 1.599757 0.184015
### 数据ＳＱＬ风格的连接　merge 
left = pd.DataFrame({'key': ['foo', 'foo'], 'lval': [1,2]})
right = pd.DataFrame({'key': ['foo', 'foo'], 'rval': [4,5]})
left
key lval
0 foo 1
1 foo 2 
right
key rval
0 foo 4
1 foo 5 
pd.merge(left, right, on='key')
key lval rval
0 foo 1 4
1 foo 1 5
2 foo 2 4
3 foo 2 5
### Append 在Ｄａｔｅｆｒａｍｅ对象尾部添加数据 
df = pd.DataFrame(np.random.randn(8, 4), columns=['A','B','C','D'])
df
A B C D
0 -0.535803 -0.319896 -0.313776 -0.401106
1 -0.231405 2.058233 0.771222 0.170204
2 -1.699222 -0.098205 0.465100 0.295165
3 -0.273538 -0.902247 -0.328348 0.771312
4 0.080118 0.796800 0.564468 0.526290
5 0.485221 0.478245 -0.943854 -0.097568
6 -0.440915 0.134749 -0.840602 -0.836712
7 -0.283432 -0.029233 1.725972 -0.878117 
s = df.iloc[3]
df.append(s, ignore_index=True)
A B C D
0 -0.535803 -0.319896 -0.313776 -0.401106
1 -0.231405 2.058233 0.771222 0.170204
2 -1.699222 -0.098205 0.465100 0.295165
3 -0.273538 -0.902247 -0.328348 0.771312
4 0.080118 0.796800 0.564468 0.526290
5 0.485221 0.478245 -0.943854 -0.097568
6 -0.440915 0.134749 -0.840602 -0.836712
7 -0.283432 -0.029233 1.725972 -0.878117
8 -0.273538 -0.902247 -0.328348 0.771312
### 分组聚合 groupby 分组聚合一般而言经历一下步骤： - 按约束条件将数据分组 - 使用某个函数处理分好组的数据 - 将处理好的数据合并在一起 
df = pd.DataFrame({
        'A': ['foo','bar','foo','bar','foo','bar','foo','foo'],
        'B': ['one','one','two','three', 'two', 'two', 'one', 'three'],
        'C': np.random.randn(8),
        'D': np.random.randn(8)
    })
df
A B C D
0 foo one 0.996471 0.659993
1 bar one 0.990690 -1.102114
2 foo two -0.138965 0.236194
3 bar three 0.033469 0.253152
4 foo two -0.574320 0.081216
5 bar two 1.992456 0.939238
6 foo one -0.514013 -1.610422
7 foo three -0.640462 -1.606399

分组聚合后将ｓｕｍ函数应用到分组数据上

df.groupby('A').sum()
C D
A
bar 3.016615 0.090276
foo -0.871289 -2.239418

多重分组聚合之后，应用ｓｕｍ函数

df.groupby(['A', 'B']).sum()
C D
A B
bar one 0.990690 -1.102114
three 0.033469 0.253152
two 1.992456 0.939238
foo one 0.482458 -0.950429
three -0.640462 -1.606399
two -0.713285 0.317410
## 重塑和轴向旋转 ### 轴向旋转 
tuples = list(zip(*[
            ['bar','bar', 'baz', 'baz', 'foo','foo', 'qux', 'qux'],
            ['one', 'two', 'one', 'two', 'one', 'two', 'one', 'two' ]
        ]))
index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second'])
df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=['A','B'])
df2 = df[:4]
df2
A B
first second
bar one -0.084595 1.495368
two -0.801703 -0.663997
baz one -0.108681 -0.986022
two -0.524829 0.983664 
# stack方法将列转换为行
stacked = df2.stack()
stacked
first second bar one A -0.084595 B 1.495368 two A -0.801703 B -0.663997 baz one A -0.108681 B -0.986022 two A -0.524829 B 0.983664 dtype: float64 
# unstack方法将行转为列
stacked.unstack()
A B
first second
bar one -0.084595 1.495368
two -0.801703 -0.663997
baz one -0.108681 -0.986022
two -0.524829 0.983664 
# 默认unstack操作的是最内层的数据，可以指定层数
stacked.unstack(1)
second one two
first
bar A -0.084595 -0.801703
B 1.495368 -0.663997
baz A -0.108681 -0.524829
B -0.986022 0.983664 
stacked.unstack(0)
first bar baz
second
one A -0.084595 -0.108681
B 1.495368 -0.986022
two A -0.801703 -0.524829
B -0.663997 0.983664
### 透视表 
df = pd.DataFrame({
        'A': ['one', 'two', 'three', 'four'] * 3,
        'B': ['A', 'B', 'C'] * 4,
        'C': ['foo', 'foo', 'foo', 'bar', 'bar', 'bar'] * 2,
        'D': np.random.randn(12),
        'E': np.random.randn(12)

    })
df
A B C D E
0 one A foo 0.319799 -1.264188
1 two B foo 0.929552 -0.092799
2 three C foo -2.510099 0.979121
3 four A bar 1.727211 0.083378
4 one B bar 0.636672 -0.167700
5 two C bar 0.337749 0.782511
6 three A foo 0.429180 -2.415025
7 four B foo 0.334974 -1.997174
8 one C foo 0.248257 -1.003121
9 two A bar 0.465319 1.133168
10 three B bar 0.111670 -0.730784
11 four C bar -1.903981 -0.089501 
pd.pivot_table(df, values='D', index=['A', 'B'], columns=['C'])
C bar foo
A B
four A 1.727211 NaN
B NaN 0.334974
C -1.903981 NaN
one A NaN 0.319799
B 0.636672 NaN
C NaN 0.248257
three A NaN 0.429180
B 0.111670 NaN
C NaN -2.510099
two A 0.465319 NaN
B NaN 0.929552
C 0.337749 NaN
## 时间序列 pandas提供了简单有效的处理时间频率的函数。 
rng = pd.date_range('1/1/2016', periods=100, freq='S')

ts = pd.Series(np.random.randint(0, 500, len(rng)), index=rng)

ts.resample('10S').sum()
2016-01-01 00:00:00 2910 2016-01-01 00:00:10 2506 2016-01-01 00:00:20 2812 2016-01-01 00:00:30 2923 2016-01-01 00:00:40 2510 2016-01-01 00:00:50 2817 2016-01-01 00:01:00 2672 2016-01-01 00:01:10 2486 2016-01-01 00:01:20 3243 2016-01-01 00:01:30 2865 Freq: 10S, dtype: int64 时区转换 
rng = pd.date_range('2/2/2016 00:00', periods=5 , freq='D')

ts = pd.Series(np.random.randn(len(rng)), rng)

ts
2016-02-02 -0.662500 2016-02-03 -0.762211 2016-02-04 0.954675 2016-02-05 -0.411404 2016-02-06 0.237898 Freq: D, dtype: float64 
ts_utc = ts.tz_localize('UTC')

ts_utc
2016-02-02 00:00:00+00:00 -0.662500 2016-02-03 00:00:00+00:00 -0.762211 2016-02-04 00:00:00+00:00 0.954675 2016-02-05 00:00:00+00:00 -0.411404 2016-02-06 00:00:00+00:00 0.237898 Freq: D, dtype: float64 转化到其它时区 
ts_utc.tz_convert('Asia/Shanghai')
2016-02-02 08:00:00+08:00 -0.662500 2016-02-03 08:00:00+08:00 -0.762211 2016-02-04 08:00:00+08:00 0.954675 2016-02-05 08:00:00+08:00 -0.411404 2016-02-06 08:00:00+08:00 0.237898 Freq: D, dtype: float64 时间戳和时期之间的专转换 
ran = pd.date_range('1/1/2016', periods=5, freq='M')

ts = pd.Series(np.random.randn(len(rng)), index=rng)

ts
2016-02-02 -2.143138 2016-02-03 1.683414 2016-02-04 -0.427250 2016-02-05 -0.900378 2016-02-06 -1.039857 Freq: D, dtype: float64 
ps = ts.to_period()
ps
2016-02-02 -2.143138 2016-02-03 1.683414 2016-02-04 -0.427250 2016-02-05 -0.900378 2016-02-06 -1.039857 Freq: D, dtype: float64 
ps.to_timestamp()
2016-02-02 -2.143138 2016-02-03 1.683414 2016-02-04 -0.427250 2016-02-05 -0.900378 2016-02-06 -1.039857 Freq: D, dtype: float64 ## 种类类型 
df = pd.DataFrame({
        "id": [1,2,3,4,5,6],
        "raw_grade": ['a','b','b','a','a','e']
    })

df['grade'] = df['raw_grade'].astype('category')
df['grade']
0 a 1 b 2 b 3 a 4 a 5 e Name: grade, dtype: category Categories (3, object): [a, b, e] 
df.grade.cat.categories = ['very good', 'good', 'bad']
df.grade
0 very good 1 good 2 good 3 very good 4 very good 5 bad Name: grade, dtype: category Categories (3, object): [very good, good, bad] 
df.grade = df.grade.cat.set_categories(['very bad', 'bad', 'medium', 'good', 'very good'])
df.grade
0 very good 1 good 2 good 3 very good 4 very good 5 bad Name: grade, dtype: category Categories (5, object): [very bad, bad, medium, good, very good] 
df.sort_values(by='grade')
id raw_grade grade
5 6 e bad
1 2 b good
2 3 b good
0 1 a very good
3 4 a very good
4 5 a very good 
df.groupby('grade').size()
grade
very bad     0
bad          1
medium       0
good         2
very good    3
dtype: int64

绘图

ts = pd.Series(np.random.randn(1000), index=pd.date_range('1/1/2000', periods=1000))

ts = ts.cumsum()

ts.plot(grid=True)

pandas 新手指引_第1张图片

df = pd.DataFrame(np.random.randn(1000, 4), index=ts.index, columns=list('ABCD'))
df = df.cumsum()

plt.figure()
df.plot(grid=True)
plt.legend(loc='best')

pandas 新手指引_第2张图片

你可能感兴趣的:(python)

  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • python os.environ 江湖偌大 python深度学习
    os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
  • Python中os.environ基本介绍及使用方法 鹤冲天Pro #Pythonpython服务器开发语言
    文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
  • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
  • python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 pythonos.environ
    >>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
  • 使用Faiss进行高效相似度搜索 llzwxh888 faisspython
    在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
  • python是什么意思中文-在python中%是什么意思 编程大乐趣
    Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
  • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
  • python八股文面试题分享及解析(1) Shawn________ python
    #1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
  • 每日算法&面试题，大厂特训二十八天——第二十天（树） 肥学 ⚡算法题⚡面试题每日精进java算法数据结构
    目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
  • Python快速入门 —— 第三节：类与对象 孤华暗香 Python快速入门python开发语言
    第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
  • pyecharts——绘制柱形图折线图 2224070247 信息可视化pythonjava数据可视化
    一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
  • Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang
    前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
  • python os 环境变量 CV矿工 python开发语言numpy
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
  • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（1） 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • 《Python数据分析实战终极指南》 xjt921122 python数据分析开发语言
    对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
  • Python中深拷贝与浅拷贝的区别 yuxiaoyu.
    转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
  • Python开发常用的三方模块如下： 换个网名有点难 python开发语言
    Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
  • Python编译器 鹿鹿~ Python编译器Pythonpython开发语言后端
    嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
  • 一文掌握python面向对象魔术方法（二） 程序员neil pythonpython开发语言
    接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
  • 一文掌握python常用的list（列表）操作 程序员neil pythonpython开发语言
    目录一、创建列表1.直接创建列表：2.使用list()构造器3.使用列表推导式4.创建空列表二、访问列表元素1.列表支持通过索引访问元素，索引从0开始：2.还可以使用切片操作访问列表的一部分：三、修改列表元素四、添加元素1.append()：在末尾添加元素2.insert()：在指定位置插入元素五、删除元素1.del：删除指定位置的元素2.remove()：删除指定值的第一个匹配项3.pop()：
  • Python实现简单的机器学习算法 master_chenchengg pythonpython办公效率python开发IT
    Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
  • python中的深拷贝与浅拷贝 anshejd70787 python
    深拷贝和浅拷贝浅拷贝的时候，修改原来的对象，浅拷贝的对象不会发生改变。1、对象的赋值对象的赋值实际上是对象之间的引用：当创建一个对象，然后将这个对象赋值给另外一个变量的时候，python并没有拷贝这个对象，而只是拷贝了这个对象的引用。当对对象做赋值或者是参数传递或者作为返回值的时候，总是传递原始对象的引用，而不是一个副本。如下所示：>>>aList=["kel","abc",123]>>>bLis
  • 用Python实现简单的猜数字游戏 程序媛了了 python游戏java
    猜数字游戏代码：importrandomdefpythonit():a=random.randint(1,100)n=int(input("输入你猜想的数字："))whilen!=a:ifn>a:print("很遗憾，猜大了")n=int(input("请再次输入你猜想的数字："))elifna::如果玩家猜的数字n大于随机数字a，则输出"很遗憾，猜大了"，并提示玩家再次输入。elifn
  • 用Python实现读取统计单词个数 程序媛了了 python游戏java
    完整实例代码：fromcollectionsimportCounterdefpythonit():danci={}withopen("pythonit.txt","r",encoding="utf-8")asf:foriinf:words=i.strip().split()forwordinwords:ifwordnotindanci:danci[word]=1else:danci[word]+=
  • Java实现的基于模板的网页结构化信息精准抽取组件：HtmlExtractor yangshangchuan 信息抽取HtmlExtractor精准抽取信息采集
    HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件，本身并不包含爬虫功能，但可被爬虫或其他程序调用以便更精准地对网页结构化信息进行抽取。   HtmlExtractor是为大规模分布式环境设计的，采用主从架构，主节点负责维护抽取规则，从节点向主节点请求抽取规则，当抽取规则发生变化，主节点主动通知从节点，从而能实现抽取规则变化之后的实时动态生效。 如
  • java编程思想 -- 多态 百合不是茶 java多态详解
    一: 向上转型和向下转型 面向对象中的转型只会发生在有继承关系的子类和父类中（接口的实现也包括在这里）。父类：人    子类：男人向上转型： Person p = new Man() ; //向上转型不需要强制类型转化向下转型： Man man =
  • [自动数据处理]稳扎稳打,逐步形成自有ADP系统体系 comsci dp
          对于国内的IT行业来讲,虽然我们已经有了"两弹一星",在局部领域形成了自己独有的技术特征,并初步摆脱了国外的控制...但是前面的路还很长....       首先是我们的自动数据处理系统还无法处理很多高级工程...中等规模的拓扑分析系统也没有完成,更加复杂的
  • storm 自定义 日志文件 商人shang stormclusterlogback
    Storm中的日志级级别默认为INFO，并且，日志文件是根据worker号来进行区分的，这样，同一个log文件中的信息不一定是一个业务的，这样就会有以下两个需求出现： 1. 想要进行一些调试信息的输出 2. 调试信息或者业务日志信息想要输出到一些固定的文件中   不要怕，不要烦恼，其实Storm已经提供了这样的支持，可以通过自定义logback 下的 cluster.xml 来输
  • Extjs3 SpringMVC使用 @RequestBody 标签问题记录 21jhf
    springMVC使用 @RequestBody(required = false) UserVO userInfo 传递json对象数据，往往会出现http 415，400,500等错误，总结一下需要使用ajax提交json数据才行，ajax提交使用proxy，参数为jsonData，不能为params；另外，需要设置Content-type属性为json，代码如下： （由于使用了父类aaa
  • 一些排错方法 文强chu 方法
    1、java.lang.IllegalStateException: Class invariant violation at org.apache.log4j.LogManager.getLoggerRepository(LogManager.java:199)at org.apache.log4j.LogManager.getLogger(LogManager.java:228) at o
  • Swing中文件恢复我觉得很难 小桔子 swing
           我那个草了！老大怎么回事，怎么做项目评估的？只会说相信你可以做的，试一下，有的是时间！        用java开发一个图文处理工具，类似word，任意位置插入、拖动、删除图片以及文本等。文本框、流程图等，数据保存数据库，其余可保存pdf格式。ok,姐姐千辛万苦，
  • php 文件操作 aichenglong PHP读取文件写入文件
    1 写入文件 @$fp=fopen("$DOCUMENT_ROOT/order.txt", "ab"); if(!$fp){ echo "open file error" ; exit; } $outputstring="date:"." \t tire:".$tire."
  • MySQL的btree索引和hash索引的区别 AILIKES 数据结构mysql算法
    Hash 索引结构的特殊性，其 检索效率非常高，索引的检索可以一次定位，不像B-Tree 索引需要从根节点到枝节点，最后才能访问到页节点这样多次的IO访问，所以 Hash 索引的查询效率要远高于 B-Tree 索引。     可能很多人又有疑问了，既然 Hash 索引的效率要比 B-Tree 高很多，为什么大家不都用 Hash 索引而还要使用 B-Tree 索引呢
  • JAVA的抽象--- 接口 --实现 百合不是茶
    抽象 接口 实现接口   //抽象 类 ,方法   //定义一个公共抽象的类 ,并在类中定义一个抽象的方法体 抽象的定义使用abstract   abstract class A 定义一个抽象类 例如： //定义一个基类 public abstract class A{     //抽象类不能用来实例化，只能用来继承 //
  • JS变量作用域实例 bijian1013 作用域
    <script> var scope='hello'; function a(){ console.log(scope); //undefined var scope='world'; console.log(scope); //world console.log(b);
  • TDD实践（二） bijian1013 javaTDD
    实践题目：分解质因数 Step1： 单元测试： package com.bijian.study.factor.test; import java.util.Arrays; import junit.framework.Assert; import org.junit.Before; import org.junit.Test; import com.bijian.
  • [MongoDB学习笔记一]MongoDB主从复制 bit1129 mongodb
    MongoDB称为分布式数据库，主要原因是1.基于副本集的数据备份， 2.基于切片的数据扩容。副本集解决数据的读写性能问题，切片解决了MongoDB的数据扩容问题。   事实上，MongoDB提供了主从复制和副本复制两种备份方式，在MongoDB的主从复制和副本复制集群环境中，只有一台作为主服务器，另外一台或者多台服务器作为从服务器。 本文介绍MongoDB的主从复制模式，需要指明
  • 【HBase五】Java API操作HBase bit1129 hbase
    import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.ha
  • python调用zabbix api接口实时展示数据 ronin47
    zabbix api接口来进行展示。经过思考之后，计划获取如下内容：     1、  获得认证密钥     2、  获取zabbix所有的主机组     3、  获取单个组下的所有主机     4、  获取某个主机下的所有监控项  
  • jsp取得绝对路径 byalias 绝对路径
    在JavaWeb开发中，常使用绝对路径的方式来引入JavaScript和CSS文件，这样可以避免因为目录变动导致引入文件找不到的情况，常用的做法如下： 一、使用${pageContext.request.contextPath} 　　代码” ${pageContext.request.contextPath}”的作用是取出部署的应用程序名，这样不管如何部署，所用路径都是正确的。
  • Java定时任务调度：用ExecutorService取代Timer bylijinnan java
    《Java并发编程实战》一书提到的用ExecutorService取代Java Timer有几个理由，我认为其中最重要的理由是： 如果TimerTask抛出未检查的异常，Timer将会产生无法预料的行为。Timer线程并不捕获异常，所以 TimerTask抛出的未检查的异常会终止timer线程。这种情况下，Timer也不会再重新恢复线程的执行了;它错误的认为整个Timer都被取消了。此时，已经被
  • SQL 优化原则 chicony sql
    一、问题的提出 　在应用系统开发初期，由于开发数据库数据比较少，对于查询SQL语句，复杂视图的的编写等体会不出SQL语句各种写法的性能优劣，但是如果将应用系统提交实际应用后，随着数据库中数据的增加，系统的响应速度就成为目前系统需要解决的最主要的问题之一。系统优化中一个很重要的方面就是SQL语句的优化。对于海量数据，劣质SQL语句和优质SQL语句之间的速度差别可以达到上百倍，可见对于一个系统
  • java 线程弹球小游戏 CrazyMizzz java游戏
    最近java学到线程，于是做了一个线程弹球的小游戏，不过还没完善 这里是提纲 1.线程弹球游戏实现 1.实现界面需要使用哪些API类 JFrame JPanel JButton FlowLayout Graphics2D Thread Color ActionListener ActionEvent MouseListener Mouse
  • hadoop jps出现process information unavailable提示解决办法 daizj hadoopjps
    hadoop jps出现process information unavailable提示解决办法   jps时出现如下信息： 3019 -- process information unavailable3053 -- process information unavailable2985 -- process information unavailable2917 --
  • PHP图片水印缩放类实现 dcj3sjt126com PHP
    <?php class Image{ private $path; function __construct($path='./'){ $this->path=rtrim($path,'/').'/'; } //水印函数，参数：背景图，水印图，位置，前缀,TMD透明度 public function water($b,$l,$pos
  • IOS控件学习：UILabel常用属性与用法 dcj3sjt126com iosUILabel
    参考网站： http://shijue.me/show_text/521c396a8ddf876566000007 http://www.tuicool.com/articles/zquENb http://blog.csdn.net/a451493485/article/details/9454695 http://wiki.eoe.cn/page/iOS_pptl_artile_281
  • 完全手动建立maven骨架 eksliang javaeclipseWeb
    建一个 JAVA 项目 ： mvn archetype:create -DgroupId=com.demo -DartifactId=App [-Dversion=0.0.1-SNAPSHOT] [-Dpackaging=jar] 建一个 web 项目 ： mvn archetype:create -DgroupId=com.demo -DartifactId=web-a
  • 配置清单 gengzg 配置
    1、修改grub启动的内核版本 vi /boot/grub/grub.conf 将default 0改为1 拷贝mt7601Usta.ko到/lib文件夹 拷贝RT2870STA.dat到 /etc/Wireless/RT2870STA/文件夹 拷贝wifiscan到bin文件夹，chmod 775 /bin/wifiscan 拷贝wifiget.sh到bin文件夹，chm
  • Windows端口被占用处理方法 huqiji windows
    以下文章主要以80端口号为例，如果想知道其他的端口号也可以使用该方法..........................1、在windows下如何查看80端口占用情况?是被哪个进程占用?如何终止等.        这里主要是用到windows下的DOS工具,点击"开始"--"运行",输入&
  • 开源ckplayer 网页播放器， 跨平台(html5, mobile)，flv, f4v, mp4, rtmp协议. webm, ogg, m3u8 ！ 天梯梦 mobile
    CKplayer，其全称为超酷flv播放器，它是一款用于网页上播放视频的软件，支持的格式有：http协议上的flv,f4v,mp4格式，同时支持rtmp视频流格 式播放，此播放器的特点在于用户可以自己定义播放器的风格，诸如播放/暂停按钮，静音按钮，全屏按钮都是以外部图片接口形式调用，用户根据自己的需要制作 出播放器风格所需要使用的各个按钮图片然后替换掉原始风格里相应的图片就可以制作出自己的风格了，
  • 简单工厂设计模式 hm4123660 java工厂设计模式简单工厂模式
           简单工厂模式（Simple Factory Pattern）属于类的创新型模式，又叫静态工厂方法模式。是通过专门定义一个类来负责创建其他类的实例，被创建的实例通常都具有共同的父类。简单工厂模式是由一个工厂对象决定创建出哪一种产品类的实例。简单工厂模式是工厂模式家族中最简单实用的模式，可以理解为是不同工厂模式的一个特殊实现。
  • maven笔记 zhb8015 maven
    跳过测试阶段： mvn package -DskipTests 临时性跳过测试代码的编译： mvn package -Dmaven.test.skip=true   maven.test.skip同时控制maven-compiler-plugin和maven-surefire-plugin两个插件的行为，即跳过编译，又跳过测试。   指定测试类 mvn test
  • 非mapreduce生成Hfile，然后导入hbase当中 Stark_Summer maphbasereduceHfilepath实例
    最近一个群友的boss让研究hbase，让hbase的入库速度达到5w+/s，这可愁死了，4台个人电脑组成的集群，多线程入库调了好久，速度也才1w左右，都没有达到理想的那种速度，然后就想到了这种方式，但是网上多是用mapreduce来实现入库，而现在的需求是实时入库，不生成文件了，所以就只能自己用代码实现了，但是网上查了很多资料都没有查到，最后在一个网友的指引下，看了源码，最后找到了生成Hfile
  • jsp web tomcat 编码问题 王新春 tomcatjsppageEncode
    今天配置jsp项目在tomcat上，windows上正常，而linux上显示乱码，最后定位原因为tomcat 的server.xml 文件的配置，添加 URIEncoding 属性： <Connector port="8080" protocol="HTTP/1.1" connectionTi
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他