mengke25

python备忘录——pandas笔记

pandas_learning

import numpy as np
import pandas as pd

一、生成对象

# 用值列表生成 Series
s = pd.Series([1, 3, 5, np.nan, 6, 8])
print(s)

0    1.0
1    3.0
2    5.0
3    NaN
4    6.0
5    8.0
dtype: float64

# 用含日期时间索引与标签的 NumPy 数组生成
dates = pd.date_range('20130101', periods=6)
print(dates)

DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
               '2013-01-05', '2013-01-06'],
              dtype='datetime64[ns]', freq='D')

# 用含日期时间索引与标签的 NumPy 数组生成 DataFrame
df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))
print(df)

                   A         B         C         D
2013-01-01 -0.490432  1.341003 -0.350064 -1.128517
2013-01-02  2.097826 -0.184385  0.701016  0.110131
2013-01-03  0.626084  1.155184 -0.340739  1.792840
2013-01-04  0.418219 -0.551569  0.878323 -0.454765
2013-01-05  0.342240 -1.456387  1.389543 -1.012628
2013-01-06 -1.037013 -1.308806 -0.414125  2.011082

df2 = pd.DataFrame({'A': 1.,
                    'B': pd.Timestamp('20130102'),
                    'C': pd.Series(1, index=list(range(4)), dtype='float32'),
                    'D': np.array([3] * 4, dtype='int32'),
                    'E': pd.Categorical(["test", "train", "test", "train"]),
                    'F': 'foo'})

print(df2)
print('\n')
df2

     A          B    C  D      E    F
0  1.0 2013-01-02  1.0  3   test  foo
1  1.0 2013-01-02  1.0  3  train  foo
2  1.0 2013-01-02  1.0  3   test  foo
3  1.0 2013-01-02  1.0  3  train  foo

	A	B	C	D	E	F
0	1.0	2013-01-02	1.0	3	test	foo
1	1.0	2013-01-02	1.0	3	train	foo
2	1.0	2013-01-02	1.0	3	test	foo
3	1.0	2013-01-02	1.0	3	train	foo

# DataFrame 的列有不同数据类型
df2.dtypes

A           float64
B    datetime64[ns]
C           float32
D             int32
E          category
F            object
dtype: object

二、查看数据

# 查看数据表头
df.head()

# 查看数据尾部
df.tail(3)

	A	B	C	D
2013-01-04	0.418219	-0.551569	0.878323	-0.454765
2013-01-05	0.342240	-1.456387	1.389543	-1.012628
2013-01-06	-1.037013	-1.308806	-0.414125	2.011082

# 显示索引(行名)
df.index

DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
               '2013-01-05', '2013-01-06'],
              dtype='datetime64[ns]', freq='D')

# 显示列名
df.columns

Index(['A', 'B', 'C', 'D'], dtype='object')

DataFrame.to_numpy() 输出底层数据的 NumPy 对象。注意，DataFrame 的列由多种数据类型组成时，该操作耗费系统资源较大，这也是 Pandas 和 NumPy 的本质区别：NumPy 数组只有一种数据类型，DataFrame 每列的数据类型各不相同。调用 DataFrame.to_numpy() 时，Pandas 查找支持 DataFrame 里所有数据类型的 NumPy 数据类型。还有一种数据类型是 object，可以把 DataFrame 列里的值强制转换为 Python 对象。

df.to_numpy()
# DataFrame.to_numpy() 的输出不包含行索引和列标签。

array([[-0.49043231,  1.34100341, -0.35006351, -1.12851705],
       [ 2.09782571, -0.18438459,  0.70101634,  0.11013148],
       [ 0.62608362,  1.15518436, -0.34073901,  1.79283954],
       [ 0.41821905, -0.5515692 ,  0.8783226 , -0.45476542],
       [ 0.34224006, -1.4563874 ,  1.38954313, -1.01262842],
       [-1.03701303, -1.30880558, -0.41412501,  2.01108196]])

# 快速查看数据的统计摘要
df.describe()

	A	B	C	D
count	6.000000	6.000000	6.000000	6.000000
mean	0.326154	-0.167493	0.310659	0.219690
std	1.073550	1.194712	0.777791	1.377465
min	-1.037013	-1.456387	-0.414125	-1.128517
25%	-0.282264	-1.119496	-0.347732	-0.873163
50%	0.380230	-0.367977	0.180139	-0.172317
75%	0.574117	0.820292	0.833996	1.372163
max	2.097826	1.341003	1.389543	2.011082

# 转置数据
df.T

	2013-01-01	2013-01-02	2013-01-03	2013-01-04	2013-01-05	2013-01-06
A	-0.490432	2.097826	0.626084	0.418219	0.342240	-1.037013
B	1.341003	-0.184385	1.155184	-0.551569	-1.456387	-1.308806
C	-0.350064	0.701016	-0.340739	0.878323	1.389543	-0.414125
D	-1.128517	0.110131	1.792840	-0.454765	-1.012628	2.011082

# 按轴排序
df.sort_index(axis=1,ascending=False)
df.sort_index(axis=1,ascending =True)

	A	B	C	D
2013-01-01	-0.490432	1.341003	-0.350064	-1.128517
2013-01-02	2.097826	-0.184385	0.701016	0.110131
2013-01-03	0.626084	1.155184	-0.340739	1.792840
2013-01-04	0.418219	-0.551569	0.878323	-0.454765
2013-01-05	0.342240	-1.456387	1.389543	-1.012628
2013-01-06	-1.037013	-1.308806	-0.414125	2.011082

# 按值排序：
df.sort_values(by='B')

	A	B	C	D
2013-01-05	0.342240	-1.456387	1.389543	-1.012628
2013-01-06	-1.037013	-1.308806	-0.414125	2.011082
2013-01-04	0.418219	-0.551569	0.878323	-0.454765
2013-01-02	2.097826	-0.184385	0.701016	0.110131
2013-01-03	0.626084	1.155184	-0.340739	1.792840
2013-01-01	-0.490432	1.341003	-0.350064	-1.128517

三、选择

选择、设置标准 Python / Numpy 的表达式已经非常直观，交互也很方便，但对于生产代码，我们还是推荐优化过的 Pandas 数据访问方法：.at、.iat、.loc 和 .iloc

（一）获取数据

# 选择列
# 选择单列，产生 Series，与 df.A 等效：
df['A']

df.A

2013-01-01   -0.490432
2013-01-02    2.097826
2013-01-03    0.626084
2013-01-04    0.418219
2013-01-05    0.342240
2013-01-06   -1.037013
Freq: D, Name: A, dtype: float64

# 选择行
print(df[0:3])

print('\n')

# 根据条件选择行
print(df['20130102':'20130104'])

                   A         B         C         D
2013-01-01 -0.490432  1.341003 -0.350064 -1.128517
2013-01-02  2.097826 -0.184385  0.701016  0.110131
2013-01-03  0.626084  1.155184 -0.340739  1.792840

                   A         B         C         D
2013-01-02  2.097826 -0.184385  0.701016  0.110131
2013-01-03  0.626084  1.155184 -0.340739  1.792840
2013-01-04  0.418219 -0.551569  0.878323 -0.454765

（二）按照标签选择

# 用标签提取一行数据
df.loc[dates[0]]

A   -0.490432
B    1.341003
C   -0.350064
D   -1.128517
Name: 2013-01-01 00:00:00, dtype: float64

# 用标签选择多列数据：
df.loc[:, ['A', 'B']]

	A	B
2013-01-01	-0.490432	1.341003
2013-01-02	2.097826	-0.184385
2013-01-03	0.626084	1.155184
2013-01-04	0.418219	-0.551569
2013-01-05	0.342240	-1.456387
2013-01-06	-1.037013	-1.308806

# 用标签切片，包含行与列结束点：
df.loc['20130102':'20130104', ['A', 'B']]

	A	B
2013-01-02	2.097826	-0.184385
2013-01-03	0.626084	1.155184
2013-01-04	0.418219	-0.551569

# 返回对象降维：
df.loc['20130102', ['A', 'B']]

A    2.097826
B   -0.184385
Name: 2013-01-02 00:00:00, dtype: float64

# 提取标量值：
df.loc[dates[0], 'A']

df.loc['20130101', 'A']

-0.490432312502826

（三）按位置选择

# 用整数位置选择：
df.iloc[3]

A    0.418219
B   -0.551569
C    0.878323
D   -0.454765
Name: 2013-01-04 00:00:00, dtype: float64

# 类似 NumPy / Python，用整数切片：
df.iloc[3:5, 0:2]

	A	B
2013-01-04	0.418219	-0.551569
2013-01-05	0.342240	-1.456387

# 类似 NumPy / Python，用整数列表按位置切片：
df.iloc[[1, 2, 4], [0, 2]]

	A	C
2013-01-02	2.097826	0.701016
2013-01-03	0.626084	-0.340739
2013-01-05	0.342240	1.389543

# 显式整行切片：
df.iloc[1:3, :]

	A	B	C	D
2013-01-02	2.097826	-0.184385	0.701016	0.110131
2013-01-03	0.626084	1.155184	-0.340739	1.792840

# 显式整列切片：
df.iloc[:, 1:3]

	B	C
2013-01-01	1.341003	-0.350064
2013-01-02	-0.184385	0.701016
2013-01-03	1.155184	-0.340739
2013-01-04	-0.551569	0.878323
2013-01-05	-1.456387	1.389543
2013-01-06	-1.308806	-0.414125

# 显式提取值：
df.iloc[1, 1]
df.iat[1, 1]

-0.18438458703585694

（四）布尔索引

# 用单列的值选择数据：
df[df.B > 0]

	A	B	C	D
2013-01-01	-0.490432	1.341003	-0.350064	-1.128517
2013-01-03	0.626084	1.155184	-0.340739	1.792840

# 选择 DataFrame 里满足条件的值：
df[df > 0]

	A	B	C	D
2013-01-01	NaN	1.341003	NaN	NaN
2013-01-02	2.097826	NaN	0.701016	0.110131
2013-01-03	0.626084	1.155184	NaN	1.792840
2013-01-04	0.418219	NaN	0.878323	NaN
2013-01-05	0.342240	NaN	1.389543	NaN
2013-01-06	NaN	NaN	NaN	2.011082

# 用 isin() 筛选：
df2 = df.copy()
df2['E'] = ['one', 'one', 'two', 'three', 'four', 'three']
df2['time'] = ['1st','2nd','3rd','4th','5th','6th']
print(df2)

df2[df2['E'].isin(['two', 'four'])]

                   A         B         C         D      E time
2013-01-01 -0.490432  1.341003 -0.350064 -1.128517    one  1st
2013-01-02  2.097826 -0.184385  0.701016  0.110131    one  2nd
2013-01-03  0.626084  1.155184 -0.340739  1.792840    two  3rd
2013-01-04  0.418219 -0.551569  0.878323 -0.454765  three  4th
2013-01-05  0.342240 -1.456387  1.389543 -1.012628   four  5th
2013-01-06 -1.037013 -1.308806 -0.414125  2.011082  three  6th

	A	B	C	D	E	time
2013-01-03	0.626084	1.155184	-0.340739	1.792840	two	3rd
2013-01-05	0.342240	-1.456387	1.389543	-1.012628	four	5th

（五）赋值

# 用索引自动对齐新增列的数据：
s1 = pd.Series([1, 2, 3, 4, 5, 6], index=pd.date_range('20130102', periods=6))
s1

2013-01-02    1
2013-01-03    2
2013-01-04    3
2013-01-05    4
2013-01-06    5
2013-01-07    6
Freq: D, dtype: int64

# 按标签赋值：
df.at[dates[0], 'A'] = 0
df

	A	B	C	D
2013-01-01	0.000000	1.341003	-0.350064	-1.128517
2013-01-02	2.097826	-0.184385	0.701016	0.110131
2013-01-03	0.626084	1.155184	-0.340739	1.792840
2013-01-04	0.418219	-0.551569	0.878323	-0.454765
2013-01-05	0.342240	-1.456387	1.389543	-1.012628
2013-01-06	-1.037013	-1.308806	-0.414125	2.011082

# 按位置赋值：
df.iat[0, 1] = 0
df

	A	B	C	D
2013-01-01	0.000000	0.000000	-0.350064	-1.128517
2013-01-02	2.097826	-0.184385	0.701016	0.110131
2013-01-03	0.626084	1.155184	-0.340739	1.792840
2013-01-04	0.418219	-0.551569	0.878323	-0.454765
2013-01-05	0.342240	-1.456387	1.389543	-1.012628
2013-01-06	-1.037013	-1.308806	-0.414125	2.011082

# 按 NumPy 数组赋值：
df.loc[:, 'D'] = np.array([5] * len(df))
df

C:\Users\Allen\AppData\Local\Temp\ipykernel_13872\531792459.py:2: DeprecationWarning: In a future version, `df.iloc[:, i] = newvals` will attempt to set the values inplace instead of always setting a new array. To retain the old behavior, use either `df[df.columns[i]] = newvals` or, if columns are non-unique, `df.isetitem(i, newvals)`
  df.loc[:, 'D'] = np.array([5] * len(df))

	A	B	C	D
2013-01-01	0.000000	0.000000	-0.350064	5
2013-01-02	2.097826	-0.184385	0.701016	5
2013-01-03	0.626084	1.155184	-0.340739	5
2013-01-04	0.418219	-0.551569	0.878323	5
2013-01-05	0.342240	-1.456387	1.389543	5
2013-01-06	-1.037013	-1.308806	-0.414125	5

# 用 where 条件赋值：
df2 = df.copy()
print(df2)

df2[df2 > 0] = -df2
df2

                   A         B         C  D
2013-01-01  0.000000  0.000000 -0.350064  5
2013-01-02  2.097826 -0.184385  0.701016  5
2013-01-03  0.626084  1.155184 -0.340739  5
2013-01-04  0.418219 -0.551569  0.878323  5
2013-01-05  0.342240 -1.456387  1.389543  5
2013-01-06 -1.037013 -1.308806 -0.414125  5

	A	B	C	D
2013-01-01	0.000000	0.000000	-0.350064	-5
2013-01-02	-2.097826	-0.184385	-0.701016	-5
2013-01-03	-0.626084	-1.155184	-0.340739	-5
2013-01-04	-0.418219	-0.551569	-0.878323	-5
2013-01-05	-0.342240	-1.456387	-1.389543	-5
2013-01-06	-1.037013	-1.308806	-0.414125	-5

四、缺失值

Pandas 主要用 np.nan 表示缺失数据。计算时，默认不包含空值。详见缺失数据。

# 重建索引（reindex）可以更改、添加、删除指定轴的索引，并返回数据副本，即不更改原数据。
df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E'])
df1.loc[dates[0]:dates[1], 'E'] = 1
df1

	A	B	C	D	E
2013-01-01	0.000000	0.000000	-0.350064	5	1.0
2013-01-02	2.097826	-0.184385	0.701016	5	1.0
2013-01-03	0.626084	1.155184	-0.340739	5	NaN
2013-01-04	0.418219	-0.551569	0.878323	5	NaN

# 删除所有含缺失值的行：
df1.dropna(how='any')

	A	B	C	D	E
2013-01-01	0.000000	0.000000	-0.350064	5	1.0
2013-01-02	2.097826	-0.184385	0.701016	5	1.0

# 填充缺失值
df1.fillna(value=5)

	A	B	C	D	E
2013-01-01	0.000000	0.000000	-0.350064	5	1.0
2013-01-02	2.097826	-0.184385	0.701016	5	1.0
2013-01-03	0.626084	1.155184	-0.340739	5	5.0
2013-01-04	0.418219	-0.551569	0.878323	5	5.0

# 提取 nan 值的布尔掩码：
pd.isna(df1)

	A	B	C	D	E
2013-01-01	False	False	False	False	False
2013-01-02	False	False	False	False	False
2013-01-03	False	False	False	False	True
2013-01-04	False	False	False	False	True

五、运算

（一）统计

# 描述性统计：
df.mean()

A    0.407893
B   -0.390994
C    0.310659
D    5.000000
dtype: float64

# 在另一个轴(即，行)上执行同样的操作：
print(df)
df.mean(1)

                   A         B         C  D
2013-01-01  0.000000  0.000000 -0.350064  5
2013-01-02  2.097826 -0.184385  0.701016  5
2013-01-03  0.626084  1.155184 -0.340739  5
2013-01-04  0.418219 -0.551569  0.878323  5
2013-01-05  0.342240 -1.456387  1.389543  5
2013-01-06 -1.037013 -1.308806 -0.414125  5





2013-01-01    1.162484
2013-01-02    1.903614
2013-01-03    1.610132
2013-01-04    1.436243
2013-01-05    1.318849
2013-01-06    0.560014
Freq: D, dtype: float64

# 不同维度对象运算时，要先对齐。 此外，Pandas 自动沿指定维度广播。
s = pd.Series([1, 3, 5, np.nan, 6, 8], index=dates).shift(2)
s

2013-01-01    NaN
2013-01-02    NaN
2013-01-03    1.0
2013-01-04    3.0
2013-01-05    5.0
2013-01-06    NaN
Freq: D, dtype: float64

（二）Apply函数

# Apply 函数处理数据：
df.apply(np.cumsum)

	A	B	C	D
2013-01-01	0.000000	0.000000	-0.350064	5
2013-01-02	2.097826	-0.184385	0.350953	10
2013-01-03	2.723909	0.970800	0.010214	15
2013-01-04	3.142128	0.419231	0.888536	20
2013-01-05	3.484368	-1.037157	2.278080	25
2013-01-06	2.447355	-2.345962	1.863955	30

（三）直方图

s = pd.Series(np.random.randint(0, 7, size=10))
s

0    1
1    3
2    4
3    5
4    4
5    2
6    1
7    2
8    0
9    0
dtype: int32

s.value_counts()

1    2
4    2
2    2
0    2
3    1
5    1
dtype: int64

（四）字符串方法

s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca', np.nan, 'CABA', 'dog', 'cat'])
s.str.lower()

0       a
1       b
2       c
3    aaba
4    baca
5     NaN
6    caba
7     dog
8     cat
dtype: object

五、合并

（一）结合（concat）

Pandas 提供了多种将 Series、DataFrame 对象组合在一起的功能，用索引与关联代数功能的多种设置逻辑可执行连接（join）与合并（merge）操作。

df = pd.DataFrame(np.random.randn(10, 4))
df

	0	1	2	3
0	-1.920086	0.367632	2.497282	0.066091
1	-0.604439	1.692157	-0.805864	1.755445
2	-0.585767	0.946251	0.196929	1.496892
3	-0.200327	-0.574453	-0.255195	-0.317823
4	1.273022	0.874491	1.619386	1.956572
5	-1.045788	2.007894	0.113608	-0.576531
6	0.947761	1.959843	1.525449	-0.859118
7	0.753344	0.290895	-1.511461	1.335855
8	-2.731952	0.122681	-1.543743	-1.982785
9	0.095608	-2.362279	-0.386469	1.895013

# 分解为多个组
pieces = [df[:3], df[3:7], df[7:]]
pieces

[          0         1         2         3
 0 -1.920086  0.367632  2.497282  0.066091
 1 -0.604439  1.692157 -0.805864  1.755445
 2 -0.585767  0.946251  0.196929  1.496892,
           0         1         2         3
 3 -0.200327 -0.574453 -0.255195 -0.317823
 4  1.273022  0.874491  1.619386  1.956572
 5 -1.045788  2.007894  0.113608 -0.576531
 6  0.947761  1.959843  1.525449 -0.859118,
           0         1         2         3
 7  0.753344  0.290895 -1.511461  1.335855
 8 -2.731952  0.122681 -1.543743 -1.982785
 9  0.095608 -2.362279 -0.386469  1.895013]

pd.concat(pieces)

	0	1	2	3
0	-1.920086	0.367632	2.497282	0.066091
1	-0.604439	1.692157	-0.805864	1.755445
2	-0.585767	0.946251	0.196929	1.496892
3	-0.200327	-0.574453	-0.255195	-0.317823
4	1.273022	0.874491	1.619386	1.956572
5	-1.045788	2.007894	0.113608	-0.576531
6	0.947761	1.959843	1.525449	-0.859118
7	0.753344	0.290895	-1.511461	1.335855
8	-2.731952	0.122681	-1.543743	-1.982785
9	0.095608	-2.362279	-0.386469	1.895013

（二）连接（join）

1.第一个例子

left = pd.DataFrame({'key': ['foo', 'foo'], 'lval': [1, 2]})
left

	key	lval
0	foo	1
1	foo	2

right = pd.DataFrame({'key': ['foo', 'foo'], 'rval': [4, 5]})
right

	key	rval
0	foo	4
1	foo	5

pd.merge(left, right, on='key')

	key	lval	rval
0	foo	1	4
1	foo	1	5
2	foo	2	4
3	foo	2	5

2.第二个例子

left = pd.DataFrame({'key': ['foo', 'bar'], 'lval': [1, 2]})
left

	key	lval
0	foo	1
1	bar	2

right = pd.DataFrame({'key': ['foo', 'bar'], 'rval': [4, 5]})
right

	key	rval
0	foo	4
1	bar	5

pd.merge(left, right, on='key')

	key	lval	rval
0	foo	1	4
1	bar	2	5

（三）结合（append）

df = pd.DataFrame(np.random.randn(8, 4), columns=['A', 'B', 'C', 'D'])
df

	A	B	C	D
0	1.977216	0.809690	-1.092985	1.094562
1	-0.537330	0.119068	-0.270291	0.583295
2	-0.899852	-0.013189	-0.701051	-0.075777
3	-0.676315	-0.388863	-0.317767	0.200017
4	2.046481	-0.059868	-0.043779	0.073719
5	0.553642	0.585511	-0.363557	1.353199
6	-0.038520	0.867621	1.283126	0.359301
7	1.487298	-1.967855	0.781338	-0.356828

s = df.iloc[3]
s

A   -0.676315
B   -0.388863
C   -0.317767
D    0.200017
Name: 3, dtype: float64

df.append(s, ignore_index=True)

C:\Users\Allen\AppData\Local\Temp\ipykernel_13872\4011806271.py:1: FutureWarning: The frame.append method is deprecated and will be removed from pandas in a future version. Use pandas.concat instead.
  df.append(s, ignore_index=True)

	A	B	C	D
0	1.977216	0.809690	-1.092985	1.094562
1	-0.537330	0.119068	-0.270291	0.583295
2	-0.899852	-0.013189	-0.701051	-0.075777
3	-0.676315	-0.388863	-0.317767	0.200017
4	2.046481	-0.059868	-0.043779	0.073719
5	0.553642	0.585511	-0.363557	1.353199
6	-0.038520	0.867621	1.283126	0.359301
7	1.487298	-1.967855	0.781338	-0.356828
8	-0.676315	-0.388863	-0.317767	0.200017

六、分组（group）

df = pd.DataFrame({'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
                   'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
                   'C': np.random.randn(8),
                   'D': np.random.randn(8)})
df

	A	B	C	D
0	foo	one	0.110792	1.046919
1	bar	one	0.257225	-1.405743
2	foo	two	-1.029414	-0.631213
3	bar	three	-0.696101	-0.153206
4	foo	two	0.655852	0.016673
5	bar	two	0.454345	-0.839135
6	foo	one	-1.270142	-2.196781
7	foo	three	0.491435	0.502373

# 用 sum()函数计算每组的汇总数据：
df.groupby('A').sum()

C:\Users\Allen\AppData\Local\Temp\ipykernel_13872\408658545.py:2: FutureWarning: The default value of numeric_only in DataFrameGroupBy.sum is deprecated. In a future version, numeric_only will default to False. Either specify numeric_only or select only columns which should be valid for the function.
  df.groupby('A').sum()

	C	D
A
bar	0.015469	-2.398085
foo	-1.041477	-1.262029

# 用 sum()函数计算每组的汇总数据：
df.groupby(['A', 'B']).sum()

		C	D
A	B
bar	one	0.257225	-1.405743
	three	-0.696101	-0.153206
	two	0.454345	-0.839135
foo	one	-1.159350	-1.149862
	three	0.491435	0.502373
	two	-0.373561	-0.614540

七、重塑

（一）堆叠

tuples = list(zip(*[['bar', 'bar', 'baz', 'baz',
                     'foo', 'foo', 'qux', 'qux'],
                    ['one', 'two', 'one', 'two',
                     'one', 'two', 'one', 'two']]))
tuples

[('bar', 'one'),
 ('bar', 'two'),
 ('baz', 'one'),
 ('baz', 'two'),
 ('foo', 'one'),
 ('foo', 'two'),
 ('qux', 'one'),
 ('qux', 'two')]

index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second'])
df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=['A', 'B'])
df2 = df[:4]
df2

		A	B
first	second
bar	one	0.293173	0.076621
bar	two	0.504254	0.005360
baz	one	-0.520367	-0.118466
baz	two	-0.280027	1.871664

stacked = df2.stack()
stacked

first  second   
bar    one     A    0.293173
               B    0.076621
       two     A    0.504254
               B    0.005360
baz    one     A   -0.520367
               B   -0.118466
       two     A   -0.280027
               B    1.871664
dtype: float64

压缩后的 DataFrame 或 Series 具有多层索引， stack() 的逆操作是 unstack()，默认为拆叠最后一层：

stacked.unstack()

		A	B
first	second
bar	one	0.293173	0.076621
bar	two	0.504254	0.005360
baz	one	-0.520367	-0.118466
baz	two	-0.280027	1.871664

stacked.unstack(1)

	second	one	two
first
bar	A	0.293173	0.504254
bar	B	0.076621	0.005360
baz	A	-0.520367	-0.280027
baz	B	-0.118466	1.871664

八、数据透视表

df = pd.DataFrame({'A': ['one', 'one', 'two', 'three'] * 3,
                   'B': ['A', 'B', 'C'] * 4,
                   'C': ['foo', 'foo', 'foo', 'bar', 'bar', 'bar'] * 2,
                   'D': np.random.randn(12),
                   'E': np.random.randn(12)})
df

	A	B	C	D	E
0	one	A	foo	1.768843	-2.404768
1	one	B	foo	-1.296745	1.205640
2	two	C	foo	-0.374749	-0.545797
3	three	A	bar	-0.504192	1.104782
4	one	B	bar	-0.893779	-0.056505
5	one	C	bar	-0.671526	-1.454542
6	two	A	foo	1.234484	1.087237
7	three	B	foo	0.316961	-1.333247
8	one	C	foo	1.342511	-0.712946
9	one	A	bar	-0.263245	-0.278933
10	two	B	bar	-2.146075	-0.725574
11	three	C	bar	1.257256	1.293410

# 生成数据透视表
pd.pivot_table(df, values='D', index=['A', 'B'], columns=['C'])

	C	bar	foo
A	B
one	A	-0.263245	1.768843
	B	-0.893779	-1.296745
	C	-0.671526	1.342511
three	A	-0.504192	NaN
	B	NaN	0.316961
	C	1.257256	NaN
two	A	NaN	1.234484
	B	-2.146075	NaN
	C	NaN	-0.374749

九、时间序列

Pandas 为频率转换时重采样提供了虽然简单易用，但强大高效的功能，如，将秒级的数据转换为 5 分钟为频率的数据。这种操作常见于财务应用程序，但又不仅限于此。详见时间序列

rng = pd.date_range('1/1/2012', periods=100, freq='S')
ts = pd.Series(np.random.randint(0, 500, len(rng)), index=rng)
ts.resample('5Min').sum()

2012-01-01    24914
Freq: 5T, dtype: int32

rng = pd.date_range('3/6/2012 00:00', periods=5, freq='D')
ts = pd.Series(np.random.randn(len(rng)), rng)
ts

2012-03-06   -0.095941
2012-03-07    0.152061
2012-03-08    0.123898
2012-03-09   -0.291567
2012-03-10   -1.162841
Freq: D, dtype: float64

ts_utc = ts.tz_localize('UTC')
ts_utc

2012-03-06 00:00:00+00:00   -0.095941
2012-03-07 00:00:00+00:00    0.152061
2012-03-08 00:00:00+00:00    0.123898
2012-03-09 00:00:00+00:00   -0.291567
2012-03-10 00:00:00+00:00   -1.162841
Freq: D, dtype: float64

ts_utc.tz_convert('US/Eastern')

2012-03-05 19:00:00-05:00   -0.095941
2012-03-06 19:00:00-05:00    0.152061
2012-03-07 19:00:00-05:00    0.123898
2012-03-08 19:00:00-05:00   -0.291567
2012-03-09 19:00:00-05:00   -1.162841
Freq: D, dtype: float64

# 转换时间段：
rng = pd.date_range('1/1/2012', periods=5, freq='M')
ts = pd.Series(np.random.randn(len(rng)), index=rng)
ts

2012-01-31   -0.688979
2012-02-29   -0.748789
2012-03-31   -0.703756
2012-04-30   -0.933271
2012-05-31    0.548897
Freq: M, dtype: float64

ps = ts.to_period()
ps

2012-01   -0.688979
2012-02   -0.748789
2012-03   -0.703756
2012-04   -0.933271
2012-05    0.548897
Freq: M, dtype: float64

ps.to_timestamp()

2012-01-01   -0.688979
2012-02-01   -0.748789
2012-03-01   -0.703756
2012-04-01   -0.933271
2012-05-01    0.548897
Freq: MS, dtype: float64

# Pandas 函数可以很方便地转换时间段与时间戳。下例把以 11 月为结束年份的季度频率转换为下一季度月末上午 9 点：
prng = pd.period_range('1990Q1', '2000Q4', freq='Q-NOV')
ts = pd.Series(np.random.randn(len(prng)), prng)
ts.index = (prng.asfreq('M', 'e') + 1).asfreq('H', 's') + 9
ts.head()

1990-03-01 09:00   -0.343270
1990-06-01 09:00    0.108602
1990-09-01 09:00   -1.729255
1990-12-01 09:00    2.244965
1991-03-01 09:00    1.186678
Freq: H, dtype: float64

十、类别型

Pandas 的 DataFrame 里可以包含类别数据。完整文档详见类别简介和 API 文档。

df = pd.DataFrame({"id": [1, 2, 3, 4, 5, 6],
                   "raw_grade": ['a', 'b', 'b', 'a', 'a', 'e']})

# 将 grade 的原生数据转换为类别型数据：
df["grade"] = df["raw_grade"].astype("category")
df["grade"]

0    a
1    b
2    b
3    a
4    a
5    e
Name: grade, dtype: category
Categories (3, object): ['a', 'b', 'e']

# 用有含义的名字重命名不同类型，调用 Series.cat.categories。
df["grade"].cat.categories = ["very good", "good", "very bad"]

C:\Users\Allen\AppData\Local\Temp\ipykernel_13872\861203465.py:2: FutureWarning: Setting categories in-place is deprecated and will raise in a future version. Use rename_categories instead.
  df["grade"].cat.categories = ["very good", "good", "very bad"]

# 重新排序各类别，并添加缺失类，Series.cat 的方法默认返回新 Series。
df["grade"] = df["grade"].cat.set_categories(["very bad", "bad", "medium",
                                              "good", "very good"])
df["grade"]

0    very good
1         good
2         good
3    very good
4    very good
5     very bad
Name: grade, dtype: category
Categories (5, object): ['very bad', 'bad', 'medium', 'good', 'very good']

# 注意，这里是按生成类别时的顺序排序，不是按词汇排序：
df.sort_values(by="grade")

	id	raw_grade	grade
5	6	e	very bad
1	2	b	good
2	3	b	good
0	1	a	very good
3	4	a	very good
4	5	a	very good

# 按类列分组（groupby）时，即便某类别为空，也会显示：
df.groupby("grade").size()

grade
very bad     1
bad          0
medium       0
good         2
very good    3
dtype: int64

十一、可视化

ts = pd.Series(np.random.randn(1000),
               index=pd.date_range('1/1/2000', periods=1000))
ts = ts.cumsum()
ts.plot()

# DataFrame 的 plot() 方法可以快速绘制所有带标签的列：
df = pd.DataFrame(np.random.randn(1000, 4), index=ts.index,
                  columns=['A', 'B', 'C', 'D'])

df = df.cumsum()
df.plot()

十二、数据输入/输出

# 写入 CSV 文件
df.to_csv('foo.csv')

# 读取 CSV 文件数据：
pd.read_csv('foo.csv')

	Unnamed: 0	A	B	C	D
0	2000-01-01	-0.196217	-0.567679	-0.017399	-0.759675
1	2000-01-02	-0.992873	1.045825	0.751507	0.135319
2	2000-01-03	-1.139351	0.485977	1.263285	-0.954968
3	2000-01-04	-2.328024	0.945480	1.115053	-1.166374
4	2000-01-05	-4.682187	-1.138483	0.378853	-1.588296
...	...	...	...	...	...
995	2002-09-22	-22.127260	-56.337832	14.308220	-37.997555
996	2002-09-23	-22.683999	-56.727513	14.728768	-36.391624
997	2002-09-24	-24.029579	-55.935110	14.212392	-36.302242
998	2002-09-25	-25.639169	-54.762663	13.965459	-35.999471
999	2002-09-26	-26.532594	-54.212622	14.433300	-34.411454

1000 rows × 5 columns

# 写入 Excel 文件：
df.to_excel('foo.xlsx', sheet_name='Sheet1')

# 读取 Excel 文件：
pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])

	Unnamed: 0	A	B	C	D
0	2000-01-01	-0.196217	-0.567679	-0.017399	-0.759675
1	2000-01-02	-0.992873	1.045825	0.751507	0.135319
2	2000-01-03	-1.139351	0.485977	1.263285	-0.954968
3	2000-01-04	-2.328024	0.945480	1.115053	-1.166374
4	2000-01-05	-4.682187	-1.138483	0.378853	-1.588296
...	...	...	...	...	...
995	2002-09-22	-22.127260	-56.337832	14.308220	-37.997555
996	2002-09-23	-22.683999	-56.727513	14.728768	-36.391624
997	2002-09-24	-24.029579	-55.935110	14.212392	-36.302242
998	2002-09-25	-25.639169	-54.762663	13.965459	-35.999471
999	2002-09-26	-26.532594	-54.212622	14.433300	-34.411454

1000 rows × 5 columns

你可能感兴趣的:(python,python,pandas,机器学习)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
python os.environ 江湖偌大 python 深度学习
os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
Python中os.environ基本介绍及使用方法鹤冲天Pro #Python python 服务器开发语言
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
Pyecharts数据可视化大屏：打造沉浸式数据分析体验我的运维人生信息可视化数据分析数据挖掘运维开发技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
Python教程：一文了解使用Python处理XPath 旦莫 Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 python os.environ
>>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
使用Faiss进行高效相似度搜索 llzwxh888 faiss python
在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
python是什么意思中文-在python中%是什么意思编程大乐趣
Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
python八股文面试题分享及解析(1) Shawn________ python
#1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
每日算法&面试题，大厂特训二十八天——第二十天（树）肥学 ⚡算法题⚡面试题每日精进 java 算法数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
Python快速入门 —— 第三节：类与对象孤华暗香 Python快速入门 python 开发语言
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
pyecharts——绘制柱形图折线图 2224070247 信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
Python 实现图片裁剪（附代码） | Python工具剑客阿良_ALiang
前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
《Python数据分析实战终极指南》 xjt921122 python 数据分析开发语言
对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
Python中深拷贝与浅拷贝的区别 yuxiaoyu.
转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
Python编译器鹿鹿~ Python编译器 Python python 开发语言后端
嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
一文掌握python面向对象魔术方法（二）程序员neil python python 开发语言
接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
一文掌握python常用的list（列表）操作程序员neil python python 开发语言
目录一、创建列表1.直接创建列表：2.使用list()构造器3.使用列表推导式4.创建空列表二、访问列表元素1.列表支持通过索引访问元素，索引从0开始：2.还可以使用切片操作访问列表的一部分：三、修改列表元素四、添加元素1.append()：在末尾添加元素2.insert()：在指定位置插入元素五、删除元素1.del：删除指定位置的元素2.remove()：删除指定值的第一个匹配项3.pop()：
Python实现简单的机器学习算法 master_chenchengg python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
自然语言处理_tf-idf _feivirus_ 算法机器学习和数学自然语言处理 tf-idf 逆文档频率词频
importpandasaspdimportmath1.数据预处理docA="Thecatsatonmyface"docB="Thedogsatonmybed"wordsA=docA.split("")wordsB=docB.split("")wordsSet=set(wordsA).union(set(wordsB))print(wordsSet){'on','my','face','sat',
mongodb3.03开启认证 21jhf mongodb
下载了最新mongodb3.03版本，当使用--auth 参数命令行开启mongodb用户认证时遇到很多问题，现总结如下：（百度上搜到的基本都是老版本的，看到db.addUser的就是，请忽略） Windows下我做了一个bat文件，用来启动mongodb，命令行如下： mongod --dbpath db\data --port 27017 --directoryperdb --logp
【Spark103】Task not serializable bit1129 Serializable
Task not serializable是Spark开发过程最令人头疼的问题之一，这里记录下出现这个问题的两个实例，一个是自己遇到的，另一个是stackoverflow上看到。等有时间了再仔细探究出现Task not serialiazable的各种原因以及出现问题后如何快速定位问题的所在，至少目前阶段碰到此类问题，没有什么章法 1. package spark.exampl
你所熟知的 LRU(最近最少使用) dalan_123 java
关于LRU这个名词在很多地方或听说，或使用，接下来看下lru缓存回收的实现 1、大体的想法 a、查询出最近最晚使用的项 b、给最近的使用的项做标记通过使用链表就可以完成这两个操作，关于最近最少使用的项只需要返回链表的尾部；标记最近使用的项，只需要将该项移除并放置到头部，那么难点就出现你如何能够快速在链表定位对应的该项？这时候多
Javascript 跨域周凡杨 JavaScript jsonp 跨域 cross-domain
linux下安装apache服务器 g21121 apache
安装apache 下载windows版本apache，下载地址：http://httpd.apache.org/download.cgi 1.windows下安装apache Windows下安装apache比较简单，注意选择路径和端口即可，这里就不再赘述了。 2.linux下安装apache：下载之后上传到linux的相关目录，这里指定为/home/apach
FineReport的JS编辑框和URL地址栏语法简介老A不折腾 finereport web报表报表软件语法总结
JS编辑框： 1.FineReport的js。作为一款BS产品，browser端的JavaScript是必不可少的。 FineReport中的js是已经调用了finereport.js的。大家知道，预览报表时，报表servlet会将cpt模板转为html，在这个html的head头部中会引入FineReport的js，这个finereport.js中包含了许多内置的fun
根据STATUS信息对MySQL进行优化墙头上一根草 status
mysql 查看当前正在执行的操作，即正在执行的sql语句的方法为: show processlist 命令 mysql> show global status;可以列出MySQL服务器运行各种状态值，我个人较喜欢的用法是show status like '查询值%';一、慢查询mysql> show variab
我的spring学习笔记7-Spring的Bean配置文件给Bean定义别名 aijuans Spring 3
本文介绍如何给Spring的Bean配置文件的Bean定义别名？原始的 <bean id="business" class="onlyfun.caterpillar.device.Business"> <property name="writer"> <ref b
高性能mysql 之性能剖析 annan211 性能 mysql mysql 性能剖析剖析
1 定义性能优化 mysql服务器性能，此处定义为响应时间。在解释性能优化之前，先来消除一个误解，很多人认为，性能优化就是降低cpu的利用率或者减少对资源的使用。这是一个陷阱。资源时用来消耗并用来工作的，所以有时候消耗更多的资源能够加快查询速度，保持cpu忙绿，这是必要的。很多时候发现编译进了新版本的InnoDB之后，cpu利用率上升的很厉害，这并不
主外键和索引唯一性约束百合不是茶索引唯一性约束主外键约束联机删除
目标;第一步;创建两张表用户表和文章表第二步;发表文章 1,建表; ---用户表 BlogUsers --userID唯一的 --userName --pwd --sex create
线程的调度 bijian1013 java 多线程 thread 线程的调度 java多线程
1. Java提供一个线程调度程序来监控程序中启动后进入可运行状态的所有线程。线程调度程序按照线程的优先级决定应调度哪些线程来执行。 2. 多数线程的调度是抢占式的（即我想中断程序运行就中断，不需要和将被中断的程序协商） a)
查看日志常用命令 bijian1013 linux 命令 unix
一.日志查找方法，可以用通配符查某台主机上的所有服务器grep "关键字" /wls/applogs/custom-*/error.log 二.查看日志常用命令1.grep '关键字' error.log：在error.log中搜索'关键字'2.grep -C10 '关键字' error.log：显示关键字前后10行记录3.grep '关键字' error.l
【持久化框架MyBatis3一】MyBatis版HelloWorld bit1129 helloworld
MyBatis这个系列的文章，主要参考《Java Persistence with MyBatis 3》。样例数据本文以MySQL数据库为例，建立一个STUDENTS表，插入两条数据，然后进行单表的增删改查 CREATE TABLE STUDENTS ( stud_id int(11) NOT NULL AUTO_INCREMENT,
【Hadoop十五】Hadoop Counter bit1129 hadoop
1. 只有Map任务的Map Reduce Job File System Counters FILE: Number of bytes read=3629530 FILE: Number of bytes written=98312 FILE: Number of read operations=0 FILE: Number of lar
解决Tomcat数据连接池无法释放 ronin47 tomcat 连接池　优化
近段时间，公司的检测中心报表系统(SMC)的开发人员时不时找到我，说用户老是出现无法登录的情况。前些日子因为手头上有Jboss集群的测试工作，发现用户不能登录时，都是在Tomcat中将这个项目Reload一下就好了，不过只是治标而已，因为大概几个小时之后又会再次出现无法登录的情况。今天上午，开发人员小毛又找到我，要我协助将这个问题根治一下，拖太久用户难保不投诉。简单分析了一
java-75-二叉树两结点的最低共同父结点 bylijinnan java
import java.util.LinkedList; import java.util.List; import ljn.help.*; public class BTreeLowestParentOfTwoNodes { public static void main(String[] args) { /* * node data is stored in
行业垂直搜索引擎网页抓取项目 carlwu Lucene Nutch Heritrix Solr
公司有一个搜索引擎项目，希望各路高人有空来帮忙指导，谢谢！这是详细需求：（1）通过提供的网站地址(大概100-200个网站)，网页抓取程序能不断抓取网页和其它类型的文件（如Excel、PDF、Word、ppt及zip类型），并且程序能够根据事先提供的规则，过滤掉不相干的下载内容。（2）程序能够搜索这些抓取的内容，并能对这些抓取文件按照油田名进行分类，然后放到服务器不同的目录中。
[通讯与服务]在总带宽资源没有大幅增加之前,不适宜大幅度降低资费 comsci 资源
降低通讯服务资费，就意味着有更多的用户进入，就意味着通讯服务提供商要接待和服务更多的用户，在总体运维成本没有由于技术升级而大幅下降的情况下，这种降低资费的行为将导致每个用户的平均带宽不断下降，而享受到的服务质量也在下降，这对用户和服务商都是不利的。。。。。。。。 &nbs
Java时区转换及时间格式 Cwind java
本文介绍Java API 中 Date, Calendar, TimeZone和DateFormat的使用，以及不同时区时间相互转化的方法和原理。问题描述：向处于不同时区的服务器发请求时需要考虑时区转换的问题。譬如，服务器位于东八区（北京时间，GMT+8:00），而身处东四区的用户想要查询当天的销售记录。则需把东四区的“今天”这个时间范围转换为服务器所在时区的时间范围。
readonly,只读，不可用 dashuaifu js jsp disable readOnly readOnly
readOnly 和 readonly 不同，在做js开发时一定要注意函数大小写和jsp黄线的警告！！！我就经历过这么一件事：使用readOnly在某些浏览器或同一浏览器不同版本有的可以实现“只读”功能，有的就不行，而且函数readOnly有黄线警告！！！就这样被折磨了不短时间！！！（期间使用过disable函数，但是发现disable函数之后后台接收不到前台的的数据！！！）
LABjs、RequireJS、SeaJS 介绍 dcj3sjt126com js Web
LABjs 的核心是 LAB（Loading and Blocking）：Loading 指异步并行加载，Blocking 是指同步等待执行。LABjs 通过优雅的语法（script 和 wait）实现了这两大特性，核心价值是性能优化。LABjs 是一个文件加载器。RequireJS 和 SeaJS 则是模块加载器，倡导的是一种模块化开发理念，核心价值是让 JavaScript 的模块化开发变得更
[应用结构]入口脚本 dcj3sjt126com PHP yii2
入口脚本入口脚本是应用启动流程中的第一环，一个应用（不管是网页应用还是控制台应用）只有一个入口脚本。终端用户的请求通过入口脚本实例化应用并将将请求转发到应用。 Web 应用的入口脚本必须放在终端用户能够访问的目录下，通常命名为 index.php，也可以使用 Web 服务器能定位到的其他名称。控制台应用的入口脚本一般在应用根目录下命名为 yii（后缀为.php），该文
haoop shell命令 eksliang hadoop hadoop shell
cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkdir movefromLocal mv put rm rmr setrep stat tail test text
MultiStateView不同的状态下显示不同的界面 gundumw100 android
只要将指定的view放在该控件里面，可以该view在不同的状态下显示不同的界面，这对ListView很有用，比如加载界面，空白界面，错误界面。而且这些见面由你指定布局，非常灵活。 PS：ListView虽然可以设置一个EmptyView，但使用起来不方便，不灵活，有点累赘。 <com.kennyc.view.MultiStateView xmlns:android=&qu
jQuery实现页面内锚点平滑跳转 ini JavaScript html jquery html5 css
平时我们做导航滚动到内容都是通过锚点来做，刷的一下就直接跳到内容了，没有一丝的滚动效果，而且 url 链接最后会有“小尾巴”，就像#keleyi，今天我就介绍一款 jquery 做的滚动的特效，既可以设置滚动速度，又可以在 url 链接上没有“小尾巴”。效果体验：http://keleyi.com/keleyi/phtml/jqtexiao/37.htmHTML文件代码： &
kafka offset迁移 kane_xie kafka
在早前的kafka版本中（0.8.0），offset是被存储在zookeeper中的。到当前版本（0.8.2）为止，kafka同时支持offset存储在zookeeper和offset manager（broker）中。从官方的说明来看，未来offset的zookeeper存储将会被弃用。因此现有的基于kafka的项目如果今后计划保持更新的话，可以考虑在合适
android > 搭建 cordova 环境 mft8899 android
1 , 安装 node.js http://nodejs.org node -v 查看版本 2, 安装 npm 可以先从 https://github.com/isaacs/npm/tags 下载源码解压到
java封装的比较器，比较是否全相同，获取不同字段名字 qifeifei
非常实用的java比较器，贴上代码： import java.util.HashSet; import java.util.List; import java.util.Set; import net.sf.json.JSONArray; import net.sf.json.JSONObject; import net.sf.json.JsonConfig; i
记录一些函数用法 .Aky. 位运算 PHP 数据库函数 IP
高手们照旧忽略。想弄个全天朝IP段数据库，找了个今天最新更新的国内所有运营商IP段，copy到文件，用文件函数，字符串函数把玩下。分割出startIp和endIp这样格式写入.txt文件，直接用phpmyadmin导入.csv文件的形式导入。（生命在于折腾，也许你们觉得我傻X，直接下载人家弄好的导入不就可以，做自己的菜鸟，让别人去说吧）当然用到了ip2long()函数把字符串转为整型数
sublime text 3 rust wudixiaotie Sublime Text
1.sublime text 3 => install package => Rust 2.cd ~/.config/sublime-text-3/Packages 3.mkdir rust 4.git clone https://github.com/sp0/rust-style 5.cd rust-style 6.cargo build --release 7.ctrl