程序员可酷
程序员可酷

python pandas库统计分析基础必备知识汇总

文章目录

  • 1.Series

    • 1.1创建一个Series

  • 1.2创建Series并设置索引

  • 1.3索引

    • 1.3.1一个标签索引

  • 1.3.2多个标签索引

  • 1.3.3一个位置索引

  • 1.3.4多个位置索引

  • 1.4切片

    • 1.4.1标签切片

  • 1.4.2位置切片

  • 1.5Series的index和values属性

  • 2.DataFrame

    • 2.1创建一个DataFrame对象
    • 2.1.1不指定index和columns

  • 2.1.2指定index和columns

  • 2.1.3使用字典创建DataFrame

  • 2.2遍历DataFrame对象数据的每一列

  • 2.3索引与切片

    • 2.3.1 loc标签索引
    • 2.3.1.1获取单行数据

  • 2.3.1.2获取多行数据

  • 2.3.1.3切片连续多行数据

  • 2.3.2iloc位置索引

    • 2.3.2.1获取某行数据

  • 2.3.2.2获取多行数据

  • 2.3.2.3切片连续多行数据(左闭右开)

  • 2.3.3直接获取指定列数据

    • 2.3.3.1获取单列

  • 2.3.3.2获取多列

  • 2.3.4获取指定行、列数据

    • 2.3.4.1 loc标签索引

  • 2.3.4.2 iloc位置索引

  • 2.3.5 按指定条件获取（布尔索引）

  • 2.4 增加数据

    • 2.4.1 按列增加数据
    • 2.4.1.1 直接添加

  • 使用insert()方法添加

  • 2.4.2 按行增加数据

    • 2.4.2.1 增加一行

  • 2.4.2.2 增加多行数据

  • 2.5 修改列名&索引

    • 2.5.1修改列名

  • 2.5.1.1 通过DataFrame的columns属性

    • 2.5.1.2 通过DataFrame的rename()方法

  • 2.5.2 修改索引(index)

    • 2.5.2.1 通过index属性

  • 2.5.2.2通过rename方法

  • 2.6 修改数据

      • 2.6.1 使用loc
    • 修改整行数据

  • 修改整列数据

  • 修改指定某一数据

  • 2.6.2 使用iloc

    • 修改整行数据

  • 修改整列数据

  • 修改指定某一数据

  • 2.7 删除数据

    • 2.7.1 删除某列

  • 2.7.2 删除某行

  • 2.7.3删除特定条件的行

  • 2.8 打印DataFrame的简短摘要

  • 2.9 处理缺失值与重复值

    • 2.9.1处理缺失值
    • 2.9.1.1 准备缺失值

  • 2.9.1.2 删除该缺失值所在行

  • 2.9.1.3获取某字段没有缺失值 的行

  • 2.9.1.4 填充缺失值

    • 2.9.1.4.1 填充所有缺失值

  • 2.9.1.4.2 填充局部缺失值

  • 2.9.2 处理重复值

    • 2.9.2.1准备数据

  • 2.9.2.2 判断重复值

    • 2.9.2.2.1 判断整行数据是否重复

  • 2.9.2.2.2 判断某字段数据是否重复

  • 2.9.2.3 去重

    • 2.9.2.3.1 删除整行重复值

  • 2.9.2.3.2 删除某字段重复 的行

  • 2.10设置索引

    • 2.10.1 reindex
    • 缺失值以0填充

  • 缺失值向前/向后填充

  • 重新设置行索引、列索引和行列索引

  • 2.10.2 set_index

    • 2.10.2.1 设置某列为index

  • 2.10.2.2 设置drop=True

  • 2.11排序

    • 2.11.1 sort_values()单列排序

  • 2.11.2 sort_values()多列排序

  • 2.11.3 group_by()对统计结果排序

  • 2.11.4横向排序 axis=1

  • 2.11.5 排名 rank()

  • 3.pandas读取文件

    • 3.1read_excel()
    • 3.1.1准备数据

  • 3.1.2默认方式读取

  • 3.1.3设置index_col参数

  • 3.1.4设置header参数

  • 3.1.5设置usecols参数

  • 3.1.6设置sheet_name参数以指定工作簿

  • 3.1.7解决数据输出时列名不对齐的问题

  • 3.2read_csv()

    • 3.2.1设置encoding参数

  • 3.2.2设置sep参数指定分隔符

  • 3.3read_html()小案例

    • 3.3.1pd.read_html()方法

  • 3.3.2DataFrame的append()方法

  • 3.3.3pd.to_csv()方法

1.Series

==============================================================================

1.1创建一个Series

s1 = pd.Series([11, 22, 33])

print(s1)

索引默认为0,1,2

在这里插入图片描述

1.2创建Series并设置索引

s2 = pd.Series([11, 22, 33], index=[1, 2, 3])

s3 = pd.Series([11, 22, 33], index=[‘a’, ‘b’, ‘c’])

print(s2)

print(s3)

python pandas库统计分析基础必备知识汇总_第1张图片

1.3索引

索引方式默认优先标签索引，如果标签不存在，则尝试位置索引。

如果位置也不存在(out of bounds)，则报错IndexError。

1.3.1一个标签索引

print(s2[1])

在这里插入图片描述

1.3.2多个标签索引

print(s2[[‘a’, ‘b’]])

python pandas库统计分析基础必备知识汇总_第2张图片

1.3.3一个位置索引

print(s3[1])

在这里插入图片描述

1.3.4多个位置索引

print(s3[[0, 2]])

python pandas库统计分析基础必备知识汇总_第3张图片

1.4切片

1.4.1标签切片

切片方式为左闭右闭([,])，即两个边界值都可取。

print(s3[‘a’: ‘c’])

python pandas库统计分析基础必备知识汇总_第4张图片

1.4.2位置切片

同样优先视为标签，如果标签不存在则视为位置。当Series索引默认为0,1,2…时不用考虑该区分。

s4 = pd.Series([70, 82, 69, 90, 64])

位置索引做切片

print(s4[1:4])

python pandas库统计分析基础必备知识汇总_第5张图片

1.5Series的index和values属性

Series对象有index和value属性，可直接调用进行查看。

import pandas as pd

s1 = pd.Series([50, 56, 74, 85])

print(s1.index)

print(s1.values)

python pandas库统计分析基础必备知识汇总_第6张图片

2.DataFrame

=================================================================================

2.1创建一个DataFrame对象

2.1.1不指定index和columns

当不指定index和columns时，默认为0, 1, 2。

import pandas as pd

data = [[120, 115, 109], [101, 100, 112], [106, 110, 125]]

df = pd.DataFrame(data=data)

print(df)

python pandas库统计分析基础必备知识汇总_第7张图片

2.1.2指定index和columns

import pandas as pd

data = [[120, 115, 109], [101, 100, 112], [106, 110, 125]]

index = [0, 1, 2]

columns = [‘AAA’, ‘BBB’, ‘CCC’]

df = pd.DataFrame(data=data, index=index, columns=columns)

print(df)

python pandas库统计分析基础必备知识汇总_第8张图片

2.1.3使用字典创建DataFrame

键为列名，值为该列数据组成的列表。值也可以是单个元素，表示该列都取该值。

import pandas as pd

df = pd.DataFrame({

‘AAA’: [120, 101, 106],

‘BBB’: [115, 100, 110],

‘CCC’: [109, 112, 125],

‘DDD’: ‘ABCDEFG’

}, index=[0, 1, 2])

print(df)

python pandas库统计分析基础必备知识汇总_第9张图片

2.2遍历DataFrame对象数据的每一列

for col in df.columns:

series = df[col]

print(series)

python pandas库统计分析基础必备知识汇总_第10张图片

2.3索引与切片

2.3.1 loc标签索引

2.3.1.1获取单行数据

import pandas as pd

df = pd.DataFrame({

‘AAA’: [120, 101, 106, 117, 114, 122],

‘BBB’: [115, 100, 110, 125, 123, 120],

‘CCC’: [109, 112, 125, 120, 116, 115],

‘DDD’: ‘ABCDEFG’

}, index=[1, 2, 3, 4, 5, 6])

print(df)

print("=======================")

print(df.loc[1])

df.loc[1]获取到标签索引为1的数据，在这里即第一行的。

python pandas库统计分析基础必备知识汇总_第11张图片

2.3.1.2获取多行数据

print(df)

print("=======================")

print(df.loc[[1, 3]])

python pandas库统计分析基础必备知识汇总_第12张图片

2.3.1.3切片连续多行数据

标签索引切片时左右边界的值都可以取。

print(df)

print("=======================")

print(df.loc[1:5])

python pandas库统计分析基础必备知识汇总_第13张图片

2.3.2iloc位置索引

2.3.2.1获取某行数据

import pandas as pd

df = pd.DataFrame({

‘AAA’: [120, 101, 106, 117, 114, 122],

‘BBB’: [115, 100, 110, 125, 123, 120],

‘CCC’: [109, 112, 125, 120, 116, 115],

‘DDD’: ‘ABCDEFG’

}, index=[1, 2, 3, 4, 5, 6])

print(df)

print("=======================")

print(df.iloc[1])

df.iloc[1]获取到第二行(下标为1)数据

python pandas库统计分析基础必备知识汇总_第14张图片

2.3.2.2获取多行数据

print(df)

print("=======================")

print(df.iloc[[0, 2]])

python pandas库统计分析基础必备知识汇总_第15张图片

2.3.2.3切片连续多行数据(左闭右开)

遵照左闭右开

print(df)

print("=======================")

print(df.iloc[1: 4])

python pandas库统计分析基础必备知识汇总_第16张图片

某行（第二行）至最后一行

print(df)

print("=======================")

print(df.iloc[1:])

python pandas库统计分析基础必备知识汇总_第17张图片

（或df.iloc[1::]写法也可）

2.3.3直接获取指定列数据

  • 直接传入列名即可获取

2.3.3.1获取单列

获取单列有两种写法如下，结果有所不同

print(df)

print("=======================")

print(df[‘AAA’])

print(type(df[‘AAA’]))

python pandas库统计分析基础必备知识汇总_第18张图片

print(df)

print("=======================")

print(df[[‘AAA’]])

print(type(df[[‘AAA’]]))

python pandas库统计分析基础必备知识汇总_第19张图片

根据程序运行结果，df[‘AAA’]得到的是一个Series，而df[[‘AAA’]]得到的结果是一个DataFrame。

2.3.3.2获取多列

print(df)

print("=======================")

print(df[[‘AAA’, ‘CCC’]])

python pandas库统计分析基础必备知识汇总_第20张图片

2.3.4获取指定行、列数据

通过以下几个示例，来熟悉loc和iloc同时指定行和列时的用法。

对于loc和iloc，只有标签和位置索引的区别。同时指定行和列时，如果某个维度（行或列）的索引为离散的单个或多个元素，则需要额外加上方括号（loc[[2,4],[‘a’,‘c’]] 或 iloc[[5,8],[2,6]]）；如果是切片形式的（形如a:b, a,b也可省略），则不需要额外的方括号（loc[2:4,‘a’:‘c’] 或 iloc[5:8,2:6]）。

2.3.4.1 loc标签索引

获取索引为2的行到索引为4的行（两端都取），与列名为"AAA"的列和列名为"CCC"的列交叉的部分

print(df)

print("=======================")

print(df.loc[2:4, [‘AAA’, ‘CCC’]])

python pandas库统计分析基础必备知识汇总_第21张图片

获取所有行中，列明为"AAA"和列明为“CCC”的部分

print(df)

print("=======================")

print(df.loc[:, [‘AAA’, ‘CCC’]])

python pandas库统计分析基础必备知识汇总_第22张图片

获取所有行中，列名“BBB”及其后边的列的部分

print(df)

print("=======================")

print(df.loc[:, ‘BBB’:])

python pandas库统计分析基础必备知识汇总_第23张图片

print(df)

print("=======================")

print(df.loc[[1, 3], [‘BBB’, ‘DDD’]])

python pandas库统计分析基础必备知识汇总_第24张图片

2.3.4.2 iloc位置索引

print(df)

print("=======================")

print(df.iloc[:, [1, 3]])

python pandas库统计分析基础必备知识汇总_第25张图片

print(df)

print("=======================")

print(df.iloc[:, :2])

python pandas库统计分析基础必备知识汇总_第26张图片

print(df)

print("=======================")

print(df.iloc[[2, 5], [1, 3]])

python pandas库统计分析基础必备知识汇总_第27张图片

2.3.5 按指定条件获取（布尔索引）

使用loc还可以进行指定条件的筛选获取

执行以下代码

print(df)

print("=======================")

print(df[‘AAA’] > 110)

print(type(df[‘AAA’] > 110))

如图，输出了一个value为bool类型数据的Series对象。

python pandas库统计分析基础必备知识汇总_第28张图片

可以使用该种形式的Series对DataFrame进行筛选

print(df)

print("=======================")

print(df.loc[df[‘AAA’] > 110])

python pandas库统计分析基础必备知识汇总_第29张图片

也可以传入多个条件进行筛选。每个条件需要使用括号()括起来。

以获取’AAA’大于110且’CCC’大于115的为例：

print(df)

print("=======================")

print(df.loc[(df[‘AAA’] > 110) & (df[‘CCC’] > 115)])

python pandas库统计分析基础必备知识汇总_第30张图片

2.4 增加数据

2.4.1 按列增加数据

2.4.1.1 直接添加

print(df)

print("=======================")

df[‘EEE’] = [140, 133, 145, 125, 126, 133]

print(df)

python pandas库统计分析基础必备知识汇总_第31张图片

也可以使用loc添加

添加一整列时行索引必须是所有行，列索引是一个新的列名。添加的数据个数必须等于总行数。插入的数据在最后一列。

print(df)

print("=======================")

df.loc[:, ‘FFF’] = [84, 99, 76, 50, 20, 66]

print(df)

python pandas库统计分析基础必备知识汇总_第32张图片

如果行索引是部分行，且列索引已存在于原数据中，则效果为修改局部数据。

print(df)

print("=======================")

df.loc[1:4, ‘CCC’] = [99, 76, 50, 20]

print(df)

python pandas库统计分析基础必备知识汇总_第33张图片

使用insert()方法添加

在第1列后添加一个名为’SSS’的列，数据为s1中的数据。

print(df)

print("=======================")

s1 = [99, 89, 95, 84, 110, 104]

df.insert(1, ‘SSS’, s1)

print(df)

python pandas库统计分析基础必备知识汇总_第34张图片

2.4.2 按行增加数据

2.4.2.1 增加一行

print(df)

print("=======================")

df.loc[‘100’] = [111, 132, 99, 123]

print(df)

python pandas库统计分析基础必备知识汇总_第35张图片

2.4.2.2 增加多行数据

将新数据创建一个格式一致的、新的DataFrame，然后使用append方法追加在原数据后边。

print(df)

print("=======================")

df_insert = pd.DataFrame({‘AAA’: [102, 124, 133, 120, 115, 121],

‘BBB’: [110, 125, 140, 111, 117, 126],

‘CCC’: [112, 118, 122, 114, 136, 125],

‘DDD’: ‘XYZ’}

, index=[10, 20, 30, 40, 50, 60])

df1 = df.append(df_insert)

print(df)

print("============================")

print(df1)

python pandas库统计分析基础必备知识汇总_第36张图片

如图，使用append方法对一个DataFrame在后边追加一个DataFrame，不会改变原DataFrame，这一点不同于列表追加元素。

2.5 修改列名&索引

2.5.1修改列名

2.5.1.1 通过DataFrame的columns属性

print(df)

print("=======================")

df.columns = [‘A1’, ‘B2’, ‘C3’, ‘V4’]

print(df)

python pandas库统计分析基础必备知识汇总_第37张图片

2.5.1.2 通过DataFrame的rename()方法

print(df)

print("=======================")

df.rename(columns={‘AAA’: ‘A1’, ‘BBB’: ‘B2’, ‘CCC’: ‘C3’}, inplace=True)

print(df)

inplace参数表示是否修改原DataFrame，默认False不修改。

python pandas库统计分析基础必备知识汇总_第38张图片

2.5.2 修改索引(index)

2.5.2.1 通过index属性

print(df)

print("=======================")

df.index = list(‘abcdef’)

print(df)

python pandas库统计分析基础必备知识汇总_第39张图片

2.5.2.2通过rename方法

通过rename方法也可以实现对索引的修改。

参数axis默认为0，表示对index操作，（所以这里不设置axis也可）除非像上边的例子中传入有columns参数则表示对列操作。

print(df)

print("=======================")

df.rename({1: ‘a1’, 2: ‘b2’, 3: ‘c3’, 4: ‘d4’}, axis=0, inplace=True)

print(df)

python pandas库统计分析基础必备知识汇总_第40张图片

2.6 修改数据

2.6.1 使用loc

修改整行数据

print(df)

print("=======================")

df.loc[3] = [111, 115, 109, 120]

print(df)

print("============================")

df.loc[3] = df.loc[3]+10

print(df)

python pandas库统计分析基础必备知识汇总_第41张图片

修改整列数据

print(df)

print("=======================")

df.loc[:, ‘CCC’] = [116, 104, 115, 120, 125, 124]

print(df)

python pandas库统计分析基础必备知识汇总_第42张图片

修改指定某一数据

print(df)

print("=======================")

df.loc[3, ‘BBB’] = 150

print(df)

python pandas库统计分析基础必备知识汇总_第43张图片

2.6.2 使用iloc

修改整行数据

print(df)

print("=======================")

df.iloc[0, :] = [112, 120, 119, 126]

print(df)

python pandas库统计分析基础必备知识汇总_第44张图片

修改整列数据

print(df)

print("=======================")

df.iloc[:, 0] = [111, 118, 114, 102, 125, 130]

print(df)

python pandas库统计分析基础必备知识汇总_第45张图片

修改指定某一数据

print(df)

print("=======================")

df.iloc[0, 0] = 150

print(df)

python pandas库统计分析基础必备知识汇总_第46张图片

2.7 删除数据

2.7.1 删除某列

print(df)

print("=======================")

df.drop([‘AAA’], axis=1, inplace=True)

print(df)

python pandas库统计分析基础必备知识汇总_第47张图片

print(df)

print("=======================")

df.drop(columns=‘AAA’, inplace=True)

print(df)

python pandas库统计分析基础必备知识汇总_第48张图片

删除标签为’BBB’的，axis=1表示对列操作

print(df)

print("=======================")

df.drop(labels=‘BBB’, axis=1, inplace=True)

print(df)

python pandas库统计分析基础必备知识汇总_第49张图片

2.7.2 删除某行

删除标签为2,4的行，axis默认为0，默认对行操作。

print(df)

print("=======================")

df.drop([2, 4], inplace=True)

print(df)

python pandas库统计分析基础必备知识汇总_第50张图片

print(df)

print("=======================")

df.drop(index=3, inplace=True)

print(df)

python pandas库统计分析基础必备知识汇总_第51张图片

删除标签为4的，axis=0表示对行操作。

print(df)

print("=======================")

df.drop(labels=4, axis=0, inplace=True)

print(df)

在这里插入图片描述

2.7.3删除特定条件的行

删除字段’AAA’为120，101或114的行。

print(df)

print("=======================")

df.drop(index=df[df[‘AAA’].isin([120, 101, 114])].index, inplace=True)

print(df)

在这里插入图片描述

删除"BBB"字段小于120的行

print(df)

print("=======================")

df.drop(index=df[df[‘BBB’] < 120].index, inplace=True)

print(df)

python pandas库统计分析基础必备知识汇总_第52张图片

2.8 打印DataFrame的简短摘要

print(df)

print("=======================")

print(df.info())

python pandas库统计分析基础必备知识汇总_第53张图片

2.9 处理缺失值与重复值

2.9.1处理缺失值

2.9.1.1 准备缺失值

准备两个缺失值

import numpy as np

df.iloc[0, 0] = np.NaN

df.iloc[2, 2] = np.NaN

print(df)

python pandas库统计分析基础必备知识汇总_第54张图片

2.9.1.2 删除该缺失值所在行

print(df)

print("====================")

不修改原df的写法

df1 = df.dropna()

print(df1)

修改原df的写法

df.dropna(inplace=True)

print(df)

python pandas库统计分析基础必备知识汇总_第55张图片

2.9.1.3获取某字段没有缺失值 的行

print(df)

print("=============================")

df2 = df[df[‘AAA’].notnull()]

print(df2)

python pandas库统计分析基础必备知识汇总_第56张图片

2.9.1.4 填充缺失值

以将缺失值填充为0为例

2.9.1.4.1 填充所有缺失值

print(df)

print("=============================")

df3 = df.fillna(0)

print(df3)

python pandas库统计分析基础必备知识汇总_第57张图片

2.9.1.4.2 填充局部缺失值

print(df)

print("=============================")

df[‘AAA’] = df[‘AAA’].fillna(0)

print(df)

python pandas库统计分析基础必备知识汇总_第58张图片

2.9.2 处理重复值

2.9.2.1准备数据

import pandas as pd

df = pd.DataFrame({

‘AAA’: [120, 101, 106, 101, 101, 122],

‘BBB’: [115, 100, 110, 100, 100, 120],

‘CCC’: [109, 112, 125, 112, 112, 115],

‘DDD’: ‘ABCDEFG’

}, index=[1, 2, 3, 4, 5, 6])

print(df)

python pandas库统计分析基础必备知识汇总_第59张图片

2.9.2.2 判断重复值

2.9.2.2.1 判断整行数据是否重复

将一行完全相同的判断为重复值，第一次出现的行不会被判定为重复值，第二次及以上次数重复出现的才会。

print(df)

print("=============================")

print(df.duplicated())

python pandas库统计分析基础必备知识汇总_第60张图片

2.9.2.2.2 判断某字段数据是否重复

以字段"AAA"为例。

print(df)

print("=============================")

print(df[‘AAA’].duplicated())

或者

print(df.duplicated([‘AAA’]))

print("=============================")

print(df.loc[df[‘AAA’].duplicated()])

python pandas库统计分析基础必备知识汇总_第61张图片

2.9.2.3 去重

2.9.2.3.1 删除整行重复值

不更改原df

print(df)

print("=============================")

df1 = df.drop_duplicates()

print(df1)

python pandas库统计分析基础必备知识汇总_第62张图片更改原df

print(df)

print("=============================")

df.drop_duplicates(inplace=True)

print(df)

python pandas库统计分析基础必备知识汇总_第63张图片

2.9.2.3.2 删除某字段重复 的行

print(df)

print("=============================")

print(df.drop_duplicates([‘AAA’]))

python pandas库统计分析基础必备知识汇总_第64张图片

如果要保留重复行中的最后一行（默认是第一行），须将参数keep设置为’last’：

print(df)

print("=============================")

print(df.drop_duplicates([‘AAA’], keep=‘last’))

在这里插入图片描述

2.10设置索引

2.10.1 reindex

缺失值以0填充

from pandas import Series

s1 = Series([88, 60, 75], index=[1, 2, 3])

print(s1)

print("========================")

print(s1.reindex([1, 2, 3, 4, 5]))

print("========================")

重新设置索引,NaN以0填充

print(s1.reindex([1, 2, 3, 4, 5],fill_value=0))

python pandas库统计分析基础必备知识汇总_第65张图片

缺失值向前/向后填充

from pandas import Series

从pandas引入Series对象，就可以直接使用Series对象了，如Series([88,60,75],index=[1,2,3])

s1 = Series([88, 60, 75], index=[1, 2, 3])

print(s1)

print("========================")

print(s1.reindex([1, 2, 3, 4, 5], method=‘ffill’)) # 向前填充

print("========================")

print(s1.reindex([1, 2, 3, 4, 5], method=‘bfill’)) # 向后填充

python pandas库统计分析基础必备知识汇总_第66张图片

重新设置行索引、列索引和行列索引

import pandas as pd

data = [[110, 105, 99], [105, 88, 115], [109, 120, 130]]

index = [‘001’, ‘003’, ‘005’]

columns = [‘语文’, ‘数学’, ‘英语’]

df = pd.DataFrame(data=data, index=index, columns=columns)

print(df)

print("===============================================")

通过reindex()方法重新设置行索引、列索引和行列索引

print(df.reindex([‘001’, ‘002’, ‘003’, ‘004’, ‘005’]))

print("===============================================")

print(df.reindex(columns=[‘语文’, ‘物理’, ‘数学’, ‘英语’]))

print("===============================================")

print(df.reindex(index=[‘001’, ‘002’, ‘003’, ‘004’, ‘005’], columns=[‘语文’, ‘物理’, ‘数学’, ‘英语’]))

python pandas库统计分析基础必备知识汇总_第67张图片

2.10.2 set_index

2.10.2.1 设置某列为index

设置"AAA"为index

import pandas as pd

df = pd.DataFrame({

‘AAA’: [120, 101, 106, 101, 101, 120],

‘BBB’: [115, 100, 110, 100, 100, 120],

‘CCC’: [109, 112, 125, 112, 112, 115],

‘DDD’: ‘ABCDEFG’

}, index=[1, 2, 3, 4, 5, 6])

print(df)

print("=============================")

设置“买家会员名”为行索引

df = df.set_index([‘AAA’])

print(df)

python pandas库统计分析基础必备知识汇总_第68张图片

2.10.2.2 设置drop=True

设置drop=True，是把原来的索引index列去掉，重置index。不设置该参数则原index会作为一列保留。

import pandas as pd

df = pd.DataFrame({

‘AAA’: [120, 101, 106, 101, 101, 120],

‘BBB’: [115, 100, 110, 100, 100, 120],

‘CCC’: [109, 112, 125, 112, 112, 115],

‘DDD’: ‘ABCDEFG’

}, index=[101, 203, 304, 409, 511, 625])

print(df)

print("=============================")

df1 = df.dropna().reset_index()

print(df1)

print("=============================")

df2 = df.reset_index(drop=True)

print(df2)

python pandas库统计分析基础必备知识汇总_第69张图片

2.11排序

2.11.1 sort_values()单列排序

ascending默认为True，表示升序。设置为False表示降序。

sort_values()也可以通过设定inplace参数来选择是否修改原df。

import pandas as pd

df = pd.DataFrame({

‘AAA’: [120, 101, 106, 101, 101, 120],

‘BBB’: [115, 100, 110, 100, 100, 120],

‘CCC’: [109, 112, 125, 112, 112, 115],

‘DDD’: ‘ABCDEFG’

}, index=[1, 2, 3, 4, 5, 6])

print(df)

print("=============================")

df1 = df.sort_values(by=‘BBB’, ascending=False)

print(df1)

python pandas库统计分析基础必备知识汇总_第70张图片

2.11.2 sort_values()多列排序

多列排序按照给定列的先后顺序进行排序。

import pandas as pd

df = pd.DataFrame({

‘AAA’: [120, 101, 106, 101, 101, 120],

‘BBB’: [115, 100, 110, 100, 100, 120],

‘CCC’: [109, 112, 125, 112, 112, 115],

‘DDD’: ‘ABCDEFG’

}, index=[1, 2, 3, 4, 5, 6])

print(df)

print("=============================")

df1 = df.sort_values(by=[‘AAA’, ‘BBB’])

print(df1)

如图，先升序排列"AAA"，"AAA"值相同的用"BBB"升序排列。

python pandas库统计分析基础必备知识汇总_第71张图片

2.11.3 group_by()对统计结果排序

import pandas as pd

df = pd.DataFrame({

‘AAA’: [120, 101, 106, 101, 101, 120, 115, 112, 117, 132],

‘BBB’: [115, 100, 110, 100, 100, 120, 113, 114, 130, 111],

‘CCC’: [109, 112, 125, 112, 112, 115, 120, 122, 110, 119],

‘DDD’: [‘A’, ‘B’, ‘A’, ‘C’, ‘B’, ‘C’, ‘B’, ‘A’, ‘C’, ‘A’]

}, index=[1, 2, 3, 4, 5, 6, 7, 8, 9, 10])

print(df)

print("=============================")

df1 = df.groupby([“DDD”])[“AAA”].sum().reset_index()

df2 = df1.sort_values(by=‘AAA’, ascending=False)

print(df1)

print("=============================")

print(df2)

python pandas库统计分析基础必备知识汇总_第72张图片

2.11.4横向排序 axis=1

以索引的标签为1，升序，为例：

import pandas as pd

df = pd.DataFrame({

‘AAA’: [120, 101, 106, 101, 101, 120, 115, 112, 117, 132],

‘BBB’: [115, 100, 110, 100, 100, 120, 113, 114, 130, 111],

‘CCC’: [109, 112, 125, 112, 112, 115, 120, 122, 110, 119]

}, index=[1, 2, 3, 4, 5, 6, 7, 8, 9, 10])

print(df)

print("=============================")

按照索引值（标签的值）为1的行，升序排序

df1 = df.sort_values(by=1, ascending=True, axis=1)

print(df1)

在这里插入图片描述

2.11.5 排名 rank()

method参数可以取的值有"average", “first”, “max”, “min”，默认为"average"。

  • average表示排名时如果出现数值相等，则取平均排名，如降序排名，如果第二三四名数值大小相等，则都标记为第(2+3+4)/3=3，即第3名。

  • first 表示排名时如果出现数值相等，则参考在原数据的顺序进行排名

  • max表示排名时如果出现数值相等，则取其最大排名，如降序排名，如果第二三四名数值大小相等，则都标记为第4名。

  • min表示排名时如果出现数值相等，则取其最小排名，如降序排名，如果第二三四名数值大小相等，则都标记为第2名。

import pandas as pd

df = pd.DataFrame({

‘AAA’: [120, 101, 106, 101, 101, 120, 115, 112, 117, 132],

‘BBB’: [115, 100, 110, 100, 100, 120, 113, 114, 130, 111],

‘CCC’: [109, 112, 125, 112, 112, 115, 120, 122, 110, 119]

}, index=[1, 2, 3, 4, 5, 6, 7, 8, 9, 10])

print(df)

print("=============================")

按“销量”列降序排序

df1 = df.sort_values(by=‘AAA’, ascending=False)

顺序排名

df1[‘AAA_order’] = df1[‘AAA’].rank(method=“first”, ascending=False)

df2 = df1[[‘AAA’, ‘AAA_order’]]

print(df2)

python pandas库统计分析基础必备知识汇总_第73张图片

3.pandas读取文件

==================================================================================

3.1read_excel()

3.1.1准备数据

import pandas as pd

id = [‘xx1’, ‘xx2’, ‘xx3’, ‘xx4’, ‘xx5’]

df = pd.DataFrame({

‘name’: [‘aaa’, ‘bbb’, ‘ccc’, ‘ddd’, ‘eee’],

‘age’: [18, 20, 21, 22, 19],

‘gender’: [‘male’, ‘female’, ‘male’, ‘female’, ‘female’],

‘class’: [‘A’, ‘B’, ‘B’, ‘A’, ‘A’]

}, index=id)

保存为excel文件

df.to_excel(‘data.xlsx’)

3.1.2默认方式读取

read_excel()读取excel文件得到的DataFrame，

  • index值默认为0,1,2,3…

  • 列名默认为excel中的第一行数据

df = pd.read_excel(‘data.xlsx’)

print(df)

python pandas库统计分析基础必备知识汇总_第74张图片

3.1.3设置index_col参数

df1 = pd.read_excel(‘data.xlsx’, index_col=0)

print(df1)

如图，通过index_col=0，将下标为0的列作为索引进行读取。

python pandas库统计分析基础必备知识汇总_第75张图片

3.1.4设置header参数

header可以设置列名，默认为0表示首行即列名，

  • 如图通过 header=1，将下标为1行作为了列名（第二行）

df2 = pd.read_excel(‘data.xlsx’, header=1) # 设置第1行为列索引

print(df2)

python pandas库统计分析基础必备知识汇总_第76张图片

  • 当header参数为None时，表示列名为数字0,1,2,3…

df3 = pd.read_excel(‘data.xlsx’, header=None)

print(df3)

在这里插入图片描述

3.1.5设置usecols参数

通过usecols参数，传入列位置或标签列表，可以导出指定列

  • 传入一个位置

df1 = pd.read_excel(‘data.xlsx’, usecols=[1]) # 通过指定列索引号导入第1列

print(df1)

python pandas库统计分析基础必备知识汇总_第77张图片

  • 传入多个位置

df2 = pd.read_excel(‘data.xlsx’, usecols=[1, 3])

print(df2)

python pandas库统计分析基础必备知识汇总_第78张图片

  • 传入多个标签

df3 = pd.read_excel(‘data.xlsx’, usecols=[‘name’, ‘age’])

print(df3)

python pandas库统计分析基础必备知识汇总_第79张图片

3.1.6设置sheet_name参数以指定工作簿

可以通过read_excel()的sheet_name参数传入工作簿名称。

如：

import pandas as pd

df = pd.read_excel(‘data_name.xlsx’, sheet_name=‘sheetA’)

df1 = df.head() # 输出前5条数据

3.1.7解决数据输出时列名不对齐的问题

使用命令

pd.set_option(‘display.unicode.east_asian_width’, True)

import pandas as pd

pd.set_option(‘display.unicode.east_asian_width’, True)

df = pd.read_excel(‘data.xlsx’)

3.2read_csv()

3.2.1设置encoding参数

设置encoding参数可以指定编码方式，默认为None。

出现乱码的时候可以使用。

import pandas as pd

df = pd.read_csv(‘data.csv’, encoding=‘gbk’) # 导入csv文件，并指定编码格式

print(df.head())

3.2.2设置sep参数指定分隔符

sep默认为","，表示分隔符默认为逗号。

根据数据的具体情形，设置不同的分隔符，下例中读取了分隔符为\t的txt文本文件。

import pandas as pd

df1 = pd.read_csv(‘1月.txt’, sep=’\t’, encoding=‘gbk’)

df1 = df1.head()

3.3read_html()小案例

3.3.1pd.read_html()方法

使用pandas的read_html()方法，只需要传入url，可以获取到相应的网页源码中的表格数据，返回的数据格式为一个列表。

3.3.2DataFrame的append()方法

此外可以对DataFrame对象使用append方法将满足一定格式(形似一个表格)的列表数据添加到其中，ignore_index=True可以忽略掉该list对象中数据的索引列，而将索引设为默认的0,1,2…，避免了多个list对象的索引重复的问题。以该案例为例：

以网站http://www.espn.com/nba/salaries/_/seasontype/4等为例，获取此网站及其他11页的表格数据，并保存为csv文件。

3.3.3pd.to_csv()方法

  • header 表头，传入形式为一个列表，默认为数据第一行

  • index=False 忽略索引

python pandas库统计分析基础必备知识汇总_第80张图片

import pandas as pd

df = pd.DataFrame()

url_list = [‘http://www.espn.com/nba/salaries/_/seasontype/4’]

for i in range(2, 13):

url = ‘http://www.espn.com/nba/salaries/_/page/%s/seasontype/4’ % i

url_list.append(url)

遍历网页中的table读取网页表格数据

for url in url_list:

df = df.append(pd.read_html(url), ignore_index=True)

通过观察，df中第三个数据都是以 开 头 的 ， 除 了 重 复 出 现 的 标 题 数 据 。 以 以 开头的，除了重复出现的标题数据。以以 开头的，除了重复出现的标题数据。以以开头为筛选条件，去除冗余数据。

df = df[[x.startswith(’$’) for x in df[3]]]

df.to_csv(‘NBA.csv’, header=[‘RK’, ‘NAME’, ‘TEAM’, ‘SALARY’], index=False)
python pandas库统计分析基础必备知识汇总_第81张图片

你可能感兴趣的:(程序员,python,数据挖掘,数据分析)

  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • python os.environ 江湖偌大 python深度学习
    os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
  • Python中os.environ基本介绍及使用方法 鹤冲天Pro #Pythonpython服务器开发语言
    文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
  • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
  • python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 pythonos.environ
    >>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
  • 使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器） 编程经验分享 开发工具服务器sshlinux
    目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
  • DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理 STU学生网页设计 网页设计期末网页作业html静态网页html5期末大作业网页设计web大作业
    ️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
  • 使用Faiss进行高效相似度搜索 llzwxh888 faisspython
    在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
  • python是什么意思中文-在python中%是什么意思 编程大乐趣
    Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
  • 利用LangChain的StackExchange组件实现智能问答系统 nseejrukjhad langchainmicrosoft数据库python
    利用LangChain的StackExchange组件实现智能问答系统引言在当今的软件开发世界中，StackOverflow已经成为程序员解决问题的首选平台之一。而LangChain作为一个强大的AI应用开发框架，提供了StackExchange组件，使我们能够轻松地将StackOverflow的海量知识库集成到我们的应用中。本文将详细介绍如何使用LangChain的StackExchange组件
  • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
  • python八股文面试题分享及解析(1) Shawn________ python
    #1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
  • 人工智能时代，程序员如何保持核心竞争力？ jmoych 人工智能
    随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。有人担心AI可能取代部分编程工作，也有人认为AI是提高效率的得力助手。面对这一趋势,程序员应该如何应对?是专注于某个领域深耕细作，还是广泛学习以适应快速变化的技术环境?又或者，我们是否应该将重点转向AI无法轻易替代的软技能？让我们一起探讨程序员
  • 每日算法&面试题，大厂特训二十八天——第二十天（树） 肥学 ⚡算法题⚡面试题每日精进java算法数据结构
    目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
  • Python快速入门 —— 第三节：类与对象 孤华暗香 Python快速入门python开发语言
    第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
  • pyecharts——绘制柱形图折线图 2224070247 信息可视化pythonjava数据可视化
    一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
  • Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang
    前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
  • python os 环境变量 CV矿工 python开发语言numpy
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
  • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（1） 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • 《Python数据分析实战终极指南》 xjt921122 python数据分析开发语言
    对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
  • Python中深拷贝与浅拷贝的区别 yuxiaoyu.
    转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
  • Python开发常用的三方模块如下： 换个网名有点难 python开发语言
    Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
  • ES聚合分析原理与代码实例讲解 光剑书架上的书 大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
    ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
  • Python编译器 鹿鹿~ Python编译器Pythonpython开发语言后端
    嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
  • 一文掌握python面向对象魔术方法（二） 程序员neil pythonpython开发语言
    接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
  • LeetCode[Math] - #66 Plus One Cwind javaLeetCode题解AlgorithmMath
    原题链接：#66 Plus One   要求： 给定一个用数字数组表示的非负整数，如num1 = {1, 2, 3, 9}, num2 = {9, 9}等，给这个数加上1。 注意： 1. 数字的较高位存在数组的头上，即num1表示数字1239 2. 每一位（数组中的每个元素）的取值范围为0~9   难度：简单   分析： 题目比较简单，只须从数组
  • JQuery中$.ajax()方法参数详解 AILIKES JavaScriptjsonpjqueryAjaxjson
    url: 要求为String类型的参数，（默认为当前页地址）发送请求的地址。 type: 要求为String类型的参数，请求方式（post或get）默认为get。注意其他http请求方法，例如put和    delete也可以使用，但仅部分浏览器支持。 timeout: 要求为Number类型的参数，设置请求超时时间（毫秒）。此设置将覆盖$.ajaxSetup()方法的全局
  • JConsole & JVisualVM远程监视Webphere服务器JVM Kai_Ge JVisualVMJConsoleWebphere
        JConsole是JDK里自带的一个工具，可以监测Java程序运行时所有对象的申请、释放等动作，将内存管理的所有信息进行统计、分析、可视化。我们可以根据这些信息判断程序是否有内存泄漏问题。 　　使用JConsole工具来分析WAS的JVM问题，需要进行相关的配置。 　　首先我们看WAS服务器端的配置. 　　1、登录was控制台https://10.4.119.18
  • 自定义annotation 120153216 annotation
    Java annotation 自定义注释@interface的用法 一、什么是注释      说起注释，得先提一提什么是元数据(metadata)。所谓元数据就是数据的数据。也就是说，元数据是描述数据的。就象数据表中的字段一样，每个字段描述了这个字段下的数据的含义。而J2SE5.0中提供的注释就是java源代码的元数据，也就是说注释是描述java源
  • CentOS 5/6.X 使用 EPEL YUM源 2002wmj centos
    CentOS 6.X 安装使用EPEL YUM源1. 查看操作系统版本[root@node1 ~]# uname -a Linux node1.test.com 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 00:31:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux [root@node1 ~]#
  • 在SQLSERVER中查找缺失和无用的索引SQL 357029540 SQL Server
    --缺失的索引 SELECT  avg_total_user_cost * avg_user_impact * ( user_scans + user_seeks ) AS PossibleImprovement ,          last_user_seek ,    
  • Spring3 MVC 笔记（二） —json+rest优化 7454103 Spring3 MVC
    接上次的 spring mvc 注解的一些详细信息！                          其实也是一些个人的学习笔记  呵呵！
  • 替换“\”的时候报错Unexpected internal error near index 1 \ ^ adminjun java“\替换”
    发现还是有些东西没有刻子脑子里,,过段时间就没什么概念了,所以贴出来...以免再忘...   在拆分字符串时遇到通过 \ 来拆分，可是用所以想通过转义 \\ 来拆分的时候会报异常   public class Main {          /*
  • POJ 1035 Spell checker(哈希表) aijuans 暴力求解--哈希表
    /* 题意：输入字典，然后输入单词，判断字典中是否出现过该单词，或者是否进行删除、添加、替换操作，如果是，则输出对应的字典中的单词 要求按照输入时候的排名输出 题解：建立两个哈希表。一个存储字典和输入字典中单词的排名，一个进行最后输出的判重 */ #include <iostream> //#define using namespace std; const int HASH =
  • 通过原型实现javascript Array的去重、最大值和最小值 ayaoxinchao JavaScriptarrayprototype
    用原型函数（prototype）可以定义一些很方便的自定义函数，实现各种自定义功能。本次主要是实现了Array的去重、获取最大值和最小值。 实现代码如下：   <script type="text/javascript"> Array.prototype.unique = function() { var a = {}; var le
  • UIWebView实现https双向认证请求 bewithme UIWebViewhttpsObjective-C
              什么是HTTPS双向认证我已在先前的博文 ASIHTTPRequest实现https双向认证请求 中有讲述，不理解的读者可以先复习一下。本文是用UIWebView来实现对需要客户端证书验证的服务请求，网上有些文章中有涉及到此内容，但都只言片语，没有讲完全，更没有完整的代码，让人困扰不已。但是此知
  • NoSQL数据库之Redis数据库管理(Redis高级应用之事务处理、持久化操作、pub_sub、虚拟内存) bijian1013 redis数据库NoSQL
    3.事务处理         Redis对事务的支持目前不比较简单。Redis只能保证一个client发起的事务中的命令可以连续的执行，而中间不会插入其他client的命令。当一个client在一个连接中发出multi命令时，这个连接会进入一个事务上下文，该连接后续的命令不会立即执行，而是先放到一个队列中，当执行exec命令时，redis会顺序的执行队列中
  • 各数据库分页sql备忘 bingyingao oraclesql分页
    ORACLE 下面这个效率很低 SELECT * FROM ( SELECT A.*, ROWNUM RN FROM (SELECT * FROM IPAY_RCD_FS_RETURN order by id desc) A ) WHERE RN <20; 下面这个效率很高 SELECT A.*, ROWNUM RN FROM (SELECT * FROM IPAY_RCD_
  • 【Scala七】Scala核心一：函数 bit1129 scala
    1. 如果函数体只有一行代码，则可以不用写{},比如 def print(x: Int) = println(x) 一行上的多条语句用分号隔开，则只有第一句属于方法体，例如   def printWithValue(x: Int) : String= println(x); "ABC"   上面的代码报错，因为，printWithValue的方法
  • 了解GHC的factorial编译过程 bookjovi haskell
    GHC相对其他主流语言的编译器或解释器还是比较复杂的，一部分原因是haskell本身的设计就不易于实现compiler，如lazy特性，static typed，类型推导等。 关于GHC的内部实现有篇文章说的挺好，这里，文中在RTS一节中详细说了haskell的concurrent实现，里面提到了green thread，如果熟悉Go语言的话就会发现，ghc的concurrent实现和Go有点类
  • Java-Collections Framework学习与总结-LinkedHashMap BrokenDreams LinkedHashMap
            前面总结了java.util.HashMap，了解了其内部由散列表实现，每个桶内是一个单向链表。那有没有双向链表的实现呢？双向链表的实现会具备什么特性呢？来看一下HashMap的一个子类——java.util.LinkedHashMap。       
  • 读《研磨设计模式》-代码笔记-抽象工厂模式-Abstract Factory bylijinnan abstract
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * Abstract Factory Pattern * 抽象工厂模式的目的是： * 通过在抽象工厂里面定义一组产品接口，方便地切换“产品簇” * 这些接口是相关或者相依赖的
  • 压暗面部高光 cherishLC PS
    方法一、压暗高光&重新着色 当皮肤很油又使用闪光灯时，很容易在面部形成高光区域。 下面讲一下我今天处理高光区域的心得： 皮肤可以分为纹理和色彩两个属性。其中纹理主要由亮度通道（Lab模式的L通道）决定，色彩则由a、b通道确定。 处理思路为在保持高光区域纹理的情况下，对高光区域着色。具体步骤为：降低高光区域的整体的亮度，再进行着色。 如果想简化步骤，可以只进行着色（参看下面的步骤1
  • Java VisualVM监控远程JVM crabdave visualvm
    Java VisualVM监控远程JVM    JDK1.6开始自带的VisualVM就是不错的监控工具. 这个工具就在JAVA_HOME\bin\目录下的jvisualvm.exe, 双击这个文件就能看到界面   通过JMX连接远程机器, 需要经过下面的配置: 1. 修改远程机器JDK配置文件 (我这里远程机器是linux).    
  • Saiku去掉登录模块 daizj saiku登录olapBI
    1、修改applicationContext-saiku-webapp.xml <security:intercept-url pattern="/rest/**" access="IS_AUTHENTICATED_ANONYMOUSLY" />  <security:intercept-url pattern=&qu
  • 浅析 Flex中的Focus dsjt htmlFlexFlash
    关键字：focus、 setFocus、 IFocusManager、KeyboardEvent 焦点、设置焦点、获得焦点、键盘事件 一、无焦点的困扰——组件监听不到键盘事件 原因：只有获得焦点的组件（确切说是InteractiveObject）才能监听到键盘事件的目标阶段；键盘事件（flash.events.KeyboardEvent）参与冒泡阶段，所以焦点组件的父项（以及它爸
  • Yii全局函数使用 dcj3sjt126com yii
    由于YII致力于完美的整合第三方库，它并没有定义任何全局函数。yii中的每一个应用都需要全类别和对象范围。例如，Yii::app()->user;Yii::app()->params['name'];等等。我们可以自行设定全局函数，使得代码看起来更加简洁易用。(原文地址) 我们可以保存在globals.php在protected目录下。然后，在入口脚本index.php的，我们包括在
  • 设计模式之单例模式二（解决无序写入的问题） come_for_dream 单例模式volatile乱序执行双重检验锁
                    在上篇文章中我们使用了双重检验锁的方式避免懒汉式单例模式下由于多线程造成的实例被多次创建的问题，但是因为由于JVM为了使得处理器内部的运算单元能充分利用，处理器可能会对输入代码进行乱序执行（Out Of Order Execute）优化，处理器会在计算之后将乱序执行的结果进行重组，保证该
  • 程序员从初级到高级的蜕变 gcq511120594 框架工作PHPandroidhtml5
    软件开发是一个奇怪的行业，市场远远供不应求。这是一个已经存在多年的问题，而且随着时间的流逝，愈演愈烈。 我们严重缺乏能够满足需求的人才。这个行业相当年轻。大多数软件项目是失败的。几乎所有的项目都会超出预算。我们解决问题的最佳指导方针可以归结为——“用一些通用方法去解决问题，当然这些方法常常不管用，于是，唯一能做的就是不断地尝试，逐个看看是否奏效”。 现在我们把淫浸代码时间超过3年的开发人员称为
  • Reverse Linked List hcx2013 list
    Reverse a singly linked list.   /** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode next; * ListNode(int x) { val = x; } * } */ p
  • Spring4.1新特性——数据库集成测试 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • C# Ajax上传图片同时生成微缩图(附Demo) liyonghui160com
        1.Ajax无刷新上传图片,详情请阅我的这篇文章。（jquery + c# ashx）         2.C#位图处理  System.Drawing。         3.最新demo支持IE7,IE8,Fir
  • Java list三种遍历方法性能比较 pda158 java
    从c/c++语言转向java开发，学习java语言list遍历的三种方法，顺便测试各种遍历方法的性能，测试方法为在ArrayList中插入1千万条记录，然后遍历ArrayList，发现了一个奇怪的现象，测试代码例如以下： package com.hisense.tiger.list; import java.util.ArrayList; import java.util.Iterator;
  • 300个涵盖IT各方面的免费资源（上）——商业与市场篇 shoothao seo商业与市场IT资源免费资源
    A.网站模板+logo+服务器主机+发票生成 HTML5 UP:响应式的HTML5和CSS3网站模板。 Bootswatch:免费的Bootstrap主题。 Templated:收集了845个免费的CSS和HTML5网站模板。 Wordpress.org|Wordpress.com:可免费创建你的新网站。 Strikingly:关注领域中免费无限的移动优
  • localStorage、sessionStorage uule localStorage
    W3School 例子   HTML5 提供了两种在客户端存储数据的新方法： localStorage - 没有时间限制的数据存储 sessionStorage - 针对一个 session 的数据存储   之前，这些都是由 cookie 完成的。但是 cookie 不适合大量数据的存储，因为它们由每个对服务器的请求来传递，这使得 cookie 速度很慢而且效率也不
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他