志存高远脚踏实地

Pandas常用基本操作---第一节

Pandas基本操作—第一节

以下是实验所用的数据表，需要数据表练习的请留言

本文的所有试验均基于jupyter notebook

使用Pandas读取csv文件并显示

import pandas as pd
#读取csv数据文件
food_info = pd.read_csv('food_info.csv')
#查看数据类型   DataFrame数据类型是pandas的核心数据类型之一
print(type(food_info))
#查看数据
food_info[0:10]  #仅显示前10行

	NDB_No	Shrt_Desc	Water_(g)	Energ_Kcal	Protein_(g)	Lipid_Tot_(g)	Ash_(g)	Carbohydrt_(g)	Sugar_Tot_(g)	...	Vit_A_IU	Vit_A_RAE	Vit_E_(mg)	Vit_D_mcg	Vit_D_IU	Vit_K_(mcg)	FA_Sat_(g)	FA_Mono_(g)	FA_Poly_(g)	Cholestrl_(mg)
0	1001	BUTTER WITH SALT	15.87	717	0.85	81.11	2.11	0.06	0.06	...	2499.0	684.0	2.32	1.5	60.0	7.0	51.368	21.021	3.043	215.0
1	1002	BUTTER WHIPPED WITH SALT	15.87	717	0.85	81.11	2.11	0.06	0.06	...	2499.0	684.0	2.32	1.5	60.0	7.0	50.489	23.426	3.012	219.0
2	1003	BUTTER OIL ANHYDROUS	0.24	876	0.28	99.48	0.00	0.00	0.00	...	3069.0	840.0	2.80	1.8	73.0	8.6	61.924	28.732	3.694	256.0
3	1004	CHEESE BLUE	42.41	353	21.40	28.74	5.11	2.34	0.50	...	721.0	198.0	0.25	0.5	21.0	2.4	18.669	7.778	0.800	75.0
4	1005	CHEESE BRICK	41.11	371	23.24	29.68	3.18	2.79	0.51	...	1080.0	292.0	0.26	0.5	22.0	2.5	18.764	8.598	0.784	94.0
5	1006	CHEESE BRIE	48.42	334	20.75	27.68	2.70	0.45	0.45	...	592.0	174.0	0.24	0.5	20.0	2.3	17.410	8.013	0.826	100.0
6	1007	CHEESE CAMEMBERT	51.80	300	19.80	24.26	3.68	0.46	0.46	...	820.0	241.0	0.21	0.4	18.0	2.0	15.259	7.023	0.724	72.0
7	1008	CHEESE CARAWAY	39.28	376	25.18	29.20	3.28	3.06	NaN	...	1054.0	271.0	NaN	NaN	NaN	NaN	18.584	8.275	0.830	93.0
8	1009	CHEESE CHEDDAR	37.10	406	24.04	33.82	3.71	1.33	0.28	...	994.0	263.0	0.78	0.6	24.0	2.9	19.368	8.428	1.433	102.0
9	1010	CHEESE CHESHIRE	37.65	387	23.37	30.60	3.60	4.78	NaN	...	985.0	233.0	NaN	NaN	NaN	NaN	19.475	8.671	0.870	103.0

10 rows × 36 columns

查看读入的csv文件的每一列的数据类型

print(food_info.dtypes)  
#返回每一列的数据类型  最常见的三种int64  float64  object（即string）

NDB_No               int64
Shrt_Desc           object
Water_(g)          float64
Energ_Kcal           int64
Protein_(g)        float64
Lipid_Tot_(g)      float64
Ash_(g)            float64
Carbohydrt_(g)     float64
Fiber_TD_(g)       float64
Sugar_Tot_(g)      float64
Calcium_(mg)       float64
Iron_(mg)          float64
Magnesium_(mg)     float64
Phosphorus_(mg)    float64
Potassium_(mg)     float64
Sodium_(mg)        float64
Zinc_(mg)          float64
Copper_(mg)        float64
Manganese_(mg)     float64
Selenium_(mcg)     float64
Vit_C_(mg)         float64
Thiamin_(mg)       float64
Riboflavin_(mg)    float64
Niacin_(mg)        float64
Vit_B6_(mg)        float64
Vit_B12_(mcg)      float64
Vit_A_IU           float64
Vit_A_RAE          float64
Vit_E_(mg)         float64
Vit_D_mcg          float64
Vit_D_IU           float64
Vit_K_(mcg)        float64
FA_Sat_(g)         float64
FA_Mono_(g)        float64
FA_Poly_(g)        float64
Cholestrl_(mg)     float64
dtype: object

显示前表格的前五行

#显示表格
food_info.head() #默认只显示前5行

	NDB_No	Shrt_Desc	Water_(g)	Energ_Kcal	Protein_(g)	Lipid_Tot_(g)	Ash_(g)	Carbohydrt_(g)	Sugar_Tot_(g)	...	Vit_A_IU	Vit_A_RAE	Vit_E_(mg)	Vit_D_mcg	Vit_D_IU	Vit_K_(mcg)	FA_Sat_(g)	FA_Mono_(g)	FA_Poly_(g)	Cholestrl_(mg)
0	1001	BUTTER WITH SALT	15.87	717	0.85	81.11	2.11	0.06	0.06	...	2499.0	684.0	2.32	1.5	60.0	7.0	51.368	21.021	3.043	215.0
1	1002	BUTTER WHIPPED WITH SALT	15.87	717	0.85	81.11	2.11	0.06	0.06	...	2499.0	684.0	2.32	1.5	60.0	7.0	50.489	23.426	3.012	219.0
2	1003	BUTTER OIL ANHYDROUS	0.24	876	0.28	99.48	0.00	0.00	0.00	...	3069.0	840.0	2.80	1.8	73.0	8.6	61.924	28.732	3.694	256.0
3	1004	CHEESE BLUE	42.41	353	21.40	28.74	5.11	2.34	0.50	...	721.0	198.0	0.25	0.5	21.0	2.4	18.669	7.778	0.800	75.0
4	1005	CHEESE BRICK	41.11	371	23.24	29.68	3.18	2.79	0.51	...	1080.0	292.0	0.26	0.5	22.0	2.5	18.764	8.598	0.784	94.0

5 rows × 36 columns

显示前表格的前几行

#当需要显示别的数目的行数时可以给head传参
food_info.head(2)  #显示两行

	NDB_No	Shrt_Desc	Water_(g)	Energ_Kcal	Protein_(g)	Lipid_Tot_(g)	Ash_(g)	Carbohydrt_(g)	Fiber_TD_(g)	Sugar_Tot_(g)	...	Vit_A_IU	Vit_A_RAE	Vit_E_(mg)	Vit_D_mcg	Vit_D_IU	Vit_K_(mcg)	FA_Sat_(g)	FA_Mono_(g)	FA_Poly_(g)	Cholestrl_(mg)
0	1001	BUTTER WITH SALT	15.87	717	0.85	81.11	2.11	0.06	0.0	0.06	...	2499.0	684.0	2.32	1.5	60.0	7.0	51.368	21.021	3.043	215.0
1	1002	BUTTER WHIPPED WITH SALT	15.87	717	0.85	81.11	2.11	0.06	0.0	0.06	...	2499.0	684.0	2.32	1.5	60.0	7.0	50.489	23.426	3.012	219.0

2 rows × 36 columns

显示表格的最后五行

#可以查看开头几行，当然也能查看尾几行
food_info.tail()#默认5行

	NDB_No	Shrt_Desc	Water_(g)	Energ_Kcal	Protein_(g)	Lipid_Tot_(g)	Ash_(g)	Carbohydrt_(g)	Sugar_Tot_(g)	...	Vit_A_IU	Vit_A_RAE	Vit_E_(mg)	Vit_D_mcg	Vit_D_IU	Vit_K_(mcg)	FA_Sat_(g)	FA_Mono_(g)	FA_Poly_(g)	Cholestrl_(mg)
8613	83110	MACKEREL SALTED	43.00	305	18.50	25.10	13.40	0.00	0.0	...	157.0	47.0	2.38	25.2	1006.0	7.8	7.148	8.320	6.210	95.0
8614	90240	SCALLOP (BAY&SEA) CKD STMD	70.25	111	20.54	0.84	2.97	5.41	0.0	...	5.0	2.0	0.00	0.0	2.0	0.0	0.218	0.082	0.222	41.0
8615	90480	SYRUP CANE	26.00	269	0.00	0.00	0.86	73.14	73.2	...	0.0	0.0	0.00	0.0	0.0	0.0	0.000	0.000	0.000	0.0
8616	90560	SNAIL RAW	79.20	90	16.10	1.40	1.30	2.00	0.0	...	100.0	30.0	5.00	0.0	0.0	0.1	0.361	0.259	0.252	50.0
8617	93600	TURTLE GREEN RAW	78.50	89	19.80	0.50	1.20	0.00	0.0	...	100.0	30.0	0.50	0.0	0.0	0.1	0.127	0.088	0.170	50.0

5 rows × 36 columns

显示表格的最后几行

food_info.tail(2)#只显示最后两行

	NDB_No	Shrt_Desc	Water_(g)	Energ_Kcal	Protein_(g)	Lipid_Tot_(g)	Ash_(g)	Carbohydrt_(g)	Fiber_TD_(g)	Sugar_Tot_(g)	...	Vit_A_IU	Vit_A_RAE	Vit_E_(mg)	Vit_D_mcg	Vit_D_IU	Vit_K_(mcg)	FA_Sat_(g)	FA_Mono_(g)	FA_Poly_(g)	Cholestrl_(mg)
8616	90560	SNAIL RAW	79.2	90	16.1	1.4	1.3	2.0	0.0	0.0	...	100.0	30.0	5.0	0.0	0.0	0.1	0.361	0.259	0.252	50.0
8617	93600	TURTLE GREEN RAW	78.5	89	19.8	0.5	1.2	0.0	0.0	0.0	...	100.0	30.0	0.5	0.0	0.0	0.1	0.127	0.088	0.170	50.0

2 rows × 36 columns

查看csv文件的所有列名

#显示列名
print(food_info.columns,type(food_info.columns))

Index(['NDB_No', 'Shrt_Desc', 'Water_(g)', 'Energ_Kcal', 'Protein_(g)',
       'Lipid_Tot_(g)', 'Ash_(g)', 'Carbohydrt_(g)', 'Fiber_TD_(g)',
       'Sugar_Tot_(g)', 'Calcium_(mg)', 'Iron_(mg)', 'Magnesium_(mg)',
       'Phosphorus_(mg)', 'Potassium_(mg)', 'Sodium_(mg)', 'Zinc_(mg)',
       'Copper_(mg)', 'Manganese_(mg)', 'Selenium_(mcg)', 'Vit_C_(mg)',
       'Thiamin_(mg)', 'Riboflavin_(mg)', 'Niacin_(mg)', 'Vit_B6_(mg)',
       'Vit_B12_(mcg)', 'Vit_A_IU', 'Vit_A_RAE', 'Vit_E_(mg)', 'Vit_D_mcg',
       'Vit_D_IU', 'Vit_K_(mcg)', 'FA_Sat_(g)', 'FA_Mono_(g)', 'FA_Poly_(g)',
       'Cholestrl_(mg)'],
      dtype='object')

查看当前读入的csv文件的数据结构

#查看当前数据的结构多少行多少列
print(food_info.shape)

(8618, 36)

对当前的数据文件进行索引

#pands读入的csv文件也可以进行索引和切片但是要通过一个loc方法
food_info.loc[0]  #只显示第一行也就是csv文件中的列名那一行

NDB_No                         1001
Shrt_Desc          BUTTER WITH SALT
Water_(g)                     15.87
Energ_Kcal                      717
Protein_(g)                    0.85
Lipid_Tot_(g)                 81.11
Ash_(g)                        2.11
Carbohydrt_(g)                 0.06
Fiber_TD_(g)                      0
Sugar_Tot_(g)                  0.06
Calcium_(mg)                     24
Iron_(mg)                      0.02
Magnesium_(mg)                    2
Phosphorus_(mg)                  24
Potassium_(mg)                   24
Sodium_(mg)                     643
Zinc_(mg)                      0.09
Copper_(mg)                       0
Manganese_(mg)                    0
Selenium_(mcg)                    1
Vit_C_(mg)                        0
Thiamin_(mg)                  0.005
Riboflavin_(mg)               0.034
Niacin_(mg)                   0.042
Vit_B6_(mg)                   0.003
Vit_B12_(mcg)                  0.17
Vit_A_IU                       2499
Vit_A_RAE                       684
Vit_E_(mg)                     2.32
Vit_D_mcg                       1.5
Vit_D_IU                         60
Vit_K_(mcg)                       7
FA_Sat_(g)                   51.368
FA_Mono_(g)                  21.021
FA_Poly_(g)                   3.043
Cholestrl_(mg)                  215
Name: 0, dtype: object

对当前的csv文件进行切片操作

#对csv文件数据的切片
food_info.loc[0:5]  #查看前5行与food.head显示的一致

	NDB_No	Shrt_Desc	Water_(g)	Energ_Kcal	Protein_(g)	Lipid_Tot_(g)	Ash_(g)	Carbohydrt_(g)	Sugar_Tot_(g)	...	Vit_A_IU	Vit_A_RAE	Vit_E_(mg)	Vit_D_mcg	Vit_D_IU	Vit_K_(mcg)	FA_Sat_(g)	FA_Mono_(g)	FA_Poly_(g)	Cholestrl_(mg)
0	1001	BUTTER WITH SALT	15.87	717	0.85	81.11	2.11	0.06	0.06	...	2499.0	684.0	2.32	1.5	60.0	7.0	51.368	21.021	3.043	215.0
1	1002	BUTTER WHIPPED WITH SALT	15.87	717	0.85	81.11	2.11	0.06	0.06	...	2499.0	684.0	2.32	1.5	60.0	7.0	50.489	23.426	3.012	219.0
2	1003	BUTTER OIL ANHYDROUS	0.24	876	0.28	99.48	0.00	0.00	0.00	...	3069.0	840.0	2.80	1.8	73.0	8.6	61.924	28.732	3.694	256.0
3	1004	CHEESE BLUE	42.41	353	21.40	28.74	5.11	2.34	0.50	...	721.0	198.0	0.25	0.5	21.0	2.4	18.669	7.778	0.800	75.0
4	1005	CHEESE BRICK	41.11	371	23.24	29.68	3.18	2.79	0.51	...	1080.0	292.0	0.26	0.5	22.0	2.5	18.764	8.598	0.784	94.0
5	1006	CHEESE BRIE	48.42	334	20.75	27.68	2.70	0.45	0.45	...	592.0	174.0	0.24	0.5	20.0	2.3	17.410	8.013	0.826	100.0

6 rows × 36 columns

food_info.loc[0:9:2]  #类似Python中的切片，food_info.loc[开始，结束，步长]，这里显示前10行的偶数行

	NDB_No	Shrt_Desc	Water_(g)	Energ_Kcal	Protein_(g)	Lipid_Tot_(g)	Ash_(g)	Carbohydrt_(g)	Sugar_Tot_(g)	...	Vit_A_IU	Vit_A_RAE	Vit_E_(mg)	Vit_D_mcg	Vit_D_IU	Vit_K_(mcg)	FA_Sat_(g)	FA_Mono_(g)	FA_Poly_(g)	Cholestrl_(mg)
0	1001	BUTTER WITH SALT	15.87	717	0.85	81.11	2.11	0.06	0.06	...	2499.0	684.0	2.32	1.5	60.0	7.0	51.368	21.021	3.043	215.0
2	1003	BUTTER OIL ANHYDROUS	0.24	876	0.28	99.48	0.00	0.00	0.00	...	3069.0	840.0	2.80	1.8	73.0	8.6	61.924	28.732	3.694	256.0
4	1005	CHEESE BRICK	41.11	371	23.24	29.68	3.18	2.79	0.51	...	1080.0	292.0	0.26	0.5	22.0	2.5	18.764	8.598	0.784	94.0
6	1007	CHEESE CAMEMBERT	51.80	300	19.80	24.26	3.68	0.46	0.46	...	820.0	241.0	0.21	0.4	18.0	2.0	15.259	7.023	0.724	72.0
8	1009	CHEESE CHEDDAR	37.10	406	24.04	33.82	3.71	1.33	0.28	...	994.0	263.0	0.78	0.6	24.0	2.9	19.368	8.428	1.433	102.0

5 rows × 36 columns

通过列索引取数据

#通过索引可以按行取数据，当然也可以通过列索引来取整列的数据
food_info['NDB_No'][0:5]  #只显示NDB_No这一列的前5条数据

0    1001
1    1002
2    1003
3    1004
4    1005
Name: NDB_No, dtype: int64

获取所有以g结尾的列名

#现在有一个需求要获取所有以g结尾的列名
columns = food_info.columns #这里得到的columns并不是list而是可以使用tolist方法转为list类型
print(columns.tolist(),type(columns.tolist()))
print('*'*100)
g_columns = []
for this_column in columns:
    if this_column.endswith('(g)'):
        g_columns.append(this_column)
print(g_columns)
food_info[g_columns][0:5]  #所有以g结尾的有29列  只显示前5行

['NDB_No', 'Shrt_Desc', 'Water_(g)', 'Energ_Kcal', 'Protein_(g)', 'Lipid_Tot_(g)', 'Ash_(g)', 'Carbohydrt_(g)', 'Fiber_TD_(g)', 'Sugar_Tot_(g)', 'Calcium_(mg)', 'Iron_(mg)', 'Magnesium_(mg)', 'Phosphorus_(mg)', 'Potassium_(mg)', 'Sodium_(mg)', 'Zinc_(mg)', 'Copper_(mg)', 'Manganese_(mg)', 'Selenium_(mcg)', 'Vit_C_(mg)', 'Thiamin_(mg)', 'Riboflavin_(mg)', 'Niacin_(mg)', 'Vit_B6_(mg)', 'Vit_B12_(mcg)', 'Vit_A_IU', 'Vit_A_RAE', 'Vit_E_(mg)', 'Vit_D_mcg', 'Vit_D_IU', 'Vit_K_(mcg)', 'FA_Sat_(g)', 'FA_Mono_(g)', 'FA_Poly_(g)', 'Cholestrl_(mg)'] 
****************************************************************************************************
['Water_(g)', 'Protein_(g)', 'Lipid_Tot_(g)', 'Ash_(g)', 'Carbohydrt_(g)', 'Fiber_TD_(g)', 'Sugar_Tot_(g)', 'FA_Sat_(g)', 'FA_Mono_(g)', 'FA_Poly_(g)']

	Water_(g)	Protein_(g)	Lipid_Tot_(g)	Ash_(g)	Carbohydrt_(g)	Sugar_Tot_(g)	FA_Sat_(g)	FA_Mono_(g)	FA_Poly_(g)
0	315.87	0.85	81.11	2.11	0.06	0.06	51.368	21.021	3.043
1	315.87	0.85	81.11	2.11	0.06	0.06	50.489	23.426	3.012
2	300.24	0.28	99.48	0.00	0.00	0.00	61.924	28.732	3.694
3	342.41	21.40	28.74	5.11	2.34	0.50	18.669	7.778	0.800
4	341.11	23.24	29.68	3.18	2.79	0.51	18.764	8.598	0.784

Pandas对csv文件的基本数学运算

#针对数据的基本数学运算 +|-|×|÷  与常数运算每一个值与常数运算，列与列运算，列的对应位置运算

#将Iron_(mg)这一列的数据转换成以g为单位
(food_info['Iron_(mg)']/1000)[0:5]  #只显示前五条数据

0    0.00002
1    0.00016
2    0.00000
3    0.00031
4    0.00043
Name: Iron_(mg), dtype: float64

#将Protein_(g)这一列的值全部加100
food_info['Protein_(g)'] += 100
food_info['Protein_(g)'][0:5]  #只显示前五行

0    100.85
1    100.85
2    100.28
3    121.40
4    123.24
Name: Protein_(g), dtype: float64

#将Lipid_Tot_(g)这一列的值全部减去10
food_info['Lipid_Tot_(g)'] -= 10
food_info['Lipid_Tot_(g)'][0:5]  #只显示前五行

0    71.11
1    71.11
2    89.48
3    18.74
4    19.68
Name: Lipid_Tot_(g), dtype: float64

#将water_(g)与Protein_(g)相乘
new_lipid = food_info['Lipid_Tot_(g)'] * food_info['Carbohydrt_(g)']
new_lipid[0:5]

0     4.2666
1     4.2666
2     0.0000
3    43.8516
4    54.9072
dtype: float64

按某一列的值排序操作

food_info.sort_values('Water_(g)',inplace=True)  #inplace = True不生成新的dataframe
food_info.sort_values('Water_(g)',inplace=False)[0:5]#inplace = False,默认为false生成新的dataframe只显示前5行

	NDB_No	Shrt_Desc	Water_(g)	Energ_Kcal	Lipid_Tot_(g)	...	Vit_E_(mg)	Vit_D_mcg	Vit_D_IU	Vit_K_(mcg)	FA_Sat_(g)	FA_Mono_(g)	FA_Poly_(g)	Cholestrl_(mg)
676	4544	SHORTENING HOUSEHOLD LARD&VEG OIL	400.0	900	90.0	...	1.0	0.0	0.0	21.5	40.3	44.4	10.9	56.0
664	4520	FAT MUTTON TALLOW	400.0	902	90.0	...	2.8	0.7	28.0	0.0	47.3	40.6	7.8	102.0
665	4528	OIL WALNUT	400.0	884	90.0	...	0.4	0.0	0.0	15.0	9.1	22.8	63.3	0.0
666	4529	OIL ALMOND	400.0	884	90.0	...	39.2	0.0	0.0	7.0	8.2	69.9	17.4	0.0
667	4530	OIL APRICOT KERNEL	400.0	884	90.0	...	4.0	NaN	NaN	NaN	6.3	60.0	29.3	0.0

5 rows × 36 columns

按某一列的值索引值排序返回索引与列值

food_info['Water_(g)'].sort_index(ascending=False)[0:5]  #对某一列索引值的排序  只显示前五行

8617    478.50
8616    479.20
8615    426.00
8614    470.25
8613    443.00
Name: Water_(g), dtype: float64

mrmr学习笔记 luojiaao 机器学习降维特征提取
mrmr是最大相关最小冗余pymrmr库最大化特征与标签的关系（信息增益也就是分类之后的商与分类之前的熵之差）最小化特征之间的重复特征（互信息，公式）（单纯地通过固定算法来判断信息的强度与冗余是有可能把一些细节上的特征给分数打低了）#pd=pandas.read_csv("./X_train.csv")#result=pymrmr.mRMR(pd,"MIQ",30)输入文件形式：label,f0,
Dataflow 开源项目教程戴洵珠Gerald
Dataflow开源项目教程dataflowRendergraphsusingadeclarativemarkup.项目地址:https://gitcode.com/gh_mirrors/dataf/dataflow1.项目介绍Dataflow是一个由Sony开发的开源项目，旨在提供一个高效的数据处理框架。该项目基于ApacheBeam，支持批处理和流处理，适用于大规模数据处理任务。Dataflo
Python之pymysql模块鲸鱼妹子‍ python 数据库 mysql python
文章目录一、环境的配置二、mysql的基本操作三、python操作mysql数据库基础1、连接数据库且创建数据表2、插入数据3、查询数据库4、移动游标指针5、cursor.scroll的用法四、mariadb中如何修改数据库的编码格式一、环境的配置1.需要在自己的linux中安装mariadb-server程序（端口为3306)，并且开启。注意，不能进行网络的安全设定（vim/etc/my.cfv
python-操作符相关介绍（一）小白快快跑哦 python 开发语言
软件的过程就是数据处理的过程，前面我们讲了python的各种类型的数字，并没有去说操作符，我一直在想是讲完所有python的内置类型再去说这个问题，还是不用等到那么晚。思考再三，我觉得还是把python所遇到的操作符都说一遍，这种操作符很多人都耳熟能祥，但是温故而知新，相信再次的阅读能让你加深印象，初学者也可以通过本章的学习对操作符有一个深入的认知。说到操作符，我们不得不提到表达式，什么是表达式呢
Metasploit Framework（MSF）全面使用手册阿贾克斯的黎明网络安全网络安全
目录MetasploitFramework（MSF）全面使用手册引言一、安装MetasploitFramework1.1在KaliLinux上安装1.2在其他Linux系统上安装1.3在Windows上安装二、启动MetasploitFramework三、基本操作3.1查看帮助信息3.2搜索模块3.3使用模块3.4查看模块选项3.5设置模块选项3.6执行模块四、常见模块类型及使用示例4.1漏洞利用
跟我一起学Python数据处理（九十六）之深入理解API lilye66 python 开发语言 apache
跟我一起学Python数据处理（九十六）之深入理解API大家好呀！在数据处理的学习道路上，咱们今天要一起探索一个超实用的领域——应用编程接口（API）。我希望能和大家一起在这个知识海洋里畅游，共同进步，掌握更多的数据处理技能。一、什么是APIAPI听起来很高大上，其实就是Web上共享数据的一种标准方式。很多网站都会通过API端点来分享数据。打个比方，API就像是网站的一扇窗户，我们通过这扇窗户向网
QtC++读取文件内容 galaxy_strive qt c++
QFilefile("../sys_database/canshu.txt");//目标文件路径if(!file.open(QIODevice::ReadOnly|QIODevice::Text)){QMessageBox::critical(this,"警告","文件读取失败！");return;}//创建一个QTextStream对象，用于从文件中读取文本数据。QTextStreamin(&f
深度学习批次数据处理的理解 _DCG_ 计算机视觉深度学习人工智能
基础介绍在计算机视觉深度学习网络中，在训练阶段数据输入通常是一个批次，即不是一次输入单张图片，而是一次性输入多张图片，而神经网络的结构内部一次只能处理一张图片，这时候很自然就会考虑为什么要这样的输入？神经网络是如何处理多个数据的，下面从硬件架构的角度去分析处理。GPU硬件架构GPU的硬件架构设计是批处理能够高效运行的关键原因之一。GPU现阶段一般采用SIMT架构，它的特点如下：SIMT（Singl
深度、机器学习算法 yzx991013 机器学习算法人工智能
机器学习典型算法SVM（支持向量机）：它通过寻找一个最优超平面来对数据进行分类。在二分类问题中，能找到一个平面（低维）或超平面（高维），使不同类别的数据点尽可能远地分布在超平面两侧。在小样本、非线性数据处理上有优势，常用于文本分类、图像识别等领域。决策树：以树形结构展示决策过程，从根节点开始，依据特征值逐步向下划分，直到叶子节点得出分类或回归结果。它易于理解和解释，可处理数值型和分类型数据，但容易
【数据结构】第二章：线性表 iFulling 数据结构与算法笔记数据结构笔记算法
本篇笔记课程来源：王道计算机考研数据结构【数据结构】第二章：线性表一、线性表的定义和基本操作1.定义2.基本操作二、顺序表1.顺序表的定义2.顺序表的实现3.顺序表的特点4.顺序表的插入5.顺序表的删除6.顺序表的查找三、单链表1.单链表的定义2.单链表的实现3.单链表的插入4.单链表的删除5.单链表的查找6.单链表的建立四、双链表五、循环链表1.循环单链表2.循环双链表六、静态链表1.静态链表的
YashanDB用户操作数据库
本章节将介绍YashanDB数据库用户相关的基本操作。创建用户执行如下SQL命令创建新用户yashan，并为其指定密码yashan：CREATEUSERyashanIDENTIFIEDBYyashan;创建角色执行如下SQL命令创建新角色yashan_role：CREATEROLEyashan_role;授权用户执行如下SQL命令为用户yashan授予登录会话和创建资源的权限：GRANTCONNE
有哪些开源大数据处理项目使用了大模型魔王阿卡纳兹大数据治理与分析开源大数据数据清洗
以下是一些使用了大模型的开源大数据处理项目：1.**RedPajama**：这是一个开源项目，使用了LLM大语言模型数据处理组件，对GitHub代码数据进行清洗和处理。具体流程包括数据清洗、过滤低质量样本、识别和删除重复样本等步骤。2.**SWIFT**：阿里开源的大模型微调轻量级框架，用于提高RAG应用的准确度。3.**Text2SQL**：阿里发布的最新实践开源模型，其准确度超过了GPT4。4
开发区界址点文件生成代码罖忞財 python
#-*-coding:utf-8-*-importgeopandasasgpdfromshapely.geometryimportPoint,PolygonimportsysfromPyQt5.QtWidgetsimportQApplication,QWidget,QVBoxLayout,QHBoxLayout,QPushButton,QLabel,QComboBox,QFileDialog,QM
MongoDB 数据库简介 wjs2024 开发语言
MongoDB数据库简介引言随着互联网技术的飞速发展，数据已经成为企业的重要资产。为了高效地管理和处理这些数据，数据库技术应运而生。MongoDB作为一种流行的NoSQL数据库，因其灵活的数据模型和高效的数据处理能力，受到了广泛的关注。本文将为您详细介绍MongoDB的基本概念、特点、应用场景以及操作方法。MongoDB概述MongoDB是一个基于分布式文件系统的NoSQL数据库，由10gen公司
Python爬虫实战：电商数据爬取与价格趋势分析 Python爬虫项目 2025年爬虫实战项目 python 爬虫开发语言零售 mongodb 人工智能
摘要本文详细介绍了如何使用Python编写爬虫程序，从电商网站抓取商品数据，并对价格趋势进行分析。我们将使用最新的爬虫技术和数据分析工具，包括Selenium、BeautifulSoup、Pandas和Matplotlib等。通过本文，读者将学习到如何构建一个完整的电商数据爬取与分析系统，并掌握相关技术在实际项目中的应用。关键词Python爬虫、电商数据、价格趋势分析、Selenium、Beaut
【Python爬虫(82)】开启物联网数据爬取之旅奔跑吧邓邓子 Python爬虫 python 爬虫物联网开发语言
【Python爬虫】专栏简介：本专栏是Python爬虫领域的集大成之作，共100章节。从Python基础语法、爬虫入门知识讲起，深入探讨反爬虫、多线程、分布式等进阶技术。以大量实例为支撑，覆盖网页、图片、音频等各类数据爬取，还涉及数据处理与分析。无论是新手小白还是进阶开发者，都能从中汲取知识，助力掌握爬虫核心技能，开拓技术视野。目录一、物联网设备通信协议1.1MQTT协议详解1.2CoAP协议探秘
电缆设备车间的数据采集新利器，高效精准再升级明达技术人工智能大数据
在当今智能制造的浪潮中，电缆设备车间作为电力与通信行业的基石，其生产效率和数据质量直接影响着整个产业链的稳定与发展。面对日益复杂的生产环境和海量数据的处理需求，传统的数据采集方式已难以满足高效、精准的管理要求。而明达智控自主研发推出的MBox20工业边缘计算网关的引入，正为电缆设备车间带来一场数据采集的革命性变革。边缘计算，数据处理的“前线指挥官”MBox20工业边缘计算网关，作为物联网技术与工业
华为云FusionInsight MRS FlinkSQL 复杂嵌套Json解析最佳实践华为云技术精粹云计算华为云
背景说明随着流计算的发展，挑战不再仅限于数据量和计算量，业务变得越来越复杂，开发者可能是资深的大数据从业者、初学Java的爱好者，或是不懂代码的数据分析者。如何提高开发者的效率，降低流计算的门槛，对推广实时计算非常重要。SQL是数据处理中使用最广泛的语言，它允许用户简明扼要地展示其业务逻辑。Flink作为流批一体的计算引擎，致力于提供一套SQL支持全部应用场景，FlinkSQL的实现也完全遵循AN
【Python爬虫(37)】解锁分布式爬虫：原理与架构全解析奔跑吧邓邓子 Python爬虫 python 爬虫分布式开发语言
【Python爬虫】专栏简介：本专栏是Python爬虫领域的集大成之作，共100章节。从Python基础语法、爬虫入门知识讲起，深入探讨反爬虫、多线程、分布式等进阶技术。以大量实例为支撑，覆盖网页、图片、音频等各类数据爬取，还涉及数据处理与分析。无论是新手小白还是进阶开发者，都能从中汲取知识，助力掌握爬虫核心技能，开拓技术视野。目录一、走进分布式系统1.1分布式系统的定义与特点1.2分布式系统的核
使用 Apache Jena 构建 RDF 数据处理与查询服务梦落青云 apache 知识图谱人工智能
一、引言随着语义网和知识图谱技术的不断发展，RDF（ResourceDescriptionFramework）作为一种用于描述资源的框架，被广泛应用于知识表示和数据集成。ApacheJena是一个功能强大的Java框架，用于处理RDF数据和SPARQL查询。本文将通过一个示例项目，展示如何使用ApacheJena实现RDF数据的加载、查询、推理、插入和更新操作。二、项目概述本项目的目标是使用Apa
全市场大模型分类及对比分析报告早退的程序员分类数据挖掘人工智能
全市场大模型分类及对比分析报告1.引言随着人工智能技术的飞速发展，大模型（LargeModels）已成为推动AI进步的核心力量。大模型凭借其强大的计算能力和海量数据处理能力，在自然语言处理（NLP）、计算机视觉（CV）、语音识别等领域取得了显著成果。本报告将对全市场中几类主要的大模型进行分类和对比分析，探讨其技术特点、应用场景及未来发展趋势。2.大模型分类根据模型架构、训练目标和应用领域，全市场的
具身智能（Embodied Intelligence） ZhangJiQun&MXP 教学人工智能深度学习算法
目录具身智能（EmbodiedIntelligence）简单理解举例说明具身智能（EmbodiedIntelligence）是人工智能领域的一个子领域，它强调智能系统不仅仅依赖于算法和数据处理，还必须具备一个物理实体（embodiment），通过与环境的直接互动来获取信息、学习、适应并采取行动。以下是对具身智能的简单理解和举例说明：简单理解具身智能的核心在于“具身”二字，即智能系统需要有一个物理形
R语言：高效数据分析和可视化的利器 TechPr r语言数据分析开发语言 R语言
R语言：高效数据分析和可视化的利器R语言是一种强大而灵活的数据分析和统计建模工具，广泛用于学术界和工业界。它提供了丰富的库和包，使得数据处理、统计分析和可视化变得更加容易和高效。本文将介绍R语言的一些基本概念，并提供相应的源代码示例。变量和数据结构在R语言中，可以使用赋值运算符（<-或=）来创建变量。例如，下面的代码将创建一个名为x的变量，并将其赋值为10：x<-10R语言支持多种数据结构，包括向
R语言：探索数据的利器 ByteWhiz r语言开发语言 R语言
R语言：探索数据的利器R语言是一种强大而灵活的编程语言，尤其在数据科学和统计分析领域中广泛应用。作为一门开源语言，R语言拥有丰富的数据处理和可视化功能，同时支持大规模数据分析和机器学习。本文将介绍R语言的基本特性、常用的数据操作和可视化技巧，并提供相应的源代码示例。一、R语言的基本特性向量化操作：R语言鼓励使用向量化操作，即对整个向量或矩阵执行相同的操作，从而提高运算效率。例如，可以通过一条简单的
HDFS是如何存储和管理大数据 python资深爱好者大数据 hdfs hadoop
HDFS（HadoopDistributedFileSystem，Hadoop分布式文件系统）是专为大数据处理而设计的分布式文件系统，具有高吞吐量、高容错性等特点，适用于大规模数据存储和管理。以下是HDFS存储和管理大数据的详细机制：一、HDFS架构HDFS采用主从架构，主要包括以下组件：NameNode（主节点）：作为集群的“大脑”，NameNode负责管理文件系统的命名空间，维护文件和目录的元
Hologres 介绍黄毛火烧雪下数据分析
Hologres是阿里云提供的一款实时数据分析平台，它结合了数据仓库（DataWarehouse）和流式计算（StreamProcessing）的优势，专为大规模数据分析和实时数据处理而设计。Hologres基于PostgreSQL构建，提供了高性能的查询处理、强大的数据分析能力，并能够支持海量数据的实时分析。一、Hologres的核心特点和功能：1、基于PostgreSQL构建：Hologres
JSON的序列化和反序列化 -黑大帅 json linux 数据库
一、什么是JSONJSON（JavaScriptObjectNotation）是一种轻量级的数据交换格式，因其简单、易读、易写而被广泛采用。它通过键值对和数组的方式表示数据，能够高效地在前后端之间传输数据，并且大多数编程语言都支持JSON格式。JSON主要用于前后端数据交换、配置文件存储和API设计等场景，使得数据处理变得直观和一致。二、序列化序列化就是将对象转换为JSON格式的字符串。在pyth
深入探索Spark MLlib：大数据时代的机器学习利器 concisedistinct 人工智能 mllib spark-ml Spark MLlib 大数据机器学习
随着大数据技术的迅猛发展，机器学习在各行各业的应用日益广泛。ApacheSpark作为大数据处理的利器，其内置的机器学习库MLlib（MachineLearningLibrary）提供了一套高效、易用的工具，用于处理和分析海量数据。本文将深入探讨SparkMLlib，介绍其核心功能和应用场景，并通过实例展示如何在实际项目中应用这些工具。一、SparkMLlib概述1.什么是SparkMLlib？S
docker镜像基本操作十亿点烦 docker eureka 容器
docker镜像基本操作1.拉取镜像[root@wyx~]#dockerpullswr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/nats:2.10.16-alpine2.10.16-alpine:Pullingfromddn-k8s/docker.io/natsb84a74cde5af:Pullcomplete823b46200779:Pull
Python 运算符 2401_87587429 python 开发语言
目录前言1.算数运算符2.赋值运算符3.比较运算符4.逻辑运算符5.其他运算符结语前言在编程的世界里，运算符是构建代码逻辑的基础。Python，作为一种功能强大且灵活的编程语言，提供了一套全面的运算符，使得数据处理和操作变得简单高效。本文将带你深入了解Python中的运算符，包括它们的用途、语法和一些实际的例子。1.算数运算符算数运算符用于执行基本的数学运算。以下是Python支持的算数运算符·+
PHP，安卓，UI，java，linux视频教程合集 cocos2d-x小菜 java UI PHP android linux
╔-----------------------------------╗┆
各表中的列名必须唯一。在表 'dbo.XXX' 中多次指定了列名 'XXX'。 bozch .net .net mvc
在.net mvc5中，在执行某一操作的时候，出现了如下错误：各表中的列名必须唯一。在表 'dbo.XXX' 中多次指定了列名 'XXX'。经查询当前的操作与错误内容无关，经过对错误信息的排查发现，事故出现在数据库迁移上。回想过去：在迁移之前已经对数据库进行了添加字段操作，再次进行迁移插入XXX字段的时候，就会提示如上错误。 &
Java 对象大小的计算 e200702084 java
Java对象的大小如何计算一个对象的大小呢？
Mybatis Spring 171815164 mybatis
ApplicationContext ac = new ClassPathXmlApplicationContext("applicationContext.xml"); CustomerService userService = (CustomerService) ac.getBean("customerService"); Customer cust
JVM 不稳定参数 g21121 jvm
-XX 参数被称为不稳定参数，之所以这么叫是因为此类参数的设置很容易引起JVM 性能上的差异，使JVM 存在极大的不稳定性。当然这是在非合理设置的前提下，如果此类参数设置合理讲大大提高JVM 的性能及稳定性。可以说“不稳定参数”
用户自动登录网站永夜-极光用户
1.目标:实现用户登录后,再次登录就自动登录,无需用户名和密码 2.思路:将用户的信息保存为cookie 每次用户访问网站,通过filter拦截所有请求,在filter中读取所有的cookie,如果找到了保存登录信息的cookie,那么在cookie中读取登录信息,然后直接
centos7 安装后失去win7的引导记录程序员是怎么炼成的操作系统
1.使用root身份(必须)打开 /boot/grub2/grub.cfg 2.找到 ### BEGIN /etc/grub.d/30_os-prober ### 在后面添加 menuentry "Windows 7 (loader) (on /dev/sda1)" {
Oracle 10g 官方中文安装帮助文档以及Oracle官方中文教程文档下载 aijuans oracle
Oracle 10g 官方中文安装帮助文档下载：http://download.csdn.net/tag/Oracle%E4%B8%AD%E6%96%87API%EF%BC%8COracle%E4%B8%AD%E6%96%87%E6%96%87%E6%A1%A3%EF%BC%8Coracle%E5%AD%A6%E4%B9%A0%E6%96%87%E6%A1%A3 Oracle 10g 官方中文教程
JavaEE开源快速开发平台G4Studio_V3.2发布了無為子 AOP oracle mysql javaee G4Studio
我非常高兴地宣布,今天我们最新的JavaEE开源快速开发平台G4Studio_V3.2版本已经正式发布。大家可以通过如下地址下载。访问G4Studio网站 http://www.g4it.org G4Studio_V3.2版本变更日志功能新增 (1).新增了系统右下角滑出提示窗口功能。 (2).新增了文件资源的Zip压缩和解压缩
Oracle常用的单行函数应用技巧总结百合不是茶日期函数转换函数(核心)数字函数通用函数(核心)字符函数
单行函数; 字符函数,数字函数,日期函数,转换函数(核心),通用函数(核心) 一:字符函数: .UPPER(字符串) 将字符串转为大写 .LOWER (字符串) 将字符串转为小写 .INITCAP(字符串) 将首字母大写 .LENGTH (字符串) 字符串的长度 .REPLACE(字符串,'A','_') 将字符串字符A转换成_
Mockito异常测试实例 bijian1013 java 单元测试 mockito
Mockito异常测试实例： package com.bijian.study; import static org.mockito.Mockito.mock; import static org.mockito.Mockito.when; import org.junit.Assert; import org.junit.Test; import org.mockito.
GA与量子恒道统计 Bill_chen JavaScript 浏览器百度 Google 防火墙
前一阵子，统计**网址时，Google Analytics（GA）和量子恒道统计（也称量子统计），数据有较大的偏差，仔细找相关资料研究了下，总结如下：为何GA和量子网站统计（量子统计前身为雅虎统计）结果不同？首先：没有一种网站统计工具能保证百分之百的准确出现该问题可能有以下几个原因：（1）不同的统计分析系统的算法机制不同；（2）统计代码放置的位置和前后
【Linux命令三】Top命令 bit1129 linux命令
Linux的Top命令类似于Windows的任务管理器，可以查看当前系统的运行情况，包括CPU、内存的使用情况等。如下是一个Top命令的执行结果： top - 21:22:04 up 1 day, 23:49, 1 user, load average: 1.10, 1.66, 1.99 Tasks: 202 total, 4 running, 198 sl
spring四种依赖注入方式白糖_ spring
平常的java开发中，程序员在某个类中需要依赖其它类的方法，则通常是new一个依赖类再调用类实例的方法，这种开发存在的问题是new的类实例不好统一管理，spring提出了依赖注入的思想，即依赖类不由程序员实例化，而是通过spring容器帮我们new指定实例并且将实例注入到需要该对象的类中。依赖注入的另一种说法是“控制反转”，通俗的理解是：平常我们new一个实例，这个实例的控制权是我
angular.injector boyitech AngularJS AngularJS API
angular.injector 描述: 创建一个injector对象, 调用injector对象的方法可以获得angular的service, 或者用来做依赖注入. 使用方法: angular.injector(modules, [strictDi]) 参数详解: Param Type Details mod
java-同步访问一个数组Integer[10]，生产者不断地往数组放入整数1000，数组满时等待；消费者不断地将数组里面的数置零，数组空时等待 bylijinnan Integer
public class PC { /** * 题目：生产者-消费者。 * 同步访问一个数组Integer[10]，生产者不断地往数组放入整数1000，数组满时等待；消费者不断地将数组里面的数置零，数组空时等待。 */ private static final Integer[] val=new Integer[10]; private static
使用Struts2.2.1配置 Chen.H apache spring Web xml struts
Struts2.2.1 需要如下 jar包: commons-fileupload-1.2.1.jar commons-io-1.3.2.jar commons-logging-1.0.4.jar freemarker-2.3.16.jar javassist-3.7.ga.jar ognl-3.0.jar spring.jar struts2-core-2.2.1.jar struts2-sp
[职业与教育]青春之歌 comsci 教育
每个人都有自己的青春之歌............但是我要说的却不是青春... 大家如果在自己的职业生涯没有给自己以后创业留一点点机会,仅仅凭学历和人脉关系,是难以在竞争激烈的市场中生存下去的.... &nbs
oracle连接(join)中使用using关键字 daizj JOIN oracle sql using
在oracle连接(join)中使用using关键字 34. View the Exhibit and examine the structure of the ORDERS and ORDER_ITEMS tables. Evaluate the following SQL statement: SELECT oi.order_id, product_id, order_date FRO
NIO示例 daysinsun nio
NIO服务端代码： public class NIOServer { private Selector selector; public void startServer(int port) throws IOException { ServerSocketChannel serverChannel = ServerSocketChannel.open(
C语言学习homework1 dcj3sjt126com c homework
0、课堂练习做完 1、使用sizeof计算出你所知道的所有的类型占用的空间。 int x; sizeof(x); sizeof(int); # include <stdio.h> int main(void) { int x1; char x2; double x3; float x4; printf(&quo
select in order by , mysql排序 dcj3sjt126com mysql
If i select like this: SELECT id FROM users WHERE id IN(3,4,8,1); This by default will select users in this order 1,3,4,8, I would like to select them in the same order that i put IN() values so:
页面校验-新建项目 fanxiaolong 页面校验
$(document).ready( function() { var flag = true; $('#changeform').submit(function() { var projectScValNull = true; var s =""; var parent_id = $("#parent_id").v
Ehcache（02）——ehcache.xml简介 234390216 ehcache ehcache.xml 简介
ehcache.xml简介 ehcache.xml文件是用来定义Ehcache的配置信息的，更准确的来说它是定义CacheManager的配置信息的。根据之前我们在《Ehcache简介》一文中对CacheManager的介绍我们知道一切Ehcache的应用都是从CacheManager开始的。在不指定配置信
junit 4.11中三个新功能 jackyrong java
junit 4.11中两个新增的功能，首先是注解中可以参数化，比如 import static org.junit.Assert.assertEquals; import java.util.Arrays; import org.junit.Test; import org.junit.runner.RunWith; import org.junit.runn
国外程序员爱用苹果Mac电脑的10大理由 php教程分享 windows PHP unix Microsoft perl
Mac 在国外很受欢迎，尤其是在设计/web开发/IT 人员圈子里。普通用户喜欢 Mac 可以理解，毕竟 Mac 设计美观，简单好用，没有病毒。那么为什么专业人士也对 Mac 情有独钟呢？从个人使用经验来看我想有下面几个原因： 1、Mac OS X 是基于 Unix 的这一点太重要了，尤其是对开发人员，至少对于我来说很重要，这意味着Unix 下一堆好用的工具都可以随手捡到。如果你是个 wi
位运算、异或的实际应用 wenjinglian 位运算
一．位操作基础，用一张表描述位操作符的应用规则并详细解释。二．常用位操作小技巧，有判断奇偶、交换两数、变换符号、求绝对值。三．位操作与空间压缩，针对筛素数进行空间压缩。 &n
weblogic部署项目出现的一些问题（持续补充中……） Everyday都不同 weblogic部署失败
好吧，weblogic的问题确实…… 问题一： org.springframework.beans.factory.BeanDefinitionStoreException: Failed to read candidate component class: URL [zip:E:/weblogic/user_projects/domains/base_domain/serve
tomcat7性能调优（01） toknowme tomcat7
Tomcat优化： 1、最大连接数最大线程等设置 <Connector port="8082" protocol="HTTP/1.1" useBodyEncodingForURI="t
PO VO DAO DTO BO TO概念与区别 xp9802 java DAO 设计模式 bean 领域模型
O/R Mapping 是 Object Relational Mapping（对象关系映射）的缩写。通俗点讲，就是将对象与关系数据库绑定，用对象来表示关系数据。在O/R Mapping的世界里，有两个基本的也是重要的东东需要了解，即VO，PO。它们的关系应该是相互独立的，一个VO可以只是PO的部分，也可以是多个PO构成，同样也可以等同于一个PO（指的是他们的属性）。这样，PO独立出来，数据持

Pandas常用基本操作---第一节

Pandas基本操作—第一节

使用Pandas读取csv文件并显示

查看读入的csv文件的每一列的数据类型

显示前表格的前五行

显示前表格的前几行

显示表格的最后五行

显示表格的最后几行

查看csv文件的所有列名

查看当前读入的csv文件的数据结构

对当前的数据文件进行索引

对当前的csv文件进行切片操作

通过列索引取数据

获取所有以g结尾的列名

Pandas对csv文件的基本数学运算

按某一列的值排序操作

按某一列的值索引值排序返回索引与列值

你可能感兴趣的:(Pandas基本操作,读取文件,pandas数据处理)