思无邪!

Kaggle Video Game Sales数据分析

1.项目介绍：

本次项目分析所用数据集来源于kaggle，官网未提出明确的任务需求。但基于国内游戏行业迅猛发展趋势，可以通过不同国家、发布者、游戏类型等因素，对销售数据进行分析，提出有效的建议，帮助电子游戏销量提高。

2.定义问题

（1）电子游戏行业近年来的发展状况
（2）电子游戏市场分析：受欢迎的游戏、类型、发布平台、发行人等；
（3）top发行商的主导什么类型游戏
（4）【高级】预测每年电子游戏销售额。

#导入库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

3.查看数据和数据清理

#读取数据
data = pd.read_csv('vgsales.csv')
display('{}records in the dataset'.format(len(data)))
data.head(5)

'16598records in the dataset'

	Rank	Name	Platform	Year	Genre	Publisher	NA_Sales	EU_Sales	JP_Sales	Other_Sales	Global_Sales
0	1	Wii Sports	Wii	2006.0	Sports	Nintendo	41.49	29.02	3.77	8.46	82.74
1	2	Super Mario Bros.	NES	1985.0	Platform	Nintendo	29.08	3.58	6.81	0.77	40.24
2	3	Mario Kart Wii	Wii	2008.0	Racing	Nintendo	15.85	12.88	3.79	3.31	35.82
3	4	Wii Sports Resort	Wii	2009.0	Sports	Nintendo	15.75	11.01	3.28	2.96	33.00
4	5	Pokemon Red/Pokemon Blue	GB	1996.0	Role-Playing	Nintendo	11.27	8.89	10.22	1.00	31.37

可以看出：

该数据集一共有16598行记录
该数据集有11个字段：
- Rank 序号
- Name 游戏名
- Platform 运行平台
- Year 游戏发行年份
- Genre 游戏类型
- Publisher 游戏发行者
- NA_Sales 北美销量（百万套）
- EU_Sales 欧盟销量
- JP_Sales 日本销量
- Other_Sales 其他国家销量
- Global_Sales 全球总销量

#查看数据信息
data.info()


RangeIndex: 16598 entries, 0 to 16597
Data columns (total 11 columns):
Rank            16598 non-null int64
Name            16598 non-null object
Platform        16598 non-null object
Year            16327 non-null float64
Genre           16598 non-null object
Publisher       16540 non-null object
NA_Sales        16598 non-null float64
EU_Sales        16598 non-null float64
JP_Sales        16598 non-null float64
Other_Sales     16598 non-null float64
Global_Sales    16598 non-null float64
dtypes: float64(6), int64(1), object(4)
memory usage: 1.4+ MB

data.isnull().sum()

Rank              0
Name              0
Platform          0
Year            271
Genre             0
Publisher        58
NA_Sales          0
EU_Sales          0
JP_Sales          0
Other_Sales       0
Global_Sales      0
dtype: int64

数据质量整体良好，仅Year和Publisher字段存在缺失值
Year缺失271个，Publisher缺失58个。
由于数据总量大，所以删除缺失部分的数据并不影响

#删除缺失值
data.dropna(inplace=True)
#重置序号
data.reset_index(drop=True,inplace=True)
data.head(10)

	Rank	Name	Platform	Year	Genre	Publisher	NA_Sales	EU_Sales	JP_Sales	Other_Sales	Global_Sales
0	1	Wii Sports	Wii	2006.0	Sports	Nintendo	41.49	29.02	3.77	8.46	82.74
1	2	Super Mario Bros.	NES	1985.0	Platform	Nintendo	29.08	3.58	6.81	0.77	40.24
2	3	Mario Kart Wii	Wii	2008.0	Racing	Nintendo	15.85	12.88	3.79	3.31	35.82
3	4	Wii Sports Resort	Wii	2009.0	Sports	Nintendo	15.75	11.01	3.28	2.96	33.00
4	5	Pokemon Red/Pokemon Blue	GB	1996.0	Role-Playing	Nintendo	11.27	8.89	10.22	1.00	31.37
5	6	Tetris	GB	1989.0	Puzzle	Nintendo	23.20	2.26	4.22	0.58	30.26
6	7	New Super Mario Bros.	DS	2006.0	Platform	Nintendo	11.38	9.23	6.50	2.90	30.01
7	8	Wii Play	Wii	2006.0	Misc	Nintendo	14.03	9.20	2.93	2.85	29.02
8	9	New Super Mario Bros. Wii	Wii	2009.0	Platform	Nintendo	14.59	7.06	4.70	2.26	28.62
9	10	Duck Hunt	NES	1984.0	Shooter	Nintendo	26.93	0.63	0.28	0.47	28.31

#描述性统计
data.describe()

	Rank	Year	NA_Sales	EU_Sales	JP_Sales	Other_Sales	Global_Sales
count	16291.000000	16291.000000	16291.000000	16291.000000	16291.000000	16291.000000	16291.000000
mean	8290.190228	2006.405561	0.265647	0.147731	0.078833	0.048426	0.540910
std	4792.654450	5.832412	0.822432	0.509303	0.311879	0.190083	1.567345
min	1.000000	1980.000000	0.000000	0.000000	0.000000	0.000000	0.010000
25%	4132.500000	2003.000000	0.000000	0.000000	0.000000	0.000000	0.060000
50%	8292.000000	2007.000000	0.080000	0.020000	0.000000	0.010000	0.170000
75%	12439.500000	2010.000000	0.240000	0.110000	0.040000	0.040000	0.480000
max	16600.000000	2020.000000	41.490000	29.020000	10.220000	10.570000	82.740000

#对数据类型为object数据描述
data.describe(include='O')

	Name	Platform	Genre	Publisher
count	16291	16291	16291	16291
unique	11325	31	12	576
top	Need for Speed: Most Wanted	DS	Action	Electronic Arts
freq	12	2131	3251	1339

可以看出，共有11325款不同游戏，31个平台，12种游戏类型，576个发行商。

4.数据分析

4.1 电子游戏行业近年来的发展状况

#显示电子游戏历史发行量
plt.figure(figsize=(10,5))
data[['Year','Name']].groupby('Year')[['Name']].count().plot()

由图可以看出，电子游戏发行量在2010年之前迅猛发展，特别是在1995年至2009年，呈现指数式爆发增长。之后发行量逐渐下降。

plt.figure(figsize=(10,10))
data[['Year','NA_Sales','EU_Sales','JP_Sales','Other_Sales','Global_Sales']].groupby('Year')[['NA_Sales','EU_Sales','JP_Sales','Other_Sales','Global_Sales']].sum().plot()

由图可以看出，电子游戏在北美、欧洲、日本，以及其他国家在1995年至2009年销量逐渐攀升，可能是由于近年来手游的爆发式发展，2019年之后视频游戏销量均出现颓势。

4.2 电子游戏市场分析:受欢迎的游戏、类型、发布平台、发行人

#使用pandas数据透视表：pivot_table()

#游戏类型排序
Genre_df = data.pivot_table(index='Genre',values='Global_Sales',aggfunc=np.sum).sort_values('Global_Sales',ascending=False)
#平台排序
Platform_df = data.pivot_table(index = 'Platform',values='Global_Sales',aggfunc=np.sum).sort_values('Global_Sales',ascending=False)
#发行人排序，前15名
Publisher_df = data.pivot_table(index = 'Publisher',values='Global_Sales',aggfunc=np.sum).sort_values('Global_Sales',ascending=False).iloc[0:15]

fig,(ax1,ax2,ax3) = plt.subplots(3,1,figsize=(12,20)) #fig,(ax1,ax2,ax3) axes用元组,防止赋值不足
Genre_df.plot.bar(color='r',ax=ax1)
Platform_df.plot.bar(ax=ax2)
Publisher_df.plot.bar(ax=ax3)
plt.tight_layout()

从图可以看出：
- 动作类游戏最受欢迎，其次是运动类和射击类。
- PS2发行平台是最受欢迎的发行平台，X360,PS2,Wli,DS,PS也是比较受欢迎的。
- 最受欢迎的发行商是Nintendo和Electronic Arts。

Genre_NA_df = data.pivot_table(index=['Genre'],values='NA_Sales',aggfunc=np.sum).sort_values('NA_Sales',ascending=False)
#print(Genre_NA_df)
Genre_EU_df = data.pivot_table(index=['Genre'],values='EU_Sales',aggfunc=np.sum).sort_values('EU_Sales',ascending=False)
Genre_JP_df = data.pivot_table(index=['Genre'],values='JP_Sales',aggfunc=np.sum).sort_values('JP_Sales',ascending=False)
Genre_Other_df = data.pivot_table(index=['Genre'],values='Other_Sales',aggfunc=np.sum).sort_values('Other_Sales',ascending=False)

Genre_name_NA = Genre_NA_df._stat_axis.values.tolist() #提取游戏类型字段
#Genre_name
Genre_name_EU = Genre_EU_df._stat_axis.values.tolist()
Genre_name_JP = Genre_JP_df._stat_axis.values.tolist()
Genre_name_Ot = Genre_Other_df._stat_axis.values.tolist()


plt.figure(figsize=(10,10))
plt.subplot(221)
plt.pie(x=Genre_NA_df,labels=Genre_name_NA,autopct='%0.2f%%')
plt.title('sales of all types of video game genre in NA')
plt.subplot(222)
plt.pie(x=Genre_EU_df,labels=Genre_name_EU,autopct='%0.2f%%')
plt.title('sales of all types of video game genre in EU')
plt.subplot(223)
plt.pie(x=Genre_JP_df,labels=Genre_name_JP,autopct='%0.2f%%')
plt.title('sales of all types of video game genre in JP')
plt.subplot(224)
plt.pie(x=Genre_Other_df,labels=Genre_name_Ot,autopct='%0.2f%%')
plt.title('sales of all types of video game genre in Other')
plt.tight_layout()

从上面饼图可以看出，在北美和欧洲，动作型游戏最受大众喜欢，其次是运动型。但是在日本，角色扮演类型游戏最受大众喜欢。

4.3 top发行商的主导什么类型游戏

top_p = ['Nintendo','Electronic Arts','Activision','Sony Computer Entertainment','Ubisoft']
top_p_df = data[data['Publisher'].isin(top_p)]
top_p_df
top5_genre = pd.pivot_table(data=top_p_df,index=['Genre','Publisher'],values=['NA_Sales','EU_Sales','JP_Sales','Other_Sales','Global_Sales'],aggfunc=np.sum)
order = ['NA_Sales','EU_Sales','JP_Sales','Other_Sales','Global_Sales'] #调整列的顺序
new_top5_genre = top5_genre[order]
new_top5_genre
#new_top5_genre.sort_values(by=['Global_Sales'],ascending=False).groupby(by=['Genre','Publisher'])

		NA_Sales	EU_Sales	JP_Sales	Other_Sales	Global_Sales
Genre	Publisher
Action	Activision	86.83	39.99	1.08	13.81	141.82
	Electronic Arts	54.23	43.92	2.49	14.71	115.34
	Nintendo	63.49	29.02	29.16	6.48	128.10
	Sony Computer Entertainment	46.09	29.84	3.96	14.58	94.52
	Ubisoft	69.38	54.10	2.11	17.37	142.94
Adventure	Activision	4.04	0.87	0.10	0.41	5.42
	Electronic Arts	2.57	1.65	0.08	0.44	4.75
	Nintendo	17.72	7.66	9.01	1.28	35.71
	Sony Computer Entertainment	4.57	4.39	2.73	1.85	13.55
	Ubisoft	11.41	8.08	0.28	2.43	22.19
Fighting	Activision	1.94	0.76	0.00	0.15	2.86
	Electronic Arts	19.45	8.65	0.03	2.76	30.85
	Nintendo	27.10	8.64	14.94	2.65	53.35
	Sony Computer Entertainment	10.30	8.53	7.24	2.08	28.15
	Ubisoft	3.89	1.95	0.41	0.66	6.90
Misc	Activision	48.68	17.63	0.05	10.07	76.55
	Electronic Arts	11.29	6.49	0.01	1.92	19.74
	Nintendo	61.98	51.62	55.25	11.78	180.67
	Sony Computer Entertainment	25.47	33.81	5.58	15.92	80.80
	Ubisoft	58.49	29.65	0.29	9.17	97.53
Platform	Activision	23.45	7.85	0.07	2.01	33.40
	Electronic Arts	3.16	2.55	0.05	0.74	6.53
	Nintendo	219.46	84.90	102.36	19.43	426.18
	Sony Computer Entertainment	53.04	32.87	7.57	10.50	104.06
	Ubisoft	10.05	9.03	0.04	1.93	21.06
Puzzle	Activision	0.78	0.11	0.15	0.02	1.06
	Electronic Arts	2.66	1.43	0.00	0.46	4.55
	Nintendo	55.74	26.42	37.09	5.53	124.88
	Sony Computer Entertainment	0.64	0.78	1.97	0.34	3.71
	Ubisoft	2.63	3.05	0.03	0.57	6.33
Racing	Activision	11.88	3.64	0.04	1.35	16.99
	Electronic Arts	75.52	51.20	1.20	17.90	145.77
	Nintendo	73.55	39.75	29.22	8.81	151.30
	Sony Computer Entertainment	42.43	35.42	13.89	18.82	110.57
	Ubisoft	7.73	6.27	0.10	1.71	15.83
Role-Playing	Activision	23.58	18.40	0.26	4.55	46.79
	Electronic Arts	17.82	11.39	2.66	3.42	35.30
	Nintendo	105.63	63.92	101.95	13.03	284.57
	Sony Computer Entertainment	15.90	9.21	16.08	2.84	44.00
	Ubisoft	9.06	4.05	2.15	1.48	16.76
Shooter	Activision	159.15	96.86	4.64	34.66	295.40
	Electronic Arts	81.15	56.03	2.93	18.20	158.26
	Nintendo	51.39	9.85	6.03	2.39	69.69
	Sony Computer Entertainment	31.22	16.70	2.80	6.86	57.52
	Ubisoft	35.01	24.04	0.96	7.57	67.65
Simulation	Activision	5.33	2.14	0.02	0.80	8.26
	Electronic Arts	44.03	35.83	0.88	8.72	89.53
	Nintendo	29.70	26.05	23.65	5.86	85.25
	Sony Computer Entertainment	3.13	2.40	2.38	0.75	8.67
	Ubisoft	27.87	11.67	0.79	4.05	44.48
Sports	Activision	52.19	17.53	0.13	5.39	75.16
	Electronic Arts	263.50	144.14	3.21	57.69	468.69
	Nintendo	98.77	66.18	35.87	17.18	218.01
	Sony Computer Entertainment	32.09	12.90	8.86	5.58	59.39
	Ubisoft	14.06	7.11	0.08	2.10	23.42
Strategy	Activision	8.16	7.94	0.00	1.57	17.70
	Electronic Arts	8.84	4.10	0.44	0.67	14.08
	Nintendo	11.22	4.29	10.46	0.77	26.72
	Sony Computer Entertainment	0.34	0.70	1.04	0.28	2.34
	Ubisoft	3.23	4.03	0.09	1.12	8.45

top_p = ['Nintendo','Electronic Arts','Activision','Sony Computer Entertainment','Ubisoft']
top_p_df = data[data['Publisher'].isin(top_p)]
top5_genre = top_p_df[['Genre','Publisher','NA_Sales','EU_Sales','JP_Sales','Other_Sales','Global_Sales']]
top5_genre
new_top5_genre = top5_genre.groupby(by=['Genre','Publisher'])[['NA_Sales','EU_Sales','JP_Sales','Other_Sales','Global_Sales']].sum()
new_top5_genre
new_top5_genre.groupby(by='Genre').apply(lambda x:x.sort_values('Global_Sales',ascending=False))

			NA_Sales	EU_Sales	JP_Sales	Other_Sales	Global_Sales
Genre	Genre	Publisher
Action	Action	Ubisoft	69.38	54.10	2.11	17.37	142.94
		Activision	86.83	39.99	1.08	13.81	141.82
		Nintendo	63.49	29.02	29.16	6.48	128.10
		Electronic Arts	54.23	43.92	2.49	14.71	115.34
		Sony Computer Entertainment	46.09	29.84	3.96	14.58	94.52
Adventure	Adventure	Nintendo	17.72	7.66	9.01	1.28	35.71
		Ubisoft	11.41	8.08	0.28	2.43	22.19
		Sony Computer Entertainment	4.57	4.39	2.73	1.85	13.55
		Activision	4.04	0.87	0.10	0.41	5.42
		Electronic Arts	2.57	1.65	0.08	0.44	4.75
Fighting	Fighting	Nintendo	27.10	8.64	14.94	2.65	53.35
		Electronic Arts	19.45	8.65	0.03	2.76	30.85
		Sony Computer Entertainment	10.30	8.53	7.24	2.08	28.15
		Ubisoft	3.89	1.95	0.41	0.66	6.90
		Activision	1.94	0.76	0.00	0.15	2.86
Misc	Misc	Nintendo	61.98	51.62	55.25	11.78	180.67
		Ubisoft	58.49	29.65	0.29	9.17	97.53
		Sony Computer Entertainment	25.47	33.81	5.58	15.92	80.80
		Activision	48.68	17.63	0.05	10.07	76.55
		Electronic Arts	11.29	6.49	0.01	1.92	19.74
Platform	Platform	Nintendo	219.46	84.90	102.36	19.43	426.18
		Sony Computer Entertainment	53.04	32.87	7.57	10.50	104.06
		Activision	23.45	7.85	0.07	2.01	33.40
		Ubisoft	10.05	9.03	0.04	1.93	21.06
		Electronic Arts	3.16	2.55	0.05	0.74	6.53
Puzzle	Puzzle	Nintendo	55.74	26.42	37.09	5.53	124.88
		Ubisoft	2.63	3.05	0.03	0.57	6.33
		Electronic Arts	2.66	1.43	0.00	0.46	4.55
		Sony Computer Entertainment	0.64	0.78	1.97	0.34	3.71
		Activision	0.78	0.11	0.15	0.02	1.06
Racing	Racing	Nintendo	73.55	39.75	29.22	8.81	151.30
		Electronic Arts	75.52	51.20	1.20	17.90	145.77
		Sony Computer Entertainment	42.43	35.42	13.89	18.82	110.57
		Activision	11.88	3.64	0.04	1.35	16.99
		Ubisoft	7.73	6.27	0.10	1.71	15.83
Role-Playing	Role-Playing	Nintendo	105.63	63.92	101.95	13.03	284.57
		Activision	23.58	18.40	0.26	4.55	46.79
		Sony Computer Entertainment	15.90	9.21	16.08	2.84	44.00
		Electronic Arts	17.82	11.39	2.66	3.42	35.30
		Ubisoft	9.06	4.05	2.15	1.48	16.76
Shooter	Shooter	Activision	159.15	96.86	4.64	34.66	295.40
		Electronic Arts	81.15	56.03	2.93	18.20	158.26
		Nintendo	51.39	9.85	6.03	2.39	69.69
		Ubisoft	35.01	24.04	0.96	7.57	67.65
		Sony Computer Entertainment	31.22	16.70	2.80	6.86	57.52
Simulation	Simulation	Electronic Arts	44.03	35.83	0.88	8.72	89.53
		Nintendo	29.70	26.05	23.65	5.86	85.25
		Ubisoft	27.87	11.67	0.79	4.05	44.48
		Sony Computer Entertainment	3.13	2.40	2.38	0.75	8.67
		Activision	5.33	2.14	0.02	0.80	8.26
Sports	Sports	Electronic Arts	263.50	144.14	3.21	57.69	468.69
		Nintendo	98.77	66.18	35.87	17.18	218.01
		Activision	52.19	17.53	0.13	5.39	75.16
		Sony Computer Entertainment	32.09	12.90	8.86	5.58	59.39
		Ubisoft	14.06	7.11	0.08	2.10	23.42
Strategy	Strategy	Nintendo	11.22	4.29	10.46	0.77	26.72
		Activision	8.16	7.94	0.00	1.57	17.70
		Electronic Arts	8.84	4.10	0.44	0.67	14.08
		Ubisoft	3.23	4.03	0.09	1.12	8.45
		Sony Computer Entertainment	0.34	0.70	1.04	0.28	2.34

任天堂处于主导地位，在大部分领域都占比第一
Electronic Arts主导了运动和模拟类型的视频游戏领域
暴雪在射击领域遥遥领先

5.总结

视频游戏销量在1995年开始逐渐上升，到2009年左右达到顶峰，此后开始阶段性下滑。
在视频游戏繁荣时期，action类游戏成为大众欢迎的类型，其次是运动类和射击类。
PS2平台在全球销量遥遥领先。
在销量方面，任天堂，EA，暴雪占据前三，且差距显著。任天堂在大部分类型游戏领域都处于龙头地位，占比第一；EA在运动和模拟领域站稳脚跟，暴雪则在射击领域一马当先。
各大游戏厂商应该进一步挖掘销量下滑原因，是否是手游、网游等影响，并针对性采取措施。

关于【高级】预测每年电子游戏销售额。等学习了statsmodels等相关知识再来分析。

理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
python os.environ 江湖偌大 python 深度学习
os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
Python中os.environ基本介绍及使用方法鹤冲天Pro #Python python 服务器开发语言
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
Pyecharts数据可视化大屏：打造沉浸式数据分析体验我的运维人生信息可视化数据分析数据挖掘运维开发技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
Python教程：一文了解使用Python处理XPath 旦莫 Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 python os.environ
>>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
使用Faiss进行高效相似度搜索 llzwxh888 faiss python
在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
python是什么意思中文-在python中%是什么意思编程大乐趣
Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
python八股文面试题分享及解析(1) Shawn________ python
#1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
每日算法&面试题，大厂特训二十八天——第二十天（树）肥学 ⚡算法题⚡面试题每日精进 java 算法数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
Python快速入门 —— 第三节：类与对象孤华暗香 Python快速入门 python 开发语言
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
pyecharts——绘制柱形图折线图 2224070247 信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
Python 实现图片裁剪（附代码） | Python工具剑客阿良_ALiang
前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
《Python数据分析实战终极指南》 xjt921122 python 数据分析开发语言
对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
Python中深拷贝与浅拷贝的区别 yuxiaoyu.
转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
Python编译器鹿鹿~ Python编译器 Python python 开发语言后端
嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
一文掌握python面向对象魔术方法（二）程序员neil python python 开发语言
接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
一文掌握python常用的list（列表）操作程序员neil python python 开发语言
目录一、创建列表1.直接创建列表：2.使用list()构造器3.使用列表推导式4.创建空列表二、访问列表元素1.列表支持通过索引访问元素，索引从0开始：2.还可以使用切片操作访问列表的一部分：三、修改列表元素四、添加元素1.append()：在末尾添加元素2.insert()：在指定位置插入元素五、删除元素1.del：删除指定位置的元素2.remove()：删除指定值的第一个匹配项3.pop()：
Python实现简单的机器学习算法 master_chenchengg python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
python中的深拷贝与浅拷贝 anshejd70787 python
深拷贝和浅拷贝浅拷贝的时候，修改原来的对象，浅拷贝的对象不会发生改变。1、对象的赋值对象的赋值实际上是对象之间的引用：当创建一个对象，然后将这个对象赋值给另外一个变量的时候，python并没有拷贝这个对象，而只是拷贝了这个对象的引用。当对对象做赋值或者是参数传递或者作为返回值的时候，总是传递原始对象的引用，而不是一个副本。如下所示：>>>aList=["kel","abc",123]>>>bLis
用Python实现简单的猜数字游戏程序媛了了 python 游戏 java
猜数字游戏代码：importrandomdefpythonit():a=random.randint(1,100)n=int(input("输入你猜想的数字："))whilen!=a:ifn>a:print("很遗憾，猜大了")n=int(input("请再次输入你猜想的数字："))elifna::如果玩家猜的数字n大于随机数字a，则输出"很遗憾，猜大了"，并提示玩家再次输入。elifn
用Python实现读取统计单词个数程序媛了了 python 游戏 java
完整实例代码：fromcollectionsimportCounterdefpythonit():danci={}withopen("pythonit.txt","r",encoding="utf-8")asf:foriinf:words=i.strip().split()forwordinwords:ifwordnotindanci:danci[word]=1else:danci[word]+=
解读Servlet原理篇二---GenericServlet与HttpServlet 周凡杨 java HttpServlet 源理 GenericService 源码
在上一篇《解读Servlet原理篇一》中提到，要实现javax.servlet.Servlet接口（即写自己的Servlet应用），你可以写一个继承自javax.servlet.GenericServletr的generic Servlet ，也可以写一个继承自java.servlet.http.HttpServlet的HTTP Servlet（这就是为什么我们自定义的Servlet通常是exte
MySQL性能优化 bijian1013 数据库 mysql
性能优化是通过某些有效的方法来提高MySQL的运行速度，减少占用的磁盘空间。性能优化包含很多方面，例如优化查询速度，优化更新速度和优化MySQL服务器等。本文介绍方法的主要有： a.优化查询 b.优化数据库结构
ThreadPool定时重试 dai_lm java ThreadPool thread timer timertask
项目需要当某事件触发时，执行http请求任务，失败时需要有重试机制，并根据失败次数的增加，重试间隔也相应增加，任务可能并发。由于是耗时任务，首先考虑的就是用线程来实现，并且为了节约资源，因而选择线程池。为了解决不定间隔的重试，选择Timer和TimerTask来完成 package threadpool; public class ThreadPoolTest {
Oracle 查看数据库的连接情况周凡杨 sql oracle 连接
首先要说的是，不同版本数据库提供的系统表会有不同，你可以根据数据字典查看该版本数据库所提供的表。 select * from dict where table_name like '%SESSION%'; 就可以查出一些表，然后根据这些表就可以获得会话信息 select sid,serial#,status,username,schemaname,osuser,terminal,ma
类的继承朱辉辉33 java
类的继承可以提高代码的重用行，减少冗余代码；还能提高代码的扩展性。Java继承的关键字是extends 格式:public class 类名（子类）extends 类名（父类）{ } 子类可以继承到父类所有的属性和普通方法，但不能继承构造方法。且子类可以直接使用父类的public和 protected属性，但要使用private属性仍需通过调用。子类的方法可以重写，但必须和父类的返回值类
android 悬浮窗特效肆无忌惮_ android
最近在开发项目的时候需要做一个悬浮层的动画，类似于支付宝掉钱动画。但是区别在于，需求是浮出一个窗口，之后边缩放边位移至屏幕右下角标签处。效果图如下：一开始考虑用自定义View来做。后来发现开线程让其移动很卡，ListView+动画也没法精确定位到目标点。后来想利用Dialog的dismiss动画来完成。自定义一个Dialog后，在styl
hadoop伪分布式搭建林鹤霄 hadoop
要修改4个文件 1: vim hadoop-env.sh 第九行 2: vim core-site.xml <configuration> &n
gdb调试命令 aigo gdb
原文：http://blog.csdn.net/hanchaoman/article/details/5517362 一、GDB常用命令简介 r run 运行.程序还没有运行前使用 c cuntinue
Socket编程的HelloWorld实例 alleni123 socket
public class Client { public static void main(String[] args) { Client c=new Client(); c.receiveMessage(); } public void receiveMessage(){ Socket s=null; BufferedRea
线程同步和异步百合不是茶线程同步异步
多线程和同步 : 如进程、线程同步，可理解为进程或线程A和B一块配合，A执行到一定程度时要依靠B的某个结果，于是停下来，示意B运行；B依言执行，再将结果给A；A再继续操作。所谓同步，就是在发出一个功能调用时，在没有得到结果之前，该调用就不返回，同时其它线程也不能调用这个方法多线程和异步:多线程可以做不同的事情,涉及到线程通知 &
JSP中文乱码分析 bijian1013 java jsp 中文乱码
在JSP的开发过程中，经常出现中文乱码的问题。首先了解一下Java中文问题的由来： Java的内核和class文件是基于unicode的，这使Java程序具有良好的跨平台性，但也带来了一些中文乱码问题的麻烦。原因主要有两方面，
js实现页面跳转重定向的几种方式 bijian1013 JavaScript 重定向
js实现页面跳转重定向有如下几种方式：一.window.location.href <script language="javascript"type="text/javascript"> window.location.href="http://www.baidu.c
【Struts2三】Struts2 Action转发类型 bit1129 struts2
在【Struts2一】 Struts Hello World http://bit1129.iteye.com/blog/2109365中配置了一个简单的Action，配置如下 <!DOCTYPE struts PUBLIC "-//Apache Software Foundation//DTD Struts Configurat
【HBase十一】Java API操作HBase bit1129 hbase
Admin类的主要方法注释： 1. 创建表 /** * Creates a new table. Synchronous operation. * * @param desc table descriptor for table * @throws IllegalArgumentException if the table name is res
nginx gzip ronin47 nginx gzip
Nginx GZip 压缩 Nginx GZip 模块文档详见：http://wiki.nginx.org/HttpGzipModule 常用配置片段如下： gzip on; gzip_comp_level 2; # 压缩比例，比例越大，压缩时间越长。默认是1 gzip_types text/css text/javascript; # 哪些文件可以被压缩 gzip_disable &q
java-7.微软亚院之编程判断俩个链表是否相交给出俩个单向链表的头指针，比如 h1 ， h2 ，判断这俩个链表是否相交 bylijinnan java
public class LinkListTest { /** * we deal with two main missions: * * A. * 1.we create two joined-List(both have no loop) * 2.whether list1 and list2 join * 3.print the join
Spring源码学习-JdbcTemplate batchUpdate批量操作 bylijinnan java spring
Spring JdbcTemplate的batch操作最后还是利用了JDBC提供的方法，Spring只是做了一下改造和封装 JDBC的batch操作： String sql = "INSERT INTO CUSTOMER " + "(CUST_ID, NAME, AGE) VALUES (?, ?, ?)";
[JWFD开源工作流]大规模拓扑矩阵存储结构最新进展 comsci 工作流
生成和创建类已经完成,构造一个100万个元素的矩阵模型,存储空间只有11M大,请大家参考我在博客园上面的文档"构造下一代工作流存储结构的尝试",更加相信的设计和代码将陆续推出......... 竞争对手的能力也很强.......,我相信..你们一定能够先于我们推出大规模拓扑扫描和分析系统的....
base64编码和url编码 cuityang base64 url
import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.PrintWriter; import java.io.StringWriter; import java.io.UnsupportedEncodingException;
web应用集群Session保持 dalan_123 session
关于使用 memcached 或redis 存储 session ，以及使用 terracotta 服务器共享。建议使用 redis，不仅仅因为它可以将缓存的内容持久化，还因为它支持的单个对象比较大，而且数据类型丰富，不只是缓存 session，还可以做其他用途，一举几得啊。1、使用 filter 方法存储这种方法比较推荐，因为它的服务器使用范围比较多，不仅限于tomcat ，而且实现的原理比较简
Yii 框架里数据库操作详解-[增加、查询、更新、删除的方法 'AR模式'] dcj3sjt126com 数据库
public function getMinLimit () { $sql = "..."; $result = yii::app()->db->createCo
solr StatsComponent（聚合统计） eksliang solr聚合查询 solr stats
StatsComponent 转载请出自出处：http://eksliang.iteye.com/blog/2169134 http://eksliang.iteye.com/ 一、概述 Solr可以利用StatsComponent 实现数据库的聚合统计查询，也就是min、max、avg、count、sum的功能二、参数
百度一道面试题 greemranqq 位运算百度面试寻找奇数算法 bitmap 算法
那天看朋友提了一个百度面试的题目：怎么找出{1,1,2,3,3,4,4,4,5,5,5,5} 找出出现次数为奇数的数字. 我这里复制的是原话，当然顺序是不一定的，很多拿到题目第一反应就是用map,当然可以解决，但是效率不高。还有人觉得应该用算法xxx,我是没想到用啥算法好...！还有觉得应该先排序... 还有觉
Spring之在开发中使用SpringJDBC ihuning spring
在实际开发中使用SpringJDBC有两种方式： 1. 在Dao中添加属性JdbcTemplate并用Spring注入； JdbcTemplate类被设计成为线程安全的，所以可以在IOC 容器中声明它的单个实例，并将这个实例注入到所有的 DAO 实例中。JdbcTemplate也利用了Java 1.5 的特定(自动装箱，泛型，可变长度
JSON API 1.0 核心开发者自述 | 你所不知道的那些技术细节 justjavac json
2013年5月，Yehuda Katz 完成了JSON API(英文，中文) 技术规范的初稿。事情就发生在 RailsConf 之后，在那次会议上他和 Steve Klabnik 就 JSON 雏形的技术细节相聊甚欢。在沟通单一 Rails 服务器库—— ActiveModel::Serializers 和单一 JavaScript 客户端库——&
网站项目建设流程概述 macroli 工作
一.概念网站项目管理就是根据特定的规范、在预算范围内、按时完成的网站开发任务。二.需求分析项目立项　　我们接到客户的业务咨询，经过双方不断的接洽和了解，并通过基本的可行性讨论够，初步达成制作协议，这时就需要将项目立项。较好的做法是成立一个专门的项目小组，小组成员包括：项目经理，网页设计，程序员，测试员，编辑/文档等必须人员。项目实行项目经理制。客户的需求说明书　　第一步是需
AngularJs 三目运算表达式判断 qiaolevip 每天进步一点点学习永无止境众观千象 AngularJS
事件回顾：由于需要修改同一个模板，里面包含2个不同的内容，第一个里面使用的时间差和第二个里面名称不一样，其他过滤器，内容都大同小异。希望杜绝If这样比较傻的来判断if-show or not，继续追究其源码。 var b = "{{", a = "}}"; this.startSymbol = function(a) {
Spark算子：统计RDD分区中的元素及数量 superlxw1234 spark spark算子 Spark RDD分区元素
关键字：Spark算子、Spark RDD分区、Spark RDD分区元素数量 Spark RDD是被分区的，在生成RDD时候，一般可以指定分区的数量，如果不指定分区数量，当RDD从集合创建时候，则默认为该程序所分配到的资源的CPU核数，如果是从HDFS文件创建，默认为文件的Block数。可以利用RDD的mapPartitionsWithInd
Spring 3.2.x将于2016年12月31日停止支持 wiselyman Spring 3
Spring 团队公布在2016年12月31日停止对Spring Framework 3.2.x（包含tomcat 6.x）的支持。在此之前spring团队将持续发布3.2.x的维护版本。请大家及时准备及时升级到Spring
fis纯前端解决方案fis-pure zccst JavaScript
作者：zccst FIS通过插件扩展可以完美的支持模块化的前端开发方案，我们通过FIS的二次封装能力，封装了一个功能完备的纯前端模块化方案pure。 1，fis-pure的安装 $ fis install -g fis-pure $ pure -v 0.1.4 2，下载demo到本地 git clone https://github.com/hefangshi/f