pandas学习

pandas学习（三）：数据拼接、数据合并和数据聚合

此笔记是学习以下两篇文章以及其他用到过的个人总结pandas系列学习（五）：数据连接pandas系列学习（六）：数据聚合如题，主要分为数据拼接、数据合并和数据聚合三部分。数据的拼接是指机械地把数据堆到一起，数据的合并是指根据两个数据的公共属列合并为一个数据集，数据聚合是指对数据集进行一些汇总操作，如分组求和或者求平均数等。一、数据拼接数据连接，大白话就是直接机械地把两个dataframe横着拼起来
fff2zrx·2020-08-18 21:10

Pandas学习笔记

Pandas简介Pandas是Python中进行数据处理的一个常用库，利用Pandas可以高效地处理格式化数据文件。Pandas内部使用DataFrame存储数据。Pandas读取文件基本读文件方法pandas.read_csv()遇到读进来乱码问题设置encoding='gbk'或者encoding='utf-8'：pandas.read_csv('data.csv',encoding='gbk
花酒石·2020-08-18 16:17

pandas学习，将两个csv文件的经纬度通过关键字拼接，求出两点之间的距离

最近，有个工作上的诉求，将两份数据处理后，得出两个经纬度点之间的距离。最初用shell将两份数据处理，得到了两张csv表，两张表中都有key值，以及经纬度，然后发现用shell算经纬度之间的距离，又很麻烦，只好转向python，今天分享一下用python处理数据，得出两个经纬度之间的距离的过程。先看两张表的内容。首先，使用haversine方法，方便计算两点间的距离。fromhaversineim
tester_FAN·2020-08-18 12:26

pandas基本操作整理

pandas学习笔记本篇文章是由kaggle网站上的pandas教程整理得到，学习过程中走一遍教程中的例程真的帮助很大。在这里将教程中所涉及的操作整理如下，便于后续查找使用。
wjp_ctt·2020-08-16 09:56

Pandas学习笔记

PandasPandas入门篇简介Pandas基本数据结构SeriesSeries创建Series索引DataFrameDataFrame创建DataFrame索引修改Pandas快速进阶篇Series与DataFrame中的索引`Index`索引的删除`drop`索引的选取和过滤索引的切片选取数据pandas中的数据运算与算术对齐在算术方法中的填充值`add`DataFrame与Series之间
Lucky_JimSir·2020-08-14 23:16

pandas学习

文章目录Objective:PandasforDataWranglingIntroductiontoDataWrangling&PandasDataWranglingPandas2.Series&DataFramesSeriesDataFrameObjective:LoadingDataintoDataFrames|目标：将数据加载到DataFrames中Sourcesfromwhichdataf
sljwy·2020-08-14 19:00

pandas学习

importpandasaspdimportnumpyasnp#Series是一个一维的数据结构#s=pd.Series([1,2,3,'ss','213'])#print(s)#pandas会默认使用0-n来作为index，我们可以指定index#s=pd.Series([1,2,3,'ss','213'],index=['a','b','c','d','e'])#print(s)#可以使用字典
luslin·2020-08-14 17:11

Pandas学习笔记之合并操作

一、concat合并pandas.concat(objs,axis=0,join='outer',join_axes=None,ignore_index=False,keys=None,levels=None,names=None,verify_integrity=False,copy=True)axis是按行合并还是列合并(行0,列1)，ignore_index代表是不是重建索引，操作的时候一定
lansecheng·2020-08-14 17:33

pandas学习---为 Jupyter Notebook 安装代码提示功能

首先进入AnacondaNavigator打开终端依次输入，等待安装完成pipinstalljupyter_contrib_nbextensionsjupytercontribnbextensioninstall--userpipinstalljupyter_nbextensions_configuratorjupyternbextensions_configuratorenable--user然
Croyance_M·2020-08-14 15:47

Pandas学习笔记之操作Excel

目前学会了两种数据导入Excel方式：第一种：把数据导入到一个xecel,只有一个工作簿的情况：Assistant1WorkLoad.to_excel("数据统计.xlsx")第二种方式：多个dataframe导入同一个Excel表格，但是要区分工作簿：excelWriter=pd.ExcelWriter("数据统计.xlsx")Assistant1WorkLoad.to_excel(excelW
lansecheng·2020-08-14 15:43

python数据分析

所以，坚持关注这个过程：理解Python基础学习Numpy学习Pandas学习Matplolib学习seaborn参考资料：1、https://scipy.org/2、pandas百度经验3、codeacademyNumpyNu
henry_dx·2020-08-14 13:09

pandas学习笔记3—数据重塑图解Pivot, Pivot-Table, Stack and Unstack

文章目录数据重塑图解—Pivot,Pivot-Table,StackandUnstack引言Pivot常见错误PivotTableStack/Unstack数据重塑图解—Pivot,Pivot-Table,StackandUnstack引言Pandas是python中常用的数据分析软件库，它提供了DataFrames和Series的工具，这使得numpy和matplotlib可以更加便捷地读取转换
Lavi_qq_2910138025·2020-08-14 10:33

python数据分析：pandas学习之Series数组

为什么学习pandas学习pandas需要一些numpy学习基础：numpy学习总结虽然numpy已经可以结合matplotlib解决我们数据分析的问题，那么pandas学习的目的在什么地方呢？
mr.ocean·2020-08-13 18:13

pandas学习基本概念：Series与DataFrame

目录Pandas简介Pandas理解Series类型（一）创建：（二）基本操作DataFrame类型（一）DataFrame基本概念（二）DataFrame类型创建(三）数据类型操作(1)重新索引：.reindex()（2）索引类型及其常用方法（3)删除指定索引对象（四）数据类型运算（1）算数运算法则(2)比较运算法则Pandas简介提供高性能易用数据类型和分析工具的第三方库。引用：importp
a1183976042·2020-08-13 12:57

pandas学习笔记（三）

pandas时期：periodpd.period()创建时期#生成一个以2017-01开始，月为频率的时间构造器#pd.Period()参数：一个时间戳+freqp=pd.Period('2017',freq='M')print(p)#通过加减整数，将周期整体移动print(p+1)print(p-2)输出：2017-012017-022016-11pd.period_range()创建时期范围p
windistance·2020-08-12 14:07

组队学习3：Pandas分组（一）（基于Python）

组队学习介绍  最近事情太多（以及人太懒），好久没有空更新博客，遂报名公众号Datawhale的Pandas学习小组来督促自己学习。
绝对是谨慎提交的昵称·2020-08-12 14:41

Pandas学习笔记--文本数据

一、string类型的性质string与object的区别string类型和object不同之处有三：①字符存取方法（stringaccessormethods，如str.count）会返回相应数据的Nullable类型，而object会随缺失值的存在而改变返回类型②某些Series方法不能在string上使用，例如：Series.str.decode()，因为存储的是字符串而不是字节③strin
?y?1·2020-08-12 14:49

Python大数据分析（三）：大数据统计分析技术

统计分析的常见指标（1）均值，方差，标准差，中位数，众数（2）总量指标（3）相对指标（4）平均指标（5）变异指标（三）统计分析的特点（四）统计分析的基本步骤（四）数据统计分析pandas工具使用（共12节入门教程）pandas
数据库爆破专家·2020-08-07 17:29

test2

转从简单的线性回归入门机器学习2018年09月14日21:08:24vwvwvoo阅读数69更多分类专栏：1.1_机器学习编辑声明：参考用Sckit-Learn和Pandas学习线性回归入门机器学习仅仅靠这一篇文章还是有些不够
vwvwvoo·2020-08-05 20:25

Pandas学习笔记

目录参考：Pandas介绍主要数据结构SeriesDataFrame索引对象基本功能数据导入导出参考：pandas中文网：https://www.pypandas.cn《pythonforDataAnalysis》Pandas介绍Pandas是python的核心数据分析支持库，基于Numpy数组构建。二者最大的不同是pandas是专门为处理表格和混杂数据设计的（可以针对行列命名），而Numpy更适
者行金·2020-08-05 02:31

Pandas学习笔记：如何处理Pandas中的SettingWithCopyWarning?

什么是复制操作警告（SettingWithCopyWarning）？(这种常用词下文首次出现时用中英文，后面直接用英文)要弄清楚如何处理这种警告，首先要弄清楚它的含义和出现的原因。当过滤（filter）数据集（DataFrame）时，对数据集进行切片或者引用操作有可能会返回一个视图（view），也可能返回一个副本（copy），这取决于内在的程序设计或者各种执行细节。View顾名思义，就是对原始数据
wenzhp1975·2020-08-04 21:46

pandas学习笔记

pandas基本介绍pandas.Series([…])#创建序列pandas.date_range(‘20200729’,periods=7)#创建日期序列pandas.DataFrame(…,index=…,columns=…)#创建制定索引矩阵A.index#行索引名称A.columns#列索引名称A.values#矩阵值A.describe()#描述矩阵A.T#反相矩阵A.sort_ind
猫十一.·2020-08-04 21:38

Pandas学习（7.数据聚合与分组操作）

7.1GroupBy机制''''''假设想要根据所属部门，计算每个部门的月人均移动效能'''daily_report=pd.read_excel(r"C:\Users\Administrator\Desktop\Pandas
cyber_1987·2020-08-04 20:24

Pandas学习（数据读取、索引、数据预处理、自定义函数）

Pandas是python的一个数据分析包，最初由AQRCapitalManagement于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。Pandas的名称来自于面板数据（paneldata）和
乐亦亦乐·2020-08-04 17:13

pandas学习笔记

1、创建对象，浏览数据##创建对象，浏览数据importpandasaspdimportnumpyasnpimportmatplotlib.pyplotasplt#创建seriess=pd.Series([1,2,4,6,np.nan,9,10],index=list('ABCDEFG'))#创建二维数组data=pd.date_range('20130101',periods=6)#index行
adorehuge·2020-08-04 13:22

Python之pandas学习【9】：利用pandas筛选出CSV某几列的数据进行数据处理

今天做了一个实战性的任务，利用pandas筛选出CSV的某几列数据进行数据处理，数据处理用的是re模块，也就是正则表达式。直接上代码，注意看代码注释，自己运行一遍结合代码注释是最好的效果代码：importreimportpandasaspdimporttimeclassjk_jd():#方法1:传统for循环defsolution(self,data):col=['x','y']#定义要筛选的列d
strong tyj·2020-08-03 11:32

python-numpy&pandas学习

Numpy学习一、数组基本属性ndim：维度shape：行数和列数size：元素个数二、numpy创建数组a=np.array([2,23,4])#list1darray：创建数组dtype：指定数据类型使用list来创建zeros：创建数据全为0ones：创建数据全为1empty：创建数据接近0arrange：按指定范围创建数据linspace：创建线段reshape：改变数组形状三、广播如果两
李静数据分析·2020-08-01 02:33

python学习：pandas学习笔记（四）合并

本次笔记内容：[iforiinaifiinb]等pd.concat(join='outer',axis=0...)pd.merge(df1,df2,how='inner',left_index...left_on='colname')总结和提醒先说一个pandas之外的东西：在对list进行操作时，有时需要提取两个list的交集，补集，或者不重复的两者合集等。diff=[iforiinlist1i
GPZ_Lab·2020-07-29 15:53

pandas学习笔记—dataframe中的数据类型和相互转换

常见的dataframe中的数据类型包括以下：DatatypeDescriptiondatetime64[ns]日期时间数据类型str字符类型object一种通用的数据类型，在没有明确指定类型下，所有数据都可认为是object类型bool_Boolean(TrueorFalse)storedasabyteint_Defaultintegertype(sameasClong;normallyeith
ACE-Mayer·2020-07-28 12:49

pandas学习之df.sample

pandas学习之df.sampledf.sample()用于从dataframe或者series中，随机取样。
非昨·2020-07-28 02:58

pandas学习之df.set_index

pandas学习之pd.set_index处理数据时，经常需要对索引进行处理，那么可以通过set_index和reset_index来进行处理官方文档DataFrame.set_index(self,keys
非昨·2020-07-28 02:28

pandas学习之df.rename()

pandas学习之df.rename()df.rename()用于更改行列的标签，即行列的索引。可以传入一个字典或者一个函数。在数据预处理中，比较常用。
非昨·2020-07-28 02:27

pandas学习之df.iloc[]

pandas学习之df.iloc[]df.iloc[]的用法和df.loc[]类似，最大的区别在于，loc是基于行列的标签进行检索，而iloc是基于位置进行检索。
非昨·2020-07-28 02:27

pandas学习之df.loc

pandas学习之df.loc在数据处理中，经常需要从数据集中提取出部分数据，这种情况下，可以选择df.locordf.iloc这两种方法。
非昨·2020-07-28 02:27

pandas学习之df.fillna

pandas学习之df.fillnadf.fillna主要用来对缺失值进行填充，可以选择填充具体的数字，或者选择临近填充。
非昨·2020-07-28 02:27

pandas学习(一、Series对象)

Series对象的创建\color{red}Series对象的创建Series对象的创建series类型是注重索引和值的一种类型series类型是注重索引和值的一种类型series类型是注重索引和值的一种类型使用Series来创建一个基本series类型使用Series来创建一个基本series类型使用Series来创建一个基本series类型importpandasaspda=pd.Series
issue敲腻害·2020-07-28 01:21

Python Pandas与Numpy中axis参数的二义性

Stackoverflow.com是程序员的好去处，本公众号将以pandas为主题，开始一个系列，争取做到每周一篇，翻译并帮助pandas学习者一起理解一些有代表性的案例。
张博208·2020-07-27 19:04

numpy和pandas学习总结1（莫烦python视频）

使用numpy和pandas的原因：numpy和pandas是python中最常用的数据处理模块，在进行机器学习时不可少。numpy和pandas都是用C语言编写的，并且使用矩阵进行计算，计算速度快，消耗计算内存小。numpy的主要属性：ndim：维度shape：行数和列数size：元素个数numpy导入：importnumpyasnp创建数组：a=np.array([1,2,3])print(a
Wknight1994·2020-07-27 17:29

Pandas学习 - 索引

写在前面今天这部分我们要学习一下索引的操作。申明一下这个不是我自己编写的噢，是参加了Datawhale的组队学习，其中的成员GYH大神编写的joyful-pandas，可以取github上找到内容！（PS发现大神是同校的小学弟哈哈哈，真的很优秀，自己还要慢慢学习~）如果有感兴趣的小伙伴可以github自取。一、单级索引1.loc方法、iloc方法、[]操作符一般而言，最常用的索引方法就是这三类il
-Helslie·2020-07-27 15:24

Pandas学习 -变形

一、透视表1.pivot#以ID为索引，性别为列，身高为值df.pivot(index='ID',columns='Gender',values='Height').head()trickone:然而pivot函数具有很强的局限性，除了功能上较少之外，还不允许values中出现重复的行列索引对（pair）2.pivot_table#注意和pivot的区别，一个是方法一个是函数pd.pivot_ta
-Helslie·2020-07-27 15:52

Pandas学习 - 合并

一、append和assign1.append#首先写一个实例df_append=df.loc[0:3,['Gender','Height','Weight']].copy()df_append#然后用append方法添加行s=pd.Series({'Gender':'F','Height':163,'Weight':50},name='whx')df_append.append(s)上面是添加列
-Helslie·2020-07-27 15:52

Pandas学习 - 分组

一、groupby函数1.分组函数的基本内容：（a）根据某一列分组grouped_single=df.groupby('School')注意，这里的设置是没有显式的返回对象的，那么需要特殊的方法来调取结果。#找到分组变量值为S_1的记录grouped_single.get_group('S_1').head()（b）根据某几列分组grouped_mul=df.groupby(['School','
-Helslie·2020-07-27 15:52

pandas学习之drop和dropna篇

drop和dropna的用法详解进行数据清洗时，经常会遇到缺失值。处理缺失值的一种方式是，直接删除dropna篇官方文档：DataFrame.dropna(self,axis=0,how=‘any’,thresh=None,subset=None,inplace=False)参数：0.构建实例importpandasaspdimportnumpyasnpdf=pd.DataFrame({'name
非昨·2020-07-27 12:31

Python：Pandas学习笔记（一）Series和DataFrame、相关性及NaN处理

目录pandas核心数据结构SeriesDataFrameIndex对象算数和数据对齐numpy函数应用与自定义函数Series和DataFrame的排序和排位相关性和协方差NaN的数据处理pandas核心数据结构pandas是以numpy为基础的，还提供了一些额外的方法Seriesseries用来表示一维数据结构，与python内部的数组类似，但多了一些额外的功能。series内部由两个相互关联
BOUNC3·2020-07-16 07:54

Python之pandas学习【3】：设置矩阵的值

注意看代码注释！最好的是自己拿去跑一遍代码，就什么都懂了。1.代码importpandasaspdimportnumpyasnpdates=pd.date_range('2019-10-22',periods=6)df=pd.DataFrame(np.arange(24).reshape(6,4),index=dates,columns=['A','B','C','D'])print(df,'\n
strong tyj·2020-07-16 06:26

pandas学习--索引

df1=pd.read_csv("new_abnormal_orders.csv",index_col='order_id')最常用的索引方法可能就是这三类，其中iloc表示位置索引，loc表示标签索引，[]也具有很大的便利性，各有特点。#单行索引,（注意：所有在loc中使用的切片全部包含右端点！）df1.loc[4285058250]#多行索引df1.loc[[4285058250,418035
破晓时刻·2020-07-16 05:42

Python-Pandas学习之将数据帧（Dataframe）的数据插入到数据中，并且只插入新的数据

在使用数据帧的过程中，我们经常会需要数据库写入操作，特别是大量的基础数据。在有的数据中，我们是需要设置主键或者唯一项的，那么这个时候，如果还是无脑的调用to_sql，就会经常出现一个错误，说数据库的主键或唯一项冲突。这个时候，我们就需要对新数据做一下处理，需要先把和数据库中的数据重合的数据删除掉，才能插入新数据。思路就是，根据条件，将新数据中可能出现的情况，使用read_sql的方式从数据库中读取
苏小败在路上·2020-07-16 04:37

Python-Pandas学习之数据帧（Dataframe）

数据帧（Dataframe）是一个矩阵样式的数据表，包含已排序的列集合，每一列可以是不同的值类型（数值、字符串、布尔值等）数据帧既有行索引也有列索引，它被视为一个共享相同索引的Series字典。下面是创建数据帧的方法，以及一些基本操作：importpandasaspddata={'platform':['qq','weixin','weibo','taobao'],'year':[2000,201
苏小败在路上·2020-07-16 04:36

Pandas学习笔记04-数据清洗(缺失值与异常值处理)

文章目录1.查看缺失值2.删除缺失值3.填充缺失值4.值的替换5.离散化与分箱6.异常值过滤之前我们介绍过通过索引获取自己想要的数据，这节我们介绍在数据清洗过程中遇到缺失值、异常值时的一些处理方式以及我们需要对某列的值就行分组的时候怎么解决。原始数据集来自本周刚抓取的创造营2020撑腰榜数据，公众号后台回复‘异常值’可以获得本节使用的数据集与ipynb文件。1.查看缺失值isnull和isna可以
可以叫我才哥·2020-07-15 22:24

Pandas学习笔记01-基础盘点

文章目录1、Pandas模块安装与导入2、基础数据结构2.1、Series2.2、DataFrame3、数据载入及存储3.1、数据载入3.2、数据存储4、基础功能4.1、数据抽样4.2、描述统计4.3、计数4.4、唯一值4.5、索引标签4.6、索引位置4.7、累计值4.8、排序与排名pandas是基于NumPy的一种工具，该工具是为了解决数据分析任务而创建的。Pandas纳入了大量库和一些标准的数
可以叫我才哥·2020-07-15 22:52
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他