pandas学习

pandas学习笔记—pandas时序数据处理需要注意的一点（TypeError: float() argument must be a string or a number, not 'Times）

大家在处理时序数据时可能会遇到以下错误：TypeError:float()argumentmustbeastringoranumber,not'Timestamp'用以下两种代码处理dataframe时，第一种处理方法会导致时间列的数据类型转变为object第一种：new_data=origin_data.copy()new_data.iloc[0,0]="date_time"#这一行还有下面的一
ACE-Mayer·2020-07-14 23:52

pandas学习-文本数据

学习链接:https://github.com/datawhalechina/joyful-pandas/blob/master/%E7%AC%AC7%E7%AB%A0%20%E6%96%87%E6%9C%AC%E6%95%B0%E6%8D%AE.ipynb.七、文本数据7.1string类型的性质7.2拆分与拼接7.3替换7.4子串匹配与提取7.5常用字符串方法问题与练习7.1string类型的
Zoo0ooey·2020-07-14 21:55

pandas学习-缺失数据

学习链接:https://github.com/datawhalechina/joyful-pandas/blob/master/%E7%AC%AC6%E7%AB%A0%20%E7%BC%BA%E5%A4%B1%E6%95%B0%E6%8D%AE.ipynb.六、缺失数据6.1缺失值查看6.2缺失值符号6.3填充与删除6.4插值问题与练习6.1缺失值查看isna()、isnull()：如果是缺失值
Zoo0ooey·2020-07-14 21:55

pandas学习-分类数据

学习链接:第8章分类数据.八、分类数据8.1category的创建及其性质8.2分类变量的类别8.3分类变量的排序8.4分类变量的比较操作问题与练习8.1category的创建及其性质分类变量的创建（a）用Series创建pd.Series(["a","b","c","a"],dtype="category")（b）对DataFrame指定类型创建temp_df=pd.DataFrame({'A'
Zoo0ooey·2020-07-14 21:55

pandas学习-第九章-时序数据

时序数据的创建importpandasaspdimportnumpyasnp四类时间变量[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ywu2mJqc-1593446125517)(attachment:image.png)]时间点的创立to_datetime方法pd.to_datetime('2020.1.1')pd.to_datetime('20201.1')p
lx12633036·2020-07-14 14:40

pandas学习(数据分组与分组运算、离散化处理、数据合并)

pandas学习(数据分组与分组运算、离散化处理、数据合并)目录数据分组与分组运算离散化处理数据合并数据分组与分组运算GroupBy技术：实现数据的分组，和分组运算，作用类似于数据透视表数据分组－－〉归纳程序示例
weixin_33991418·2020-07-14 02:56

pandas学习-时序数据

学习链接:第9章时序数据.九、时序数据9.1四类时间变量9.2时序的创建9.2.1Datetimes时间点的创建9.2.2Dateoffset对象9.2时序的属性9.3以时序作索引9.4重采样9.4.1resample对象的基本操作9.4.2采样聚合9.4.3采样组的迭代9.5窗口函数问题与练习9.1四类时间变量名称描述元素类型创建方式①Datetimes（时间点/时刻）描述特定日期或时间点Tim
Zoo0ooey·2020-07-14 02:06

Pandas学习--分组部分

注：本博客跟随此Pandas教程进行学习，有兴趣可以学习一下。先上一张框架图：理论部分第3章分组一.SAC过程1.内涵SAC指的是分组操作中的split-apply-combine过程其中split指基于某一些规则，将数据拆成若干组，apply是指对每一组独立地使用函数，combine指将每一组的结果组合成某一类数据结构2.apply过程在该过程中，我们实际往往会遇到四类问题：整合（Aggrega
皓月Moon·2020-07-13 20:51

Pandas学习----索引部分

注：本博客跟随此Pandas教程进行学习，有兴趣可以学习一下。先上一张框架图：一.单级索引1.loc方法，iloc方法，【】操作符loc：标签索引注意：所有在loc中使用的切片都包含右端点1.单行索引2.多行索引3.单列索引4.多列索引5.联合索引6.函数式索引7.布尔索引iloc：位置索引不包含切片右端点1.单行索引2.多行索引3.单列索引4.多列索引5.混合索引6.函数式索引【】操作符1.单元
皓月Moon·2020-07-13 20:51

pandas学习笔记4---基本功能之索引、选取、丢弃

前边学习了pandas的基本数据结构Series和DataFrame，以及重要的index。本次在前期学习的基础上继续学习其基本的功能，比如重新索引(reindex)或者说索引取值、向前/后填充、。。。。重新索引重新索引的方法是reindex，有点像np.reshape。不同点在于np.reshape可改变数据结构本身，而reindex则是新产生一个数据结构，原始数据结构并未改变。Series.r
walking_visitor·2020-07-12 04:49

pandas学习笔记—agg()函数详解

目录1、agg()函数定义2、举例2.1简单的列或行统计2.2自定义统计函数2.3先groupby()再agg()1、agg()函数定义agg()函数是聚合函数，DataFrame.agg（func，axis=0，*args，**kwargs）@@@func:实现某种统计功能的函数，如果要不同列用求不同统计量，则用字典{‘行名/列名’，‘函数名’}指定。2、举例2.1简单的列或行统计importp
ACE-Mayer·2020-07-12 00:39

pandas学习笔记--统计dataframe某列中各元素出现次数

这里给出一种方法，首先，将该列转化为listlist1=df3["Alarm_Z"].values.tolist()然后利用numpy统计dict(zip(*np.unique(lst,return_counts=True)))不推荐使用collections统计或者list.count来统计，因为可能会遇到TypeError:unhashabletype:'list’错误。此外也不推荐使用df3
ACE-Mayer·2020-07-12 00:36

pandas 中对axis=0,axis=1的理解，对应pandas中drop的用法

Stackoverflow.com是程序员的好去处，本公众号将以pandas为主题，开始一个系列，争取做到每周一篇，翻译并帮助pandas学习者一起理解一些有代表性的案例。
江小鱼的春天·2020-07-10 20:33

Pandas学习小结【2】解析CSV文件

Pandas可以读取多种类型文件，如excel,txt,csv等,这里小结下读取csv文件。读取CSV文件默认分割符是",",可以不用指定，如果是其他分割符需要指定seq参数。在路径前面加上r,是防止被转义。1.路径前加r2.指定分隔符处理解析文件内容1.查看文件内容,通过newdf.head()，查看前100行，可以用newdf.head(100),也可以直接输入变量名df查看全部内容，如上图2
阳光十度暖·2020-07-10 18:41

Pandas学习小结【1】数据结构

网上找资料学习pandas,小结下学习心得。从数据类型来说，pandas主要数据结构有四种，Series,DataFrame,Arrays,Panel.目前主要用的是前面两种数据框DataFrame和序列Series。DataFrame是二维数据，有行有列，DataFrame默认会自动创建行索引。Series是一维数据，默认有索引。1.Series定义访问如下：2.DataFrame定义访问如下，
阳光十度暖·2020-07-10 17:03

pandas学习总结一

下载AnacondaAnaconda是一个包含180+的科学包及其依赖项的发行版本；里面内置了很多工具，不用单独安装，因为做了优化也免去了单独安装带来的一些麻烦；个人版：下载地址https://www.anaconda.com/distribution/；环境处理可百度解决；再次不做解释；开始使用：选择适合自己的编辑工具敲python代码：一：#引入所需依赖包：importnumpyasnpimp
loveweni·2020-07-09 19:51

pandas学习笔记-第9章-时序数据的处理

同样，首先导入相应库和数据。一、时序的创建二、时序的索引及属性三、重采样四、窗口函数【练习一】现有一份关于某超市牛奶销售额的时间序列数据，请完成下列问题：（a）销售额出现最大值的是星期几？（提示：利用dayofweek函数）（b）计算除去春节、国庆、五一节假日的月度销售总额（c）按季度计算周末（周六和周日）的销量总额（d）从最后一天开始算起，跳过周六和周一，以5天为一个时间单位向前计算销售总和（e
像风一样自由2020·2020-07-08 18:31

pandas学习：series的基本用法

Series是一种类似于一维数组的对象，是由一组数据及其所对应的标签所组成，以下为我运用其中的一些简单的常用的用法做过的一些测试：实验结果如下所示：series的值：[1020304050]series的标签：Index([u'a',u'b',u'c',u'd',u'e'],dtype='object')b:20thethird:40[('a',10),('b',20),('c',30),('d'
乱世流星01·2020-07-08 11:46

pandas学习笔记（九）：时间序列（Time series）

（1）pandas在频率转化期间有简单，秒级的数据转换为5分钟为频率的数据，强大和高效地进行采样操作,常见使用于金融应用，但是不限于rs=pd.date_range('21/6/2020',periods=100,freq='S')ts=pd.Series(np.random.randint(0,500,len(rs)),index=rs)ts.resample('20Min').sum()（2）
数据库爆破专家·2020-07-08 01:32

python+pandas+numpy基础学习

/wiki/1016959663602400学习)1.1python基础1.1.1在命令行键入python可进入交互模式，可以直接运行键入的代码，运行文件需要先cd进入文件所在目录1.1.2输入：2、pandas
qq_33666011·2020-07-07 21:10

Pandas学习笔记十——高性能的eval和query方法

高性能的pandas：eval()和query()python数据科学生态环境的强大力量在Numpy和Pandas的基础之上，并通过直观的语法将基本操作转化为c语言：在Numpy里是向量化/广播运算，在pandas里是分组型的运算。虽然这些抽象功能可以简洁高效的解决很多问题，但是他们经常需要创建临时对象，这样会占用很大的计算时间和内存。Pandas为了解决性能问题，引入了eval()和query(
盐味橙汁·2020-07-07 11:14

Pandas学习总结——1. 基础操作(文件读写)、数据结构(Series、DataFrame)、常用基本函数、数据排序...

目录1Pandas文件读取和写入1.1文件读取（csv、txt、xls/xlsx）1.2文件写入（csv、xls/xlsx）2Pandas基本数据结构（Series、Dataframe）2.1Series2.2DataFrame3Pandas常用基本函数(1)head和tail(2)unique和nunique(3)count和value_counts(4)describe和info(5)idxm
KF_Guan·2020-07-06 22:21

Pandas学习总结——4. Pandas变形 之 透视表 & 变形方法

文章目录1透视表1.1pivot与pivot_table1.2交叉表（crosstab）2其他变形方法2.1melt2.2压缩与展开（stack和unstack）3哑变量与因子化3.1DummyVariable（哑变量）3.2factorize方法4问题与练习4.1问题1透视表1.1pivot与pivot_tablepivot函数可将某一列作为新的cols。但pivot函数具有很强的局限性，除了功
KF_Guan·2020-07-06 22:21

Pandas学习总结——2. 一文详述 Pandas索引

目录Pandas单级索引1.loc、iloc、[]操作符2.布尔索引3标量索引4区间索引Pandas多级索引1多层索引的创建2多层索引切片3多层索引的slice对象4索引层交换索引设定常用索引型函数1where()和mask()2query()函数重复元素处理（duplicated和drop_duplicates）抽样函数(sample)上篇文章介绍了Pandas的基础操作，包括文件读写、Seri
KF_Guan·2020-07-06 22:21

Pandas学习总结——5. 合并（append与assign、combine与update、concat、merge与join）

内容概览1append与assign1.1append方法1.2assign方法2combine与update2.1combine方法2.2update方法3concat方法4merge与join4.1merge函数4.2join函数5问题与练习5.1问题5.2练习练习一：公司员工信息练习二：课程分数表Pandas的合并操作可以概括为以下四类方法：append与assigncombine与upda
KF_Guan·2020-07-06 22:21

Pandas学习总结——8.分类数据

1category的创建及其性质1.1分类变量的创建四类创建方法：Series对DataFrame指定类型使用内置Categorical类型使用cut函数#Series方法创建pd.Series(["a","b","c","a"],dtype="category")#对DataFrame指定类型temp_df=pd.DataFrame({'A':pd.Series(["a","b","c","a"
KF_Guan·2020-07-06 22:50

Numpy & Pandas (莫烦 Python 数据处理教程)-Pandas学习笔记(3)-设置值

Pandas学习笔记(3)-设置值教程视频为B站莫烦Python数据处理教程第13课程importpandasaspdimportnumpyasnpdates=pd.date_range('20130101
KaHoWong·2020-07-06 16:06

Numpy & Pandas (莫烦 Python 数据处理教程)-Pandas学习笔记(2)-Pandas选择数据

Pandas学习笔记(1)-Pandas的基本介绍教程视频为B站莫烦Python数据处理教程第11课程导入模块importpandasaspdimportnumpyasnp数据选择dates=pd.date_range
KaHoWong·2020-07-06 15:49

Pandas学习总结——9.时序数据处理

文章目录1时序的创建1.1四类时间变量1.2时间点的创建1.2.1`to_datetime`方法1.2.2时间精度与范围限制1.2.2`date_range`方法1.2.3`DateOffset`对象2时序的索引及属性2.1索引切片2.2子集索引2.3时间点的属性3重采样3.1resample对象的基本操作3.2采样聚合3.3采样组的迭代4窗口函数4.1Rolling4.2Expanding1时序
KF_Guan·2020-07-06 15:30

pandas学习 合并两个csv文件中的内容

例子来自于《python数据分析基础》这本书-->将两个csv文件中的数据合并7.1.1葡萄酒质量葡萄酒质量数据集包括两个文件，一个是红葡萄酒数据文件，另一个是白葡萄酒数据文件，白葡萄酒是著名的葡萄牙“VinhoVerde”葡萄酒的一个变种。红葡萄酒文件中包含1599条观测，白葡萄酒文件中包含4898条观测。两个文件中都有1个输出变量和11个输入变量。输出变量是酒的质量，是一个从0（低质量）到10
小熊提伯斯·2020-07-05 04:43

pandas学习笔记

文章目录Panda学习笔记panda简介基本数据类型SeriesDataFrame提取、添加、删除行(列)索引追加删除统计运算分组异常值处理字符串空值处理筛选非数字型筛选其余类型筛选Panda学习笔记panda简介基本数据类型SeriesSeries是带标签的一维数组，可存储整数、浮点数、字符串、Python对象等类型的数据。轴标签统称为索引。调用pd.Series函数即可创建Series：imp
UESTC_liuxin·2020-07-05 03:07

python中numpy和pandas学习

numpy和pandas是python中两个重要的用于科学计算的包，下面是本人的在删除数组上面的数据的一些练习。importpandasaspdimportnumpyasnpx=[[0,1,1,1,1],[0,0,1,1,1],[0,0,0,1,1],[0,0,0,0,1],[0,0,0,0,0]]size=len(x)df=pd.DataFrame(x)print(df)s=[]ss=[]for
勿在浮沙筑高台LS·2020-07-04 11:09

pandas学习---anaconda下载、安装、使用

一、下载安装下载地址：https://www.anaconda.com/download/我选择的3.7版本，根据自己平时用的python环境来下好了进入文件夹，双击.exe开始安装，一路next到这里，第一个是自己配置环境，第二个是配置默认环境，比较懒，直接第二个因为比较大，安装需要很久，直到显示completed，也就是next可以点击，然后finish，那两个可以不勾选二、配置环境变量找到你
Croyance_M·2020-07-04 05:56

Pandas学习笔记(二) pandas和numpy库的导入

在上文中，我们已配置好了Anaconda，由于Anaconda自带Python，因此Python的环境也一并配置完成了，是不是特别方便？！由于Mac本身自带的事python2.7版本。但是安装Anaconda后，Mac默认的python版本会变成3.6.但是Anaconda同样支持2.7版本，因此没有太大的影响。接下来，我们就要开始安装pandas和numpy库。在下一章，我们就会开始写第一个py
还没入门就可以放弃·2020-07-02 17:49

Pandas学习笔记--缺失值处理

Pandas学习笔记–缺失数据一.缺失观测1.了解缺失信息isna和notna方法1.将方法用于Series，返回布尔列表，如下所示df['Physics'].isna().head()0False1False2False3True4FalseName
?y?1·2020-07-02 12:49

Pandas学习笔记之重复数据统计

在医院统计计算绩效数据，通过在网上搜索，发现Pandas确实在数据处理确实快。本文章持续更新和更改，只供自己学习使用一、重复数据查询：Pandas提供duplicated函数标记重复pandas.DataFrame.duplicated(self,subset=None,keep=’first’)subset：用于识别重复的列标签或列标签序列，默认所有列标签keep=‘frist’：除了第一次出现
lansecheng·2020-07-02 07:50

pandas学习（四）--数据的归一化

欢迎加入python学习交流群667279387Pandas学习（一）–数据的导入pandas学习（二）–双色球数据分析pandas学习（三）–NAB球员薪资分析pandas学习（四）–数据的归一化pandas
0pandas0·2020-07-02 02:44

Pandas学习笔记02-数据合并(concat/merge/join)

文章目录1.concat1.1.设置keys值1.2.按列合并axis=11.3.内连接join='inner'1.4.忽略索引ignore_index=True1.5.DataFrame与Series合并1.6.行数据追加到数据帧2.merge2.1.链接方式how=''2.2.validate检查重复键2.3.indicator合并指示器2.4.left_on和right_on3.joinpa
可以叫我才哥·2020-07-01 23:44

pandas学习——综合练习题

文本数据、分类数据、时序数据【练习一】现有一份虚拟数据集，列类型分别为string/浮点/整型，请解决如下问题：（a）请以列类型读入数据，并选出C为缺失值的行。（b）现需要将A中的部分单元转为缺失值，单元格中的最小转换概率为25%，且概率大小与所在行B列单元的值成正比。df.dtypesdf[df['C'].isna()]（b）现需要将A中的部分单元转为缺失值，单元格中的最小转换概率为25%，且概
christineNAN·2020-07-01 20:38

pandas学习-----05合并

问题【问题一】请思考什么是append/assign/combine/update/concat/merge/join各自最适合使用的场景，并举出相应的例子。【问题二】merge_ordered和merge_asof的作用是什么？和merge是什么关系？¶【问题三】请构造一个多级索引与多级索引合并的例子，尝试使用不同的合并函数。【问题四】上文提到了连接的笛卡尔积，那么当连接方式变化时（inner/
christineNAN·2020-07-01 20:38

pandas学习——第四次任务——变形

Task04：变形理论部分熟悉3个透视函数的区别与用法理解stack和unstack状态掌握变形函数的各类使用场合了解哑变量和因子化的用法练习部分非法药物数据集的变形操作某国地震数据集的变形操作df=pd.read_csv('data/Drugs.csv',index_col=['State','COUNTY']).sort_index()df.head()【练习一】继续使用上一章的药物数据集(a
christineNAN·2020-07-01 20:06

Pandas学习总结——6. 缺失数据处理

目录1缺失值特性1.1三种缺失值符号1.2Nullable类型1.3convert_dtypes方法2缺失数据的运算规则2.1普通运算2.2groupby方法中的缺失值3缺失数据的一些处理方法3.1填充（fillna方法）3.2剔除（dropna方法）3.3插值（interpolation）3.3.1线性插值3.3.2高级插值方法3.3.3interpolate中的参数内容简介：本篇首先介绍Pan
KF_Guan·2020-07-01 10:34

Pandas学习之基本学习

以下内容转载于MarvonPythonSeries的创建：importpandasaspdimportnumpyasnps=pd.Series([1,3,6,np.nan,44,1])print(s)*********01.013.026.03NaN444.051.0dtype:float64Initsignature:pd.Series(data=None,index=None,dtype=No
平平又无奇·2020-07-01 05:03

任务三----（分组）练习题-----pandas学习

理论部分理解SAC过程和groupby机制掌握分组三大操作：聚合、过滤和变换熟悉apply函数用法练习部分钻石数据集分析非法药物数据集分析习题讲解【练习一】：现有一份关于diamonds的数据集，列分别记录了克拉数、颜色、开采深度、价格，请解决下列问题：描述如下(a)在所有重量超过1克拉的钻石中，价格的极差是多少？df=pd.read_csv('data/Diamonds.csv')df.head
christineNAN·2020-07-01 02:32

Python-numpy-Pandas学习笔记

文章目录NumpyNumpy创建数组Numpy的基本运算1Numpy的基本运算2Numpy的索引Numpy的数组合并Numpy的数组分割Numpy的复制和深度复制PandasNumpyNumpy创建数组importpandasaspdimportnumpyasnp#生成一个矩阵，后面的dtype是指定矩阵里面的元素类型，numpy定义了自己的数据类型，可以从中选择a=np.array([1,2,3
yasenRK·2020-06-30 06:31

Python数据分析之pandas学习（一）

我们接着上次分享给大家的两篇文章：Python数据分析之numpy学习（一）和Python数据分析之numpy学习（二），继续讨论使用Python中的pandas模块进行数据分。在接下来的两期pandas介绍中将学习到如下8块内容：1、数据结构简介：DataFrame和Series2、数据索引index3、利用pandas查询数据4、利用pandas的DataFrames进行统计分析5、利用pan
学要fur_dich·2020-06-30 04:10

pandas学习记录

导入所需要的packageimportpandasaspdimportnumpyasnpimportmatplotlib.pyplotasplt基本操作In[4]:s=pd.Series([1,3,5,np.nan,6,8],dtype=float)#Series表示一个一维的表结构，类似一个定长的有序字典In[5]:sOut[5]:01.013.025.03NaN46.058.0dtype:fl
哎呀_落锦繁华·2020-06-29 07:47

【机器学习】最小二乘法的多元线性回归

线性模型的最小二乘可以有很多方法来实现，比如直接使用矩阵运算求解析解，sklearn包（参考：用scikit-learn和pandas学习线性回归、用scikit-learn求解多元线性回归问题），或scipy
suu_fxhong·2020-06-29 02:36

3.数据挖掘——房价项目预测（三）Pandas学习

目录模块的导入Pandas数据类型SeriesDataFramePanelPandas的运算函数Pandas的排序Pandas的协方差cov()和标准系数corr()pandas是基于NumPy的一种工具，该工具是为了解决数据分析任务而创建的。Pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会
operation_w·2020-06-29 02:35

pandas学习详细教程

pandas基础篇我们打算从以下几个方面进行代码练习：**创建Series**Series基本操作**创建DataFrame**DataFrame基本操作**DataFrame文件操作**Series，DataFrame和多索引**透视表**数据清洗**数据预处理**可视化创建Series数据类型：1）从列表创建Seriesimportpandasaspdprint(pd.__version__)
菇綡·2020-06-28 22:35
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他