E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
《python数据处理》
python数据处理
书pdf版本|内附网盘链接直接提取|
Python数据处理
采用基于项目的方法,介绍用Python完成数据获取、数据清洗、数据探索、数据呈现、数据规模化和自动化的过程。
py青原
·
2020-07-23 14:00
22、
python数据处理
虚拟变量的转化
虚拟变量(dummyvariables):虚拟变量,也叫哑变量和离散特征编码。可用来表示分类变量、费数量因素可能产生的影响01离散特征的取值之间有大小意义例如:尺寸(L、XL、XXL)02离散特征的取值之间没有大小的意义例如:颜色1离散特征的取值之间有大小的意义的处理函数pamdas.Series.map(dict)离散特征的取值之间有大小意义的处理函数。dict映射的字典2离散特征的取值之间没有
UP Lee
·
2020-07-16 06:36
python基础
Python数据处理
numpy.median的实例讲解
下面小编就为大家分享一篇
Python数据处理
numpy.median的实例讲解,具有很好的参考价值,希望对大家有所帮助。
南馆潇湘 *
·
2020-07-15 23:26
python
【Python 2.7】xlrd读取Excel文件
这篇博文参考于《
Python数据处理
》读取Excel文件需要用到xlrd模块,模块下载地址:xlrd下载地址本博文中Excel文件下载地址:SOWC2014StatTables_Table9.xlsx下面我们使用
NextAction
·
2020-07-15 18:12
Python
python数据处理
中的一些实际问题
前段时间参加阿里天池中的智慧交通预测挑战赛,费了不少功夫初赛排名45进入了复赛,后续没有时间继续复赛了,但还是想总结一下,算法就不详述了,具体谈谈数据处理的一些问题与解决方案。适合想要学习的新手参考,欢迎大家提出意见语言使用python+pycharm数据与部分代码百度网盘地址:http://pan.baidu.com/s/1jIGasnW1.读取数据比赛中数据格式为txt,读取方式有两种,但为了
陈非尘
·
2020-07-15 09:19
python数据处理
—多个excel数据文件合并为一个
数据处理—多个excel数据文件合并为一个文件代码效果展示代码对于实验学科的小伙伴经常需要处理仪器自动采集的数据,不同条件下的数据常常遍布在各个excel文件里,这里介绍一种使用python讲多个excel数据文件合并为一个文件的方法下面为代码。importpandasaspdimportosvarfoo='bar';Folder_Path=r'E:\...'#要拼接的文件夹及其完整路径,注意不要
严肃温柔
·
2020-07-15 07:03
数据处理
python
excel
csv
数据分析
大数据
Python数据处理
之(十 七)Pandas plot画图
这次我们讲如何将数据可视化.首先import我们需要用到的模块,除了pandas,我们也需要使用numpy生成一些数据,这节里使用的matplotlib仅仅是用来show图片的,即plt.show()。importpandasaspdimportnumpyasnpimportmatplotlib.pyplotasplt今天我们主要是学习如何plotdata一、创建一个Series这是一个线性的数据
布衣书生-Python
·
2020-07-14 05:40
Python数据处理
3.3
Python数据处理
篇之Numpy系列(三)---数组的索引与切片
[TOC]目录:1.一维数组的索引与切片2.多维数组的索引与切片(一)数组的索引与切片1.说明:(1)索引:array[x](1)从左到右:0~n-1,第一个到最后一个(2)从右到左:-1~-n,最后一个到第一个(2)切片:array[起:终:步长]在python里数据的切片都不包括“终“的数据2.实例:01.png(二)多维数组的索引与切片1.说明:(1)索引:在一位数组里,只需要一个值,就确定
张一根
·
2020-07-13 11:30
Python数据处理
笔记01--numpy数组操作
声明:本文环境为Windows10+jupyternotebook,请自行下载安装Anaconda1、numpy库概述和安装引言:Python中用列表list保存一组值,可用来当做数组使用,由于列表的元素可以是任何对象,因此列表中所保存的是对象的指针,未保存一个简单的[1,2,3],需要有3个指针和三个整数对象,对于数值计算来说这种结构显然比较浪费内存和CPU计算时间。此外,Python还提供了一
梦想小黑客啊
·
2020-07-13 00:13
Python
Python大战机器学习
牛逼!这个Python库竟然可以偷懒,和import说再见!
作者:xiaoyu,数据爱好者Python数据科学出品还记得入门Python数据分析时经常会import几个库,下面这几个可谓是入门学习时的四大护法,
Python数据处理
和可视化常会用的工具。
Python数据科学
·
2020-07-12 23:16
Python数据处理
——Pandas模块使用(七)
本文主要介绍Pandas统计函数:groupby、pivot_table及crosstab产生数据importnumpyasnpimportpandasaspdfrompandasimportDataFramedf=DataFrame({'key1':['a','a','b','b','a'],'key2':['one','two','one','two','one'],'data1':[1,2,
Mr番茄蛋
·
2020-07-11 17:24
python
pandas
pandas
python数据处理
——取dataframe的一列或一行
df['w']#选择表格中的'w'列,使用类字典属性,返回的是Series类型df.w#选择表格中的'w'列,使用点属性,返回的是Series类型df[['w']]#选择表格中的'w'列,返回的是DataFrame属性data[0:2]#返回第1行到第2行的所有行,前闭后开,包括前不包括后data[1:2]#返回第2行,从0计,返回的是单行,通过有前后值的索引形式,#如果采用data[1]则报错d
樱花城堡的小侍卫
·
2020-07-11 12:06
金融工程
python数据处理
Python数据处理
笔记——numpy篇(一)
关键词:基础数据输入方式,数据选取方式importnumpyasnp#np中不同数据的输入方式np.array(object)#object是一个array_like,比如list,range#[1,2,3]的类型是list;range(3)的类型是range#但是np.array([1,2,3])和np.array(range(3))的返回值类型都是numpy.ndarray------>>>n
cdqn10086
·
2020-07-11 03:04
Python
numpy
python数据处理
学习笔记 第1章
第1章IPython入门1.2IPython这个章节主要就是如何用ipythonhelp(len)Helponbuilt-infunctionleninmodulebuiltins:len(obj,/)Returnthenumberofitemsinacontainer.len?#?可以查看方法文档L=[1,2,3]L.insert?L?defsquare(a):"""returnthesquar
步菲
·
2020-07-10 18:05
Python
Pandas Practice
pandas是一个方便易用的
Python数据处理
库,数据科学家们的利器之一哦。本文简要介绍pandas的一些常用方法。
Yihong_Daily
·
2020-07-10 17:30
Python数据分析示例(3)Day4
说明:本文章为
Python数据处理
学习日志,主要内容来自书本《利用Python进行数据分析》,WesMcKinney著,机械工业出版社。
图图酱
·
2020-07-08 08:45
Python数据处理
Python数据处理
性能对比,原生,Pandas,Numpy哪个更优秀
今天为大家分享一个关于数据处理性能的对比,从原生,Pandas,Numpy这三个方面对比?你觉得哪个更优秀呢?对于一个数据科学家来说,速度和时间是一个很至关重要的的因素下图显示了我的实验结果(详情如下),与纯Python的处理速度做出对比。如你所见,Numpy的表现比Pandas的表现要好几倍。我个人喜欢用Pandas来简化许多繁琐的数据科学任务,它是我的首选工具。但是如果预计的处理时间超过多个小
MHyourh
·
2020-07-08 05:14
python
Python数据处理
学习过程
文章目录第一步:基础IO操作文本对象读写图像读写读写csv文件第二步:掌握更高效的数据处理方法numpy这个利器你值得拥有基本数据格式和操作numpy数组numpy数组方便在何处?创建np数组:pandas让你提取数据从此不犯难基础处理pandas核心数据结构基本操作运算画图IO操作高级处理第三步:游走数据之间,用统计的方法探索数据之间的规律线性回归过拟合、欠拟合岭回归逻辑回归K-means聚类第
__Limits
·
2020-07-08 01:26
机器学习
python
数据处理
python数据处理
之numpy和pandas(中)
接着进行上篇开始讲,上篇主要介绍了numpy的一些基本数据操作,接下来我们进行的是numpy的矩阵合并和分割,索引等一些高级的东西。4.索引首先我们先将代码奉上,然后一一解读:importnumpyasnpa=np.arange(3,15)print(a)print(a[3])#索引b=np.arange(3,15).reshape(3,4)print(b)print(b[2])print(b[1
小于_a
·
2020-07-08 00:27
python与机器学习
python数据处理
之numpy和pandas(下)
python数据处理
之numpy和pandas(下)2.三种数据筛选方式pandas筛选数据是比较好用的,至少比Excel要好一些,再加上可视化的数据模块,简直是大数据中的一把处理利器。
小于_a
·
2020-07-08 00:27
python与机器学习
Python数据处理
(一)——以美国各州统计数据为例
编写本篇文章的目的:了解
Python数据处理
的基本步骤,计算美国各州的人口密度,数据来源:https://github.com/jakevdp/data-USstates/,共3张数据表格:state-population.csv
yihan.z
·
2020-07-07 21:00
Python数据分析
数据处理
Python
美国各州数据
python数据处理
之numpy和pandas(上)
python数据处理
之numpy和pandas(上)前言:学习python的基本语法已经半月了,对基本的语句操作也有所熟悉,在学习中主要参考的是廖雪峰老师的python教程,感觉受益很多,文章下面各方前辈的评论也是很好的学习教程
小于_a
·
2020-07-06 17:24
python与机器学习
Numpy & Pandas (莫烦 Python 数据处理教程)-Pandas学习笔记(3)-设置值
Pandas学习笔记(3)-设置值教程视频为B站莫烦
Python数据处理
教程第13课程importpandasaspdimportnumpyasnpdates=pd.date_range('20130101
KaHoWong
·
2020-07-06 16:06
莫烦Pandas学习笔记
Numpy & Pandas (莫烦 Python 数据处理教程)-Pandas学习笔记(2)-Pandas选择数据
Pandas学习笔记(1)-Pandas的基本介绍教程视频为B站莫烦
Python数据处理
教程第11课程导入模块importpandasaspdimportnumpyasnp数据选择dates=pd.date_range
KaHoWong
·
2020-07-06 15:49
莫烦Pandas学习笔记
Pandas 数据处理(一) —— 几个简单函数掌握!
对于Pandas,接触过
Python数据处理
的小伙伴们都应该挺熟悉的,做数据处理不可或缺的一个程序包,最大的特点高效,本篇
zeroingzm
·
2020-07-06 04:22
Pandas
sklearn学习笔记(一)——数据预处理 sklearn.preprocessing
pythonsklearn更多个人分类:
Python数据处理
sklearn数据预处理sklearn.preprocessing标准化(Standardization)规范化(Normalization)
唐梓航
·
2020-07-05 07:58
python
sklearn
Python
数据处理
sklearn
python数据处理
过程——房价预测
参考:https://blog.csdn.net/Amy_mm/article/details/79538083https://www.kaggle.com/pmarcelino/comprehensive-data-exploration-with-python(处理回归)https://www.kaggle.com/pmarcelino/data-analysis-and-feature-ex
math_computer
·
2020-07-05 00:41
python
数据分析
python数据处理
——numpy矩阵操作,取其中的一行或一列
>>>importnumpyasnp>>>a=np.array(9).reshape(3,3)另外再重申一下构建一个初始化的矩阵的办法:如下面这个构建一个从0到8的3*3矩阵>>>a=np.arange(9).reshape(3,3)>>>aarray([[0,1,2],[3,4,5],[6,7,8]])或者构建一个3*3的对角矩阵>>>np.eye(3,3).astype(int)array([
樱花城堡的小侍卫
·
2020-07-04 23:18
python数据处理
人工智能
【python】numpy & pandas
来自:Numpy&Pandas莫烦
python数据处理
文章目录1numpy1.1属性:ndim/shape/size1.2创建array:zeros/ones/empty/arrange/linspace1.3
bryant_meng
·
2020-07-04 12:22
Python
【
python数据处理
(3)】批量Excel数据表格合并汇总并生成为一个新的表格保存本地
1.背景实际操作中,往往会处理一些相同格式的Excel表格数据,比如某商家都是按照每月进行产品A和B的数据的统计,有时为了季度或者年度数据的处理,就需要将多个Excel中的表格数据汇总到一起(不是覆盖),并且表格的标题还不变,也就产生了题目的要求,方便之后的数据处理假设表格中内容如下:(标题相同,但是数据不同,以第一个文件中数据为例)2.代码编写主要是使用到了pandas里面的concat方法,先
Be_melting
·
2020-07-02 10:49
python数据处理
R语言之可视化④韦恩图upsetR
语言之可视化②点图R语言之可视化③点图续R语言之可视化④点韦恩图upsetRR语言之可视化⑤R图形系统R语言之可视化⑥R图形系统续======================================
Python
柳叶刀与小鼠标
·
2020-07-01 08:41
完胜数据分析之Python五套件-张敏-专题视频课程
完胜数据分析之Python五套件—348人已学习课程介绍本课程提供Python科学计算库Numpy基础知识、
Python数据处理
库Pandas项目实战、Python数据可视化库matplotlib、Python
艾尔aier
·
2020-07-01 07:51
视频教程
Python数据处理
:五分钟搞定异常值和重复值
一、异常值处理异常值之前,需要明确哪些是异常值。有很多种规则和方法来筛选异常值,这里我们以Z标准化得到的阈值作为判断标准。利用正态分布定位异常值Z标准化会将数据转换为标准差为1,均值为0且符合正态分布的数据序列,一般来说,99%以上的数据都聚集在均值周围三个标准差距离范围内。这里我们以两个标准差为界,超出则算作异常值。z标准化的公式为:可以看到,在第一列中,最后一个数字150距离均值超过了两个标准
zzx3163967592
·
2020-06-30 21:20
Python数据处理
,利用Pandas合并csv文件、剔除无效行、做某列计算和格式化输出
测试工作中经常遇到一种情况就是你有两个csv文件,比如一个是车辆底层的CAN数据组成的csv,一个是定位GPS数据组成的csv,它们两个公用一套时间戳,现在想把两个csv合并到一个地方进行计算和处理,那么首先就需要把两个文件读取到同一个表中,按照时间戳进行对齐,然后剔除一些明显无效的数据。1、涉及到的内容Pandas是python下最强大的数据分析和探索工具,它包含高级的数据结构和精巧的工具,使得
zhongweidu3
·
2020-06-30 16:35
python学习
【
python数据处理
】numpy
numpyarray与pythonlist很像1.第一种创建方式可用np.array方法将list转化成numpyarrayimportnumpyasnptest_1=np.array([92,94,88,91,87])my_list=[1,2,3,4,5,6]my_array=np.array(my_list)第二种创建方式将csv导入成arraytest_2=np.genfromtxt('te
姚尔摩斯
·
2020-06-30 09:20
Python
数据处理
python数据处理
——图片读取速度测试及多核加速
图片读取速度测试及加速1、各类python包读取图片接口测试2、通过多核进行加速读取3、参考机器学习深度学习的发展意味着大批量的读取数据变得越来越多,读取速度也强调越来越快,本着研究一下各框架的读取速度进行测试一下,然后分享出来。电脑环境是i7-8700+16G内存+GTX1060配置。1、各类python包读取图片接口测试importcv2,globimporttimefromscipy.mis
wu496963386
·
2020-06-29 21:39
python图像处理
Python 数据处理 缺失值处理
Python数据处理
缺失值处理数据来源:https://forge.educoder.net/attachments/download/376915/input.zipdataframe缺失值处理查看缺失值情况
Rp_
·
2020-06-29 02:19
Python
数据分析
《利用Python进行数据分析》第二版,第二章精选笔记
因为这本书是专注于
Python数据处理
的,对于一些Python的数据结构和库的特性难免不足。因此,本章和第3章的内容只够你能学习本书后面的内容。在我来看,没有必要为了数据分析而去精通Python。
无小意
·
2020-06-28 22:56
Python数据分析笔记
学习笔记
Python数据处理
实例
使用python进行数据处理的实例(数据为某公司HR部门关于员工信息的部分摘录,kaggle上面的一次赛题)https://www.kaggle.com/c/kfru-dbm-hr-analytics该实例是根据其他所给属性预测员工是否会离职,代码实现如下所示importpandasaspdfromsklearn.preprocessingimportMinMaxScaler,StandardSc
菇綡
·
2020-06-28 22:04
Python数据处理
Python数据处理
pdf (中文版带书签)、原书代码、数据集
Python数据处理
前言xiii第1章Python简介11.1为什么选择Python41.2开始使用Python41.2.1Python版本选择51.2.2安装Python61.2.3测试Python91.2.4
weixin_34206899
·
2020-06-28 13:28
Python数据处理
库pandas入门教程
pandas是一个Python语言的软件包,在我们使用Python语言进行机器学习编程的时候,这是一个非常常用的基础编程库。本文是对它的一个入门教程。pandas提供了快速,灵活和富有表现力的数据结构,目的是使“关系”或“标记”数据的工作既简单又直观。它旨在成为在Python中进行实际数据分析的高级构建块。入门介绍pandas适合于许多不同类型的数据,包括:具有异构类型列的表格数据,例如SQL表格
weixin_34009794
·
2020-06-28 09:53
Python数据处理
(一):处理 JSON、XML、CSV 三种格式数据
Python数据处理
系列博客来啦!本系列将以《
Python数据处理
》这本书为基础,以书中每章一篇博客的形式带大家一起学习
Python数据处理
。
weixin_33920401
·
2020-06-28 08:58
1本用Python将数据分析到极致的书《
Python数据处理
》
我会经常分享一本书。我分享的书,你看完如果对你有帮助,值得你购买,请到官网购买正版书籍。声明:我不是卖书的,我搞得是Python技术,文章最后免费为你准备了一些Python资料。本书采用基于项目的方法,介绍用Python完成数据获取、数据清洗、数据探索、数据呈现、数据规模化和自动化的过程。主要内容包括:Python基础知识,如何从CSV、Excel、XML、JSON和PDF文件中提取数据,如何获取
weixin_33873846
·
2020-06-28 07:05
【
Python数据处理
】读取event文件导出的excel数据并作平滑处理(类似tensorboard的smoothing效果)
【
Python数据处理
】批量导出深度学习网络训练生成的event格式文件中的数据到同一excel表的不同sheet上一篇blog已经把训练生成的event数据导入到excel中去,(笔者生成的event
EdenGabriel
·
2020-06-27 11:32
#
Python数据处理及绘图
python
数据处理
平滑数据
读取excel数据
数据分析基础:Pandas “骚操作”基础教学
而Pandas,是
Python数据处理
的唯一选择。不掌握Pandas,就无法着手进行数据分析项目。虽然本场Chat从最基础的讲起,但目的绝不仅仅是入门!
GitChat的博客
·
2020-06-27 10:16
第五章:pandas入门Day8-11
说明:本文章为
Python数据处理
学习日志,记录内容为实现书本内容时遇到的错误以及一些与书本不一致的地方,一些简单操作则不再赘述。
图图酱
·
2020-06-26 22:27
Python数据处理
python数据处理
方法汇总
工作中我们一般的数据形式都是以数据框形式存在的,不管从excel类似表格或者数据库中提取的数据,你都愿意更像excel那样直接操作,这句话主要是针对我来说的,哈哈,我就是先做了两年的excel,然后再慢慢学的R,再到现在的python,不过学的很吃力,所以给想学python的朋友一个建议,多学点英语,哪怕是单词也好,因为目前大多数好的资料还都是英文的,国内的还是不太多,就算有问题找百度,但是百度的
troy_He
·
2020-06-26 20:53
python
[
Python数据处理
] 怎样用Python预处理txt文档提取数据
[问题背景]处理以下文本文件:grade.txtANSI编码格式,共三条数据,每条数据的第一项是姓名,第二项是语文,第三项是数学,第四项是英语张三,128,136,112李四,99,106,73王五,102,148,88要求将文件改造成适合scikitlearn下KMeans聚类方法处理的形式(生成两个列表,一个是学生姓名,一个是学生成绩)并计算出每个学生的总分。[问题分析]这里的核心是做数据预处
swordtraveller
·
2020-06-26 16:55
Python
Python
数据挖掘
入门
给大家分享一篇 简单两步,大幅提高
python数据处理
速度
在数据分析领域,最热门的莫过于Python和R语言。其中,数据分析库pandas是Python最经典的库之一。它使用一个二维的DataFrame来表示表格式的数据,相比较于Numpy,Pandas可以存储混合的数据结构,同时使用NaN来表示缺失的数据,而不用像Numpy一样要手工处理缺失的数据,并且Pandas使用轴标签来表示行和列。一般来说,用pandas处理小于100兆的数据,性能不是问题。但
六翅兽
·
2020-06-25 19:13
Python
Python数据处理
——Pandas模块使用(一)
一、Pandas介绍在处理实际的金融数据时,一个条数据通常包含了多种类型的数据,例如,股票的代码是字符串,收盘价是浮点型,而成交量是整型等。在C++中可以实现为一个给定结构体作为单元的容器,如向量(vector,C++中的特定数据结构)。在Python中,pandas包含了高级的数据结构Series和DataFrame,使得在Python中处理数据变得非常方便、快速和简单。pandas不同的版本之
Mr番茄蛋
·
2020-06-25 09:17
python
pandas
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他