《python数据处理》

python数据处理实战(必看篇)

一、运行环境1、python版本2.7.13博客代码均是这个版本2、系统环境：win764位系统二、需求对杂乱文本数据进行处理部分数据截图如下，第一个字段是原字段，后面3个是清洗出的字段，从数据库中聚合字段观察，乍一看数据比较规律，类似（币种金额万元）这样，我想着用sql写条件判断，统一转换为‘万元人民币'单位，用sql脚本进行字符串截取即可完成，但是后面发现数据并不规则，条件判断太多清洗质量也不
·2019-09-22 16:14

Python数据处理案例

关于数据处理案例有两个，第一个案例是我整理到有道云上的，就直接剪切下来了，下面直接进入正题~案例1：快餐数据案例2：欧洲杯数据先进行数据探索data.info()data.describe()查看数据集是否有缺失值且哪个字段存在缺失值？可以用下面的代码，也可以用前面案例1缺失值那里提到的前两种方法foriinrange(data.shape[1]):ifdata.iloc[:,i].notnull
大肥豆子·2019-09-21 23:46

python数据处理之如何选取csv文件中某几行的数据

前言有些人看到这个问题觉得不是问题，是嘛，不就是df.col[]函数嘛，其实忽略了一个重点，那就是我们要省去把csv文件全部读取这个过程，因为如果在面临亿万级别的大规模数据，得到的结果就是boom，boom，boom。我们要使用一下现成的函数里面的参数nrows,和skiprows，一个代表你要读几行，一个代表你从哪开始读，这就可以了，比如从第3行读取4个示例代码importpandasaspdd
樱花城堡的小侍卫·2019-09-02 14:34

Python数据处理脚本获得4倍提速，你需要加上这3行代码

Python是一门非常适合处理数据和自动化完成重复性工作的编程语言，我们在用数据训练机器学习模型之前，通常都需要对数据进行预处理，而Python就非常适合完成这项工作，比如需要重新调整几十万张图像的尺寸，用Python没问题！你几乎总是能找到一款可以轻松完成数据处理工作的Python库。然而，虽然Python易于学习，使用方便，但它并非运行速度最快的语言。默认情况下，Python程序使用一个CPU
kk12345677·2019-08-27 17:59

Python数据处理之导入导出excel数据

本文首发于公众号“AntDream”，欢迎微信搜索“AntDream”或扫描文章底部二维码关注，和我一起每天进步一点点Python的一大应用就是数据分析了，而数据分析中，经常碰到需要处理Excel数据的情况。这里做一个Python处理Excel数据的总结，基本受用大部分情况。相信以后用Python处理Excel数据不再是难事儿！Python处理Excel数据需要用到2个库：xlwt和xlrd。xl
xxq2dream·2019-08-15 09:07

工作中常用到的python数据处理

目录1.获取工作目录和设置工作目录2.获取日期处理3.列表的倒排序4.使用apply处理两个值的代码5.断言函数assert6.yield生成器7.获取程序运行时间 8.动态生成变量9.数据可持续化操作10.数据运行时间211.创建目录12.删除无用的数据13.字符串格式化14.zip自动生成字典15.各种包的离线下载地址16.路径的设置17.数据添加ignore_index的使用技巧18.删除n
hejp_123·2019-06-17 00:00

Python数据处理

本书特色用传统的电子表格来处理数据不仅效率低下，而且无法处理某些格式的数据，对于混乱或庞大的数据集更是束手无策。本书将教你如何利用语法简单、容易上手的Python轻松处理数据。作者通过循序渐进的练习，详细介绍如何有效地获取、清洗、分析与呈现数据，如何将数据处理过程自动化，如何安排文件编辑与清洗任务，如何处理更大的数据集，以及如何利用获取的数据来创作引人入胜的故事。学完本书，你的数据处理和分析能力将
奋斗的IT青年·2019-05-27 19:25

Python数据处理DataFrame小记

python数据处理小记简介：1、DataFram定义：2、DataFrame的append3、DataFrame去除列或行4、DataFrame查看数据基本统计情况5、DataFrame的applymap
不会编程的汪·2019-05-22 23:17

ARTS-05月06日到05月13日

算法练习英文阅读继续分享Python数据科学相关的文章PythonicDataCleaningWithNumPyandPandas【三】一整篇文章的翻译分成了三部分，持续花了三周的时间，文章算是Python
needrunning·2019-05-16 01:18

【Python数据处理专题】数据处理和分析的基本流程

儒冠多误身2019.04.20个人总结第一步：备份源数据到其他盘符、硬盘、u盘、网盘等需求分析数据提取数据清洗数据分析报告撰写报告分享投入应用收集反馈文章目录1.目标确定2.数据获取数据来源3.数据清洗3.1预处理3.1.1读取3.1.2观察3.1.3关联3.2缺失值3.2.1缺失值统计3.2.2缺失值填充3.3重复值3.4转换3.4.1格式转换3.4.2字符串转换3.4.2.1拆分字符串3.4.
儒冠多误身·2019-04-21 15:31

【Python数据处理专题】-pandas库

pandas文章目录其它Series属性创建修改删除过滤描述统计DataFrameIOTimeSeries基础索引对象重新索引reindex多重索引丢弃drop（）索引、选取和过滤索引的重复性算数运算applyapplymap元素级应用排序排名描述统计相关性，协方差去重缺失值处理排序-去重mapreplace数据抽样samplingmap关联pd.mergepd.concatnp.concaten
儒冠多误身·2019-04-21 15:10

【Python数据处理】-Numpy库

numpy文章目录Numpy矩阵数组ndarray数组的创建ndarray数组的维度变换属性ndarray的元素类型ndarra数组的类型变换ndarray数组向列表的转换运算Numpy一元函数*unaryufunc*Numpy二元函数*binaryufunc*矢量化三元表达式*```np.where(arr1,第二个参数，第三个参数)```*随机数组统计函数IONumpy便捷文件存取Numpyi
儒冠多误身·2019-04-21 15:10

【Python数据处理专题】-时间序列

时间序列文章目录pandas时间序列时间序列基础DatetimeIndex对Series的操作对DataFrame的操作重采样resample方法的参数截取生成日期范围日期偏移量移动（超前或滞后）数据datetime模块转换字符串与datetime.datetime相互转换datetime.datetime-->strstr-->datetime.datetimedatetime格式pd.to_d
儒冠多误身·2019-04-21 15:50

【Python数据处理专题】-时间序列

时间序列文章目录pandas时间序列时间序列基础DatetimeIndex对Series的操作对DataFrame的操作重采样resample方法的参数截取生成日期范围日期偏移量移动（超前或滞后）数据datetime模块转换字符串与datetime.datetime相互转换datetime.datetime-->strstr-->datetime.datetimedatetime格式pd.to_d
儒冠多误身·2019-04-21 15:50

【Python数据处理专题】-加载IO

文章目录其他pd.read_table()pd.read_csv()查看文件布局读取参数逐块读取输出文件指定分隔符输出手工处理手工读取手工输出分隔符文件pd.read_excel()读取表写入表写入多张表pd.read_json()JSON字符串转换成Python形式Python对象（不一定是DataFrame、Series）转换成JSON格式JSON格式转换成DataFrame特定格式的JSON
儒冠多误身·2019-04-21 15:32

6.2Python数据处理篇之pandas学习系列（二）Series数据类型

[TOC]目录Series的组成Series的创建Series的操作（一）Series的组成Series数据类型是由一组数据以及与之相关的数据索引组成是一维度带标签的组数。（二）Series的创建1.从标量中创建Series数据需要注意的是：从标量创建必须添加index02.jpg2.从列表中创建Series数据也可以添加后面的index=[xxxx],来重构索引03.jpg04.jpg3.从字典
张一根·2019-04-16 17:04

6.1Python数据处理篇之pandas学习系列（一）认识pandas

[TOC]目录（一）介绍与测试号称处理数据与分析数据最好的第三方库1.官网：官网文档http://pandas.pydata.org/pandas-docs/stable/install.html2.作用：提供了便于操作的高效的数据结构提供了许多分析函数与分析工具3.导入的格式importpandasaspd4.小测试下面如是测试成功，则说明安装成功。01.jpg（二）数据类型1.两种重要的数据类
张一根·2019-04-15 23:11

Python数据处理 matplotlib绘图原理分析

参考：https://www.cnblogs.com/zyg123/p/10512513.html在matplotlib库里，总分成两种绘图方法方法一：函数式绘图方法二：面向对象式绘图函数式绘图在matplotlib.pyplot里是封装好的函数，用户可以直接调用函数进行绘图。一般的，我们约定matplotlib.pyplot取别名为plt其模块下主要定义如下两方面的函数：操作类的函数：对于画布，
王诗威尔·2019-04-15 23:43

python数据处理及可视化

NumpyIDPriceAreaBedroomBasement12001053false2165802false3184.51202false411670.81false52701504trueID代表标签一般标签是独一无二的机器学习一般分为两类线性与非线性（分类）但是生活中的数据往往不是所有的数据都有会有属性的数据缺失对于这种情况通常我们会使用均值或者近似值代替以上方数据为例建立数据集的数据矩阵
viafcccy·2019-03-18 11:50

5.5Python数据处理篇之Sympy系列(五)---解方程

目录[TOC]前言sympy不仅在符号运算方面强大，在解方程方面也是很强大。本章节学习对应官网的：Solvers官方教程https://docs.sympy.org/latest/tutorial/solvers.html（一）求解多元一次方程-solve()1.说明：解多元一次方程可以使用solve()，在sympy里，等式是用Eq()来表示，例如：表示为：Eq(x*2,4)2.源代码："""解
张一根·2019-03-17 22:05

5.4Python数据处理篇之Sympy系列(四)---微积分

目录[TOC]前言今天讲的是，有关sympy的微积分部分的知识。对应官网的知识：Calculus官网教程https://docs.sympy.org/latest/tutorial/calculus.html（一）求导数-diff()1.一阶求导-diff()（1）说明：语法是：diff(expr,x)（2）源代码：fromsympyimport*#初始化x=symbols('x')#表达式exp
张一根·2019-03-17 21:31

5.2Python数据处理篇之Sympy系列(二)---Sympy的基本操作

目录[TOC]前言符号化运算也是数值运算中的一个主要的领域，今天我们来学习以下，python里强大的符号运算库---sympy。今天讲的是第一讲，sympy的操作。对应于官网的：BasicOperationsBasicOperations：https://docs.sympy.org/latest/tutorial/basic_operations.html（一）符号的初始化与输出设置-symbo
张一根·2019-03-15 21:30

Python 时间数据处理和绘制柱状图、散点图、折线图

23/100“qq_30008595”Python数据处理和绘制柱状图、散点图、折线图引入库引入库的列表importxlrd,osimporttimeimportdatetimeimportnumpyasnpfromxlrdimportxldate_as_tupleimportcollectionsimportmatplotlib.pyplotasplt
Like_world·2019-03-11 20:37

4.1Python数据处理篇之Matplotlib系列(一)---初识Matplotlib

目录目录前言（一）matplotlib的介绍（二）画一个简单的画布==1.源代码====2.展示效果==（三）画布按键的功能介绍==1.对于画布功能键的排序====（1）主页====（2）上一个视图====（3）下一个视图====（4）移动查看====（5）放大查看====（6）窗体设置====（7）保存图片==目录前言对于数据可视化的python库，对于Matplotlib早有耳闻，今天就来正式
weixin_34088598·2019-03-10 10:00

3.2Python数据处理篇之Numpy系列(二)--- ndarray数组的创建与变换

[TOC]目录：1.ndarray数组的创建2.ndarray数组的变换（一）ndarray数组的创建1.从列表以元组中创建：.array(list/tuple).array(list/tuple,dytpe=np.int32),dtype用于指名类型06.png07.png2.使用函数创建：（1）.arange(n),0~n-1一维08.png（2）.ones(shape)110.png（3）.
张一根·2019-03-10 08:43

2.1Python数据处理篇之自带函数系列(一)---内建有关数学的函数

目录[TOC]前言数值分析的道路还很遥远，先从最基础的抓起。（一）数学相关得内建函数abs()求有理数的绝对值，或者复数的模1+j2(或者complex([real[,imag]]))创建复数divmod(被除数,除数)求商和余数pow(x,y)求x得y次幂range([start],stop,[step])生成一个系列round(原数,第几位小数约分)四舍五入sum(item)对一个可迭代对象求
张一根·2019-03-10 08:37

1.1Python数据处理篇之环境系列(一)---Jupyter notbook 的使用

目录[TOC]安装Jupyternotebook启动Jupyternotebook文件管理基本的操作与概念常用快捷键（一）安装Jupyternotebook1.在控制台输入：pipinstalljupyter2.注意：很多网上的教程推荐安装Anoconda，本文章讲的是已经安装了python解释器，在不安装>Anoconda的情况下，自已独立的安装ipython和jupyter.本人自认为，Ano
张一根·2019-03-10 08:02

Python数据处理库pandas入门教程.

pandas是一个Python语言的软件包，在我们使用Python语言进行机器学习编程的时候，这是一个非常常用的基础编程库。本文是对它的一个入门教程。pandas提供了快速，灵活和富有表现力的数据结构，目的是使“关系”或“标记”数据的工作既简单又直观。它旨在成为在Python中进行实际数据分析的高级构建块。入门介绍pandas适合于许多不同类型的数据，包括：具有异构类型列的表格数据，例如SQL表格
xuexijiaqq3533076323·2019-02-24 23:57

Pandas读取并修改excel的示例代码

一、前言最近总是和excel打交道，由于数据量较大，人工来修改某些数据可能会有点浪费时间，这时候就使用到了Python数据处理的神器―�CPandas库，话不多说，直接上Pandas。
Debris丶·2019-02-17 08:27

Python数据处理（二）：处理 Excel 数据

相关文章：十分钟快速入门PythonPython数据处理(一)：处理JSON、XML、CSV三种格式数据一、安装Pytho
solocoder·2019-02-16 14:50

python数据处理常用操作：读写、pandas、nan、list、dict、循环和split/strip

1.读写数据平时用的比较多的，pandas和withopen语句。1.1pandasread_csv读取结构化数据，常用参数:http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.to_csv.html平时用的比较多的有header,columns,index_col以及sep和encoding。df.to_c
「已注销」·2019-01-24 22:35

Python数据处理从零开始----第二章（pandas）⑨pandas读写csv文件(4)

目录第二章（pandas）Python数据处理从零开始----第二章（pandas）①删除列Python数据处理从零开始----第二章（pandas）②处理缺失数据Python数据处理从零开始----第二章
柳叶刀与小鼠标·2019-01-07 19:09

Python中的数据处理（列表）——（二）

上次讲了Python数据处理中元组的一些使用方法这次就讲讲列表和列表的使用：本次的内容：目录二、列表Q1：上次留了一个问题，那就是元组中的数据是不可变的，那么列表中的元素可以改变吗？
Gorit·2019-01-05 23:44

Python数据处理从零开始----第二章（pandas）⑧pandas读写csv文件(2)

目录第二章（pandas）Python数据处理从零开始----第二章（pandas）①删除列Python数据处理从零开始----第二章（pandas）②处理缺失数据Python数据处理从零开始----第二章
柳叶刀与小鼠标·2019-01-05 06:28

接口测试---Python数据处理需要注意的细节

一、json模块中的dumps方法请求接口时params肯定是dict类型的，就是这种{"A":"B"}，因为需要传json格式的参数到服务端，但是为了降低case的维护成本，参数不会进行写死，一般会从数据库中拿参数，在服务端有强校验的情况下，格式不正确的参数就会报错，比如说{“KEY”:{'A':B}}这里面value在没有encoding前是dict类型，在请求对应接口时就会response[
Andrea-Pirlo·2019-01-03 15:00

Python数据处理：IPython使用学习笔记

Python数据处理：IPython使用学习笔记Python数据处理：Numpy学习笔记Python数据处理：Pandas学习笔记转载并改编自《IPython使用学习笔记》，原文写得很好，但有些地方还待完成
郭振廷·2018-12-17 21:11

python数据处理 根据颜色对图片进行分类的方法

前面一篇文章有说过，利用scrapy来爬取图片，是为了对图片数据进行分类而收集数据。本篇文章就是利用上次爬取的图片数据，根据图片的颜色特征来做一个简单的分类处理。实现步骤如下：1：图片路径添加2：对比度处理3：滤波处理4：数据提取以及特征向量化5：图片分类处理6：根据处理结果将图片分类保存代码量中等，还可以更少，只是我为了练习类的使用，而将每个步骤都封装成了一个独立的类，当然里面也有类继承的问题，
不论如何未来很美好·2018-12-08 15:08

Python数据处理之（七）Numpy array 合并

一、np.vstack()对array的合并，我们可以想到按行、按列等多种方式进行合并。verticalstack本身属于一种上下合并，即对括号中的两个整体进行对应操作。>>>importnumpyasnp>>>A=np.array([1,1,1])>>>B=np.array([2,2,2])>>>print(np.vstack((A,B)))[[111][222]]>>>C=np.vstack(
布衣书生-Python·2018-11-20 11:05

Pandas入门

Pandas是在Numpy基础上发展的一个python数据处理库，主要的数据结构由Serises和Datafram构成。
DesWong·2018-11-15 00:14

2018年"华为杯"数学建模获奖名单挖掘分析

主要锻炼Python数据处理中的以下功能点的使用：功能点：1.把6张拟获奖名单进行拼接···1.1.1.将6张表横向拼接；···1
jp_zhou256·2018-11-11 23:27

Python数据处理 | (三) Matplotlib数据可视化

Python数据处理系列笔记基于：Python数据科学手册电子版下载密码：ovnh示例代码下载密码:02f4目录一、Matplotlib常用技巧1.导入Matplotlib2.设置绘图样式3.用不用show
CoreJT·2018-11-05 15:07

Python数据处理库pandas入门教程

pandas是一个Python语言的软件包，在我们使用Python语言进行机器学习编程的时候，这是一个非常常用的基础编程库。本文是对它的一个入门教程。pandas提供了快速，灵活和富有表现力的数据结构，目的是使“关系”或“标记”数据的工作既简单又直观。它旨在成为在Python中进行实际数据分析的高级构建块。入门介绍pandas适合于许多不同类型的数据，包括：具有异构类型列的表格数据，例如SQL表格
云栖社区v·2018-09-26 23:04

Python数据处理（二）——美国人的生日

本篇文章的目的：以美国人的生日统计分析为例，熟练统计分组的操作，基本的数据可视化图形绘制；涉及到Python中的numpy、pandas和matplotlib库，包括：df.pivot_table()、plt.ylabel()、np.percentile()、df.query()等函数。本篇也涉及到用Sigma-clippin去除异常值，时间格式的转换等。数据来源：https://github.c
yihan.z·2018-09-21 10:52

python数据处理--按照数据差值大小进行聚类（归类）

近来在做数据处理的工作中，遇到了数据分类的问题，利用python的各种方便库，写了这么个以数据差值大小进行归类的方法。应用场景：有一批数据集，如list=[1,2,3,4,9,10,11,20,20,1,1.1,2.1,100]，将其按照数值大小进行归类，即数值比较接近的归为一类，故需要先设置一个阈值，以进行划分。具体实现如下：其中输入参数Data_set为输入的数据集，可以为列表、数组、Seri
walking_visitor·2018-09-13 09:48

Pandas读取并修改excel

一、前言最近总是和excel打交道，由于数据量较大，人工来修改某些数据可能会有点浪费时间，这时候就使用到了Python数据处理的神器—–Pandas库，话不多说，直接上Pandas。
Debris丶·2018-08-21 09:33

Python数据处理—复杂信号傅里叶变换（FFT）

FFT(FastFourierTransform,快速傅里叶变换)是离散傅里叶变换的快速算法，也是数字信号处理技术中经常会提到的一个概念。用快速傅里叶变换能将时域的数字信号转换为频域信号，转换为频域信号后我们可以很方便地分析出信号的频率成分。单频信号FFT#singlefrequencysignalsampling_rate=2**14fft_size=2**12t=np.arange(0,1,1
heibaisemang·2018-08-16 16:37

Python数据处理过程中一些方法记录

开帖目的：记录一些在写Python工作中经常遇到的一些问题和解决办法，以防遗忘。开发环境：Ubuntu16.04+Python31.lambda我们在coding过程中提到的lambda表达式，通常是在需要一个函数，但是又不想花费精力去构造一个函数的场合下使用，通常也称作它是指匿名函数。通过一个简单的例子了解其用法defg1(x):returnfloat(x)g2=lambdax:float(x)
mote-tao·2018-07-31 11:23

Python数据处理简单认识

数据处理的过程:数据收集、数据录入、数据清洗、数据处理、数据集成、数据管理、数据分析、提供数据服务数据收集:通过注册登记、问卷、面试采访获取数据，或者科学家勘测、测量的数据以及实验文档记录,公司报表等都是获取数据的方式.数据清洗:数据清洗可以简单分为这几个过程:解析、修正、标准化,合并解析：将无结构的文本转化为字段和值的有结构的数据修正：将无效的Unknown或缺失值按照实际情况来修改为合适的值缺
Awangbsi·2018-07-05 17:31

Python数据处理与计算——概述

Python是一种面向对象的，动态的程序设计语言，具有非常简洁而清晰的语法，适合于完成各种高层任务。它既可以用来快速开发程序脚本，也可以用来开发大规模的软件。随着NumPy、SciPy、Matplotlib、Enthoughtlibrarys等众多程序库的开发，Python越来越适合于做科学计算、绘制高质量的2D和3D图像。与科学计算领域最流行的商业软件MATLAB相比，Python是一门通用的程
weixin_30588827·2018-06-03 11:00

Python数据处理方法总结

Python是一门非常简洁的语言，能够使用简单的代码实现非常丰富的功能。在数据处理方面，常用的python包有pandas和numpy。本次总结了基于参加一个机器学习比赛进行，主要是预测用户银行卡一周之后的余额。整个过程分为数据预处理阶段和预测阶段，重点介绍数据预处理阶段，这里涉及很多pandas的功能使用，总结一下便于以后查阅。1.读取和保存txt文件新建dataframe的方法：data={'
思辨·2018-05-12 19:18
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他