pandas文本处理

python玄学之 apply函数的axis参数

官方文档解释如下：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.apply.htmlaxis{0or
nolee·2024-01-17 05:07

transbigdata笔记：栅格参数优化

怎么选择参数，和数据以及分析的目的息息相关，transbigdata提供了三种方法来优化1准备代码1.1导入库importpandasaspdimportgeopandasasg
UQI-LIUWJ·2024-01-17 04:49

transbigdata 笔记： 官方文档示例3：车辆轨迹数据处理

1读取数据+轨迹数据质量分析这一部分和transbigdata笔记：data_summary轨迹数据质量/采样间隔分析-CSDN博客的举例是一样的importpandasaspdimportgeopandasasgpdimporttransbigdataastbddata
UQI-LIUWJ·2024-01-17 04:19

transbigdata 笔记： 轨迹密集化/稀疏化 & 轨迹平滑

transbigdata.traj_densify(data,col=['Vehicleid','Time','Lng','Lat'],timegap=15)轨迹致密化，保证至多每隔timegap秒都有一个轨迹点这边插补使用的是pandas
UQI-LIUWJ·2024-01-17 04:47

机器学习：08. sklearn中的特征选择feature_selection

导入数据importpandasaspddata=pd.read_csv(r"C:\Users\18700\Desktop\03数据预处理和特征工程\digitrecognizor.csv")data.head
医学小白学生信·2024-01-17 04:40

Pandas实战100例 | 案例 44: 添加新列

Pandas允许你轻松地向DataFrame添加新列，并基于现有列进行计算。添加新列:直接通过赋值的方式可以向DataFrame添加新列。新列的值可以是基于现有列的计算结果。
惊鸿若梦一书生·2024-01-17 02:16

大数据实战（hadoop+spark+python）：淘宝电商数据分析

一，运行环境与所需资源：虚拟机：Ubuntu20.04.6LTSdocker容器hadoop-3.3.4spark-3.3.2-bin-hadoop3python，pyspark,pandas，matplotlibmysql
linpaomian·2024-01-17 02:13

万字Python pandas 核心操作知识总结，建议收藏

工作中最近常用到pandas做数据处理和分析，特意总结了以下常用内容。内容较多，建议收藏。
白话机器学习·2024-01-17 00:14

pandas中iloc和loc的用法和区别

在Pandas中，loc和iloc都是用于数据选择的方法，它们是DataFrame和Series对象的索引选项。
实名吃香菜·2024-01-17 00:44

python爬虫小练习——爬取豆瓣电影top250

处理网页中的内容提取自己想要的数据3，导入到表格中分析网站结构需要提取的内容代码importrequestsfrombs4importBeautifulSoupimportpprintimportjsonimportpandasaspdimporttime
菜鸡学安全·2024-01-16 22:14

Pandas实战100例 | 案例 24: 数据可视化 - 绘制基本图形

Pandas集成了Matplotlib，提供了简单的方法来绘制各种图形，如折线图、条形图、散点图等。绘制图形:使用DataFrame的plot方法可以绘制不同类型的图形。
惊鸿若梦一书生·2024-01-16 22:20

代码保存

--coding:utf-8--"""CreatedonThuJan911:36:002020@author:QIAOQICHAO258"""importpandasaspdimportnumpyasnpimporttimefromtqdmimporttqdmimportcodecsimportcsvimportosfrommathimportradians
三木君3·2024-01-16 21:11

python创建excel、并保存_用python在excel中创建和保存数据新表

_在#importingpandasimportpandasaspdimportnu
和蔼而不可亲·2024-01-16 21:42

软件测试 | 测试开发 | Python数据驱动测试 unittest+ddt

本文将介绍如何使用python快速进行http/https接口自动化测试脚本搭建，实现自动请求、获取结果、数据对比分析，导出结果到Excel等功能，包括python的requests、pandas、openpyxl
霍格沃兹-慕漓·2024-01-16 21:04

python-DataFrame根据已有列计算其他列

根据已有列计算其他列1、根据已有列新增列方式一：根据单列方式二：根据多列方式三：利用apply函数（单列）方法四：利用apply函数（多列）2、根据已有列修改其他列读取数据源importpandasaspd
大橙子酸柠檬·2024-01-16 18:17

python炸裂操作函数explode

现要把每星期的课程拆出来，形成每个课程单独一行的格式（类似一维表）星期课程周一历史周一生物……实现代码#-*-coding:utf-8-*-"""CreatedonFriApr1521:04:262022利用pandas
大橙子酸柠檬·2024-01-16 18:16

Pandas实战100例 | 案例 51: 日期时间过滤

案例51:日期时间过滤知识点讲解当你的DataFrame包含datetime类型的列时，你可以基于日期时间条件过滤数据。这在处理时间序列数据时特别有用。日期时间过滤:使用布尔索引，可以根据日期时间条件过滤数据。示例代码#准备数据和示例代码的运行结果，用于案例51#示例数据data_datetime_filtering={'Date':pd.date_range(start='2023-01-01'
惊鸿若梦一书生·2024-01-16 16:08

Pandas实战100例 | 案例 48: 检测重复行

Pandas提供了duplicated方法来检测重复的行。检测重复行:duplicated方法返回一个布尔序列，标记出DataFrame中的重复行。
惊鸿若梦一书生·2024-01-16 15:59

Python数据分析案例32——财经新闻爬虫和可视化分析

本案例的全部数据和代码获取可以参考：财经新闻数据数据来源新浪财经的新闻网，说实话，他这个网站做成这样就是用来爬虫的...代码实现首先导入包importrequestsfrombs4importBeautifulSoupimportpandasaspdimportnumpyasnpimportmatpl
阡之尘埃·2024-01-16 14:56

基于Python flask的猫眼电影票房数据分析可视化系统，可以定制可视化

该系统利用Flask提供了一个简单而强大的后端框架，结合Request库进行网络爬虫获取猫眼电影票房数据，并使用Pyecharts进行可视化展示，同时借助Pandas进行数据分析和处理，以及Layui作为前端框架实现页面美观和用户交互
叫我：松哥·2024-01-16 12:57

python爬虫去哪儿网上爬取旅游景点14万条，可以做大数据分析的数据基础

主要包括以下几个步骤：导入所需的库：BeautifulSoup用于解析网页内容，pandas用于处理数据，requests用于发送网络请求，re用于正则表达式匹配。
叫我：松哥·2024-01-16 12:27

基于Python的B站（哔哩哔哩）视频评论采集，可破解反爬手段，想爬几条爬几条

具体实现过程如下：导入所需的库：requests用于发送HTTP请求，os用于操作文件路径，time用于处理时间，json用于解析JSON数据，pandas用于数据处理。
叫我：松哥·2024-01-16 12:22

Numpy使用简介

多数科学计算工具包，比如Scipy，和数值分析工具包，比如Pandas、Scikit-learn，都依赖Numpy。
ZShiJ·2024-01-16 11:57

pandas操作excel

pandas操作excel引入包importnumpyimportpandas1、创建写入对象writer=pandas.ExcelWriter(os.path.join(tar_path,file_name
天选之子123·2024-01-16 10:22

Pandas实战100例 | 案例 55: 应用条件

Pandas的apply方法允许你对DataFrame的每一行或列应用一个自定义函数，实现复杂的逻辑。应用条件:使用apply方法结合lambda函数，可以根据条件对数据进行转换或计算。
惊鸿若梦一书生·2024-01-16 09:10

读取excel-输入mongodb

1.importxlrd2.importpandas这个只能操作一个表，关键是读取数据的时候传的是sheet的name，这个就很烦啊，你又不知道他的中文名，还有如果用循环的话，也不知道循环的次数3.还是
skoll·2024-01-16 08:10

使用pandas读取HTML和JSON数据

大家好，Pandas是一个功能强大的数据分析库，它提供了许多灵活且高效的方法来处理和分析数据。本文将介绍如何使用Pandas读取HTML数据和JSON数据，并展示一些常见的应用场景。
python慕遥·2024-01-16 07:16

pip和Conda修改镜像源

如何生成可参考右边的帮助文档文章目录前言一、pip修改镜像源：1.临时修改：2.永久修改：二、Conda修改镜像源：前言pip和conda修改镜像源修改一、pip修改镜像源：1.临时修改：添加-i选项镜像源可选：pipinstall-Upandas-ihttps
leo_liu-star·2024-01-16 07:20

Pandas实战小练习，北京天气数据的数据清洗处理【文末有数据地址】

将日期列的“2023-01-07星期六”，拆分成“2023-01-07”和“星期六”两列；将最高温、最低温的两列的温度转换成数字类型，就是把数字中的小圆圈去掉；结果形式为：1.读取excel数据import pandas
严小样儿·2024-01-16 05:31

pyhton3中通过matplotlib做图表，导入excel制成图表

1、导入数据制作散点图importpandasaspd#导入pandas模块importmatplotlib.pyplotasplt#导入matplotlib模块importxlwingsasxw#导入
irisMoon06·2024-01-16 05:29

python数据分析 | 重新认识数据分析中的三剑客？

python语言在数据分析领域同样扮演者比较强大的角色，其中被树枝的主要有三个扩展库用来做数据分析，分别是：pandas、numpy、matplotlib，其中，pandas主要是用作提炼数据使用、numpy
Python集中营·2024-01-16 03:48

大数据可视化技术（1）：调查数据。某公司对财务部门人员是否抽烟进行调查，结果为：否，否，否， 是，是，否，否，是，否，是，否，否，是，是，否，是，否，否，是，是。

importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltimportscipy.statsasstdf_1=pd.DataFr
Blossom i·2024-01-16 02:11

144自然语言处理进阶手册--新闻文本数据分类

新闻文本数据分类新闻数据预处理永远记住数据才是天花板，在文本处理相关的项目中，对数据的的预处理是非常重要的一个步骤，而在实际工作中，这部分工作反而比模型构建需要花费更多的时间与精力，一个优秀的自然语言处理工程师往往能够精准地发现业务数据的特别之处以及进行适应相关任务性质的特殊预处理
Jachin111·2024-01-16 01:37

Pandas模块数据统计与分析常用方法

df.describe()：按各列返回基本统计量和分位数df.count()：计算非NA值的数量，axis=0按列计算，axis=1按行计算，默认axis=0。df.max()：计算最大值，axis=0按列计算，axis=1按行计算，默认axis=0。df.min()：计算最小值，axis=0按列计算，axis=1按行计算，默认axis=0。df.sum()：计算和，axis=0按列计算，axis
WeiDong_Shi·2024-01-15 22:15

使用dataframe_image将dataframe表格转为图片

pipinstalldataframe-image这个库可以将dataframe的表格转换为图片格式，比起数字，图片的格式在手机上会更清晰的看清楚数据及对应行列示例程序importnumpyasnpimportpandasaspdimportdataframe_imagedefmain
呆萌的代Ma·2024-01-15 21:43

pandas之重复数据的查看、删除和提取（后附数据网盘链接）

数据预览：一、查看value_counts()这一函数能够查看每一数据出现了几次，但是用data.value_counts()这一方法时，只有一行数据全都一样才算做重复行，如下图中的郭靖分数不一样的话它没有计入是重复行，要想以名字作为重复判断依据的话，可以用data['姓名'].value_counts()data.value_counts()二、删除重复drop_duplicates()Data
卿卿553·2024-01-15 20:23

pandas进行数据计算时如何处理空值的问题？

目录1.数据预览：2.解决方法（1）问题示例（2）方法A.方法一B.方法二1.数据预览：2.解决方法（1）问题示例如下图如果不理睬这些空值的话，计算总分便也会是空值（2）方法A.方法一我们可以利用fillna(0)将空值填充为零再进行计算data["总分"]=data["语文"].fillna(0)+data["数学"].fillna(0)+data["英语"].fillna(0)B.方法二利用灵
卿卿553·2024-01-15 20:48

【python】避免读取excel时的TypeError: unsupported operand type(s) for +: ‘float‘ and ‘str‘错误

可以采用pandas库的isnull函数。
君莫默·2024-01-15 18:15

Keras(十四)tf.data读取csv文件并与tf.keras结合使用

一，准备csv文件importmatplotlibasmplimportmatplotlib.pyplotaspltimportnumpyasnpimportsklearnimportpandasaspdimportosimportsysimporttimeimporttensorflowastffromtensorflowimportkeras
TFATS·2024-01-15 17:56

geopandas 笔记：plot 的scheme

transbigdata笔记：官方文档案例1（出租车GPS数据处理）-CSDN博客3.3.1节的内容的拓展，这里主要是比较各个scheme的效果主代码为：修改的就是第二行scheme的内容plt.figure(1,(16,6),dpi=300)scheme='box_plot'#图的大小和sizeax1=plt.subplot(111)#在图形中创建了一个子图。111表示图形布局是1行1列，且这是
UQI-LIUWJ·2024-01-15 17:55

【Python】Pyside2 可视化实现：每秒复制源文件一行到目标文件并打印日志

需要模拟每秒钟生成一行数据，所以有了该博客的想法，其中有线程的内容，为了防止主界面卡住效果：代码：importsysimportthreadingimporttimeimportopenpyxlimportpandasaspdfromPySide2
小史_猿·2024-01-15 16:03

2.1 python文本处理-json

json格式是一种很便捷常用的数据格式，python的json宝也能很好的支持json格式文件的读取和数据处理json基本使用json.dumpjson.dump(obj,fp,*,skipkeys=False,ensure_ascii=True,check_circular=True,allow_nan=True,cls=None,indent=None,separators=None,defa
nervermore990·2024-01-15 14:31

Python基础

python基础知识的学习计划按照如下目录格式编写记录第一部分：python基本语法1.1环境搭建1.2基本数据类型1.3基本语法1.4内置方法1.5面向对象1.6常用库第二部分：python常用场景2.1文本处理
nervermore990·2024-01-15 14:00

2.1 python文本处理-正则表达式

python正则模块介绍标准库模块re模块方法#将正则表达式样式编译成一个正则对象。一般用于多次使用正则对象的场景re.compile(pattern)#扫描string字符串并查找符合patten样式的第一个位置，返回对应的Match结果，否则返回Nonere.search(patten,string)#如果string开头的零个或多个字符与正则表达式pattern匹配，返回对应的Match结果
nervermore990·2024-01-15 14:27

pandas之数据筛选（后附源数据供大家练习）

目录所用数据读取预览：1.单个条件筛选（筛选男生）（1）条件书写（2）取出数据2.query多条件筛选（筛选总分大于160的男生）（1）条件写入注意：（2）取出数据3.筛选文本开头内容（筛选襄阳市的）startswith/endswith（1）条件书写（2）取出数据（同1.的方法）（3）测试筛选信阳市（小伙伴们自己动手哦）4.筛选整个文本中存在的内容contains（太好用啦）（1）条件书写（2）
卿卿553·2024-01-15 14:55

pandas缺失值查看及处理方法（后附源数据供大家练习）

目录数据预览：一、查看缺失值二、处理缺失值1.删除dropna（1）参数介绍（2）使用方法示例A.删除有空值的整行B.删除有空值的整列C.删除一行全是空值的整行D.删除非空值低于指定数值的整行E.删除指定列中有空值的整行2.填充fillna（1）给所有空值填充指定数值（2）给指定列填充指定数值三、源数据网盘链接数据预览：一、查看缺失值数据.isnull()如果该处数据为空显示True，不为空显示F
卿卿553·2024-01-15 14:55

pandas中好用的describe函数

本次和大家分享一个pandas中特别好用的函数——describe，通过这一函数你可以一次性获得数据的总个数，平均数，标准差，最小值最大值以及四分位数二分之一位数，四分之三位数等，在数据分析过程中使用起来很方便
卿卿553·2024-01-15 14:55

pandas数据合并与重塑——merge

数据合并与重塑有merge，join，concat三种方法，本文先对merge进行讲解目录1.merge参数概览2.左右内外连接概念讲解（1）左连接（2）右连接（3）内连接（4）外连接3.merge数据合并（1）当两个表用来做连接键的列名都相同时（以左连接为例）A使用方法：B数据合并前后对比：（2）当两个表用来做连接键的列名都不相同时（本次默认内连接）A使用方法B数据合并前后对比1.merge参数
卿卿553·2024-01-15 14:25

pandas数据删除drop的用法

1.删除行（1）删除单行新数据=数据.drop(行索引)（2）删除多行新数据=数据.drop([行索引1，行索引2])2.删除列（1）删除单列新数据=数据.drop("列名"，axis=1)（2）删除多列新数据=数据.drop(["列"，"列"]，axis=1)
卿卿553·2024-01-15 14:25

京东商品评论信息爬取及词云图制作——python爬虫(步骤详细，初学可做)

.利用input语句输入商品编号实现评论信息爬取5.利用requests获取html6.json文件转换为dict7.实现翻页功能8.重复上方5，6的步骤9.获取评论内容、产品颜色、产品型号10.借助pandas
卿卿553·2024-01-15 14:24
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他