ChatGPT在数据分析中的应用

最近,机器学习和人工智能技术在数据分析领域中发挥着越来越大的作用。而chatgpt正是这个领域最受欢迎的仿人聊天 AI 。但是,对于许多数据科学家和分析师来说,chatgpt并不是他们首选的工具。相反,pandassk-learn是数据科学家的最爱,因为它是一个python数据分析库,可以轻松处理和分析大量数据。

ChatGPT在数据分析中的应用_第1张图片

 

在本文中,将介绍chatgpt和pandas搭配使用时的三个主要场景数据清洗数据可视化特征工程

本文所有代码均来自“知否AI问答”,下面分别举例说明每个场景下的应用。这里只是做简单的说明,“知否AI问答”并不只局限于该深度的应用。

以下示例均使用“辅助编程”下的“代码生成”模块。

  1. 数据清洗

数据清洗是数据分析的重要一部分。在数据分析中,我们收集到的数据可能存在许多重复、缺失或非常规数据。为了确保数据的准确性和可靠性,我们需要筛选和清洗数据。

例如,有一份带有通讯录信息的数据,需要对“电话号码电子邮件”、“身份证号码”等信息进行,重复值、空值、格式不合法的数据进行清洗和标记

  1. 点击“代码生成”模块中输入需求和需要生成的脚本语言

ChatGPT在数据分析中的应用_第2张图片

 

     2.评估生成的代码质量,集成到我们的代码中

ChatGPT在数据分析中的应用_第3张图片

 

2.数据可视化

数据分析的另一个重要部分是数据可视化。通过可视化数据,我们可以更好地了解和理解数据。

例如,有一份金融数据,生成描述公司股票价格的变化或公司的盈利情况的代码包括条形图、折线图和散点图。

ChatGPT在数据分析中的应用_第4张图片

 

3.特征工程

在机器学习中,特征工程是最重要的任务之一。在这项任务中,我们需要利用聪明的特征工程技术来识别和提取数据中的关键特征。 使用chatgpt可以帮助我们生成文本来描述数据中的特征、属性和关系python代码特征工程的内容很多,本文只是简单介绍了几种常用的方法。

  1. 线性回归计算斜率和方差

ChatGPT在数据分析中的应用_第5张图片

 

2.数据密度计算正常状态/周期

基于聚类——数据密度(DBSCAN)提取典型(正常状态)特征,DBSCAN是基于一组邻域来描述样本集密度的空间聚类算法,将具有足够密度的区域划分为簇。

ChatGPT在数据分析中的应用_第6张图片

 

3.相关分析计算特征间关系

皮尔森相关系数 (Pearson Correlation) 是一种最简单的,能帮助理解特征和响应变量之间关系的方法,该方法衡量的是变量之间的线性相关性,结果的取值区间为[ -1 ,1 ] [ -1 ,1 ][-1,1],-1表示完全的负相关,+1表示完全的正相关,0表示没有线性相关。

ChatGPT在数据分析中的应用_第7张图片

 

4.归一化、标准化

现实的数据一般都是有单位的,比如常用身高的单位有米、厘米,这些情况会影响到数据分析的结果,这个无量纲化并不是说统一量纲为米,而是说,无论是米还是厘米,最后都会变成1,也就是没有了单位。无量纲化使不同规格的数据转换到同一规格。常见的无量纲化方法有标准化和归一化

ChatGPT在数据分析中的应用_第8张图片

 

5. 聚类KMean

K-Means算法原理,对于给定的样本集,按照样本之间的距离大小,将样本集划分为K个簇。让簇内的点尽量紧密的连在一起,而让簇间的距离尽量的大。

ChatGPT在数据分析中的应用_第9张图片

 

通过将它们结合使用,我们可以在数据清洗、数据可视化和特征工程等多种场景中发挥它们的作用。最终,它们可以帮助我们更好地分析数据、识别关键特征和生成有意义的见解。

ChatGPT的强大在于已经学会了目前人类大部分的“非感性类型”的知识,我们在与之交流的时候,他会把相对确定、与问题最匹配的答案和知识反馈给我们,极大的降低我们搜索和查询的成本。

ChatGPT在数据分析中的应用_第10张图片

 

你可能感兴趣的:(python,数据分析,人工智能)