特征工程-数据降维第19页

Kaggle实战入门：泰坦尼克号生还预测（基础版）

Kaggle实战入门：泰坦尼克号生还预测1.加载数据2.特征工程3.模型训练4.模型部署泰坦尼克号（Titanic），又称铁达尼号，是当时世界上体积最庞大、内部设施最豪华的客运轮船，有“永不沉没”的美誉

机器学习Zero·2023-03-22 07:55

机器学习实战_Kaggle泰坦尼克号(1探索及特征工程)

Titanic作为经典的入门二分类Kaggle比赛，最近抽时间对这个比赛重新再做了一遍数量。一、数据探索思维导图0-总体情况&字段特征意义print("train{}行{}列".format(train.shape[0],train.shape[1]))print("test{}行{}列".format(test.shape[0],test.shape[1]))df_all.info()"""Pa

Scc_hy·2023-03-22 07:24

Kaggle实战入门：泰坦尼克号生还预测（进阶版）

Kaggle实战入门：泰坦尼克号生还预测1.加载数据2.特征工程3.模型训练4.模型部署Kaggle实战入门：泰坦尼克号生还预测（基础版）对机器学习的全流程进行了总体介绍。

机器学习Zero·2023-03-22 07:21

用Pytorch构建第一个神经网络模型（附案例实战）

bbs.csdn.net/topics/613989052目录一、Pytorch简介二、实验过程2.1数据集介绍2.2加载数据2.3数据预处理2.3.1特征转换2.3.2缺失值处理2.3.3样本不平衡处理2.4特征工程

Mr.长安·2023-03-21 11:24

特征工程

特征工程是指将数据转化为能更好地表示潜在问题的特征，从而提高机器学习性能。主要分为如下几点：数据理解数据清洗特征构造特征选择类别不平衡1.数据理解目的：探索数据，了解数据，主要在EDA阶段完成。

allen成·2023-03-20 11:04

DL之LSTM/GRU/CNN：基于tensorflow框架分别利用LSTM/GRU、CNN算法对上海最高气温实现回归预测案例

tensorflow框架分别利用LSTM/GRU、CNN算法对上海最高气温实现回归预测案例目录基于tensorflow框架分别利用LSTM/GRU、CNN算法对上海最高气温实现回归预测案例#1、定义数据集#2、特征工程

一个处女座的程序猿·2023-03-19 07:57

面向具体任务的检索式问答

目前市面上的系统维护成本较高,大部分由手写规则构成,扩展能力较差,少部分较为先进的系统采用了检索式方案,其本质是对用户问题进行分类再针对性回答,因此其核心算法是基于问句语义相似度的计算,这些方法大多使用数据驱动的方式代替传统的特征工程与手写模板

KBAC·2023-03-19 04:53

sklearn库-算法调用，模型评估

一般情况下sklearn在算法调用的时候，先进行数据集的切割，为了以后的模型评估做准备，然后进行算法的调用对数据集进行拟合，拟合的过程中会出现损失函数，然后在进行特征工程，在进行拟合，在得出不错的评估后

紫弟·2023-03-18 22:27

天池o2o优惠券使用预测（入门）

特征工程：挖掘出更具代表性的特征。模型建立：使用随机梯度下降法进行建模（SGDClassifier）三、功能实现1、导入相关的库#导入常规用的库importnumpyasnpimpor

眼红de熊熊·2023-03-18 21:38

【建议收藏】机器学习数据预处理（三）——数据分桶及数据标准化（内附代码）

优点：模型简单缺点：特征工程比较困难。对于非线性模型（如深度学习），

生鱼同学·2023-03-18 07:39

文本相似算法

余弦相似度算法基本的文本相似比对过程：文本预处理，包含分词，停用词过滤，特征工程，文本特征提取。词向量转换，建立词典。如果只是两两文本比对，那直接用余弦相似算法计算两个向量的余弦夹角即可。

拾荒巴菲特·2023-03-17 00:39

使用Pytorch构建第一个神经网络模型附案例实战

目录一、Pytorch简介二、实验过程2.1数据集介绍2.2加载数据2.3数据预处理2.3.1特征转换2.3.2缺失值处理2.3.3样本不平衡处理2.4特征工程2.4.1划分训练集和测试集2.4.2数据类型转换

·2023-03-16 19:42

七、降维

部分特征对预测结果有影响主要方法：1、Filter过滤式(VarianceThreshold)方差大小，考虑所有样本这个特征的数据情况2、Embedded嵌入式（正则化，决策树）3、Wrapper（包裹式）4、神经网络1数据降维之特征选择

一闪一闪亮日日日日日日·2023-03-16 15:27

NLP四范式：范式一：非神经网络时代的完全监督学习（特征工程）；范式二：基于神经网络的完全监督学习（架构工程）；范式三：预训练，精调范式（目标工程）；范式四：预训练，提示，预测范式（Prompt工程）

自然语言处理（NaturalLanguageProcessing，NLP）是计算机科学，人工智能，语言学关于计算机和人类自然语言之间的相互作用的领域，是计算机科学领域与人工智能领域中的一个重要方向。自然语言处理历史悠久，早在1949年的时候，美国人威弗就提出了机器翻译设计方案，可以视为自然语言处理领域的开端，此后自然语言处理在不断的发展，在上世纪该领域的方法主要是基于规则的方法和基于统计学的方法，

u013250861·2023-03-16 07:02

Task5模型融合

分类的Stacking\Blending融合3)分类的Stacking融合(利用mlxtend)3一些其它方法4二手车数据使用加权融合Step1：加载函数工具包Step2：数据读取Step3：数据预处理+特征工程

酱油啊_·2023-03-16 04:36

剖析NLP历史，看chatGPT的发展

语义特征计算分为三个阶段，分别是一、特征工程阶段，以词袋模型为典型代表二、浅层表征阶段，以word2vec为典型代

stark_summer·2023-03-15 07:35

机器学习整理

文章目录Spandas操作归一化特征工程模型集成学习训练算法大赛流程S机器学习流程很简单，就是明确问题-处理数据-训练-预测（实际预测时产生的数据继续拿来训练迭代，滚雪球模型会越来越好记得保存每个阶段的模型方便回滚

星尘逸风·2023-03-14 07:26

python-客户流失预警预测建模分析（实战）

chfing·2023-03-13 01:57

卷积神经网络的可视化

t-SNE（数据降维）可视化技术（给她一个高维数据，根据数据的结构和关系自动进行内聚）ConvNets逐渐的将不同的图片分类，我们可以将不同的图片嵌入到二维的空间，这样相似的图片就会在一起.有很多嵌入的方法

美麗突然發生·2023-03-12 07:58

我的量化专栏

关于量化技术的开发，在知乎上开了一个专栏，有兴趣的小伙伴可以来看看Quant工具箱1.1量化交易的技术框架1.2向量化回测框架1.3事件驱动回测与实盘交易系统1.4量化交易中台化2.1机器学习理念下的量化研究2.2特征工程自动化持续更新中

Jesse的宽客作坊·2023-03-12 00:25

PCA(主成分分析)原理详解

PCA概念PCA(PrincipalComponentAnalysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。

迷雾总会解·2023-03-11 18:34

主成分分析PCA原理以及代码实现

主成分分析数据降维问题基变换基基变换矩阵表示协方差矩阵及优化目标方差协方差协方差矩阵协方差矩阵对角化PCA算法实例代码实现总结PCA（PrincipalComponentAnalysis）是一种常用的数据分析方法

呆小呆_·2023-03-11 18:03

主成分分析（PCA）原理与实现

主成分分析（PCA）是最重要的数据降维的方法之一。针对高维数据的处理时，往往会因为数据的高维度产生大量的计算消耗，为了提高效率，一般最先想到的方法就是对数据降维。

guoziqing506·2023-03-11 18:32

线性降维：主成分分析PCA原理分析与仿真验证

数据降维是解决维度灾难的一种有效方法，之所以对数据进行降维是因为：在原始的高维空间中，包含有冗余信息以及噪音信息，在实际应用例如图像识别中造成了误差，降低

Anusat·2023-03-11 18:32

模型融合方法

对于个体学习器来说，它们的不同体现在：不同训练数据：数据集使用比例、预处理方法(缺失值填补、特征工程等)；不同模型结构：RF、XGBoost、LightGBM、CatBoost、CNN、LSTM等；不同超参

下辈子是只考拉·2023-03-11 07:47

跟ChatGPT学量化，菜鸟炒股也不怕

特征工程：将原始数据转化为特征变量，包括技术指标、基本面指标等。策略设计：根据市场行情和投资目标，设计投资策略，包括买卖信号的产生、

颹蕭蕭·2023-03-10 18:38

机器学习保研复习

PCA：主成分分析（无监督）PCA（PrincipalComponentAnalysis）是一种常用的数据降维技术，用于将多维数据集投影到低维空间中，同时保留数据的重要信息。

miss9785·2023-03-10 07:15

Excel数据清洗

一、数据降维-二维表转一维表方法一：数据透视表法此方法仅适用于单行，单列的交叉二维表1.Alt+D+P，打开数据透视表和数据透视图向导2.请指定待分析数据的数据源类型，选择多重合并计算数据区域；.所需创建的报表类型

知识工作者·2023-03-10 05:19

【精通特征工程】学习笔记（四）

【精通特征工程】学习笔记Day4&2.22&D5章&P65-81页5、分类变量:自动化时代的数据计数分类变量是用来表示类别或标记的，又称为无序变量大型分类变量，分箱计数5.1分类变量的编码分类变量中的类别通常不是数值型的

小小孩儿的碎碎念·2023-03-09 16:54

浅析自动机器学习（AutoML）工具NNI

NNI简介NNI(NeuralNetworkIntelligence)是一个轻量级但功能强大的自动机器学习（AutoML）工具包，可帮助用户自动化特征工程、神经架构搜索、超参数调优和模型压缩，并支持单机

吃果冻不吐果冻皮·2023-03-09 14:19

探究GBDT算法：从Boosting到特征工程

（封面图由ERNIE-ViLGAI作画大模型生成）探究GBDT算法：从Boosting到特征工程GBDT是机器学习领域中非常有用的算法之一。它可以用于分类和回归问题，并且在实践中表现非常出色。

Chaos_Wang_·2023-03-09 12:05

开源项目介绍｜ Angel-高性能分布式机器学习平台

Angel支持特征工程、模型构建、参数训练、AutoML、模型服务Serving等全栈机器学习服务，提供机器学习、深度学习、图神经网络等多种算法，支持级万亿级超大规模参数模型的训

tencent__open·2023-03-09 07:17

数据预处理之归一化，标准化，数据降维之特征选择

归一化以上为归一化的原理接下来将展示出归一化的代码fromsklearn.preprocessingimportMinMaxScalermm=MinMaxScaler()data=mm.fit_transform([[90,2,10,40],[60,4,15,40],[75,3,13,46]])data打印结果为：如果将上述代码的**mm=MinMaxScaler()**改为mm=MinMaxSc

Thefan1·2023-03-01 07:13

Pandas特征工程——线性变换

线性变换目录线性变换Z-score变换归一化变换归一化至[0,1]归一化至[-1,1]归一化极端值处理离群值检测Z-score变换z-score变换（又称均值归一化），是一种广泛使用的线性变换，将数据映射到一组均值为0且标准差为1的新数据中。公式：利用numpy表示为：importnumpyasnpimportpandasaspdnp_data=np.array([1,4,10,15,23])z_

フィロソフィー·2023-02-28 08:18

波士顿房价预测 ---线性回归实现

load_boston()#2.数据集划分x_train,x_test,y_train,y_test=train_test_split(data.data,data.target,random_state=22)#3.特征工程

H A I·2023-02-27 19:31

机器学习：基于主成分分析（PCA）对数据降维

机器学习：基于主成分分析（PCA）对数据降维作者：AOAIYI作者简介：Python领域新星作者、多项比赛获奖者：AOAIYI首页如果觉得文章不错或能帮助到你学习，可以点赞收藏评论+关注哦！

AOAIYII·2023-02-26 07:26

【阿旭机器学习实战】【25】决策树模型----树叶分类实战

目录决策树进行树叶分类实战1.导入数据2.特征工程3.构建决策树模型4.模型优化决策树进行树叶分类实战1.导入数据importpandasaspdimportmatplotlib.pyplotaspltfromsklearn.p

阿_旭·2023-02-25 08:23

家用电器用户行为分析与事件识别_家用电器用户行为分析与事件识别学习笔记...

该例主要讲的是用户洗浴用水事件的识别问题(热水器数据)，归结为0-1分类问题——这是全局观按分析问题大的步骤：数据探索性分析——>数据规约——>一次用水事件划分及阈值寻优——>特征工程/属性构造——>筛选洗浴事件

哈特瑞姆·2023-02-25 07:05

Python手写了 35 种可解释的特征工程方法-案例分析

链接入口：Python手写了35种可解释的特征工程方法-腾讯云开发者社区-腾讯云简单分析概况用户有12个特征，每个特征分别对应每月的额度使用率。

ᝰꫛꪮꪮꫜ748·2023-02-22 02:49

sklearn专题五：逻辑回归

为什么需要逻辑回归2linear_model.LogisticRegression2.1二元逻辑回归的损失函数2.1.1损失函数的概念与解惑2.2重要参数penalty&C2.2.1正则化2.2.2逻辑回归中的特征工程

Colorfully_lu·2023-02-21 07:07

2023年美赛C题Wordle预测问题二建模及Python代码详细讲解

题Wordle预测问题二建模及Python代码详细讲解（3）2023年美赛C题Wordle预测问题三、四建模及Python代码详细讲解（4）2023年美赛C题Wordle预测问题25页论文1数据分析与特征工程

Better Bench·2023-02-20 07:40

2023年美赛C题Wordle预测问题三、四建模及Python代码详细讲解

预测问题二建模及Python代码详细讲解（3）2023年美赛C题Wordle预测问题三、四建模及Python代码详细讲解（4）2023年美赛C题Wordle预测问题25页论文1问题三这是一个聚类分析问题1.1特征工程这部分和问题一的一样我提取

Better Bench·2023-02-20 07:40

python机器学习库

库名功能scikit-learn支持分类、回归、聚类、数据降维、模型选择、数据预处理，提供了一些机器学习方法的接口tensorflow以数据流图为基础，由谷歌人工智能团队开发和维护、免费且开源的机器学习计算框架

程非池的小软·2023-02-19 08:28

图神经网络--图的基本表示和特征工程

图的基本表示和特征工程图神经网络图的基本表示和特征工程前言一、图的基本表示1.图的基本表示2.图的类型3.节点连接数4.邻接矩阵5.图的连通性二、传统机器学习（人工特征工程+机器学习）1.特征分类2.传统机器学习

无盐薯片·2023-02-17 18:40

二、图的基本表示和特征工程【CS224W】（Datawhale组队学习）

开源内容：https://github.com/TommyZihao/zihao_course/tree/main/CS224W子豪兄B站视频：https://space.bilibili.com/1900783/channel/collectiondetail?sid=915098斯坦福官方课程主页：https://web.stanford.edu/class/cs224w文章目录图的基本表示图

卡拉比丘流形·2023-02-17 17:38

[datawhale202302]CS224W图机器学习：图的基本表示及特征工程

结论速递本章涉及了图基本表示及传统的特征工程。图由节点和连接组成，节点和连接上都可以有不同的属性。根据属性的特点，分为几类不同的图，其中异质图和二分图是比较重要的特殊图。

SheltonXiao·2023-02-17 17:13

03、sklearn中的数据预处理和特征工程

文章目录1.概述1.1数据预处理与特征工程1.2sklearn中的数据预处理和特征工程!

xiao52x·2023-02-17 16:10

pandas用众数填充缺失值_sklearn中的数据预处理和特征工程

3.4以上Scikit-learn0.20.0(你的版本至少要0.19Numpy1.15.3,Pandas0.23.4,Matplotlib3.0.1,SciPy1.1.01sklearn中的数据预处理和特征工程

weixin_39538847·2023-02-17 16:09

[机器学习与scikit-learn-47]：特征工程-sklearn中的数据预处理和特征工程概述

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/123966627目录前言：第1章机器学习/数据挖掘的一般处理流程第2章数据预处理该概述2.1什么是数据预处理2.2数据预处理的意义2.3数据预处理的方法第3章sklearn中的数据预处理和特征工

文火冰糖的硅基工坊·2023-02-17 16:38

数据预处理（无量纲化、缺失值、分类特征、连续特征）

1.1sklearn.preprocessing.MinMaxScaler1.2sklearn.preprocessing.StandardScaler2.缺失值3.分类型特征4.连续型特征数据挖掘的五大流程包括：获取数据数据预处理特征工程建模上线其中

酒酿小圆子～·2023-02-17 16:08

推荐频道

特征工程-数据降维