数据分析挖掘-特征工程第9页

DataWhale 推荐系统实战_新闻推荐 Task2 数据分析

二龙山高哥·2023-09-30 02:38

机器学习——KNN算法流程详解（以iris为例）

目录前情说明问题陈述数据说明KNN算法流程概述代码实现前情说明本书基于《特征工程入门与入门与实践》庄家盛译版P53也K最近邻（KNN）算法进行讲解问题陈述Iris鸢尾花数据集内包含3类分别为山鸢尾（Iris-setosa

JSU_曾是此间年少·2023-09-29 11:33

工业蒸汽量预测（速通二）

工业蒸汽量预测（二）特征工程1.数据预处理和特征处理1.1数据预处理1.2特征处理2.特征降维2.1特征选择2.2多重共线性分析2.3线性降维模型训练1回归模型训练和预测2线性回归模型3K近邻回归模型4

盖盖的博客·2023-09-28 23:28

ShallowLearner·2023-09-28 14:12

【机器学习】随机森林（Random Forest）、GBDT（Gradient Boosting Decision Tree）、XGBoost（eXtreme Gradient Boosting）

创建一个引导数据集根据引导数据集创建决策树，每一步用变量的一个随机子集（列的随机子集）创建不断重复上述两个过程bagging：bootstrapping+aggregateGBDT好处：决策树算法相比于其他的算法需要更少的特征工程

小丫么小阿豪·2023-09-27 21:47

机器学习总结

在深度学习兴起之前，很多领域建模的思路是投入大量精力做特征工程，将专家对某个领域的“人

gridlayout·2023-09-26 10:13

如何使用Python进行推荐算法开发？

玥沐春风·2023-09-25 07:59

深度模型（八）：Wide And Deep

特征的交叉非常有效并且可解释性也很好，但是为了提高模型泛化能力，需要大量的特征工程工作。深度神经网络可以更好的通过稀疏特征的低纬稠密向量泛化到非显性的特征组合。

jony0917·2023-09-25 05:36

机器学习笔记1

贝叶斯分类、决策树和随机森林、逻辑回归目标值：连续型的数据-回归问题回归算法：线性回归、岭回归无监督学习：目标值：无-无监督学习算法：聚类K-means2、机器学习开发流程1）获取数据2）数据处理3）特征工程

从白天到早上·2023-09-24 16:35

特征工程1

特征工程概述在做数据挖掘项目或是kaggle等机器学习比赛的时候，都会开始对数据进行的探索和可视化分析然后是一堆的预处理将数据转为需要的数字表格，再最后传入模型训练。

haleyprince·2023-09-23 22:31

使用scikit-learn进行特征选择

参考文章：《特征工程入门与实践》——第5章特征选择：对坏属性说不信用卡逾期数据集：creditcardclientsDataSet本文代码开源链接：FeatureSelection本文主要以信用卡逾期分类任务作为案例

活用数据·2023-09-21 18:25

强烈强烈安利3个Python数据分析EDA神器！

EDA是数据分析必须的过程，用来查看变量统计特征，可以此为基础尝试做特征工程。东哥这次分享3个EDA神器，其实之前每一个都分享过，这次把这三个工具包汇总到一起来介绍。

Python老猿·2023-09-21 11:34

机器学习——特征工程和评价指标

0、前言：首先学习特征工程这部分知识之前，要对机器学习的算法用过使用。1、特征工程：就机器学习的数据而言，特征就是数据的列名，有多少列，就有多少个维度的特征。

疋瓞·2023-09-21 09:44

特征工程-数据分类

特征工程将数据转换为能更好地表示潜在问题地特征，从而提高机器学习的性能。定量数据和定性数据定量数据本质上是数值，应该是衡量某样东西的数量。定性数据本质上是类别，应该是衡量某样东西的性质。

00_zero·2023-09-21 00:38

实力认证 | 百分点科技蝉联中国大数据企业50强

斩获多个大数据领域奖项会上，《2023中国大数据产业发展研究暨大数据产业生态地图》重磅发布，百分点科技作为代表企业入选数据分析挖掘、数字监管、智慧城

Percent_bigdata·2023-09-20 19:48

python风控建模_风控建模之特征筛选与建模（python）

特征筛选在建模之前的一步就是将特征工程做好的变量进行筛选，在风控项目中筛选分为两步：初步筛选、逐步回归筛选以及稳定性筛选。

weixin_39573512·2023-09-20 18:52

基于关联规则(Apriori)+协同过滤(collaborative filtering)实现电影推荐系统

smile_小北·2023-09-20 11:29

python灰色关联度分析_灰色关联分析法 python

本文2290字，预计阅读需10分钟；关联分析（associationanalysis）主要用于发现隐藏在大型数据集中的有意义的联系，它起源于商品销售领域，“啤酒与尿布”的故事体现的就是数据分析挖掘领域非常经典的推荐方式

weixin_39975744·2023-09-20 11:59

机器学习：特征工程基本流程

一、背景概述特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程，指的是把原始数据转变为模型的训练数据的过程，它的目的是使模型的性能得到提升。

向着光噜噜·2023-09-20 06:24

【机器学习】特征预处理

由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。那特征工程是什么？

人工智·2023-09-20 03:01

特征工程建模可解释包（note）

PermutationImportance一般情况下，使用集成算法去看特征重要性比较好。关注某一个特征，计算其permutationimportance:训练好当前模型考虑特征A对模型结果的影响。将特征A打乱顺序，比较模型结果，误差是否变得更大。如果误差改变不大，说明该特征不重要，如果误差改变大，则重要。工具包eli5https://eli5.readthedocs.io/en/latest/tu

闪闪发亮的小星星·2023-09-19 18:30

人工智能发展岗位

以下是一些常见的人工智能岗位，这些岗位通常要求不同的技能和经验：机器学习工程师：负责开发和部署机器学习模型，包括数据预处理、特征工程和模型训练。使用深度学习和传统机器学习算法来解决问题。

就叫飞六吧·2023-09-19 16:55

《雷达像智能识别对抗研究进展》阅读记录

（2）雷达像智能识别传统的雷达像识别方法通常利用特征工程构建模板库，并采用合适的分类器进行识别。其效果特别依赖于人工设计特征的质量。

黑川赤音·2023-09-19 11:34

特征工程-指标筛选

在数据建模前期，很重要的一步是特征工程的构建，最明显的一次就是多分类问题，单增加一个特征，准确率从78%提高到了85%。

神采奕奕的奕·2023-09-19 10:45

MATLAB官方机器学习入门教程

.做出预测算法选项评估模型1.预测值与真值进行比较2.计算精确度与误分类度混淆矩阵导入和预处理数据多文本操作1.创建数据存储2.读取数据添加数据转换1.执行数据预处理2.转换后的数据存储3.规范化数据特征工程统计特性形状量化官方教程

aoaoGofei·2023-09-19 09:29

Pre-trained models for natural language processing: A survey(NLP领域预训练模型研究综述)

一、前言首先列出了常用的神经网络模型：CNN、RNN、GNN以及注意力机制，它们的优点是能够缓解特征工程

敷衍zgf·2023-09-18 12:28

物联网：用python调入机器学习分析物联网数据入侵检测模块

对输入数据进行特征工程。这涉及将原始数据转换为可以在机器学习算法中使用的格式。对于物联网数据，可能需要进行数据清理、处

Solitary_孤影照惊鸿·2023-09-18 00:17

李沐机器学习入门

文章目录1.数据的获取2.数据的爬取3.数据的标注3.1半监督学习3.1.1自学习算法3.1.2人工标注数据3.1.3弱监督学习4.数据的预处理5.数据的清理6.数据的变换7.特征工程8.机器学习介绍8.1

几窗花鸢·2023-09-17 23:30

时序预测的深度学习算法全面盘点

常用的深度学习模型包括循环神经网络（RNN）、长短时记忆网络（LSTM）、门控循环单元（GRU）、卷积神经网络（CNN）、注意力机制（Attention）和混合模型（Mix）等，与机器学习需要经过复杂的特征工程相比

Python数据挖掘·2023-09-16 13:58

EDA(Exploratory Data Analysis)探索性数据分析

EDA(ExploratoryDataAnalysis)中文名称为探索性数据分析，是为了在特征工程或模型开发之前对数据有个基本的了解。

隔壁偷菜的谁·2023-09-16 06:48

机器学习——入门

逻辑回归目标值是连续型的数据->回归问题线性回归、岭回归无监督学习：没有目标值->无监督学习聚类k-means机器学习开发流程1）获取数据2）数据处理（处理掉嘈杂、缺失、不符合要求的一些数据）3）特征工程

王王仙贝~·2023-09-16 04:02

人工智能安全-5-网络入侵检测

0提纲概述数据集数据预处理特征工程天池AI上的实践棘手问题1概述入侵检测是网络安全中的经典问题，入侵是指攻击者违反系统安全策略，试图破坏计算资源的完整性、机密性或可用性的任何行为。

HenrySmale·2023-09-16 04:01

天池_二手车价格预测_Task3_特征工程

0️⃣前言0️⃣.1️⃣赛题重述0️⃣.2️⃣数据集概述1️⃣异常缺失值删除1️⃣.1️⃣导入库与数据1️⃣.2️⃣异常值删除2️⃣树模型的特征构造2️⃣.1️⃣时间特征构造2️⃣.2️⃣城市信息特征提取2️⃣.3️⃣品牌特征提取3️⃣树模型的数据分桶4️⃣LR与NN模型的特征构造4️⃣.1️⃣与归一化4️⃣.2️⃣编码5️⃣特征选择5️⃣.1️⃣过滤式(filter)5️⃣.2️⃣包裹式(wra

柯摩Excalibur·2023-09-16 03:10

笔记（五）-传统图机器学习的特征工程-全图

1、引言-提取出的特征要能够反应全图结构特点2、全图信息种类Bag-of-NodesBag-of-Nodesdegrees-就是找同分异构体-和节点特征的子图不同的是可以存在孤立结点计算全图的子图个数，而不是特定邻域的子图个数Graphletkernel-两个图作数量积，得到一个标量，可以反应两个图是否相近-如果两个图比较相近，作均一化操作-子图匹配是一个需要较大消耗ColorRefinement

hlllllllhhhhh·2023-09-14 21:30

笔记（三）传统图机器学习的特征工程-节点

1、不同种类的任务2、传统图机器学习的几个层面（人工特征工程+机器学习）3、属性特征-节点本身的特征4、连接特征-节点的结构信息5、训练-预测6、好模型需要好数据-人工构造的特征（特征工程）-节点、连接

hlllllllhhhhh·2023-09-14 21:00

笔记（四）传统图机器学习的特征工程-连接

1、引言工作：通过已知连接，补全未知连接思想：直接提取link特征，把link变成D维向量把link两端节点的D维向量拼接在一起（不好，丢失了link本身的连接结构信息）2、连接分类客观静态图：蛋白质分子动态生成图：论文生成、社交网络（从上个时间（点或段）预测下个时间，并与真实的下个时间作比较）3、连接的特征分类两点之间-最短路径长度-容易忽略节点的重要度局部区域-邻居节点的共同邻居（邻域信息）-

hlllllllhhhhh·2023-09-14 21:26

task3 数据的特征工程

针对本次任务中遇到的问题，进行一些资料的补充。针对xgb等模型的理解lightgbm,xgboost,gbdt的区别与联系LR和树模型基础概念决策树、逻辑回归、线性回归使用时注意事项以及模型过拟合策略个人的理解是，这些模型大致分为两类，一类是线性模型（逻辑回归也算广义的线性），一类是树模型。这两类都可以处理回归问题，但是由于线性模型对数据更加敏感，而树模型具有更强的鲁棒性，所以比赛中常见的都是树模

欧飞红·2023-09-14 01:45

融360蒋宏：自动化特征工程和自动建模在风控场景的应用

file01背景和问题目前，模型开发的流程越来越规范化，通常可以分为业务分析、样本准备、特征工程、模型构建、模型评估及监控这几个步骤。

DataFunTalk·2023-09-13 19:20

【Python入门系列】第十一篇：Python机器学习入门

Python机器学习库1.scikit-learn（sklearn）2.TensorFlow3.Keras4.PyTorch5.NumPy6.Pandas三、Python机器学习整个过程的实现1.数据准备2.特征工程

JosieBook·2023-09-13 13:48

特征预处理,K-紧邻API

特征工程，特征预处理就是通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程特征的单位或者大小相差较大，或者某特征的方差比其他特征要打出几个数量级，容易影响（支配的结果），使得一些算法无法学习到其他的特征特征预处理

枭玉龙·2023-09-12 20:06

Python中的常见问题与解决方案

1.数据预处理和特征工程问题1：数据缺失和异常值处理。解决方案：可以使用Pandas等库的函数来处理缺失值，例如`fillna()`填充缺失值或`drop

华科℡云·2023-09-12 11:05

如何使用知识图谱增强信息检索模型？

该方法有两个较为明显的缺陷：1）只能通过TF-IDF等相关信号判断查询-文本相关性；2）模型没有深入理解查询和文本的语义信息，而是更多地依赖于特征工程的方法。

PaperWeekly·2023-09-11 20:45

自然语言处理重点第11章机器阅读理解复习

的区别:本章内容：MRC任务分类：完形填空形式（cloze-style）选项形式片段抽取形式（spanextraction）文本生成形式（free-answer/generation）阅读理解实现方法传统特征工程深层语义图匹配深度神经网络神经网络机器阅读理解基本框架嵌入编码

SiYuanFeng·2023-09-09 11:55

一个完整机器学习项目流程总结（转）

获取数据获取数据包括获取原始数据以及从原始数据中经过特征工程从原始数据中提取训练、测试数据。机器学习比赛中原始数据都是直接提供的，但是实际问题需要自己获得原始数据。

meetliuxin·2023-09-09 00:32

深度学习推荐系统(八)AFM模型及其在Criteo数据集上的应用

undo_try·2023-09-08 21:46

可视化大屏UI模板，随需切换，一秒生效

善用模板能够最大化地提高效率，美化可视化大屏，同时也能腾出更多时间去做深度数据分析挖掘。奥威BI可视化大屏支持UI模板随需切换，一秒生效。

qq_43696218·2023-09-08 18:43

特征工程

scikit-learn库介绍一.特征抽取的API都在sklearn.feature_extraction中1.字典数据的特征抽取fromsklearn.feature_extractionimportDictVectorizer实例化dt=DictVectorizer(sparse=False)调用方法dt.fit_transform()输入字典数据或字典的迭代器并转化用的是one-hot编码转

Little_Raccoon·2023-09-08 16:47

数据可视化分析怎么搞定?图分析？chart图分析？算法分析？

前言如果你有数据分析的场景需求;如果你有数据分析-图分析的场景需求;如果你需要汇报PPT,有形成数据图表的需求，如果你有数据分析挖掘的需求;如果你有日常研发图可视化/chart图可视化的需求....如果有需求欢迎您接着往下看

·2023-09-08 11:44

机器学习处理问题的基本路线

基本路线：1.搭建环境/数据读入2.数据分析3.特征工程4.建模调参5.模型融合异常处理：通过箱线图（或3-Sigma）分析删除异常值；BOX-COX转换（处理有偏分布）；长尾截断；特征筛选常用方法：过滤式

魔法橘子·2023-09-08 09:29

空间节省50%，时序性能提升5倍，三一重工从Hadoop+Spark到MatrixDB架构变迁实现One for ALL

更大满足各种业务场景需求作者于成铭-智能化所副所长褚凤天-大数据工程师工业设备互联采集是数字化工厂建设的基础，设备在运行的过程中会产生大量有价值的数据，例如：新泵车运行状态、搅拌压力、总泵送方量、异常报警信息等，为后续的数据分析挖掘提供最可靠的数据来源

YMatrix 官方技术社区·2023-09-07 20:56

推荐频道

数据分析挖掘-特征工程