特征工程系列学习第10页

4.Python数据分析项目之广告点击转化率预测

可以用直接查看方式isnull、图像查看方式查看缺失值missingno）、查看数值类型特征与非数值类型特征、一次性绘制所有特征的分布图像预处理缺失值处理（填充）拆分数据（获取有需要的值）、统一数据格式、特征工程

想成为数据分析师的开发工程师·2023-11-08 08:27

讯飞AI算法挑战大赛-校招简历信息完整性检测挑战赛-三等奖方案

前言本文公开了”讯飞AI算法挑战大赛-校招简历信息完整性检测挑战赛“赛道的技术方案，本次比赛主要采用pdf解析和特征工程的方法，通过使用lightgbm的树模型10折交叉验证进行二分类的任务，最终取得三等奖的成绩

余俊晖·2023-11-07 10:21

【MongoDB】从入门到精通mongdb系列学习宝典，想学mongodb小伙伴请进来

最近一段时间在学习MongoDB，在学习过程中总共编写了四十余篇博客。从mongodb软件下载到分片集群的搭建。从理论讲解到实例练习。现在把所有博客的内容做个简单目录，方便阅读的小伙伴查询。一、入门下载mongodb[英文]安装Mongodb[英文]配置MongoDB[英文]一些常用命令[英文]基本操作[英文]二、查询和更新高级查询之条件查询（一）[英文]高级查询之条件查询（二）[英文]高级查询之

风中静行·2023-11-07 00:17

SSM框架系列学习总结5之Mybatis实现基本CRUD和代理开发模式

首先,回顾Mybatis的入门使用方法:创建Java工程导入相关jar包jar.png其中,需要数据库驱动包,Mybatis核心包,包括JUnit单元测试所需的jar包hamcrest-core和junit-4.12日志格式输出的jar包log4j和commons-logging准备Mybatis的全局配置文件具体内容见上一篇整理的博客!准备Mybatis的映射文件在映射文件中编写sql语句单元测

梦蓝樱飞2020·2023-11-06 20:47

金融风控-贷款违约预测学习笔记(Part3：特征工程)

金融风控-贷款违约预测学习笔记（Part3：特征工程）1.特征预处理1.1处理类别型特征和数值型特征1.2缺失值填充1.3时间格式处理1.4将对象类型特征转换到数值1.5类别特征处理1.6异常值处理1.6.1

查尔char·2023-11-06 16:53

金融风控-->申请评分卡模型-->特征工程（特征分箱，WOE编码）标签：金融特征分箱-WOE编码 2017-07-16 21:26 4086人阅读评论(2) 收藏举报分类：金融风

元宇宙iwemeta·2023-11-06 16:23

零基础入门金融风控之贷款违约预测—特征工程

初始化importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportseabornassnsimportdatetimefromtqdmimporttqdmfromsklearn.preprocessingimportLabelEncoderfromsklearn.feature_selectionimportSelectKBes

sosososoon·2023-11-06 16:52

数据挖掘组队学习-金融风控0基础入门-Task3

金融风控0基础入门-Task3特征工程目标一、数据预处理二、异常值处理三、数据分箱四、特征交互五、特征编码六、特征选择目标学习特征预处理、缺失值、异常值处理、数据分桶等特征处理方法学习特征交互、编码、选择的相应方法完成相应学习打卡任务

听风啊·2023-11-06 16:50

机器学习项目的完整流程：①数学建模、②获取数据、③数据预处理、④特征工程、⑤模型的选择、⑥模型训练、⑦模型调优、⑧模型评价、⑨模型融合、⑩上线

一、抽象成数学问题明确问题是进行机器学习的第一步。机器学习的训练过程通常都是一件非常耗时的事情，胡乱尝试时间成本是非常高的。这里的抽象成数学问题，指的我们明确我们可以获得什么样的数据，目标是一个分类还是回归或者是聚类的问题，如果都不是的话，如果划归为其中的某类问题。二、获取数据数据决定了机器学习结果的上限，而算法只是尽可能逼近这个上限。数据要有代表性，否则必然会过拟合。而且对于分类问题，数据偏斜不

u013250861·2023-11-06 15:01

Q_cy·2023-11-05 20:12

文章推荐系统 | 七、构建离线文章特征和用户特征

接下来，我们还要为排序阶段的各种排序模型做数据准备，通过特征工程将画像数据进一步加工为特征数据，以供排序模型

小王子特洛伊·2023-11-05 13:56

2019-05-18某某面试

三面1：一个小姐姐，问了很多特征工程的，glove怎么做的，协同过滤怎么做的，你用的特征哪些重要度比较高，为什么模型没用glove，你踩过的坑是

不将就_215a·2023-11-05 11:03

GPT系列学习笔记

GPT1GPT-3关于GPT-3的主要事实:模型分类:GPT-3有8个不同的模型，参数从1.25亿到1750亿不等。模型大小:最大的GPT-3模型有1750亿参数。这比最大的BERT模型大470倍(3.75亿个参数)体系结构:GPT-3是一种自回归模型，使用仅有解码器的体系结构。使用下一个单词预测目标进行训练学习方式:GPT-3通过很少的学习，学习时没有梯度更新需要训练数据:GPT-3需要较少的训

银晗·2023-11-05 10:20

阿里云天池大赛赛题（机器学习）——阿里云安全恶意程序检测（完整代码）

目录赛题背景全代码（ML和DL）特征工程进阶与方案优化代码特征工程进阶部分基于LightGBM的模型验证模型测试深度学习解决方案：TextCNN建模代码数据读取数据预处理TextCNN网络结构TextCNN

全栈O-Jay·2023-11-05 06:18

阿里云安全恶意程序检测之数据探索

特征工程文本预处理不同于传统的

solejay·2023-11-05 06:45

阿里云安全恶意程序检测

阿里云安全恶意程序检测赛题理解赛题介绍赛题说明数据说明评测指标赛题分析数据特征解题思路数据探索数据特征类型数据分布箱型图变量取值分布缺失值异常值分析训练集的tid特征标签分布测试集数据探索同上数据集联合分析file_id分析API分析特征工程与基线模型构造特征与特征选择基于数据类型的方法基于多分析视角的方法特征选择构造线下验证集评估穿越训练集和测试集的特征性差异训练集和测试集是分布差异性基线模型特

盖盖的博客·2023-11-05 06:10

dominic_z·2023-11-04 03:19

《labuladong的算法小抄》| 笔记

《labuladong的算法小抄》笔记第零章必读系列学习算法和刷题的框架思维一、数据结构的存储方式二、数据结构的基本操作三、算法刷题指南第零章必读系列计算机的递归思维，自顶向下，逐步求精，反向求解。

WaterontheMoom·2023-11-04 01:13

任务驱动学用融通——指向核心素养的学习任务群设计

语文学习任务群由相互关联的系列学习任务组成,共同指向学生的核心素养发展。那么，在实际教学中,如何以任务为驱动,在坚持素养导向的同时落实语文要素呢?现在我就以今天这节课为例，谈谈基于学习任务群视域下，

湃同学·2023-11-04 00:18

特征工程（二）——特征选择

实际工作中，特征工程是去除数据中的杂质，提炼为更合理的特征，供算法和模型使用。特征工程主要包括特征归一化、类型特征的表示、特征选择及非结构化数据的表示。本文主要介绍特征选择的常用方法。现实

叫我e卵石·2023-11-03 20:52

深度学习推荐系统-DeepCrossing

DeepCrossing1.动机这个模型就是一个真正的把深度学习架构应用于推荐系统中的模型了，2016年由微软提出，完整的解决了特征工程、稀疏向量稠密化，多层神经网络进行优化目标拟合等一系列深度学习再推荐系统的应用问题

Q_cy·2023-11-03 09:02

Java系列学习笔记 --- 集合(4) 集合框架知识汇总

目录前言一、集合概述1.1Set接口1.2List接口1.3Map接口二、Collection接口2.1遍历Collection接口2.1.1for-each循环迭代2.1.2ForEach(consumeraction)方法2.1.3Iterator迭代器三、Set集合3.1HashSet类3.2TreeSet类定制排序四、List集合4.1ArrayList类4.2LinkedList实现类五

LaoYe - IT·2023-11-03 03:59

多线程进阶：synchronized底层原理，锁优化、锁升级的过程

synchronized底层原理Java对象组成MarkWord二、JVM对synchronized的优化锁消除锁粗化锁升级三、锁升级的过程偏向锁轻量级锁重量级锁优缺点提示：以下是本篇文章正文内容，Java系列学习将会持续更新一

一只咸鱼。。·2023-11-03 02:38

机器学习

目录准备特征工程：scikit-learn介绍：数据特征抽取：热编码：适合类别型数据处理方式sklearn特征抽取API字典特征抽取文本特征抽取TF_IDF(评估重要性):数据特征预处理：通过数学算法把数据转为算法要求的数据归一化算法

性感奎爷在线写代码·2023-11-02 19:00

Kubernetes 系列学习笔记 - 理论详解（初识 K8s）

文章目录前言Kubernetes/K8s理论详解1.K8s是什么？2.K8s特性3.小拓展（业务升级）4.K8s集群架构与组件①架构拓扑图：②Master组件③Node组件5.K8s核心概念前言Kubernetes，简称K8s，是一个开源的，用于管理云平台中多个主机上的容器化的应用其技术难度与入门门槛较高，学习之前，建议掌握以下基础：熟悉Linux基础命令熟悉Docker基本管理了解SSL证书工作

Xucf1·2023-11-02 17:55

计算机网络原理系列学习笔记（三）——传输层

前言网课学习的视频来源：b站《自考04741计算机网络原理》本章知识结构传输层的基本服务传输层的复用与分解停—等协议与滑动窗口协议用户数据报协议(UDP)传输控制协议（TCP)传输层的基本服务一、传输层功能核心任务：为应用进程提供端到端的逻辑通信服务主要功能：传输层寻址应用层报文的分段与重组报文的差错检测进程间的端到端可靠数据传输控制面向应用层实现复用与分解端到端的流量控制拥塞控制需要注意的是：传

爱喝粥的Young同学·2023-11-02 07:32

openEuler 笔记：进程1：程序的加载运行、进程的描述（PCB、进程状态）

本系列学习笔记基本上是博主的《openEuler操作系统》读书笔记，中间插入一些自己查的资料以及翻到的感觉有用的源代码默认架构为ARM程序及其加载执行类UNIX的二进制程序一般为ELF格式，一个【逻辑意义上作为整体的程序

marsCatXDU_李经纬·2023-11-02 06:25

算法工程师每天都在干嘛？

相信大部分算法工程师每天的工作都是：提出技术方案->收集数据->预处理数据->撰写特征工程->模型训练->调参->看结果->调参->看结果->重新收集数据->预处理数据->收集更多数据->调参->调参-

Amusi（CVer）·2023-11-02 01:13

_龙雀·2023-11-01 22:27

Flutter笔记——handleDrawFrame帧绘制系列之一(源码学习)

Flutter系列学习笔记Flutter笔记——handleDrawFrame帧绘制系列之一(源码学习)Flutter笔记——runApp发生了什么(源码学习)Flutter笔记——State.setState

茶太浓·2023-11-01 17:00

特征工程实践总结

特征工程是将原始数据，通过业务逻辑理解、数据变换、特征交叉与组合等方式，量化成模型训练和预测可直接使用的特征的过程。其中主要包括了数据认知，数据清洗，特征构建，特征选择四个部分。

caomengsi·2023-11-01 14:53

论文阅读 - DCGNN: Dual-Channel Graph Neural Network for Social Bot Detection

现有的方法可以分为特征工程和基于深度学习的方法，它们主要关注静态特征，例如帖子特征和用户档案。

无脑敲代码，bug漫天飞·2023-11-01 12:59

读懂诗歌：Louise Glück 系列学习（七）你需要在每个不懂的意象处停留

《露易斯.格利克：所谓痛苦，就是我没有被人爱过，我却还爱着》文/巴黎夜玫瑰路易斯·格丽克的诗集很多，但目前国内引进的只有两本书，一本是《直到世界反映了灵魂最深层的需要》，另一本是《月光的合金》。其中第一本书包含了2006年的诗集《阿弗尔诺》，2009年的诗集《村居生活》，以及早期的几本诗集《头生子》，《沼泽地上的房屋》，《下降的形象》，《阿基里斯的胜利》，和《阿勒山》；所以今天的解析，我先从她早期

Annie灵兮·2023-11-01 11:40

CS224W3.1——节点Embedding

传统图机器学习流程是这样的：从之前的文章中，我们看到了如何将机器学习与特征工程结合起来，对节点、链接和图形进行预测。在本文中，我们将重点介绍一种称为图表示学习的新技术，它可以减轻对特征工程的需求。

阿牛大牛中·2023-11-01 05:57

Azure机器学习 - 在 Azure 机器学习中上传、访问和浏览数据

设置内核三、下载使用的数据四、创建工作区的句柄五、将数据上传到云存储空间六、访问笔记本中的数据七、创建新版本的数据资产八、清理资源机器学习项目的开始阶段通常涉及到探索性数据分析(EDA)、数据预处理（清理、特征工程

TechLead KrisChang·2023-10-31 21:55

机器学习之特征工程

机器学习之特征工程转载自：点击打开链接在这个振奋人心的程序员节日里，我决定认真地写一篇文章来纪念一下自己这长达六年程序员史。

jiangjiane·2023-10-31 08:21

机器学习-特征工程

一、特征工程介绍1.1什么是特征数值特征（连续特征）、文本特征（离散特征）1.2特征的种类1.3特征工程特征是机器学习可疑直接使用的，模型和特征之间是一个循环过程；实际上特征工程就是将原始数据处理成机器学习可以直接使用数据的过程

lalajh·2023-10-31 08:19

滴滴大数据算法大赛Di-Tech2016参赛总结

https://www.jianshu.com/p/4140be00d4e3题目描述建模方法特征工程我的几次提升方法从其他队伍那里学习到的提升方法总结和感想神经网络方法的一点思考大数据量与分布式计算的一点思考参加比赛和学习知识的对比最后的感受趣事写在前面我是一个之前

weixin_30325071·2023-10-31 06:35

机器学习之逻辑回归（Logistic Regression）

逻辑回归一、逻辑回归理论概述二、sklearn逻辑回归的使用1.正则化参数2.特征工程（可解释的特征降维）：embedded3.梯度下降：重要参数max_iter4.二元回归和多元回归重要参数：solver

`AllureLove·2023-10-31 02:42

基于【逻辑回归】的评分卡模型金融借贷风控项目实战

完整的模型开发所需流程包括：获取数据，数据清洗和特征工程，模型开发，模型检验和评估，模型上线，模型检测和报告。

数字生命Allen·2023-10-31 02:38

Ruby系列学习资料（三）

三、OOPinRubyRuby的所有元素与OOP语言关系更密切，如对象封装，数据隐藏，方法的多态和覆写，类的层次和继承。它更进一步地添加了有限制的元类特征，单态方法，模块和混插。类似的概念在其它OOP语言内使用了其它的名字，但是相同名字的概念在语言之间也有些差别。这个部分详尽阐述OOP的这些元素在Ruby中的理解和用法。1、对象在Ruby中，所有的数字，字符串，数组，正则表达式，和更多其它实体都是

lee576·2023-10-30 19:47

ML&DEV[9] | gRPC初体验

往期回顾：ML&DEV[4]|机器学习进阶线路ML&DEV[5]|系统理解特征工程ML&DEV[6]|算法工程师Linux必知必会ML&

机智的叉烧·2023-10-30 18:37

【机器学习】项目数据处理部分

文章目录前言项目理解数据探索特征工程总结前言本文参考《阿里云天池大赛赛题解析》，拿到一个项目或者赛题，使用机器学习来进行预测分类，需要以下七个步骤：项目（赛题）理解数据探索特征工程模型训练模型验证特征优化模型融合本本是数据处理

高朗·2023-10-30 10:09

分布式数据库学习4-事务一致性

《暗时间》刘未鹏此系列学习分布式数据库30讲的笔记，导图是本文结构，具体细节在后文，可用导图回忆框架，具体细节再具体查看。文章图片和部分内容来自极客时间，如有版权问题，请联系我删除。

尔等同学·2023-10-29 20:54

Java多线程之wait和notify详解以及实现阻塞队列

文章目录一、wait()和notify()Condition二、阻塞队列JDK中的BlockingQueue自己实现一个阻塞队列提示：以下是本篇文章正文内容，Java系列学习将会持续更新一、wait()

一只咸鱼。。·2023-10-29 20:23

数据特征工程 | 基于PCA算法（Python）

随着数据量的不断增加和数据维度的不断扩展，如何进行高效的数据降维处理成为了一个热门话题。在数据分析领域，PCA算法作为一种常用的数据降维方法，可以对多个特征进行降维，提高计算效率和降低存储空间需求。本文以波士顿房价数据集为例，探讨如何利用PCA算法对房屋价格进行降维。本文将通过Python代码实现PCA降维，并使用波士顿房价数据集进行演示。我们将从数据加载、模型训练到PCA降维和数据可视化全方位地

算法如诗·2023-10-29 14:42

特征工程——数据降维

基于特征选择的降维基于特征选择的降维指的是根据一定规则和经验，直接选取原有维度的一部分参与到后续的计算和建模过程，用选择的维度代替所有维度，整个过程不产生新的维度。基于特征选择的降维方法有4种思路：·经验法：根据业务专家或数据专家的以往经验、实际数据情况、业务理解程度等进行综合考虑。业务经验依靠的是业务背景，从众多维度特征中选择对结果影响较大的特征；而数据专家则依靠的是数据工作经验，基于数据的基本

李代数·2023-10-29 14:42

数据特征工程 | 基于KPCA算法（Python）

当我们处理高维数据时，经常会遇到维度灾难的问题，即许多算法无法有效处理高维数据，且计算不仅变得更加复杂，还存在过拟合和维数诅咒等问题。因此，如何有效地降低数据维度是一个关键问题。为此，很多学者提出了各种降维算法，其中主成分分析（PCA）是最常见的一种方法。然而，在许多应用中，由于数据并不是线性可分的，因此PCA的优化目标并不能很好地适应这些数据。在这种情况下，核主成分分析（KPCA）算法被广泛使用

算法如诗·2023-10-29 14:41

机器学习(一) —— 机器学习基础

Python——机器学习机器学习(一)——机器学习基础一、数据集1.1加载数据集1.2划分数据集二、特征工程2.1特征预处理(归一化/标准化)2.2特征降维(特征选择/主成分分析/线性判别器)2.3特征提取

share16·2023-10-29 09:41

python 机器学习（一）机器学习概述与特征工程

同步更新在个人网站：http://www.wangpengcufe.com/machinelearning/pythonml-pythonml1/一、机器学习概述1.1、什么是机器学习？机器学习是从数据中自动分析获得规律（模型），并利用规律对未知数据进行预测1.2、为什么需要机器学习？解放生产力，智能客服，可以不知疲倦的24小时作业解决专业问题，ET医疗，帮助看病提供社会便利，例如杭州的城市大脑1

王小鹏的随笔·2023-10-29 09:41

推荐频道

特征工程系列学习