E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
特征处理
企业级机器学习 Pipline - log 数据处理
其中,离线部分一般负责log数据整理,样本处理,
特征处理
和模型训练等。在线部分则包括线上的进行实时的predict过程(onlinepredict,也称为在线模型的Inference)。
算法全栈之路
·
2022-12-28 18:57
企业级推荐广告算法指南
算法
大数据
dnn
企业级机器学习 Pipline - 召回模型
企业级机器学习Pipline-召回模型part0书接上文,我们介绍了log数据处理,样本处理,
特征处理
,接下来我们开始介绍模型训练相关的内容。这里的模型通常就是指机器学习模型。
算法全栈之路
·
2022-12-28 18:20
企业级推荐广告算法指南
人工智能
深度学习
机器学习中,特征选择有哪些方法?
通过总结和归纳,人们认为特征工程包括以下方面:
特征处理
是特征工程的核心部分,sklearn提供了较为完整的
特征处理
方法,包括数据预处理,特征选择,降维等。首次接触到sklear
nathan_deep
·
2022-12-28 01:05
机器学习
机器学习——详解判别模型求解分类问题
Functionset设计函数选择最好的w和b更新参数w和b逻辑回归与线性回归对比逻辑回归为什么用交叉熵来找最优的参数而不用MAE或MSEGM与DM区别多维分类——以三类别为例GM生成模型DM判别模型输入
特征处理
尘心平
·
2022-12-25 08:39
#
机器学习——李宏毅
分类
逻辑回归
深度学习
神经网络
数据
特征处理
pca降维-小结
1.降维的主要目的是为了减少训练样本的时间,只保留重要的特征,去掉一些无关紧要的特征,至于是去掉哪些特征,保留哪些特征,这个就是pca要做的事情了,类似以下的例子:日期湿度温度是否购买衣服2022920是20221926是20221526否是否购买衣服与否和日期关系不大,和温度和湿度的关系比较大,这个结论从数学意义上说就是去掉方差小的特征,保留方差比较大的特征,这就是PCA的目的--顺便说一句,其
lixia0417mul2
·
2022-12-24 10:28
python机器学习
回归
机器学习
算法
随机森林回归树官方例子小结
这个例子只是对官方的决策树的几个例子进行解释,重点在于理解
特征处理
前的fit操作frompysparkimportSparkConffrompyspark.ml.featureimportVectorIndexerfrompyspark.sqlimportSparkSessionimporttracebackfrompyspark.sql.typesimport
lixia0417mul2
·
2022-12-24 08:32
python机器学习
回归
随机森林
spark
XGBoost 、逻辑回归、随机森林 模型实战对比
目录引言一、数据的
特征处理
二、导入XGBoost模型三、使用其他模型于XGBoost进行对比引言在XGBoost基本原理博文中我们介绍了XGBoost的基本原理,本篇博文我们将介绍XGBoost的基本使用方法
温旧酒一壶~
·
2022-12-24 07:55
机器学习算法
python
开发语言
后端
机器学习笔记28——Boosting方法之CatBoost算法原理及python实战
CatBoost算法引言1、CatBoost简介2、CatBoost原理2.1类别型
特征处理
2.1.1类别型特征常规工程操作2.1.2目标变量统计(TargetStatistics)引言\quad\quadCatBoost
珞沫
·
2022-12-23 19:50
机器学习
#
集成学习
机器学习
CatBoost
数据特征分析方法总结
因此,我今天主要希望通过理论推导并实现一些常用的数据特征分析方法来加强对数据
特征处理
的能力。分布分析分布分析:研究数据的分布特征和分布类型,分为定量数据和定性数据,并通过这两种类型来区分基本统计量。
Whitney_mao
·
2022-12-23 13:51
数据分析到数据专家之路
大数据
数据挖掘
数据分析第二章
数据分析第二章第二章:第一节数据清洗及
特征处理
导入numpy、pandas包和数据importnumpyasnpimportpandasaspd#加载数据train.csvdf=pd.read_csv(
Lomi222
·
2022-12-23 11:02
数据分析
python
Tensorflow.feature_column的总结
一、简介tensorflow提供了一个功能强大的
特征处理
函数tf.feature_column,featurecolumns是原始数据与estimator之间的过程,其内容比较丰富,可以将各种各样的原始数据转换为
anshuai_aw1
·
2022-12-23 08:36
深度学习
tensorflow
人工智能
深度学习
机器学习
【自然语言处理】文本预处理
1.认识文本预处理2.文本处理的基本方法2.1分词2.2命名实体识别2.3词性标注3.文本张量表示方法3.1one-hot3.2word2vec3.3wordembedding4.文本数据分析5.文本
特征处理
张小猪的家
·
2022-12-23 07:17
自然语言处理
自然语言处理(五):文本预处理之文本
特征处理
自然语言处理笔记总目录文本
特征处理
的作用:文本
特征处理
包括为语料添加具有普适性的文本特征,如n-gram特征,以及对加入特征之后的文本语料进行必要的处理,如长度规范。
GeniusAng丶
·
2022-12-23 07:17
自然语言处理
自然语言处理
人工智能
nlp
深度学习
python
多分类模型尝试-员工是否离职预测
目录文章目录前言一、初始化二、了解数据集三、了解变量四、
特征处理
五、建模5.1模型一:逻辑回归5.2模型二:KNN5.3模型三:随机森林总结前言本项目的主要内容是对公司员工进行分类预测其两年内是否会离职尝试模型
黄金猎犬
·
2022-12-22 15:56
机器学习
python
机器学习
数据挖掘
数据分析
推荐系统(Recommender System)笔记 03:推荐系统的重要思想
RecommenderSystem)笔记03:推荐系统的重要思想推荐系统的特征工程构建特征工程的原则推荐系统的常用特征用户行为数据用户关系数据属性、标签类数据内容类数据上下文信息统计类特征组合特征常用
特征处理
方法连续型
MYJace
·
2022-12-22 14:50
学习笔记
推荐系统
深度学习
推荐系统
人工智能
【nn.Parameter】Pytorch特征融合自适应权重设置(可学习权重使用)
实现自适应
特征处理
模块如下图所示:特征融合公式如下:Fff=α1∗Fid+α2∗Fdconv+α3∗Fmax+α4∗Fa
陈嘿萌
·
2022-12-22 13:06
Pytorch
特征融合
nn.Parameter
可学习权重
Sklearn之数据预处理——StandardScaler归一化
机器学习模型被互联网行业广泛应用,一般做机器学习应用的时候大部分时间是花费在
特征处理
上,其中很关键的一步就是对特征数据进行归一化,为什么要归一化呢?维基百科给出的解释:归一化后加快
Lu_mi
·
2022-12-21 15:21
深度学习---数据分析
机器学习
深度学习
python
机器学习-数据与特征工程
意义更好的特征意味着更强的灵活度更好的特征意味着只需用简单模型更好的特征意味着更好的结果二、数据与
特征处理
1.数据选择/清洗/采样数据采集哪些数据对最后的结果预测有帮助?数据我们能够采集到吗
diantu6020
·
2022-12-20 18:07
人工智能
python
大数据
广告营销用户点击预测分析
广告营销用户点击预测分析零、数据集以及数据集简介以及任务分析一、数据预处理1、加载检查数据(1)特殊特征(2)特殊特征的处理(3)特殊
特征处理
后生成的新特征2、数据类型与缺失值处理(1)查看数据信息(2
艾醒(AiXing-w)
·
2022-12-20 09:50
通俗易懂的机器学习
sklearn
数据挖掘
scikit-learn
集成学习
分类
自然语言处理(二):文本预处理之文本处理的基本方法
自然语言处理笔记总目录文本预处理中包含的主要环节文本处理的基本方法文本张量表示方法文本语料的数据分析文本
特征处理
数据增强方法文本处理的基本方法分词词性标注命名实体识别文本张量表示方法one-hot编码Word2vecWordEmbedding
GeniusAng丶
·
2022-12-19 16:24
自然语言处理
自然语言处理
人工智能
深度学习
nlp
神经网络
2022最新!视觉SLAM综述(多传感器/姿态估计/动态环境/视觉里程计)
目录摘要视觉SLAM算法的发展相关综述VSLAM设置标准传感器和数据采集目标环境视觉
特征处理
系统评估语义等级基于主要目标的VSLAM方法目标一:多传感器处理目标二:姿态估计目标三:现实世界可行性目标四:
自动驾驶之心
·
2022-12-17 10:40
算法
大数据
编程语言
计算机视觉
词集模型、词袋模型、词向量模型
不足:一个词在文本在文本中出现1次和多次
特征处理
是一样的,所有词同等对待。
卢容和
·
2022-12-16 21:15
NLP
nlp
机器学习
数据分析02——数据清洗及
特征处理
数据分析02——数据清洗及
特征处理
查看数据.info()打印DataFrame的简要摘要,显示有关DataFrame的信息,包括索引的数据类型dtype和列的数据类型dtype,非空值的数量和内存使用情况
上烟雨心上尘
·
2022-12-16 19:20
Data
analysis
数据分析
python
pandas
机器学习面经
机器学习面经1.机器学习常见面试问题算法要从以下几个方面来掌握:产生背景,适用场合(数据规模,特征维度,是否有Online算法,离散/连续
特征处理
等角度);原理推导(最大间隔,软间隔,对偶);求解方法(
LintaoD
·
2022-12-16 15:55
面试相关
Python数据分析之
特征处理
笔记六——特征预处理(案例分析)
摘要:阅读了前面文章的小伙伴们有没有对特征预处理有了一定的了解呢?接下来这篇文章将通过一个分析实践项目进一步了解特征预处理的过程。目录1.特征预处理1.1获取数据,数据清洗1.2确定标注1.3特征变换1.3.1Z-score标准化与最大最小标准化1.3.2标签法和独热法1.4特征降维2.模型建立数据来源:本文的数据及代码来源于B站up主,Python数据分析-数据挖掘教程_哔哩哔哩_bilibil
୧⍤⃝ Nakupenda
·
2022-12-16 09:11
KNN
python
数据分析
数据挖掘
Python数据分析之
特征处理
笔记五——特征预处理(特征降维及特征衍生)
书接上文,本次将介绍两种常用的特征降维的方法:主成分分析(PrincipalComponentAnalysis,PCA),线性判别分析(LinearDiscriminantAnalysis,LDA)。2.3特征降维2.3.1基本思想与特征选择的思想有着异曲同工之妙,都是希望在保留足够信息量的前提下获得比较精简的数据,以提高模型的运算速度。二者的不同之处就是降维的方式:特征选择是是直接删除冗余或不相
୧⍤⃝ Nakupenda
·
2022-12-16 09:41
机器学习
数据分析
数据分析
数据挖掘
机器学习
python
Python数据分析之
特征处理
笔记三——特征预处理(特征选择)
书接上文,进行数据清洗过程后,我们得到了没有空值、异常值、错误值的数据,但想要用海量的数据来建立我们所需要的算法模型,仅仅是数据清洗的过程是不够的,因为有的数据类型是数值,有的是字符,怎样将不同类型的数据联系起来?以及在保证最大化信息量的前提下,怎样得到便于分析的数据?这就是特征预处理要做的工作。一、理论基础1.基本概念特征预处理是数据预处理过程的重要步骤,是对数据的一个的标准的处理,几乎所有的数
୧⍤⃝ Nakupenda
·
2022-12-16 09:40
数据分析
机器学习
python
数据分析
机器学习
随机森林
决策树
【DeepCTR库】学习入门笔记02
featurecolumnfeaturecolumn.py类别
特征处理
:SparsFeat数值
特征处理
:DenseFeat序列
特征处理
:VarLenSparseFeat方法:get_feature_name
KryHan
·
2022-12-15 19:49
【推荐系统】
其他
学习
深度学习
人工智能
2.文本预处理(分词,命名实体识别和词性标注,one-hot,word2vec,word embedding,文本数据分析,文本
特征处理
,文本数据增强)
文章目录1.1认识文本预处理文本预处理及其作用文本预处理中包含的主要环节文本处理的基本方法文本张量表示方法文本语料的数据分析文本
特征处理
数据增强方法重要说明1.2文本处理的基本方法学习目标什么是分词分词的作用流行中文分词工具
GCTTTTTT
·
2022-12-15 18:43
nlp
word2vec
人工智能
python
nlp
自然语言处理
DataWhale 9月组队学习-动手学数据分析 task2_学习记录
数据清洗及
特征处理
通常原数据都是不干净的,可能存在异常值,缺失值以及其他问题。所以一般进行数据分析之前都需要先对数据进行清洗。
Kind_Jiang
·
2022-12-14 16:47
数据分析
python
r语言
机器学习
机器学习笔记:
特征处理
——相关性分析GINI impurity
做相关性分析的方法有很多,这里分享几个相关性分析。1、GINI系数什么是基尼系数呢,其实就是P(Y|X)的一种变形,用人话就是说,利用多个标签,是否能区分模型,也就是相关度。引入示例加深理解XY有钱老板有钱傻逼没钱老板没钱傻逼没钱傻逼如果他有钱的情况下,他是老板的概率为0.5(二分之一)他没钱的情况下,他是老板的概率为0.33(三分之一)所以他的GINI系数为
trader易
·
2022-12-13 13:39
机器学习
人工智能
Task02加篇1——小白理解决策树
树模型的拆分【回答问题1、3】2.1基尼不纯度(适用分类树)2.2信息增益(适用分类树)2.3方差法(适用回归树)3决策树的关键参数4树模型剪枝(注意在测试样本上进行评估)4.1预剪枝4.2后剪枝5连续值
特征处理
等等党
·
2022-12-13 06:48
DataWhale
决策树
机器学习
sklearn学习——
特征处理
sklearn学习——
特征处理
特征提取(featureextraction):从文字,图像,声音等其他非结构化数据中提取新信息作为特征。
鲑鱼683
·
2022-12-12 08:56
机器学习
机器学习
数据挖掘框架(结构化数据)
一、数据探索数据量数据缺失情况描述性统计特征理解特征分布周期性分析对比分析相关性分析训练集和测试集的分布一致性二、数据预处理缺失值处理异常值处理内存优化三、特征工程1.ID
特征处理
需要考虑训练集和测试集数据拆分方式
1289902828
·
2022-12-12 00:47
数据挖掘
数据挖掘
机器学习
人工智能
入门篇:医学影像组学与机器学习(进入飞桨Aistudio平台,不用配置环境,开箱即用)
发现
特征处理
、建立模型、分类/
吖查
·
2022-12-11 22:30
影像组学
机器学习
李宏毅机器学习笔记——13-深度学习介绍
中间层也叫
特征处理
。
qq_43389139
·
2022-12-11 04:22
朴素贝叶斯算法:对文本进行分类
二、使用贝叶斯算法对文本进行分类1、获取数据2、划分数据集3、特征工程(文本
特征处理
)4、朴素贝叶斯预估器流程5、模型评估6、结果7、完整代码三、总结一、什么是朴素贝叶斯算法?
Mae_strive
·
2022-12-10 19:53
分类
算法
python
AI学习[随堂笔记1127]_卷积网络相关
卷积降低宽高,增加通道的一种
特征处理
方式通常进行“下采样”“一核一通道”:一组卷积核,只卷积一组数据,只得到单通道的卷积结果感受野卷积结果每像素在原图上对应的大小,常为3*3同时,两个33叠加使用,可实现
麦没了块QAQ
·
2022-12-09 05:07
卷积
笔记
深度学习
人工智能
学习
深度学习
基于AlexNet、VGGnet和GoogleNet的图像检索
卷积神经网络具有特征学习能力,能够按其阶层结构对输入信息进行平移不变分类,其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的参数来进行
特征处理
。
最烦起名字嗄
·
2022-12-08 21:52
AI
深度学习
神经网络
CNN
图像检索
keras
深度学习
广告行业中那些趣事系列8:详解BERT中分类器源码
目录01整体模块划分02数据处理模块03
特征处理
模块04模型构建模块05
数据拾光者
·
2022-12-08 11:31
自然语言处理
文本分类
机器学习
广告
自然语言处理
tensorflow
机器学习数据分析——数据特征选定
特征处理
是特征工程的核心部分,scikit-leam提供了较为完整的
特征处理
方法,包括数据预处理、特征选择、降维等。
小零呦
·
2022-12-06 14:16
机器学习数据分析笔记
python
机器学习
数据分析
【方法】机器学习中的数据清洗与
特征处理
来源:http://tech.meituan.com/machinelearning-data-feature-process.html背景随着美团交易规模的逐步增大,积累下来的业务数据和交易数据越来越多,这些数据是美团做为一个团购平台最宝贵的财富。通过对这些数据的分析和挖掘,不仅能给美团业务发展方向提供决策支持,也为业务的迭代指明了方向。目前在美团的团购系统中大量地应用到了机器学习和数据挖掘技术
一寒惊鸿
·
2022-12-06 14:14
机器学习
机器学习
机器学习中的数据清洗与
特征处理
综述
背景随着美团交易规模的逐步增大,积累下来的业务数据和交易数据越来越多,这些数据是美团做为一个团购平台最宝贵的财富。通过对这些数据的分析和挖掘,不仅能给美团业务发展方向提供决策支持,也为业务的迭代指明了方向。目前在美团的团购系统中大量地应用到了机器学习和数据挖掘技术,例如个性化推荐、筛选排序、搜索排序、用户建模等等,为公司创造了巨大的价值。本文主要介绍在美团的推荐与个性化团队实践中的数据清洗与特征挖
Bryan__
·
2022-12-06 14:41
机器学习
机器学习预处理
数据清洗
机器学习之数据特征选定
特征处理
包括数据预处理、特征选择、降维等。
疋瓞
·
2022-12-06 14:11
机器学习
python
sklearn
NLP-文本预处理
文章目录1、文本预处理及其作用2、文本预处理中包含的主要环节3、文本处理的基本方法4、文本张量表示方法5、文本语料的数据分析6、文本
特征处理
7、数据增强方法1、文本预处理及其作用文本语料在输送给模型之前一般需要一系列的预处理工作
一蓑烟雨紫洛
·
2022-12-05 12:58
nlp
自然语言处理
数据挖掘
人工智能
第五课 机器学习中的特征工程
本系列是七月算法机器学习课程笔记文章目录1特征工程与意义2数据与
特征处理
2.1数据采集2.2数据清洗2.3数据采样2.4
特征处理
2.4.1数值型2.4.2类别型2.4.3时间型2.4.3文本型2.4.4
约定写代码
·
2022-12-04 12:33
机器学习
机器学习
特征处理
大数据精准营销(五)
文章目录前言事实类标签构建关键词匹配分组聚合规则类标签构建从事实类标签进行延伸RFM模型预测类标签构建特征提取
特征处理
训练集和测试集预测模型:逻辑回归文本类标签构建文本标签的提取方法描绘用户画像前言上一节已经完成了该精准营销的项目
PqqqqqqY
·
2022-12-04 10:55
big
data
python
大数据
卷积的计算
卷积也可以叫滤波(filter),在整个
特征处理
中,位置如下图。图1
特征处理
卷积的作用就是求特征,具体应用例如传统的双边滤波进行磨皮到深度学习进行人脸识别等都是的。这里我们讲一下具体卷积的计算方法。
donggui8650
·
2022-12-02 16:13
数据清洗及
特征处理
数据清洗及
特征处理
导入numpy、pandas包和数据#加载所需的库importnumpyasnpimportpandasaspd#加载数据train.csvdf=pd.read_csv('train.csv
侍伟
·
2022-12-02 11:34
python
数据分析
第二章:数据清洗及
特征处理
开始之前,导入numpy、pandas包和数据#加载所需的库importnumpyasnpimportpandasaspd#加载数据train.csvdata=pd.read_csv('train.csv')data.head(3)我们一般拿到的数据比较杂,有很多的噪音,需要进一步的处理。譬如数据中有异常值,缺失值,经过一定的处理后才能够做后面的分析和处理。所以需要进行数据的清洗2.1缺失值的观察
许大博
·
2022-12-02 11:34
机器学习
R学习
数据挖掘
python
数据分析
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他