小羊和小何

机器学习基础：特征选择

1. 需要特征选择的原因

2. 特征选择的方法

2.1 Wrappers 包装法

2.1.1 可实现的Wrapper方法：sequential forward selection（贪心法）

2.1.2 可实现的Wrapper方法：sequential backward selection（消融法）

2.2 Filtering 过滤法

2.2.1 Pointwise Mutual Information（PMI）逐点互信息法

2.2.2 Mutual information（MI）互信息法

2.2.3 卡方检验

3. 特征选择的常见问题

4. 其他特征选择方法

4.1 TFIDF 词频-逆向文件频率选择法

4.2 Embedded 嵌入法

4.3 sklearn 中的特征选择

5. 模型选择的影响

1. 需要特征选择的原因

GIGO: Garbage In, Garbage out

数据集中往往包含一些噪声和无用的特征，这些特征就是垃圾，如果我们放任它们参与训练不加以选择的话，会导致模型输出垃圾的结果。

对数据做一些预处理和清洗的方法有：

数据清洗 data cleaning
数据聚合 data aggregation
缺失值填补 dealing with missing values
数据范围调整和数值归一化 scaling or normalization
特征二值化 bianarization

在对数据进行预处理和清洗之后，我们就可以进行特征选择了。

特征选择的主要目标是：

根据一些评价指标，让模型拥有更好的表现。

特征选择的其他目标是：

通过筛选出的重要特征来获得一些启发和对某些问题另外角度的理解

更少的功能 $\rightarrow$ 更小的模型 $\rightarrow$ 更快的回答；更准确的答案 >> 更快的答案。

2. 特征选择的方法

我们拿到一组数据以及确定了任务之后，我们如何筛选特征呢？一种方法是靠直觉和生活经验，即的方法。但绝大多数情况下你不能这么干，因为数据集可能很大，而且很多个特征之间的关系你也并不知道，所以最好的办法是根据某些统计学的知识来进行特征的筛选。

2.1 Wrappers 包装法

包装法采用递归的方式进行

具体方法：

从个特征开始，不断地增加特征的数量然后比较最终的预测结果是否有提升

或者从使用所有特征开始，不断地减少特征的数量直到减少到一个特征，进行观察

例子：对于天气数据选择最好的特征集

包装法的优点：

可以找到符合验证集的最佳特征集合

包装法的缺点：

对于一些特征数量很大的数据集，这几乎是不可实践的，因为假设一共有个特征，那么复杂度是：

$\binom{m}{1}+\binom{m}{2}+...+\binom{m}{m}=m+\frac{m!}{2!(m-2)!}+...+1=2^{m}-1$

完整的包装方法需要多长时间？

假设我们有一个快速的方法（例如），在一个中等规模的数据集上（个实例）。如果每个训练——评估周期需要10秒来完成。对于m个属性：

$\left ( 2^{m}-1 \right )$ 组合 $\rightarrow$ $\approx \frac{2^{m}}{6}$ 分钟， $m=10 \rightarrow \approx 3 h$ ， $m=60 \rightarrow \approx 3.2^{15} h$ 。

所以包装法只对非常小的数据集有用。

2.1.1 可实现的Wrapper方法：sequential forward selection（贪心法）

这是一种使用贪心策略来完成特征筛选的方法，算法流程如下：

在每个单一属性上训练和评估模型。

选出能够导致最好结果的属性。

进行下列操作直到模型收敛：

训练和评估这个单一的最佳属性并且以为基础分别加上剩下的所有单一属性来构成包含两个属性的特征集合 $\left \{ O , T \right \},\left \{ O , H \right \},\left \{ O , W \right \}$ 。

再选出最佳的特征子集，然后以当前筛选出的特征子集为基础，以剩下的单个特征为原料不断地将这个集合不断扩大。

停止条件：表现不再提高（accuracy）

从上面的过程我们可以看到，经过不断迭代，最终到收敛的时候会选择出最佳的前个特征构成特征集合（假设特征空间一共有个特征）。

假设全部个特征都能够参与构成最后使用的特征空间，那么的这过程的时间复杂度可以用如下公式计算：
$m+(m-1)+...+1=\frac{m(m+1)}{2}$

在实际的应用中收敛其实会更早到来，不会用尽所有的个特征，模型可能会很快的选择出一个最优的特征子集并完成收敛。但是也有可能收敛到一个次优甚至糟糕解决方案。

这个过程假设所有的特征之间是相互独立的

2.1.2 可实现的Wrapper方法：sequential backward selection（消融法）

这种方法是和的筛选方式相对的一种筛选方法，的方法是刚开始使用的特征集合为空 $\left \{ \right \}$ 然后逐个地将最好的特征加入到这个集合中直到模型收敛形成最佳的特征子集

而的方法的过程刚好相反，它是通过将全部的特征作为开始的集合，然后从这些特征中不断选出最不影响精度结果的特征然后从集合中剔除，最终剩下能满足模型收敛的最佳的特征子集。

算法的流程如下：

将所有的特征都用于模型的训练

删掉某一个特征，然后对模型重新训练和评估

进行如下的操作直至收敛：

从剩下的所有特征中分别单独删除单个的特征，对模型进行重新训练和评估

删除掉那个删掉之后让模型退化程度最小的特征（删除那个最可有可无的特征）

结束条件：性能的下降到某一个阈值 $\epsilon$ 之下

顺序逆向选择的优点：

在开始时删除大部分不相关的属性
当最佳子集很大时，表现最好

顺序逆向选择的缺点：

运行时间：属性越多，周期就越慢
在大型数据集上不可行

2.2 Filtering 过滤法

过滤法的出发点就是要对每个特征进行评估，衡量每个评估有多好，有多不好，然后过滤那些不够好的特征。过滤法和模型的训练是独立的，不需要通过模型的训练来迭代地选择特征，只是采用统计的方法来完成特征的筛选。过滤法分开单独考虑每个特征，因此时间复杂度是线性的。过滤法也是最常用的特征筛选方法。

我们如何评价一个特征是好是坏呢？

一个好的特征应该是和分类结果有相关关系的；也就是说这个特征能够对最终分类的结果起一定程度的作用。

哪个属性是好的， $a_{1}$ 还是 $a_{2}$ ？

$a_{1}$ 可能比较好：

$a_{2}$ 可能不够好：

很显然在这个例子中如果你只看 $a_{1}$ 的值你就能够得出的值，这种情况下，我们就说 $a_{1}$ 和的相关性很大。而它也就是一个对于分类任务而言很好的特征。

为了用数学的形式来衡量这种相关性，我们下面介绍三种常用的方法：

2.2.1 Pointwise Mutual Information（PMI）逐点互信息法

我们都知道满足独立性的两个事件其概率应该满足如下公式：

当 $\frac{P(A,C)}{P(A)P(C)}> > 1$ 的时候，属性和属性是有正向的相关关系的
当 $\frac{P(A,C)}{P(A)P(C)}\approx 1$ 的时候，属性和属性是相互独立的
当 $\frac{P(A,C)}{P(A)P(C)}< < 1$ 的时候，属性和属性是有负相关关系的

互信息的定义式：

$PMI(A=a,C=c)=log_{2}\frac{P(a,c)}{P(a)P(c)}$

最好的属性（特征）的衡量标准：与类别属性具有最大的属性。

例子：

这个实例中，属性 $a_{1}$ 有两种不同的值，类别属性也有两种不同的值。所以我们求算 $a_{1}$ 和之间的应该计算4个，即 $PMI(a_{1}=Y,c=Y)$ ， $PMI(a_{1}=Y,c=N)$ ， $PMI(a_{1}=N,c=Y)$ ， $PMI(a_{1}=N,c=N)$ 。

$PMI(a_{1}=Y,c=Y)$ ：

$P(a_{1}=Y)=\frac{2}{4},P(c=Y)=\frac{2}{4},P(a_{1}=Y,c=Y)=\frac{2}{4}$

$PMI(a_{1}=Y,c=Y)=log_{2}\frac{\frac{1}{2}}{\frac{1}{2}\cdot \frac{1}{2}}=log_{2}2=1$

$PMI(a_{2}=Y,c=Y)$ ：

$P(a_{2}=Y)=\frac{2}{4},P(c=Y)=\frac{2}{4},P(a_{2}=Y,c=Y)=\frac{1}{4}$

$PMI(a_{2}=Y,c=Y)=log_{2}\frac{\frac{1}{4}}{\frac{1}{2}\cdot \frac{1}{2}}=log_{2}1=0$

结论：对于 $a_{1}$ ， $a_{2}$ 来说， $a_{1}$ 的和的的相关性更大

特征好坏的判断标准：

与有吸引力的类别有很好的相关性：知道让我们更有信心地预测
与有吸引力的类别反向相关：知道 $\bar{a}$ 让我们更有信心地预测
与没有吸引力的类别有很好的相关性或相反的相关性：知道让我们更有信心地预测 $\bar{c}$ ，通常没有那么好，但仍然有用。

2.2.2 Mutual information（MI）互信息法

具体表达式：

考虑， $\bar{a}$ ，， $\bar{c}$ 之间的的综合结果，即：

$MI(A,C)=P(a,c)log_{2}\frac{P(a,c)}{P(a)P(c)}+P(\bar{a},c)log_{2}\frac{P(\bar{a},c)}{P(\bar{a})P(c)}+P(a,\bar{c})log_{2}\frac{P(a,\bar{c})}{P(a)P(\bar{c})}+P(\bar{a},\bar{c})log_{2}\frac{P(\bar{a},\bar{c})}{P(\bar{a})P(\bar{c})}$

也可以表示为：

$MI(A,C)=\sum _{i\in \left \{ a,\bar{a} \right \}}\sum _{i\in \left \{ c,\bar{c} \right \}}P(i,j)log_{2}\frac{P(i,j)}{P(i)P(j)}$

$0log_{2}0=0$

例子：

用一张表来帮助我们计算互信息：

其中 $\sigma \left ( \cdot \right )$ 代表当前格子中的数量，是总数。所以我们表示某个格子的概率，可以写成：
$P\left ( \cdot \right )= \frac{\sigma \left ( \cdot \right )}{M}$

现在将那张图转换成表格，可以写成

对于 $a_{1}$ 和的互信息计算过程可以如下表示：

$P\left ( a_{1} \right )=\frac{2}{4},P(c)=\frac{2}{4},P(\bar{a_{1}})=\frac{2}{4},P(\bar{c})=\frac{2}{4}$

$P(a_{1},c)=\frac{2}{4},P(\bar{a_{1}},c)=0,P(a_{1},\bar{c})=0,P(\bar{a_{1}},\bar{c})=\frac{2}{4}$

$MI(A,C)=P(a,c)log_{2}\frac{P(a,c)}{P(a)P(c)}+P(\bar{a},c)log_{2}\frac{P(\bar{a},c)}{P(\bar{a})P(c)}+P(a,\bar{c})log_{2}\frac{P(a,\bar{c})}{P(a)P(\bar{c})}+P(\bar{a},\bar{c})log_{2}\frac{P(\bar{a},\bar{c})}{P(\bar{a})P(\bar{c})}$

$=\frac{1}{2}log_{2}\frac{\frac{1}{2}}{\frac{1}{2}\cdot \frac{1}{2}}+0log_{2}\frac{0}{\frac{1}{2}\cdot \frac{1}{2}}+0log_{2}\frac{0}{\frac{1}{2}\cdot \frac{1}{2}}+\frac{1}{2}log_{2}\frac{\frac{1}{2}}{\frac{1}{2}\cdot \frac{1}{2}}=\frac{1}{2}\cdot 1+0+0+\frac{1}{2}\cdot 1=1$

$P\left ( a_{2} \right )=\frac{2}{4},P(c)=\frac{2}{4},P(\bar{a_{2}})=\frac{2}{4},P(\bar{c})=\frac{2}{4}$

$P(a_{2},c)=\frac{1}{4},P(\bar{a_{2}},c)=\frac{1}{4},P(a_{2},\bar{c})=\frac{1}{4},P(\bar{a_{2}},\bar{c})=\frac{1}{4}$

$MI(A,C)=P(a,c)log_{2}\frac{P(a,c)}{P(a)P(c)}+P(\bar{a},c)log_{2}\frac{P(\bar{a},c)}{P(\bar{a})P(c)}+P(a,\bar{c})log_{2}\frac{P(a,\bar{c})}{P(a)P(\bar{c})}+P(\bar{a},\bar{c})log_{2}\frac{P(\bar{a},\bar{c})}{P(\bar{a})P(\bar{c})}$

$=\frac{1}{4}log_{2}\frac{\frac{1}{4}}{\frac{1}{2}\cdot \frac{1}{2}}+\frac{1}{4}log_{2}\frac{\frac{1}{4}}{\frac{1}{2}\cdot \frac{1}{2}}+\frac{1}{4}log_{2}\frac{\frac{1}{4}}{\frac{1}{2}\cdot \frac{1}{2}}+\frac{1}{4}log_{2}\frac{\frac{1}{4}}{\frac{1}{2}\cdot \frac{1}{2}}=\frac{1}{4}\cdot 4\cdot 0=0$

从上面的计算结果我们可以得出结论： $a_{1}$ 和的相关性更大，因此 $a_{1}$ 特征比 $a_{2}$ 特征要好。

2.2.3 $\chi ^{2}$ 卡方检验

卡方检验的运作原理是：

通过统计学的方式来衡量两个属性之间的相关程度。

卡方检验在对两个属性进行计算的时候进行的假设是：

假设两个属性是独立的。

使用卡方检验我们同样需要使用一张表：

如果，相互独立的话，则有：

依然使用 $\sigma (\cdot )$ 表示某个格子中的数值，进而我们可以得到如下推导：

$\frac{\sigma (a,c)}{M}=\frac{\sigma (a)}{M}\cdot \frac{\sigma (c)}{M}$

$\sigma (a,c)=\frac{\sigma (a)\sigma (c)}{M}$ $E(W)=\frac{(W+Y)(W+X)}{W+X+Y+Z}$

是我们按照假设的期望值，即在两个属性独立的情况下应该得到的数值。而实际上我们会根据计算得到一个，它代表了实际的观察值。

如果

代表和伴随出现的程度比随机状态更加紧密——是一种可预测的状态（predictive）

如果

代表和伴随出现的程度不如随机情况——是一种可预测的状态（predictive）

如果 $O(W)\approx E(W)$

代表和之间的关系几乎是随机的——是一种不可预测的状态（not predictive）

根据我们可以计算卡方 $\chi ^{2}$ 的值，根据下列公式：

$\chi ^{2}=\frac{(O(W)-E(W))^{2}}{E(W)}+\frac{(O(X)-E(X))^{2}}{E(X)}+\frac{(O(Y)-E(Y))^{2}}{E(Y)}+\frac{(O(Z)-E(Z))^{2}}{E(Z)}$

$\chi ^{2}=\sum _{i\in \left \{ a,\bar{a} \right \}}\sum _{j\in \left \{ c,\bar{c} \right \}}\frac{(O_{i,j}-E_{i,j})^{2}}{E_{i,j}}$

得到的 $\chi ^{2}$ 值越大，代表两个属性之间的依赖性越大；也就越不支持原假设（两个属性相互独立）。

通过 $a_{1},a_{2}$ 分别和进行 $\chi ^{2}$ 计算的结果：

$a_{1}$ 的 $\chi ^{2}$

$\chi ^{2}=\frac{(O_{a,c}-E_{a,c})^{2}}{E_{a,c}}+\frac{(O_{\bar{a},c}-E_{\bar{a},c})^{2}}{E_{\bar{a},c}}+\frac{(O_{a,\bar{c}}-E_{a,\bar{c}})^{2}}{E_{a,\bar{c}}}+\frac{(O_{\bar{a},\bar{c}}-E_{\bar{a},\bar{c}})^{2}}{E_{\bar{a},\bar{c}}}$

$=\frac{(2-1)^{2}}{1}+\frac{(0-1)^{2}}{1}+\frac{(0-1)^{2}}{1}+\frac{(2-1)^{2}}{1}=4$

注： $O_{a,c}=\sigma (a.c)=2,E_{a,c}=\frac{(W+Y)(W+X)}{W+X+Y+Z}=\frac{(2\cdot 2)}{4}=1$

$a_{2}$ 的 $\chi ^{2}$

相依表：

用红色框里面的来计算 $E(\cdot)$ 用蓝框中的部分来计算 $O(\cdot)$ 。

3. 特征选择的常见问题

特征类型：

类别、标签（Nominal）形式的特征

对于一些类别形式（Nominal）的特征，例如天气的属性有三个不同的值：晴天、阴天、雨天： $Outlook = \{sunny, overcast, rainy\}$ ，这种用名词的形式表示的特征。

处理方式1：

使用独热编码。

处理方式2：

连续（Continuous）形式的特征：

通常采用高斯分布来估计概率。
根据中心极限定理，当数量很多的时候随机变量大多复合高斯分布。
对于较小的数据集或者是特殊情况（疾病类型的特征）也可以采用二项分布或者多项式分布。

多分类问题

多分类问题解决起来的难度通常是远大于二分类问题。
$PMI, MI,\chi ^{2}$ 都是根据每一个类别（per-class）来进行分别求算的。
需要根据每个不同的 class 选取不同的特征来训练分类器来获得最好的预测结果。

下面的例子是通过推文来确定一个人所处的位置

4. 其他特征选择方法

4.1 TFIDF 词频-逆向文件频率选择法

名为：词频-逆向文件频率选择法
TF 指的是词频：term frequency
IDF 指的是逆向文件频率：inverse document frequency
如果某个词或短语在一篇文章中出现的频率高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。

要做到相关，一个词应该是：

在语料库中出现的频率足够高（TF）。一个在5,000,000个词的语料库中只出现5次的词，可能不是太有吸引力。
足够特别（IDF）。一个非常常见的词（the , you , ...），在（几乎）每个文档中都出现，可能不是太有吸引力。

$W_{d,t}=f_{d,t}\times log\frac{N}{f_{t}}$

$f_{d,t}$ ：术语t在文件d中的频率。

：系统中一共存在的文件数量。

$f_{t}$ ：含有t的文件数量。

因此 $\frac{N}{f_{t}}$ 越大代表在这个文件系统中越少的文件包含了这个词，而 $f_{d,t}$ 越大代表了当前文件中这个词的出现频次越高。
综上所述，如果 $W_{d,t}$ 越大，就代表这个词可以帮助文件在整个文件系统中被区分出来。

4.2 Embedded 嵌入法

通过决策树或者带有正则化的回归模型来筛选有用的特征。

$house\_price=\beta _{0}+\beta _{1}\times size+\beta _{2}\times location+\beta _{3}\times age$

例如：通过 sklearn 里面决策树有关的属性 feature_importance_ 可以得到每个特征的重要程度，根据这些特征重要程度的排名，可以筛选出最重要的特征子集。

使用嵌入法和使用 filter 方法不同，我们就很难去界定一个有效的临界值（filter 中使用卡方检验可以用 0.05 或者 0.01这种值来衡量相关性）。这种情况下，如何指定一个阈值来帮助我们筛选特征也是需要考虑的问题。

另外，嵌入法引入了算法来挑选特征，并且每次挑选都会使用全部特征；而且由于使用算法来挑选特征，所以挑选的算法的运算速度会直接影响到嵌入法挑选特征的速度，比如选择 KNN 和决策树的嵌入法性能上会差别很大。

4.3 sklearn 中的特征选择

5. 模型选择的影响

对于 KNN 模型来说，特征选择是必要的；因为 KNN 需要对每个特征上进行距离求算
朴素贝叶斯和决策树对于特征选择的依赖较轻
SVM 可以在没有特征选择的情况下进行的很好

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
Python实现简单的机器学习算法 master_chenchengg python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
遥感影像的切片处理 sand&wich 计算机视觉 python 图像处理
在遥感影像分析中，经常需要将大尺寸的影像切分成小片段，以便于进行详细的分析和处理。这种方法特别适用于机器学习和图像处理任务，如对象检测、图像分类等。以下是如何使用Python和OpenCV库来实现这一过程，同时确保每个影像片段保留正确的地理信息。准备环境首先，确保安装了必要的Python库，包括numpy、opencv-python和xml.etree.ElementTree。这些库将用于图像处理
ai绘画工具midjourney怎么下载？附作品管理教程设计师早上好
Midjourney是一款功能强大的AI绘画工具，它使用机器学习技术和深度神经网络等算法，可以生成各种艺术风格的绘画作品。在创意设计、广告宣传等方面有着广泛的应用前景。那么，ai绘画工具midjourney怎么下载？本文将为您介绍Midjourney的下载以及作品的相关管理。一、Midjourney下载Midjourney的下载非常简单，只需打开Midjourney官网（点击“GetMidjour
[实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估 pytorch python 机器学习
文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
机器学习-聚类算法不良人龍木木机器学习机器学习算法聚类
机器学习-聚类算法1.AHC2.K-means3.SC4.MCL仅个人笔记，感谢点赞关注！1.AHC2.K-means3.SC传统谱聚类：个人对谱聚类算法的理解以及改进4.MCL目前仅专注于NLP的技术学习和分享感谢大家的关注与支持！
未来软件市场是怎么样的？做开发的生存空间如何？ cesske 软件需求
目录前言一、未来软件市场的发展趋势二、软件开发人员的生存空间前言未来软件市场是怎么样的？做开发的生存空间如何？一、未来软件市场的发展趋势技术趋势：人工智能与机器学习：随着技术的不断成熟，人工智能将在更多领域得到应用，如智能客服、自动驾驶、智能制造等，这将极大地推动软件市场的增长。云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
python中zeros用法_Python中的numpy.zeros()用法江平舟 python中zeros用法
numpy.zeros()函数是最重要的函数之一,广泛用于机器学习程序中。此函数用于生成包含零的数组。numpy.zeros()函数提供给定形状和类型的新数组,并用零填充。句法numpy.zeros(shape,dtype=float,order='C'参数形状：整数或整数元组此参数用于定义数组的尺寸。此参数用于我们要在其中创建数组的形状,例如(3,2)或2。dtype：数据类型(可选)此参数用于
【NumPy】深入解析numpy.zeros()函数二七830 numpy
欢迎莅临我的个人主页这里是我深耕Python编程、机器学习和自然语言处理（NLP）领域，并乐于分享知识与经验的小天地！博主简介：我是二七830，一名对技术充满热情的探索者。多年的Python编程和机器学习实践，使我深入理解了这些技术的核心原理，并能够在实际项目中灵活应用。尤其是在NLP领域，我积累了丰富的经验，能够处理各种复杂的自然语言任务。技术专长：我熟练掌握Python编程语言，并深入研究了机
【中国国际航空-注册_登录安全分析报告】风控牛验证码接口安全评测系列安全行为验证极验网易易盾智能手机
前言由于网站注册入口容易被黑客攻击，存在如下安全问题：1.暴力破解密码，造成用户信息泄露2.短信盗刷的安全问题，影响业务及导致用户投诉3.带来经济损失，尤其是后付费客户，风险巨大，造成亏损无底洞所以大部分网站及App都采取图形验证码或滑动验证码等交互解决方案，但在机器学习能力提高的当下，连百度这样的大厂都遭受攻击导致点名批评，图形验证及交互验证方式的安全性到底如何？请看具体分析一、中国国际航空PC
机器学习流形数据降维：UMAP 降维算法小嗷犬 Python 机器学习 #数据分析及可视化机器学习算法人工智能
✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。个人主页：小嗷犬的个人主页个人网站：小嗷犬的技术小站个人信条：为天地立心，为生民立命，为往圣继绝学，为万世开太平。本文目录UMAP简介理论基础特点与优势应用场景在Python中使用UMAP安装umap-learn库使用UMAP可视化手写数字数据集UMAP简介UMAP（UniformManifoldApproximatio
七.正则化愿风去了
吴恩达机器学习之正则化（Regularization）http://www.cnblogs.com/jianxinzhou/p/4083921.html从数学公式上理解L1和L2https://blog.csdn.net/b876144622/article/details/81276818虽然在线性回归中加入基函数会使模型更加灵活，但是很容易引起数据的过拟合。例如将数据投影到30维的基函数上，模
机器学习-------数据标准化罔闻_spider 数据分析算法机器学习人工智能
什么是归一化，它与标准化的区别是什么？一作用在做训练时，需要先将特征值与标签标准化，可以防止梯度防炸和过拟合；将标签标准化后，网络预测出的数据是符合标准正态分布的—StandarScaler()，与真实值有很大差别。因为StandarScaler()对数据的处理是（真实值-平均值）/标准差。同时在做预测时需要将输出数据逆标准化提升模型精度：标准化/归一化使不同维度的特征在数值上更具比较性，提高分类
分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据 python hadoop 计算机毕业设计选题计算机毕业设计源码数据分析 spark毕设
作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
两种方法判断Python的位数是32位还是64位 sanqima Python编程电脑 python 开发语言
Python从1991年发布以来，凭借其简洁、清晰、易读的语法、丰富的标准库和第三方工具，在Web开发、自动化测试、人工智能、图形识别、机器学习等领域发展迅猛。 Python是一种胶水语言，通过Cython库与C/C++语言进行链接，通过Jython库与Java语言进行链接。 Python是跨平台的，可运行在多种操作系统上，包括但不限于Windows、Linux和macOS。这意味着用Py
使用最大边际相关性(MMR)选择示例：提高AI模型的多样性和相关性 aehrutktrjk 人工智能 easyui 前端 python
使用最大边际相关性(MMR)选择示例：提高AI模型的多样性和相关性引言在机器学习和自然语言处理领域，选择合适的训练示例对模型性能至关重要。最大边际相关性(MaximalMarginalRelevance,MMR)是一种优秀的示例选择方法，它不仅考虑了示例与输入的相关性，还注重保持所选示例之间的多样性。本文将深入探讨如何使用MMR来选择示例，以提高AI模型的性能和泛化能力。什么是最大边际相关性(MM
LangChain集成指南:如何利用多样化的AI提供商 aehrutktrjk 人工智能 langchain python
LangChain集成指南:如何利用多样化的AI提供商引言在人工智能和机器学习领域,LangChain已成为一个强大而灵活的框架,允许开发者轻松集成各种AI服务提供商。本文将深入探讨LangChain的集成能力,介绍如何利用不同的AI提供商来增强你的应用程序,并提供实用的代码示例。LangChain集成概览LangChain支持多种AI提供商的集成,这些集成可以分为两类:独立包集成:这些提供商有独
机器学习VS深度学习 nfgo 机器学习
机器学习（MachineLearning,ML）和深度学习（DeepLearning,DL）是人工智能（AI）的两个子领域，它们有许多相似之处，但在技术实现和应用范围上也有显著区别。下面从几个方面对两者进行区分：1.概念层面机器学习：是让计算机通过算法从数据中自动学习和改进的技术。它依赖于手动设计的特征和数学模型来进行学习，常用的模型有决策树、支持向量机、线性回归等。深度学习：是机器学习的一个子领
大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏租房推荐系统 58同城租房爬虫房源推荐系统房价预测系统计算机毕业设计机器学习深度学习人工智能 2401_84572577 程序员大数据 hadoop 人工智能
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
【机器学习与R语言】1-机器学习简介苹果酱0567 面试题汇总与解析 java 中间件开发语言 spring boot 后端
1.基本概念机器学习：发明算法将数据转化为智能行为数据挖掘VS机器学习：前者侧重寻找有价值的信息，后者侧重执行已知的任务。后者是前者的先期准备过程：数据——>抽象化——>一般化。或者：收集数据——推理数据——归纳数据——发现规律抽象化：训练：用一个特定模型来拟合数据集的过程用方程来拟合观测的数据：观测现象——数据呈现——模型建立。通过不同的格式来把信息概念化一般化：一般化：将抽象化的知识转换成可用
Python前沿技术：机器学习与人工智能 4.0啊 Python 人工智能 python 机器学习
Python前沿技术：机器学习与人工智能一、引言随着科技的飞速发展，机器学习和人工智能（AI）已经成为了计算机科学领域的热门话题。Python作为一门易学易用且功能强大的编程语言，已经成为了这两个领域的首选语言之一。本文将深入探讨Python在机器学习和人工智能领域的应用，以及一些前沿技术和工具。二、Python机器学习基础2.1机器学习概述机器学习是人工智能（AI）的一个关键子集，它的核心在于让
chatgpt赋能python：如何在Python中计算平均值 tulingtest ChatGpt python chatgpt numpy 计算机
如何在Python中计算平均值计算平均值是数据分析、统计和机器学习等许多领域中的常见任务。Python作为一门功能强大且易于学习的编程语言，为计算平均值提供了多种方法。在本文中，我们将介绍如何在Python中计算平均值。什么是平均值简单来说，平均值是一组数字的总和除以数字的数量。例如，对于数字序列1，3，5，7，9，平均值是(1+3+5+7+9)/5=5。平均值在数据分析中非常有用，因为它可以提供
Python 初学者入门必知： Anaconda是什么？有什么作用？怎么使用？懒大王爱吃狼 Python基础 python 开发语言 python基础 python学习 anaconda anaconda安装 python教程
初学者在学习Python时，经常看到的一个名字是Anaconda。究竟什么是Anaconda，为什么它如此受欢迎？在这篇文章中，我们将探讨Anaconda，了解Anaconda的从安装到使用的。Anaconda是一个免费开源的Python和R编程发行版，包含上千个适用于数据科学和机器学习的包。同时，配备了Spyder和Jupyternotebook等工具，初学者可以使用它们来学习Python，使用
每天五分钟玩转深度学习PyTorch：模型参数优化器torch.optim 幻风_huanfeng 深度学习框架pytorch 深度学习 pytorch 人工智能神经网络机器学习优化算法
本文重点在机器学习或者深度学习中，我们需要通过修改参数使得损失函数最小化(或最大化)，优化算法就是一种调整模型参数更新的策略。在pytorch中定义了优化器optim，我们可以使用它调用封装好的优化算法，然后传递给它神经网络模型参数，就可以对模型进行优化。本文是学习第6步(优化器)，参考链接pytorch的学习路线随机梯度下降算法在深度学习和机器学习中，梯度下降算法是最常用的参数更新方法，它的公式
一切皆是映射：AI的去中心化：区块链技术的融合 AI大模型应用之禅计算科学神经计算深度学习神经网络大数据人工智能大型语言模型 AI AGI LLM Java Python 架构设计 Agent RPA
一切皆是映射：AI的去中心化：区块链技术的融合作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：AI，区块链，去中心化，智能合约，共识机制，数据安全，隐私保护，分布式账本技术，机器学习，数据隐私1.背景介绍1.1问题的由来随着人工智能（AI）技术的快速发展，其在各个领域的应用越来越广泛，从自动驾驶、智能医疗到金融服务，AI正在改变着我们的生活。
第五届核磁机器学习班（训练营：2023.6.5~6.17）茗创科技
茗创科技专注于脑科学数据处理，涵盖（EEG/ERP,fMRI,结构像,DTI,ASL,FNIRS）等，欢迎留言讨论及转发推荐，也欢迎了解茗创科技的脑电课程，数据处理服务及脑科学工作站销售业务，可添加我们的工程师（微信号MCKJ-zhouyi或17373158786）咨询。★课程简介★基于血氧水平依赖的功能磁共振成像(fMRI)技术,利用其数据构建的功能性脑网络后,发现脑并不是一个单纯对外界刺激进行
如何有效的学习AI大模型？ Python程序员罗宾学习人工智能语言模型自然语言处理架构
学习AI大模型是一个系统性的过程，涉及到多个学科的知识。以下是一些建议，帮助你更有效地学习AI大模型：基础知识储备：数学基础：学习线性代数、概率论、统计学和微积分等，这些是理解机器学习算法的数学基础。编程技能：掌握至少一种编程语言，如Python，因为大多数AI模型都是用Python实现的。理论学习：机器学习基础：了解监督学习、非监督学习、强化学习等基本概念。深度学习：学习神经网络的基本结构，如卷
遍历dom 并且存储（将每一层的DOM元素存在数组中）换个号韩国红果果 JavaScript html
数组从0开始！！ var a=[],i=0; for(var j=0;j<30;j++){ a[j]=[];//数组里套数组，且第i层存储在第a[i]中 } function walkDOM(n){ do{ if(n.nodeType!==3)//筛选去除#text类型 a[i].push(n); //con
Android+Jquery Mobile学习系列(9)-总结和代码分享白糖_ JQuery Mobile
目录导航经过一个多月的边学习边练手，学会了Android基于Web开发的毛皮，其实开发过程中用Android原生API不是很多，更多的是HTML/Javascript/Css。个人觉得基于WebView的Jquery Mobile开发有以下优点： 1、对于刚从Java Web转型过来的同学非常适合，只要懂得HTML开发就可以上手做事。 2、jquerym
impala参考资料 dayutianfei impala
记录一些有用的Impala资料 1. 入门资料 >>官网翻译： http://my.oschina.net/weiqingbin/blog?catalog=423691 2. 实用进阶 >>代码&架构分析： Impala/Hive现状分析与前景展望：http
JAVA 静态变量与非静态变量初始化顺序之新解周凡杨 java 静态非静态顺序
今天和同事争论一问题，关于静态变量与非静态变量的初始化顺序，谁先谁后，最终想整理出来！测试代码： import java.util.Map; public class T { public static T t = new T(); private Map map = new HashMap(); public T(){ System.out.println(&quo
跳出iframe返回外层页面 g21121 iframe
在web开发过程中难免要用到iframe，但当连接超时或跳转到公共页面时就会出现超时页面显示在iframe中，这时我们就需要跳出这个iframe到达一个公共页面去。首先跳转到一个中间页，这个页面用于判断是否在iframe中，在页面加载的过程中调用如下代码： <script type="text/javascript"> //<!-- function
JAVA多线程监听JMS、MQ队列 510888780 java多线程
背景：消息队列中有非常多的消息需要处理，并且监听器onMessage（）方法中的业务逻辑也相对比较复杂，为了加快队列消息的读取、处理速度。可以通过加快读取速度和加快处理速度来考虑。因此从这两个方面都使用多线程来处理。对于消息处理的业务处理逻辑用线程池来做。对于加快消息监听读取速度可以使用1.使用多个监听器监听一个队列；2.使用一个监听器开启多线程监听。对于上面提到的方法2使用一个监听器开启多线
第一个SpringMvc例子布衣凌宇 spring mvc
第一步：导入需要的包；第二步：配置web.xml文件 <?xml version="1.0" encoding="UTF-8"?> <web-app version="2.5" xmlns="http://java.sun.com/xml/ns/javaee" xmlns:xsi=
我的spring学习笔记15-容器扩展点之PropertyOverrideConfigurer aijuans Spring3
PropertyOverrideConfigurer类似于PropertyPlaceholderConfigurer，但是与后者相比，前者对于bean属性可以有缺省值或者根本没有值。也就是说如果properties文件中没有某个bean属性的内容，那么将使用上下文（配置的xml文件）中相应定义的值。如果properties文件中有bean属性的内容，那么就用properties文件中的值来代替上下
通过XSD验证XML antlove xml schema xsd validation SchemaFactory
1. XmlValidation.java package xml.validation; import java.io.InputStream; import javax.xml.XMLConstants; import javax.xml.transform.stream.StreamSource; import javax.xml.validation.Schem
文本流与字符集百合不是茶 PrintWrite()的使用字符集名字别名获取
文本数据的输入输出; 输入;数据流,缓冲流输出;介绍向文本打印格式化的输出PrintWrite(); package 文本流; import java.io.FileNotFound
ibatis模糊查询sqlmap-mapping-**.xml配置 bijian1013 ibatis
正常我们写ibatis的sqlmap-mapping-*.xml文件时，传入的参数都用##标识，如下所示： <resultMap id="personInfo" class="com.bijian.study.dto.PersonDTO"> <res
java jvm常用命令工具——jdb命令(The Java Debugger) bijian1013 java jvm jdb
用来对core文件和正在运行的Java进程进行实时地调试，里面包含了丰富的命令帮助您进行调试，它的功能和Sun studio里面所带的dbx非常相似，但 jdb是专门用来针对Java应用程序的。现在应该说日常的开发中很少用到JDB了，因为现在的IDE已经帮我们封装好了，如使用ECLI
【Spring框架二】Spring常用注解之Component、Repository、Service和Controller注解 bit1129 controller
在Spring常用注解第一步部分【Spring框架一】Spring常用注解之Autowired和Resource注解（http://bit1129.iteye.com/blog/2114084）中介绍了Autowired和Resource两个注解的功能，它们用于将依赖根据名称或者类型进行自动的注入，这简化了在XML中，依赖注入部分的XML的编写，但是UserDao和UserService两个bea
cxf wsdl2java生成代码super出错,构造函数不匹配 bitray super
由于过去对于soap协议的cxf接触的不是很多,所以遇到了也是迷糊了一会.后来经过查找资料才得以解决. 初始原因一般是由于jaxws2.2规范和jdk6及以上不兼容导致的.所以要强制降为jaxws2.1进行编译生成.我们需要少量的修改: 我们原来的代码 wsdl2java com.test.xxx -client http://..... 修改后的代
动态页面正文部分中文乱码排障一例 ronin47
公司网站一部分动态页面，早先使用apache+resin的架构运行，考虑到高并发访问下的响应性能问题，在前不久逐步开始用nginx替换掉了apache。不过随后发现了一个问题，随意进入某一有分页的网页，第一页是正常的（因为静态化过了）；点“下一页”，出来的页面两边正常，中间部分的标题、关键字等也正常，唯独每个标题下的正文无法正常显示。因为有做过系统调整，所以第一反应就是新上
java-54- 调整数组顺序使奇数位于偶数前面 bylijinnan java
import java.util.Arrays; import java.util.Random; import ljn.help.Helper; public class OddBeforeEven { /** * Q 54 调整数组顺序使奇数位于偶数前面 * 输入一个整数数组，调整数组中数字的顺序，使得所有奇数位于数组的前半部分，所有偶数位于数组的后半
从100PV到1亿级PV网站架构演变 cfyme 网站架构
一个网站就像一个人，存在一个从小到大的过程。养一个网站和养一个人一样，不同时期需要不同的方法，不同的方法下有共同的原则。本文结合我自已14年网站人的经历记录一些架构演变中的体会。 1：积累是必不可少的架构师不是一天练成的。 1999年，我作了一个个人主页，在学校内的虚拟空间，参加了一次主页大赛，几个DREAMWEAVER的页面，几个TABLE作布局，一个DB连接，几行PHP的代码嵌入在HTM
[宇宙时代]宇宙时代的GIS是什么？ comsci Gis
我们都知道一个事实，在行星内部的时候，因为地理信息的坐标都是相对固定的，所以我们获取一组GIS数据之后，就可以存储到硬盘中，长久使用。。。但是，请注意，这种经验在宇宙时代是不能够被继续使用的宇宙是一个高维时空
详解create database命令 czmmiao database
完整命令 CREATE DATABASE mynewdb USER SYS IDENTIFIED BY sys_password USER SYSTEM IDENTIFIED BY system_password LOGFILE GROUP 1 ('/u01/logs/my/redo01a.log','/u02/logs/m
几句不中听却不得不认可的话 datageek
1、人丑就该多读书。 2、你不快乐是因为：你可以像猪一样懒，却无法像只猪一样懒得心安理得。 3、如果你太在意别人的看法，那么你的生活将变成一件裤衩，别人放什么屁，你都得接着。 4、你的问题主要在于：读书不多而买书太多，读书太少又特爱思考，还他妈话痨。 5、与禽兽搏斗的三种结局：(1)、赢了，比禽兽还禽兽。(2)、输了，禽兽不如。(3)、平了，跟禽兽没两样。结论：选择正确的对手很重要。 6
1 14:00 PHP中的“syntax error, unexpected T_PAAMAYIM_NEKUDOTAYIM”错误 dcj3sjt126com PHP
原文地址：http://www.kafka0102.com/2010/08/281.html 因为需要，今天晚些在本机使用PHP做些测试，PHP脚本依赖了一堆我也不清楚做什么用的库。结果一跑起来，就报出类似下面的错误：“Parse error: syntax error, unexpected T_PAAMAYIM_NEKUDOTAYIM in /home/kafka/test/
xcode6 Auto layout and size classes dcj3sjt126com ios
官方GUI https://developer.apple.com/library/ios/documentation/UserExperience/Conceptual/AutolayoutPG/Introduction/Introduction.html iOS中使用自动布局（一） http://www.cocoachina.com/ind
通过PreparedStatement批量执行sql语句【sql语句相同，值不同】梦见x光 sql 事务批量执行
比如说：我有一个List需要添加到数据库中，那么我该如何通过PreparedStatement来操作呢？ public void addCustomerByCommit(Connection conn , List<Customer> customerList) { String sql = "inseret into customer(id
程序员必知必会----linux常用命令之十【系统相关】 hanqunfeng Linux常用命令
一.linux快捷键 Ctrl+C : 终止当前命令 Ctrl+S : 暂停屏幕输出 Ctrl+Q : 恢复屏幕输出 Ctrl+U : 删除当前行光标前的所有字符 Ctrl+Z : 挂起当前正在执行的进程 Ctrl+L : 清除终端屏幕，相当于clear 二.终端命令 clear : 清除终端屏幕 reset : 重置视窗，当屏幕编码混乱时使用 time com
NGINX IXHONG nginx
pcre 编译安装 nginx conf/vhost/test.conf upstream admin { server 127.0.0.1:8080; } server { listen 80; &
设计模式--工厂模式 kerryg 设计模式
工厂方式模式分为三种： 1、普通工厂模式：建立一个工厂类，对实现了同一个接口的一些类进行实例的创建。 2、多个工厂方法的模式：就是对普通工厂方法模式的改进，在普通工厂方法模式中，如果传递的字符串出错，则不能正确创建对象，而多个工厂方法模式就是提供多个工厂方法，分别创建对象。 3、静态工厂方法模式：就是将上面的多个工厂方法模式里的方法置为静态，
Spring InitializingBean/init-method和DisposableBean/destroy-method mx_xiehd java spring bean xml
1.initializingBean/init-method 实现org.springframework.beans.factory.InitializingBean接口允许一个bean在它的所有必须属性被BeanFactory设置后，来执行初始化的工作，InitialzingBean仅仅指定了一个方法。通常InitializingBean接口的使用是能够被避免的，（不鼓励使用，因为没有必要
解决Centos下vim粘贴内容格式混乱问题 qindongliang1922 centos vim
有时候，我们在向vim打开的一个xml，或者任意文件中，拷贝粘贴的代码时，格式莫名其毛的就混乱了，然后自己一个个再重新，把格式排列好，非常耗时，而且很不爽，那么有没有办法避免呢？答案是肯定的，设置下缩进格式就可以了，非常简单：在用户的根目录下直接vi ~/.vimrc文件然后将set pastetoggle=<F9> 写入这个文件中，保存退出，重新登录，
netty大并发请求问题 tianzhihehe netty
多线程并发使用同一个channel java.nio.BufferOverflowException: null at java.nio.HeapByteBuffer.put(HeapByteBuffer.java:183) ~[na:1.7.0_60-ea] at java.nio.ByteBuffer.put(ByteBuffer.java:832) ~[na:1.7.0_60-ea]
Hadoop NameNode单点问题解决方案之一 AvatarNode wyz2009107220 NameNode
我们遇到的情况 Hadoop NameNode存在单点问题。这个问题会影响分布式平台24*7运行。先说说我们的情况吧。我们的团队负责管理一个1200节点的集群(总大小12PB)，目前是运行版本为Hadoop 0.20，transaction logs写入一个共享的NFS filer(注：NetApp NFS Filer)。经常遇到需要中断服务的问题是给hadoop打补丁。 DataNod

机器学习基础：特征选择

1. 需要特征选择的原因

2. 特征选择的方法

2.1 Wrappers 包装法

2.1.1 可实现的Wrapper方法：sequential forward selection（贪心法）

2.1.2 可实现的Wrapper方法：sequential backward selection（消融法）

2.2 Filtering 过滤法

2.2.1 Pointwise Mutual Information（PMI）逐点互信息法

2.2.2 Mutual information（MI）互信息法

2.2.3 卡方检验

3. 特征选择的常见问题

4. 其他特征选择方法

4.1 TFIDF 词频-逆向文件频率 选择法

4.2 Embedded 嵌入法

4.3 sklearn 中的特征选择

5. 模型选择的影响

你可能感兴趣的:(机器学习基础,机器学习)

2.2.3 $\chi ^{2}$ 卡方检验

4.1 TFIDF 词频-逆向文件频率选择法