GarryLau

决策树(Decision Tree)

基本概念

决策树是以树状图为基础的、基于特征的、有监督的、贪心的、学习算法。决策树可以是二叉树也可以是非二叉树，其输出结果是一些进行判别的规则。
决策树由节点和有向边组成，内部的节点表示一个特征（属性），叶子节点表示一个分类。决策树可以用于分类问题也可以用于回归问题。对于分类问题，利用决策树进行预测时，将样本实例输入决策树，经过决策树内部的判别规则，最终会将样本实例分配到某一个叶节点的类中，该叶节点的类就是样本实例所属的类别。
例如，刘某需要贷款买房，银行需要评估其贷款风险，评估项有：Credit、Term、Income三项。根据用户的数据（样本）构造出决策树，再将刘某的信息作为决策树的输入，经过判定得出风险值。解决该问题的整体框架为：

图1

如果ML model采用决策树算法，则可构造出类似图2的决策树：

图2

决策树构造好之后对于具体实例预测方法为将实例作为输入使之贯穿整个决策树得出最终的判定结果，例如，对于刘某，假设其Credit=poor，Income=high，Term=5 years，则风险预测方法为：

图3

图4

构造决策树的算法

决策树的生成是一个递归过程，在决策树基本算法中，有三种情形会导致递归返回：
1. 当前结点包含的样本全属于同一类别，无需划分；
2. 当前属性集为空，或是所有样本在所有属性上取值相同，无法划分；
3. 当前结点包含的样本集合为空，不能划分。

ID3

根据信息论的知识，系统的信息增益越大那么纯度就越高。ID3算法的核心就是根据信息增益作为选择特征（属性）的标准。每次都选择可以使系统信息增益最大的特征（属性）。
给定训练集 D=(x1→,y1),(x2→,y2),…,(xN→,yN) ，其中 xi→=(xi1,xi2,…,xin) ， n 为特征个数， yi∈1,2,…,K 为类别标记， i=1,2,…,N ， N 为样本数量。假设每个类别有 Ck 个样本。对于数据集 D ，可以用熵 Entropy(D) 来描述数据集的不确定程度，熵越大表示越混乱，熵越小表示越有序，因此信息增益表示混乱的减少程度。当数据集中的所有样本都属于同一类别时， Entropy(D)=0 ，当数据集中的各个类别的样本分别均匀时 Entropy(D) 最大。给定特征 F ，信息增益定义为：

G a i n (D, F) = E n t r o p y (D) - E n t r o p y (D, F) (1)

其中，

Gain(D,F) 表示信息增益，

Entropy(D) 表示利用特征

F 对数据集进行划分之前系统的熵，

Entropy(D,F) 表示利用特征

F 对数据集进行划分的条件熵。

E n t r o p y (D) = - \sum i = 1 K C k N l o g C k N (2)

E n t r o p y (D, F) = \sum i = 1 n N i N \sum k = 1 K - (N i k N i log N i k N i) (3)

举例说明公式含义：
根据图2的数据，一共9个样本，包括5个safe，4个risky，则：

E n t r o p y (D) = - 5 9 * log 2 5 9 - 4 9 * log 2 4 9 = 0.991076059838222

如果根据特征

Income 来划分：

图5

划分后，数据 D 被分为两部分， high 分支、 low 分支的熵分别为：

E n t r o p y (D, h i g h) E n t r o p y (D, l o w) = = = = - 3 5 * log 2 3 5 - 2 5 * log 2 2 5 0.970950594454669 - 2 4 * log 2 2 4 - 2 4 * log 2 2 4 1

那么根据

Income 划分之后的条件熵为：

E n t r o p y (D, I n c o m e) = 5 9 * 0.970950594454669 + 4 9 * 1 = 0.983861441363705

那么根据特征

Income 划分的信息增益为

G a i n (I n c o m e) = E n t r o p y (D) - E n t r o p y (D, I n c o m e) = 0.991076059838222 - 0.983861441363705 = 0.007214618474517

根据

Term 进行划分：

图6

比较图5和图6可知根据 Term 进行划分和根据 Income 进行划分的信息增益是相同的，因此：

G a i n (T e r m) = 0.007214618474517

根据

Credit 进行划分：

图7

E n t r o p y (D, e x c e l l e n t) E n t r o p y (D, p o o r) E n t r o p y (D, f a i r) E n t r o p y (D, C r e d i t) G a i n (C r e d i t) = = = = = = = = = = = - 1 2 * log 2 1 2 - 1 2 * log 2 1 2 1 - 1 3 * log 2 1 3 - 2 3 * log 2 2 3 0.918295834054489 - 3 4 * log 2 3 4 - 1 4 * log 2 1 4 0.811278124459133 2 / 9 * 1 + 3 / 9 * 0.918295834054489 + 4 / 9 * 0.811278124459133 0.888888888888889 E n t r o p y (D) - E n t r o p y (D, C r e d i t) 0.991076059838222 - 0.888888888888889 0.102187170949333

比较

Gain(Income) 、

Gain(Term) 、

Gain(Credit) 可知按照

Credit 进行划分的信息增益最大，即

Credit 在第一步使信息熵下降得最快，所以决策树的根节点就取

Credit 。
接下来，需要根据特征

Term 和

Credit 来对

N1 、

N2 、

N3 进行划分，方法如上。对

N1 、

N2 、

N3 分别进行一次划分就没有特可用了，算法终止。（对于本例为展示方便只选择了三个特征的例子，对于其它实际问题往往有更多的特征，就需要不断的往下划分。）

ID3缺点：
1. 以信息增益对训练集的特征进行划分，会产生偏向于选择取值较多的特征的问题。
2. ID3只有树的生成算法，没有剪枝，生成的树容易产生过拟合，即对训练集匹配的很好但是对于测试集效果较差。
例如，对于图8，当选择 Day 作为特征进行划分的时候可以使信息增益最大，（此时条件熵为0，信息增益 Gain(D,F)=Entropy(D)−0=Gain(D,F) 。也就是说在极限情况下特征 Day 将样本一一对应到一个叶节点中去，这显然不是最佳的选择。

图8

C4.5

C4.5使用信息增益率作为选择特征的标准。给定特征 F ，信息增益率定义为：

G a i n R a t i o (D, F) = G a i n ( D , F ) S p l i t I n f o r m a t i o n ( D , F ) (4)

其中，

GainRatio(D,F) 是信息增益率，

SplitInformation(D,F) 是分离信息（Split Information）。
例如，对于图8，根据特征

Day 计算信息增益率：

S p l i t I n f o r m a t i o n (D, D a y) G a i n (D, D a y) G a i n R a t i o (D, D a y) = = = = = = - 1 14 * log 2 1 14 * 14 3.807354922057603 - 5 14 * log 2 5 14 - 9 14 * log 2 9 14 1.485426827170242 1.485426827170242 3.807354922057603 0.390146665488038

而以

Outlook 作为特征进行划分的信息增益率：

S p l i t I n f o r m a t i o n (O u t l o o k) G a i n R a t i o (D, O u t l o o k) = = = = - 5 / 14 * log 2 5 14 - 4 14 * log 2 4 14 - 5 14 * log 2 5 14 1.577406282852345 1.485426827170242 1.577406282852345 0.941689432404326

显然

GainRatio(D,Outlook) 要比

GainRatio(D,Day) 大，因此就不会选择信息增益最大的特征

Day 。
需要注意的是，

SplitInformation(D,F) 描述的是特征对训练集的分辨能力，

SplitInformation(D,F) 越大说明其对应的特征种类越多。并不表征其对类别的分辨能力。
利用C4.5构造决策树的过程和利用ID3是一样的，只需要将选择特征的标准由信息增益换成信息增益率即可。另外，C4.5可以处理连续数据，例如：

图9

对于图9训练集，

Temperature 特征和

Humidity 特征均属于连续特征。
C4.5处理连续属性的方法是先把连续属性转换为离散属性再进行处理。虽然本质上属性的取值是连续的，但对于有限的采样数据它是离散的，如果有

N 个样本，那么我们有

N−1 种离散化的方法，给定分界点

Value ，小于等于

Value 的分到左子树，大于

Value 的分到右子树。计算这

N−1 种情况下最大的信息增益率。
在离散属性上只需要计算

1 次信息增益率，而在连续属性上却需要遍历计算

N−1 次以确定最优的分割点，计算量是相当大的。有办法可以减少计算量，对于连续属性先进行排序，只有在决策属性发生改变的地方才需要切开。比如对

Temperature 进行排序：

图10

本来需要计算13次来确定分界点，现在只需计算7次。一般使用增益来选择连续值特征的分界点，因为如果利用增益率来选择连续值特征的分界点，会有一些副作用。分界点将样本分成两个部分，这两个部分的样本个数之比也会影响增益率。根据增益率公式可以发现，当分界点能够把样本分成数量相等的两个子集时（此时的分界点为等分分界点），增益率的抑制会被最大化，因此等分分界点被过分抑制了。子集样本个数能够影响分界点，显然不合理。因此在确定有连续值的特征的分界点时还是采用增益，而在分界点确定之后选择特征的时候才使用增益率。这个改进能够很好得抑制连续值属性的倾向。
对有连续值的特征构造出的决策树形如：

图11

决策边界

决策树的决策边界是一些垂直于特征的线，例如对于一维特征，决策边界类似：

图12

对于二维特征，决策边界类似：

图13

C4.5优点：
a. 使用信息增益率作为划分的标准，克服了ID3使用信息增益带来的选择特征时偏向于选择取值多的特征的问题；
b. 可以处理连续的特征；
c. 在构造树的同时进行剪枝；
d. 可以处理不完整的数据
对于如何进行剪枝、如何处理不完整的数据，后续会有专题文章。
C4.5缺点：1.在构造决策树的过程中，需要对数据集进行多次顺序扫描和排序，因此算法比较低效；2.C4.5只适合处理训练集小的样本，如果训练集样本过大，内存无法容纳所有的数据集是无法完成决策树的构造的。

CART(Classification and Regression Tree)

分类与回归树（CART）算法也可以用来构造决策树，并且CART构造出的决策树是二叉树。CART算法既可以用于分类又可以用于回归。
分类与回归树模型采用不同的标准来选择最优的特征，CART分类树采用基尼指数，CART回归树采用最小加权平均方差。

CART分类树

对于给定样本集合 D ，有 K 个类别，每个类别样本个数为 Ck ， k=(0,1,…,K) ，则基尼指数可定义为：

G i n i (D) = 1 - \sum k = 1 K (C k D) 2 (5)

如果根据特征

F 来进行划分，则根据

F 的取值可将

D 划分为两个子集

D1 、

D2 ，则在特征

F 的条件下，集合

D 的基尼指数为：

G i n i (D, F) = D 1 D G i n i (D 1) + D 2 D G i n i (D 2) (6)

其中，

D ，

D1 ，

D2 在公式

(5) 中用作集合中样本数目。

为展示方便还拿图2的数据说明利用基尼指数构造CART分类树的过程。

以 Credit 为特征进行划分：
CART算法构造的决策树是二叉树，而特征 Credit 有三个取值，因此需要将 Credit 的三个取值中的两个进行合并，因此需要进行遍历合并求基尼指数来确定哪两个值合并是最好的。
1. excellent 与 fair 合并：
  $G i n i (D, e x c e l l e n t + f a i r) G i n i (D, p o o r) G i n i (D, C r e d i t) = = = = = = 1 - (4 6) 2 - (2 6) 2 0.4444 1 - (1 3) 2 - (2 3) 2 0.4444 6 9 * 0.4444 + 3 9 * 0.4444 0.4444$
2. excellent 与 poor 合并：
  $G i n i (D, e x c e l l e n t + p o o r) G i n i (D, f a i r) G i n i (D, C r e d i t) = = = = = = 1 - (2 5) 2 - (3 5) 2 0.48 1 - (3 4) 2 - (1 4) 2 0.375 5 9 * 0.48 + 4 9 * 0.375 0.4333$
3. fair 与 poor 合并：
  $G i n i (D, f a i r + p o o r) G i n i (D, e x c e l l e n t) G i n i (D, C r e d i t) = = = = = = 1 - (4 7) 2 - (3 7) 2 0.4898 1 - (1 2) 2 - (1 2) 2 0.5 7 9 * 0.4898 + 2 9 * 0.5 0.4921$
以 Term 为特征进行划分：
$G i n i (D, 3 y r s) G i n i (D, 5 y r s) G i n i (D, T e r m) = = = = = = 1 - (3 5) 2 - (2 5) 2 0.48 1 - (2 4) 2 - (2 4) 2 0.5 5 9 * 0.48 + 4 9 * 0.5 0.4889$
以 Income 为特征进行划分：
$G i n i (D, h i g h) G i n i (D, l o w) = G i n i (D, I n c o m e) = = = = = = 1 - (3 5) 2 - (2 5) 2 0.48 1 - (2 4) 2 - (2 4) 2 0.5 5 9 * 0.48 + 4 9 * 0.5 0.4889$
比较 Gini(D,Credit) 、 Gini(D,Term) 、 Gini(D,Income) 可知按照特征 Credit 进行划分且将 excellent 与 poor 合并的基尼指数最小，所以决策树的根节点就取 Credit 。
此时的树为：

图14

下面需要分别对 N1 和 N2 进行划分：

对于 N1 ：
以 Term 为特征进行划分：
$G i n i (N 1, 3 y r s) G i n i (N 1, 5 y r s) G i n i (N 1, T e r m) = = = = = = 1 - (1 3) 2 - (2 3) 2 0.4444 1 - (1 2) 2 - (1 2) 2 0.5 3 5 * 0.4444 + 2 5 * 0.5 0.4666$
以 Income 为特征进行划分：
$G i n i (N 1, h i g h) G i n i (N 1, l o w) G i n i (N 1, I n c o m e) = = = = = = 1 - (1 3) 2 - (2 3) 2 0.4444 1 - (1 2) 2 - (1 2) 2 0.5 3 5 * 0.4444 + 2 5 * 0.5 0.4666$
对于 N2 ：
以 Term 为特征进行划分：
$G i n i (N 2, 3 y r s) G i n i (N 2, 5 y r s) G i n i (N 2, T e r m) = = = = = = 1 - (2 2) 2 - (0 2) 2 0 1 - (1 2) 2 - (1 2) 2 0.5 2 4 * 0 + 2 4 * 0.5 0.25$
以 Income 为特征进行划分：
$G i n i (N 2, h i g h) G i n i (N 2, l o w) G i n i (N 2, I n c o m e) = = = = = = 1 - (2 2) 2 - (0 2) 2 0 1 - (1 2) 2 - (1 2) 2 0.5 2 4 * 0 + 2 4 * 0.5 0.25$
根据上面的计算可知对于 N1 和 N2 利用 Term 进行划分和利用 Income 进行划分基尼指数都是相等的。此时满足了构造决策树终止的条件，因此算法终止。从这里我们也可以知道，该问题使用决策树算法并不能得到很好的解决。

CART回归树

学习决策树可归结为对实例空间进行划分，使得每个隔离的空间都具有较小的方差。在回归问题中，特征值是连续型而非二值型的，CART构造回归树就是找到合适的特征对数据集 D 进行划分使得每个划分后的子数据集方差最小。
定义数据集 D 的方差为各个元素到该数据集均值的均方距离：

V a r (D) = 1 N \sum i = 1 N (y i - y ¯) 2 (7)

其中，

N 表示数据集中元素的个数，

yi 为每个样本的取值，

y¯ 表示数据集

D 的均值。
如果根据特征

F 对数据集

D 进行划分，将数据集

D 划分成了

m 个互斥子集

{D1,D2,…,Dm} ，则加权平均方差定义为：

V a r ({D 1, D 2, \dots, D m}) = = = = \sum j = 1 m | D j | N V a r (D j) \sum j = 1 m | D j | N (1 | D j | \sum k = 1 | D j | y 2 - y j ¯ 2) 1 N \sum i = 1 N y 2 i - \sum j = 1 m | D j | N y j ¯ 2 1 N \sum j = 1 m y 2 j - y ¯ 2 (8)

其中

|Dj| 用作第

j 个划分子集的元素个数。
从公式

(7) 可以看出，方差是集合中元素平方的均值与均值的平方之差。因此，选择特征使得所有可能的划分子集的方差最小化等价于选择特征使得所有可能的划分子集的加权平均最大化。
利用下图中的样本来说明CART算法构造回归树的过程：

图15

图 15 的数据集 D 总共涉及三种特征，因此三种可能的划分方案为：

M o d e l C o n d i t i o n L e s l i e = = = [A 100, B 3, E 112, M 102, T 202] \to [1051, 1770, 1900] [4513] [77] [870] [99, 270, 625] [e x c e l l e n t, g o o d, f a i r] \to [1770, 4513] [270, 870, 1051, 1900] [77, 99, 625] [y e s, n o] \to [625, 870, 1900] [77, 99, 270, 1051, 1770, 4513]

用

Ave 表示均值，

WeiSquAve 表示方均值的加权平均，则对于图

15 的数据：

根据特征 Model 进行划分：
$A v e (A 100) A v e (B 3) A v e (E 112) A v e (M 102) A v e (T 202) W e i S q u A v e (D, M o d e l) = = = = = = = = = 1051 + 1770 + 1900 3 1573.6667 451377870 99 + 270 + 625 3 331.3333 3 9 * A v e 2 (A 100) + 1 9 * A v e 2 (B 3) + 1 9 * A v e 2 (E 112) + 1 9 * A v e 2 (M 102) + 3 9 * A v e 2 (T 202) 3.2098 \cdot 106$
根据特征 Condition 进行划分：
$A v e (e x c e l l e n t) A v e (g o o d) A v e (f a i r) W e i S q u A v e (D, C o n d i t i o n) = = = = = = = = 1770 + 4513 2 3141.5 270 + 870 + 1051 + 1900 4 1022.75 77 + 99 + 625 3 267 2 9 * A v e 2 (e x c e l l e n t) + 4 9 * A v e 2 (g o o d) + 3 9 * A v e 2 (f a i r) 2.6818 \cdot 106$
根据特征 Leslie 进行划分：
$A v e (y e s) A v e (n o) W e i S q u A v e (D, L e s l i e) = = = = = = 625 + 870 + 1900 3 1131.6667 77 + 99 + 270 + 1051 + 1770 + 4513 6 1296.6667 3 9 * A v e 2 (y e s) + 6 9 * A v e 2 (n o) 1.5478 \cdot 106$
比较 WeiSquAve(D,Model) 、 WeiSquAve(D,Condition) 、 WeiSquAve(D,Leslie) 可知 WeiSquAve(D,Model) 最大，因此应该选择特征 Model 进行划分，该步划分的结果为：

图16

接下来需要对数据集 N1 和 N2 分别选择特征继续划分。
对于 N1

根据特征 Condition 进行划分：
$A v e (e x c e l l e n t) A v e (g o o d) A v e (f a i r) W e i S q u A v e (N 1, C o n d i t i o n) = = = = = = 1770 1051 + 1900 2 1475.5 0 1 3 * A v e 2 (e x c e l l e n t) + 2 3 * A v e 2 (g o o d) + 0 3 * A v e 2 (f a i r) 2.4957 \cdot 106$
根据特征 Leslie 进行划分：
$A v e (y e s) A v e (n o) W e i S q u A v e (N 1, L e s l i e) = = = = = 1900 1051 + 1770 2 1410.5 1 3 * A v e 2 (y e s) + 2 3 * A v e 2 (n o) 2.5297 \cdot 106$
比较 WeiSquAve(N1,Condition) 、 WeiSquAve(N1,Leslie) 可知 WeiSquAve(N1,Leslie) 最大，因此应该选择特征 Leslie 进行划分。

对于 N2

根据特征 Condition 进行划分：
$A v e (e x c e l l e n t) A v e (g o o d) A v e (f a i r) W e i S q u A v e (N 2, C o n d i t i o n) = = = = = = 0270 99 + 625 2 362 0 3 * A v e 2 (e x c e l l e n t) + 1 3 * A v e 2 (g o o d) + 2 3 * A v e 2 (f a i r) 111, 662.6667$
根据特征 Leslie 进行划分：
$A v e (y e s) A v e (n o) W e i S q u A v e (N 2, L e s l i e) = = = = = 625 99 + 270 2 184.5 1 3 * A v e 2 (y e s) +$

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
简单了解 JVM 记得开心一点啊 jvm
目录♫什么是JVM♫JVM的运行流程♫JVM运行时数据区♪虚拟机栈♪本地方法栈♪堆♪程序计数器♪方法区/元数据区♫类加载的过程♫双亲委派模型♫垃圾回收机制♫什么是JVMJVM是JavaVirtualMachine的简称，意为Java虚拟机。虚拟机是指通过软件模拟的具有完整硬件功能的、运行在一个完全隔离的环境中的完整计算机系统（如：JVM、VMwave、VirtualBox）。JVM和其他两个虚拟机
JVM、JRE和 JDK：理解Java开发的三大核心组件 Y雨何时停T Java java
Java是一门跨平台的编程语言，它的成功离不开背后强大的运行环境与开发工具的支持。在Java的生态中，JVM（Java虚拟机）、JRE（Java运行时环境）和JDK（Java开发工具包）是三个至关重要的核心组件。本文将探讨JVM、JDK和JRE的区别，帮助你更好地理解Java的运行机制。1.JVM：Java虚拟机（JavaVirtualMachine）什么是JVM？JVM，即Java虚拟机，是Ja
深度 Qlearning：在直播推荐系统中的应用 AGI通用人工智能之禅程序员提升自我硅基计算碳基计算认知计算生物计算深度学习神经网络大数据 AIGC AGI LLM Java Python 架构设计 Agent 程序员实现财富自由
深度Q-learning：在直播推荐系统中的应用关键词：深度Q-learning,强化学习,直播推荐系统,个性化推荐1.背景介绍1.1问题的由来随着互联网技术的飞速发展,直播平台如雨后春笋般涌现。面对海量的直播内容,用户很难快速找到自己感兴趣的内容。因此,个性化推荐系统在直播平台中扮演着越来越重要的角色。1.2研究现状目前,主流的个性化推荐算法包括协同过滤、基于内容的推荐等。这些方法在一定程度上缓
管理员权限的软件不能开机自启动的解决方法 ss_ctrl
这是几种解决方法：1.将启动参数写入到32位注册表里面去在64位系统下我们64位的程序访问此HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Run注册表路径，是可以正确访问的，32位程序访问此注册表路径时，默认会被系统自动映射到HKEY_LOCAL_MACHINE\SOFTWARE\WOW6432Node\Microsoft
golang学习笔记--MPG模型 xxzed golang #学习笔记学习笔记 golang
MPG模式：M（Machine）：操作系统的主线程P（Processor）：协程执行需要的资源（上下文context），可以看作一个局部的调度器，使go代码在一个线程上跑，他是实现从N：1到N：M映射的关键G（Goroutine）：协程，有自己的栈。包含指令指针（instructionpointer）和其它信息（正在等待的channel等等），用于调度。一个P下面可以有多个G1、当前程序有三个M,
【开发环境搭建】Macbook M1搭建Java开发环境 weixin_44329069 java 开发语言
JDK安装与配置下载并安装JDK：ARM64DMG安装包下载链接：JDK21forMac(ARM64)。双击下载的DMG文件，按照提示安装JDK。配置环境变量：打开终端，使用vim编辑.bash_profile文件：vim~/.bash_profile在文件中添加以下内容来设置JAVA_HOME：exportJAVA_HOME=/Library/Java/JavaVirtualMachines/j
云服务业界动态简报-20180128 Captain7
一、青云青云QingCloud推出深度学习平台DeepLearningonQingCloud，包含了主流的深度学习框架及数据科学工具包，通过QingCloudAppCenter一键部署交付，可以让算法工程师和数据科学家快速构建深度学习开发环境，将更多的精力放在模型和算法调优。二、腾讯云1.腾讯云正式发布腾讯专有云TCE(TencentCloudEnterprise)矩阵，涵盖企业版、大数据版、AI
机器学习VS深度学习 nfgo 机器学习
机器学习（MachineLearning,ML）和深度学习（DeepLearning,DL）是人工智能（AI）的两个子领域，它们有许多相似之处，但在技术实现和应用范围上也有显著区别。下面从几个方面对两者进行区分：1.概念层面机器学习：是让计算机通过算法从数据中自动学习和改进的技术。它依赖于手动设计的特征和数学模型来进行学习，常用的模型有决策树、支持向量机、线性回归等。深度学习：是机器学习的一个子领
ResNet的半监督和半弱监督模型 Valar_Morghulis
Billion-scalesemi-supervisedlearningforimageclassificationhttps://arxiv.org/pdf/1905.00546.pdfhttps://github.com/facebookresearch/semi-supervised-ImageNet1K-models/权重在timm中也有：https://hub.fastgit.org/r
联邦学习 Federated learning Google I/O‘19 笔记努力搬砖的星期五笔记联邦学习机器学习机器学习 tensorflow
FederatedLearning:MachineLearningonDecentralizeddatahttps://www.youtube.com/watch?v=89BGjQYA0uE文章目录FederatedLearning:MachineLearningonDecentralizeddata1.DecentralizeddataEdgedevicesGboard:mobilekeyboa
PCL 怎样可视化深度图像 LeonDL168 PCL 计算机视觉人工智能视觉检测图像处理算法
本小节讲解如何可视化深度图像的两种方法，在3D视窗中以点云形式进行可视化（深度图像来源于点云），另一种是，将深度值映射为颜色，从而以彩色图像方式可视化深度图像。代码首先，在PCL（PointCloudLearning）中国协助发行的书提供光盘的第7章例2文件夹中，打开名为range_image_visualization.cpp的代码文件，同文件夹下可以找到相关的测试点云文件room_scan1.
FISCO BCOS（十七）——— go SDK的使用林中有神君 #FISCO BCOS 2.8.0 golang 服务器 linux fisco bcos 区块链
1、创建一个工作目录root@wyg-virtual-machine:~/fisco#mkdirgoWorkSpace2、下载go-sdkroot@wyg-virtual-machine:~/fisco/
Git报错（一）fatal: Could not read from remote repository. librarycode
解决方案来自CSDN：https://blog.csdn.net/cxwtsh123/article/details/79194263?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.control&dist_request_id=&depth_1-utm_source=distr
VOC数据集转换为CoCo数据集（亲测有效）情书学长人工智能学习笔记图像处理
#VOC数据集格式VOC格式的数据集分为3部分，Annotations、ImageSets、JPEGImages。（一）Annotations：存放数据标注的xml文件，格式如下：CUMID_train0001.pngC:\Users\86182\Desktop\CUMID_train\0001.pngUnknown2040136830MachineUnspecified0011933491451
【Vesta发号器源码】PropertyMachineIdsProvider DeanChangDM
Vesta发号器源码解析——PropertyMachineIdsProvider属性配置文件持有Id的模式,没啥东西，比单个的多了一个获取下一个的方法封装实现上略有一点点区别privatelong[]machineIds;privateintcurrentIndex;publiclonggetNextMachineId(){returngetMachineId();}publiclonggetMa
Awesome TensorFlow weixin_30594001 人工智能移动开发大数据
AwesomeTensorFlowAcuratedlistofawesomeTensorFlowexperiments,libraries,andprojects.Inspiredbyawesome-machine-learning.WhatisTensorFlow?TensorFlowisanopensourcesoftwarelibraryfornumericalcomputationusin
【ShuQiHere】探索人工智能核心：机器学习的奥秘 ShuQiHere 人工智能机器学习
【ShuQiHere】什么是机器学习？机器学习（MachineLearning,ML）是人工智能（ArtificialIntelligence,AI）中最关键的组成部分之一。它使得计算机不仅能够处理数据，还能从数据中学习，从而做出预测和决策。无论是语音识别、自动驾驶还是推荐系统，背后都依赖于机器学习模型。机器学习与传统的编程不同，它不再依赖于人类编写的固定规则，而是通过数据自我改进模型，从而更灵活
综述论文“A Survey of Zero-Shot Learning: Settings, Methods, and Applications” 硅谷秋水机器学习机器学习神经网络深度学习
该零样本学习综述，发表于ACMTrans.Intell.Syst.Technol.10,2,Article13(January2019)摘要：大多数机器学习方法着重于对已经在训练中看到其类别的实例进行分类。实际上，许多应用程序需要对实例进行分类，而这些实例的类以前没有见过。零样本学习（Zero-ShotLearning）是一种强大而有前途的学习范例，其中训练实例涵盖的类别与想分类的类别是不相交的。
go-etcd实战小书go golang 实战演练 golang etcd 服务发现服务注册微服务
etcd简介etcdisastronglyconsistent,distributedkey-valuestorethatprovidesareliablewaytostoredatathatneedstobeaccessedbyadistributedsystemorclusterofmachines.Itgracefullyhandlesleaderelectionsduringnetwork
梯度提升机 (Gradient Boosting Machines, GBM) ALGORITHM LOL boosting 集成学习机器学习
梯度提升机(GradientBoostingMachines,GBM)通俗易懂算法梯度提升机（GradientBoostingMachines，GBM）是一种集成学习算法，主要用于回归和分类问题。GBM本质上是通过训练一系列简单的模型（通常是决策树），然后将这些模型组合起来，从而提高整体预测性能。基本步骤初始模型：首先，我们用一个简单的模型（如一个常数值）作为预测模型，记为F0(x)F_0(x)F
机器学习 VS 表示学习 VS 深度学习 Efred.D 人工智能机器学习深度学习人工智能
文章目录前言一、机器学习是什么?二、表示学习三、深度学习总结前言本文主要阐述机器学习,表示学习和深度学习的原理和区别.一、机器学习是什么?机器学习(machinelearning),是从有限的数据集中学习到一定的规律,再把学到的规律应用到一些相似的样本集中做预测.机器学习的历史可以追溯到20世纪40年代McCulloch提出的人工神经元网络,目前学界大致把机器学习分为传统机器学习和机器学习两个类别
端到端的自动驾驶论文与代码整理大别山伧父自动驾驶
LearningbyCheatinggithubcodearxivpaperconferenceonrobotlearning最新进展(May2021)Checkoutourlatestfollow-upwork:WorldonRails(2020)Checkoutoursubmissiontothe2020CARLAChallenge!pass
JVM 架构 : 运行时数据区 & 内存结构光剑书架上的书
JVM:JavaVirtualMachine架构JVMArchitectureRuntimeDataArea/MemoryStructureClassloaderClassloaderisasubsysteminJVM,whichisprimarilyresponasibleforloadingthejavaclasses,thereare3differentclassloaders:Bootst
Lt-8 Multithreading yanlingyun0210 java
IntendedLearningOutcomesTounderstandtheconceptofconcurrency.Tounderstandthedifferenceofaprocessandathread.TodefineathreadusingtheThreadclassandRunnableinterface.TocontrolthreadswithvariousThreadmethod
如何使用Pytorch-Metric-Learning？鱼儿也有烦恼 PyTorch pytorch
文章目录如何使用Pytorch-Metric-Learning？1.Pytorch-Metric-Learning库9个模块的功能1.1Sampler模块1.2Miner模块1.3Loss模块1.4Reducer模块1.5Distance模块1.6Regularizer模块1.7Trainer模块1.8Tester模块1.9Utils模块2.如何使用PyTorchMetricLearning库中的
risc-v特权模式狮子座硅农（Leo ICer） risc-v
risc-v架构定义了3种工作模式，又称为特权模式（privilegedmode）。机器模式（machinemode），简称M模式；监督模式（supervisormode），简称S模式；用户模式（usermode），简称U模式。risc-v架构定义机器模式为必选模式，另外两种模式为可选模式，通过不同的模式组合可以实现不同的系统。risc-v架构支持几种不同的存储器地址管理机制，包括对物理地址和虚拟
推荐开源项目：PyTorch-Metric-Learning 潘惟妍
推荐开源项目：PyTorch-Metric-Learningpytorch-metric-learningTheeasiestwaytousedeepmetriclearninginyourapplication.Modular,flexible,andextensible.WritteninPyTorch.项目地址:https://gitcode.com/gh_mirrors/py/pytorc
推荐：FastAPI驱动的稳定扩散LLMs演示项目褚知茉Jade
推荐：FastAPI驱动的稳定扩散LLMs演示项目FastAPI-for-Machine-Learning-Live-DemoThisrepositorycontainsthefilestobuildyourveryownAIimagegenerationwebapplication!OutlinedarethecorecomponentsoftheFastAPIwebframework,anda
【python】【Ray的概述】资源存储库 python 开发语言
Overview概述Rayisanopen-sourceunifiedframeworkforscalingAIandPythonapplicationslikemachinelearning.Itprovidesthecomputelayerforparallelprocessingsothatyoudon’tneedtobeadistributedsystemsexpert.Rayminimi
二分查找排序算法周凡杨 java 二分查找排序算法折半
一：概念二分查找又称折半查找（折半搜索/ 二分搜索），优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步
java中的BigDecimal bijian1013 java BigDecimal
在项目开发过程中出现精度丢失问题，查资料用BigDecimal解决，并发现如下这篇BigDecimal的解决问题的思路和方法很值得学习，特转载。原文地址：http://blog.csdn.net/ugg/article/de
Shell echo命令详解 daizj echo shell
Shell echo命令 Shell 的 echo 指令与 PHP 的 echo 指令类似，都是用于字符串的输出。命令格式： echo string 您可以使用echo实现更复杂的输出格式控制。 1.显示普通字符串: echo "It is a test" 这里的双引号完全可以省略，以下命令与上面实例效果一致： echo Itis a test 2.显示转义
Oracle DBA 简单操作周凡杨 oracle dba sql
--执行次数多的SQL select sql_text,executions from ( select sql_text,executions from v$sqlarea order by executions desc ) where rownum<81; &nb
画图重绘朱辉辉33 游戏
我第一次接触重绘是编写五子棋小游戏的时候，因为游戏里的棋盘是用线绘制的，而这些东西并不在系统自带的重绘里，所以在移动窗体时，棋盘并不会重绘出来。所以我们要重写系统的重绘方法。在重写系统重绘方法时，我们要注意一定要调用父类的重绘方法，即加上super.paint(g)，因为如果不调用父类的重绘方式，重写后会把父类的重绘覆盖掉，而父类的重绘方法是绘制画布，这样就导致我们
线程之初体验西蜀石兰线程
一直觉得多线程是学Java的一个分水岭，懂多线程才算入门。之前看《编程思想》的多线程章节，看的云里雾里，知道线程类有哪几个方法，却依旧不知道线程到底是什么？书上都写线程是进程的模块，共享线程的资源，可是这跟多线程编程有毛线的关系，呜呜。。。线程其实也是用户自定义的任务，不要过多的强调线程的属性，而忽略了线程最基本的属性。你可以在线程类的run()方法中定义自己的任务，就跟正常的Ja
linux集群互相免登陆配置林鹤霄 linux
配置ssh免登陆 1、生成秘钥和公钥 ssh-keygen -t rsa 2、提示让你输入，什么都不输，三次回车之后会在~下面的.ssh文件夹中多出两个文件id_rsa 和 id_rsa.pub 其中id_rsa为秘钥，id_rsa.pub为公钥，使用公钥加密的数据只有私钥才能对这些数据解密 c
mysql : Lock wait timeout exceeded; try restarting transaction aigo mysql
原文：http://www.cnblogs.com/freeliver54/archive/2010/09/30/1839042.html 原因是你使用的InnoDB 表类型的时候, 默认参数:innodb_lock_wait_timeout设置锁等待的时间是50s, 因为有的锁等待超过了这个时间,所以抱错. 你可以把这个时间加长,或者优化存储
Socket编程基本的聊天实现。 alleni123 socket
public class Server { //用来存储所有连接上来的客户 private List<ServerThread> clients; public static void main(String[] args) { Server s = new Server(); s.startServer(9988); } publi
多线程监听器事件模式(一个简单的例子) 百合不是茶线程监听模式
多线程的事件监听器模式监听器时间模式经常与多线程使用,在多线程中如何知道我的线程正在执行那什么内容,可以通过时间监听器模式得到创建多线程的事件监听器模式思路: 1, 创建线程并启动,在创建线程的位置设置一个标记 2,创建队
spring InitializingBean接口 bijian1013 java spring
spring的事务的TransactionTemplate，其源码如下： public class TransactionTemplate extends DefaultTransactionDefinition implements TransactionOperations, InitializingBean{ ... } TransactionTemplate继承了DefaultT
Oracle中询表的权限被授予给了哪些用户 bijian1013 oracle 数据库权限
Oracle查询表将权限赋给了哪些用户的SQL，以备查用。 select t.table_name as "表名", t.grantee as "被授权的属组", t.owner as "对象所在的属组"
【Struts2五】Struts2 参数传值 bit1129 struts2
Struts2中参数传值的3种情况 1.请求参数绑定到Action的实例字段上 2.Action将值传递到转发的视图上 3.Action将值传递到重定向的视图上一、请求参数绑定到Action的实例字段上以及Action将值传递到转发的视图上 Struts可以自动将请求URL中的请求参数或者表单提交的参数绑定到Action定义的实例字段上，绑定的规则使用ognl表达式语言
【Kafka十四】关于auto.offset.reset[Q/A] bit1129 kafka
I got serveral questions about auto.offset.reset. This configuration parameter governs how consumer read the message from Kafka when there is no initial offset in ZooKeeper or
nginx gzip压缩配置 ronin47 nginx gzip 压缩范例
nginx gzip压缩配置更多 0 nginx gzip 配置随着nginx的发展，越来越多的网站使用nginx，因此nginx的优化变得越来越重要，今天我们来看看nginx的gzip压缩到底是怎么压缩的呢？ gzip(GNU-ZIP)是一种压缩技术。经过gzip压缩后页面大小可以变为原来的30%甚至更小，这样，用
java-13.输入一个单向链表，输出该链表中倒数第 k 个节点 bylijinnan java
two cursors. Make the first cursor go K steps first. /* * 第 13 题：题目：输入一个单向链表，输出该链表中倒数第 k 个节点 */ public void displayKthItemsBackWard(ListNode head,int k){ ListNode p1=head,p2=head;
Spring源码学习-JdbcTemplate queryForObject bylijinnan java spring
JdbcTemplate中有两个可能会混淆的queryForObject方法： 1. Object queryForObject(String sql, Object[] args, Class requiredType) 2. Object queryForObject(String sql, Object[] args, RowMapper rowMapper) 第1个方法是只查
[冰川时代]在冰川时代,我们需要什么样的技术? comsci 技术
看美国那边的气候情况....我有个感觉...是不是要进入小冰期了? 那么在小冰期里面...我们的户外活动肯定会出现很多问题...在室内呆着的情况会非常多...怎么在室内呆着而不发闷...怎么用最低的电力保证室内的温度.....这都需要技术手段... &nb
js 获取浏览器型号 cuityang js 浏览器
根据浏览器获取iphone和apk的下载地址 <!DOCTYPE html> <html> <head> <meta charset="utf-8" content="text/html"/> <meta name=
C# socks5详解转 dalan_123 socket C#
http://www.cnblogs.com/zhujiechang/archive/2008/10/21/1316308.html 这里主要讲的是用.NET实现基于Socket5下面的代理协议进行客户端的通讯，Socket4的实现是类似的，注意的事，这里不是讲用C#实现一个代理服务器，因为实现一个代理服务器需要实现很多协议，头大，而且现在市面上有很多现成的代理服务器用，性能又好，
运维 Centos问题汇总 dcj3sjt126com 云主机
一、sh 脚本不执行的原因 sh脚本不执行的原因只有2个 1.权限不够 2.sh脚本里路径没写完整。二、解决You have new mail in /var/spool/mail/root 修改/usr/share/logwatch/default.conf/logwatch.conf配置文件 MailTo = MailFrom 三、查询连接数
Yii防注入攻击笔记 dcj3sjt126com sql WEB安全 yii
网站表单有注入漏洞须对所有用户输入的内容进行个过滤和检查，可以使用正则表达式或者直接输入字符判断，大部分是只允许输入字母和数字的，其它字符度不允许；对于内容复杂表单的内容，应该对html和script的符号进行转义替换：尤其是<,>,',"",&这几个符号这里有个转义对照表： http://blog.csdn.net/xinzhu1990/articl
MongoDB简介[一] eksliang mongodb MongoDB简介
MongoDB简介转载请出自出处：http://eksliang.iteye.com/blog/2173288 1.1易于使用 MongoDB是一个面向文档的数据库，而不是关系型数据库。与关系型数据库相比，面向文档的数据库不再有行的概念，取而代之的是更为灵活的“文档”模型。另外，不
zookeeper windows 入门安装和测试 greemranqq zookeeper 安装分布式
一、序言以下是我对zookeeper 的一些理解： zookeeper 作为一个服务注册信息存储的管理工具，好吧，这样说得很抽象，我们举个“栗子”。栗子1号：假设我是一家KTV的老板，我同时拥有5家KTV，我肯定得时刻监视
Spring之使用事务缘由(2-注解实现) ihuning spring
Spring事务注解实现 1. 依赖包： 1.1 spring包： spring-beans-4.0.0.RELEASE.jar spring-context-4.0.0.
iOS App Launch Option 啸笑天 option
iOS 程序启动时总会调用application:didFinishLaunchingWithOptions:，其中第二个参数launchOptions为NSDictionary类型的对象，里面存储有此程序启动的原因。 launchOptions中的可能键值见UIApplication Class Reference的Launch Options Keys节。 1、若用户直接
jdk与jre的区别（_） macroli java jvm jdk
简单的说JDK是面向开发人员使用的SDK，它提供了Java的开发环境和运行环境。SDK是Software Development Kit 一般指软件开发包，可以包括函数库、编译程序等。 JDK就是Java Development Kit JRE是Java Runtime Enviroment是指Java的运行环境，是面向Java程序的使用者，而不是开发者。如果安装了JDK，会发同你
Updates were rejected because the tip of your current branch is behind qiaolevip 学习永无止境每天进步一点点众观千象 git
$ git push joe prod-2295-1 To [email protected]:joe.le/dr-frontend.git ! [rejected] prod-2295-1 -> prod-2295-1 (non-fast-forward) error: failed to push some refs to '[email protected]
[一起学Hive]之十四-Hive的元数据表结构详解 superlxw1234 hive hive元数据结构
关键字：Hive元数据、Hive元数据表结构之前在 “[一起学Hive]之一–Hive概述，Hive是什么”中介绍过，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。文章最后面，会以一个示例来全面了解一下，
Spring 3.2.14，4.1.7，4.2.RC2发布 wiselyman Spring 3
Spring 3.2.14、4.1.7及4.2.RC2于6月30日发布。其中Spring 3.2.1是一个维护版本(维护周期到2016-12-31截止)，后续会继续根据需求和bug发布维护版本。此时，Spring官方强烈建议升级Spring框架至4.1.7 或者将要发布的4.2 。其中Spring 4.1.7主要包含这些更新内容。

决策树(Decision Tree)

决策树(Decision Tree)

基本概念

构造决策树的算法

ID3

C4.5

决策边界

CART(Classification and Regression Tree)

CART分类树

CART回归树

你可能感兴趣的:(Machine,Learning)