燕双嘤

机器学习：聚类分析

1，聚类简介

1.1，无监督学习

监督学习使用标记数据对学习函数： $X\rightarrow Y$ 。但是，如果我们没有标签呢？这类没有标签的学习方式被称为无监督学习。

无监督学习：如果训练样本全部无标签，则是无监督学习。例如聚类算法，就是根据样本间的相似性对样本集进行聚类试图使类内差距最小化，类间差距最大化。

主要用途：

自动组织数据。

理解某些数据中的隐藏结构。

在低维空间中表示高维数据。

1.2，数据聚类

将物理或抽象对象的集合分成由类似的对象组成的多个类或簇的过程被称为聚类。数据聚类是一个无监督的学习问题。

前提：个未标记的样本 $\left \{ x_1,x_2,...,x_n \right \}$ ，样本种类数量。

目标：将个样例分成类。

聚类使用的唯一信息是示例之间的相似性，并且一个好的聚类应该达到：高的簇内相似性低的簇间相似性。

1.3，余弦距离

距离：在一个集合中，如果每一对元素均可为唯一确定一个实数，使得三条距离公理（正定型，对称性，三角不等式）成立，则该实数可称为这对元素之间的距离。

余弦距离满足正定性和对称性，但是不满足三角不等式，因此它并不是严格定义的距离。

正定性：

根据余弦距离的定义，有：

$dist(A,B)=1-cos\theta =\frac{||A||_2||B||_2-AB}{||A||_2||B||_2}$

考虑到 $||A||_2||B||_2-AB\geqslant 0$ ，因此有 $dist(A,B)\geqslant 0$ 恒成立。

有 $dist(A,B)=0\Leftrightarrow ||A||_2||B||_2=AB\Leftrightarrow A=B$

因此余弦距离满足正定性。

对称性：

根据余弦距离的定义，有：

$dist(A,B)=\frac{||A||_2||B||_2-AB}{||A||_2||B||_2}=\frac{||B||_2||A||_2-AB}{||B||_2||A||_2}=dist(B,A)$

因此余弦距离满足对称性。

三角不等式：

该性质并不成立，例如给定，，，则有

$dist(A,B)=1-\frac{\sqrt{2}}{2}$

$dist(B,C)=1-\frac{\sqrt{2}}{2}$

因此有： $dist(A,B)+dist(B,C)=2-\sqrt{2}<1=dist(A,C)$

欧式距离体现数值上的绝对差异，而余弦距离体现方向上的相对差异。【例如】用户A的观看向量为(0,1)，用户B为(1,0)；两者余弦距离很大，而欧式距离很小；分析两个用户对于不同视频的偏好，更关注相对差异。而当分析用户活跃度，以登录次数和平均观看时长作为特征时，余弦距离会认为(1,10)、(10,100)两个用户距离很近；但显然这两个用户活跃度是有着极大差异的，此时更关注数值绝对差异，应当使用欧式距离。

1.4，距离相似度

相似性度量的选择对于聚类非常重要，通常情况下用样本之间的距离表示相似度，且相似性与距离成反比。常用的相似度度量公式：

欧式距离： $d(x,z)=\sqrt{\sum_{d=1}^{D}(x_d-z_d)^2}$

曼哈顿距离： $d(x,z)=\sum_{d=1}^{D}|x_d-z_d|$

余弦相似度： $\small cos\theta =\frac{a^Tb}{|a||b|}$ ，关注的是向量之间的角度关系，并不关心它们的绝对大小，其取值范围是[-1,1]。

皮尔森系数： $\small \rho_{XY}=\frac{COV(X,Y)}{\sigma_X \cdot \sigma_Y}$ ，可以描述为不同对象偏离拟合的中心程度。

相对熵（K-L距离）： $\small D(p||q)=E_{p(x)}log\frac{p(x)}{q(x)}$

Jaccard系数： $\small J(A,B)=\frac{|A\cap B|}{|A\cup B|}$ ，常用于二值型数据相似度计算。在数据挖掘中将属性值二值化，通过计算Jaccard相似度，可以简单快速地得到两个对象的相似程度。

核化（非线性）距离： $d(x,z)=||\Phi(x)-\Phi(z)||$ ，其中 $\Phi(x)$ 表示的核函数。

对于左图，欧式距离可能是合理的；对于右边的图，核化距离似乎更合理。

2，层次聚类

2.1，概述

层次聚类的合并算法通过计算两类数据点间的相似性，对所有数据点中最为相似的两个数据点进行组合，并反复迭代这一过程。简单的说层次聚类的合并算法是通过计算每一个类别的数据点与所有数据点之间的距离来确定它们之间的相似性，距离越小，相似度越高。并将距离最近的两个数据点或类别进行组合，生成聚类树。

层次聚类算法是通过将数据组织为若干组并形成一个相应的树来进行聚类的。在实际应用中一般有两种层次聚类方法：凝聚层次聚类方法&分裂层次聚类方法。

缺点：分层聚类虽然比较简单，但经常会遇到选择合并点或者分裂点的问题。这种选择非常关键，因为一旦一组对象被合并或者分裂，下一步的工作就是在新形成的类上进行，已做的处理不能撤销，类之间也不能交换对象。如果合并或者分裂的决定不合适，就可能得出低质量的聚类结果。而且，分层聚类算法没有很好的可伸缩性，在决定合并或者分裂之前需要检查和估算大量的对象和类。

2.2，凝聚聚类

凝聚（自底向上）聚类：

将样本集中所有的样本点当做一个独立的类簇。

计算两两类簇之间的距离，找到最小距离的两个类簇。

合并类簇为一个类簇 $\left \{ 1,3 \right \}$ ，重复2~3直到全部分类或者达到指定的。

可以使用不同的值查看不同粒度级别的分区（即，可以细化/粗化集群）。例如下面的凝聚层次聚类方法。

，层次聚类结果： $\left \{ 1,3 \right \},\left \{2 \right \},\left \{5 \right \},\left \{4\right \},\left \{6\right \}$ 。

，层次聚类结果： $\left \{ 1,3 \right \},\left \{2,5 \right \},\left \{4\right \},\left \{6\right \}$ 。

2.3，分裂聚类

分裂（自上而下）聚类：

将样本集中的所有样本归为一个类簇。

之后将已有类中相距最远的样本分到两个新的簇。

重复此操作直到满足停止条件。

得到层次化的类别。

2.4，计算相似性（距离）

凝聚的层次聚类要找到距离最近的子类（样本点对），分裂的层次聚类要找到距离最远的子类（样本点对），其中距离的计算可以采用不同的方法，主要有如下几种：

Min-link 方法： $d(R,S)=min_{x_{R}\in R,x_{S}\in S}\, d(x_R,x_S)$

Max-link 方法： $d(R,S)=max_{x_{R}\in R,x_{S}\in S}\, d(x_R,x_S)$

Average-link方法： $d(R,S)=\frac{1}{|R|\ast |S|}\sum_{x_{R}\in R,x_{S}\in S}\, d(x_R,x_S)$

2.5，算法优化

以自底向上为例，每次聚类划分都需要重新计算各个样本之间的距离，但是实际上每次合并都会有个样本不会之间的相似度不会发生改变，因此可以减轻计算负担。

如上图所示，通过对比发现的距离最小，相似度最高，因此将 进行合并，只需要重新与新簇之间的距离，而之间的相似度并未受到影响，因此可以减少很大的计算量。

3，密度聚类

3.1，概念

DBSCAN密度聚类：与划分和层次聚类方法不同，DBSCAN是一个比较有代表性的基于密度的聚类算法。它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类。

密度：空间中任意一点的密度是以该点为圆心，以扫描半径构成的圆区域内包含的点数目。

DBSCAN使用两个超参数：扫描半径 (eps)和最小包含点数(minPts)来获得簇的数量，而不是猜测簇的数目。

扫描半径 (eps)：用于定位点/检查任何点附近密度的距离度量，即扫描半径。

最小包含点数(minPts) ：聚集在一起的最小点数（阈值），该区域被认为是稠密的。

DBSCAN算法将数据点分为三类：

核心点：在半径Eps内含有超过MinPts数目的点。

边界点：在半径Eps内点的数量小于MinPts,但是落在核心点的邻域内的点。

噪音点：既不是核心点也不是边界点的点。

3.2，算法流程

DBSCAN密度聚类的算法流程：

将所有点标记为核心点、边界点或噪声点；

如果选择的点是核心点，则找出所有从该点出发的密度可达对象形成簇；

如果该点是非核心点，将其指派到一个与之关联的核心点的簇中；

重复以上步骤，直到所点都被处理过。

【例子】：有如下13个样本点，使用DBSCAN进行聚类：

4，K-means聚类

4.1，算法流程

首先随机从数据集中选取个点，每个点初始地代表每个簇的聚类中心，然后计算剩余各个样本到聚类中心的距离，将它赋给最近的簇，接着重新计算每一簇的平均值，整个过程不断重复，如果相邻两次调整没有明显变化，说明数据聚类形成的簇已经收敛。

Input： $\left \{ x_1,...,x_n \right \}(x_i\in R^D)$ ，分类数。

Initialize：个簇中心 $\mu_1,\mu_2,...,\mu_K$ 。

Iterate：

将每个实例赋值到其最接近的聚类中心： $k=arg\, min_{k\in \left \{ 1,...,K \right \}}||x_i-\mu_k||$ 。

重新计算每个类簇中心 $\mu_k$ ， $\mu_k=\frac{1}{|C_k|}\sum_{j\in C_k}x_j$ （集合的均值/质心）。分子表示属于簇的样本求和，分母表示簇的样本个数。

不收敛时重复。一个可能的收敛标准是：集群中心不再改变。

4.2，目标函数

K-means目标函数：

$\mu_1,\mu_2,...,\mu_K$ 为个簇的中心。

$r_{ik}=\left \{ 0,1 \right \}$ 表示样本点是否属于簇。

K-means目标最小化点到其聚类中心的距离之和：

$J(\mu,r)=\sum_{i=1}^{n}\sum_{k=1}^{K}r_{ik}||x_i-\mu_k||^2$

K-means目标的精确优化是NP困难的。K-均值算法是一种收敛于局部最优解的启发式算法。

4.3，优化问题

为了保证  一定属于某个  ，因此可以推出： $\sum_{k=1}^{K}r_{ik}=1,r_{ik}\in \left \{ 0,1 \right \}$ 。

因此需要判定K-means目标函数在约束条件下的优化，即求最大相似度，距离最小值：

$min\sum_{i=1}^{n}\sum_{k=1}^{K}r_{ik}||x_i-\mu_k||^2$

$s.t.\, \,\sum_{k=1}^{K}r_{ik}=1,r_{ik}\in \left \{ 0,1 \right \}$

由于这是NP问题，无法同时优化 $\mu,r$ ，因此采用分步优化的方法。用坐标表示为：

（1）给定 $\mu$ 优化

对上图来说，簇中心点确定，为了保证目标函数最小，可以通过设定目标点  所属的簇来减少距离。

例如：对  来说，给定，可以算出距离最小值的簇中心为。而 $r_{ik}$ 的这有：

$r_{11}=1,r_{12}=0,r_{13}=0$

$r_{11}=0,r_{12}=1,r_{13}=0$

$r_{11}=0,r_{12}=0,r_{13}=1$

此时， $r_{11}=1,r_{12}=0,r_{13}=0$ 为能使目标函数最小点的值。扩展到全部的样例点，利用所有的 $r_{ik}$ 不同组合序列都可求得 $\sum_{i=1}^{n}\sum_{k=1}^{K}r_{ik}||x_i-\mu_k||^2$ ，取最小值对应的 $r_{ik}$ 序列即为  的优化。 此为排序问题，对于给定的 $\mu$ ，总能找到   $r_{ik}$ 序列使得 $\sum_{i=1}^{n}\sum_{k=1}^{K}r_{ik}||x_i-\mu_k||^2$ 取最小值。

（2）给定  优化   $\mu$

$\sum_{i=1}^{n}\sum_{k=1}^{K}r_{ik}||x_i-\mu_k||^2$ ，化简：

$=\sum_{i=1}^{n}\sum_{k=1}^{K}r_{ik}\sum_{j=1}^{n}(x_{ij}-\mu_{kj})^2$

$=\sum_{i=1}^{n}\sum_{k=1}^{K}r_{ik}\sum_{j=1}^{n}(x_{ik}^2-2x_{ik}\mu_{kj}+\mu_{kj}^2)$ ，在  处求导：

$=\sum_{i=1}^{n}r_{ik}\sum_{j=1}^{n}(2\mu_{kj}-2x_{ik})$

$=2\sum_{i=1}^{n}r_{ik}(\mu_{k}-x_{i})=0$

$\sum_{i=1}^{n}r_{ik}(\mu_{k})=\sum_{i=1}^{n}r_{ik}(x_{i})$ ，即：

$\mu_{k}=\frac{\sum_{i=1}^{n}r_{ik}(x_{i})}{\sum_{i=1}^{n}r_{ik}}$

其中， $\sum_{i=1}^{n}r_{ik}(x_{i})$ 表示属于  簇的样本求和； $\sum_{i=1}^{n}r_{ik}$ 表示样本的个数；相除即为中心点。

4.4，收敛问题

第次更新： $J(\mu^{T},r^{T})\geqslant J(\mu^{T},r^{T+1})$

第次更新： $J(\mu^{T},r^{T+1})\geqslant J(\mu^{T+1},r^{T+1})$

即： $J(\mu^{T},r^{T})\geqslant J(\mu^{T+1},r^{T+1})$

单调下降，此时还需要证明有下界。

$\sum_{i=1}^{n}\sum_{k=1}^{K}r_{ik}||x_i-\mu_k||^2\geqslant 0$

因此，一定存在下界，一定大时，下界为0。

4.5，初始化问题

K-means对群集中心初始化极为敏感，错误的初始化可能导致：

收敛速度差。

整体聚类不好。

选择措施：

选择第一个中心作为示例之一，第二个中心离第一个中心最远，第三个中心离两个中心都最远，依此类推。

假设第一个中心点为 $\mu_1$ 。

$\mu_2=max||\mu_1-x_i||^2\, \, \, s.t.\, \, \, 1\leqslant i\leqslant n,x_i\neq \mu_1$

$\mu_2=max||\mu_1-x_i||^2+||\mu_2-x_i||^2\, \, \, s.t.\, \, \, 1\leqslant i\leqslant n,x_i\neq \mu_1,\mu_2$

......

尝试多次初始化并选择最佳结果。

其他更智能的初始化方案。

K值的选择：现在我们需要找到簇的数量。通常通过“肘部法则”进行计算。我们可能会得到一条类似于人的肘部的曲线。图中，代价函数的值会迅速下降，在 =3的时候达到一个肘点。在此之后，代价函数的值会就下降得非常慢，所以，我们选择 =3。这个方法叫“肘部法则”。

4.6，算法优缺点

优点：

鲁棒性高；

速度快、易于理解、效率高；

计算成本低、灵活性高；

如果数据集是不同的，则结果更好；

可以产生更紧密的簇；

重新计算质心时，簇会发生变化。

缺点

（1）将点硬指定给簇：

点要么完全属于簇，要么根本不属于簇。

没有软分配的概念（即分配给每个集群的概率：假设K=3，对于某个点，p1=0.7，p2=0.2，p3=0.1）。

高斯混合模型和模糊K-均值允许软分配。

（2）对异常值示例敏感（此类示例会对平均值产生很大影响）：

K-medians算法是一种更为稳健的异常数据替代方法。

原因：在存在异常值的情况下，中值比均值更稳健。

（3）K-means对群集中心初始化极为敏感，错误的初始化可能导致：

收敛速度差。

整体聚类不好。

（4）K-均值的一个问题在于，它有可能会停留在一个局部最小值处，而这取决于初始
化的情况。为了解决这个问题，我们通常需要多次运行K-均值算法，每一次都重新进行随机初始化，最后再比较多次运行K-均值的结果，选择代价函数最小的结果。

（5）仅适用于圆形和大小/密度大致相等的簇。

（6）如果簇具有非凸形状，则效果会很差：谱聚类或核化K-均值可以作为替代方法。

（7）不适用于非线性数据集，如果遇到非常大的数据集，那么计算机可能会崩溃。

（8）欧几里德距离可以不平等的权重因素，限制了能处理的数据变量的类型。

5，谱聚类

5.1，概述

数据结构：图（图的抽象数据类型、图的表现和实现）_燕双嘤-CSDN博客1，图及其抽象数据类型图（Graph）是一种较线性表和树更为复杂的数据结构：在线性表中，数据元素之间仅有线性关系，即每个数据元素只有一个直接前驱和一个直接后继。在树形结构中，数据元素之间有着明显的层次关系，虽然每一层上的数据元素可能和下一层中多个元素（孩子）相关，但只能和上一层中一个元素（双亲）相关。而在图形结构中，结点之间的关系可以是任意的，任意两个数据元素之间都可能相关。1.1，图的基本概念图G（Graph）是由顶点（Vertex）集合V和顶点间的关系集合E（边Edghttps://shao12138.blog.csdn.net/article/details/115002316数据结构：图（图的遍历、最小生成树、最短路径）_燕双嘤-CSDN博客1，图的遍历和树的遍历类似，图的遍历也是从某个顶点出发，沿着某条搜索路径对图中所有顶点各作一次访问。若给定的图是连通图，则从图中任一顶点出发顺着边可以访问到该图中所有的顶点，但是，在图中有回路，从图中某一顶点出发访问图中其它顶点时，可能又会回到出发点，而图中可能还剩余有顶点没有访问到，因此，图的遍历较树的遍历更复杂。我们可以设置一个全局型标志数组visited来标志某个顶点是否被访问过，未访问的值为0，访问过的值为1。根据搜索路径的方向不同，图的遍历有两种方法：深度优先搜索遍历（DFS）和广度优先搜索https://shao12138.blog.csdn.net/article/details/84860742谱聚类是从图论中演化出来的算法，后来在聚类中得到了广泛的应用。它的主要思想是把所有的数据看做空间中的点，这些点之间可以用边连接起来。距离较远的两个点之间的边权重值较低，而距离较近的两个点之间的边权重值较高，通过对所有数据点组成的图进行切图，让切图后不同的子图间边权重和尽可能的低，而子图内的边权重和尽可能的高，从而达到聚类的目的。

目标：给定数据点和相似性，将数据分成若干组，以便一组中的点相似，而不同组中的点不同。对图形进行分区，使组内的边具有较大的权重，而组间的边具有较小的权重。

对每一行每一列来说簇内结点的权重永远大于与其他簇结点的权重。

5.2，相似图构造

相似图：数据点之间的局部邻域关系模型。

例如，高斯核相似函数：

$W_{ij}=e^{\frac{||x_i-x_j||^2}{2\sigma^2}}$

其中超参数 $\sigma$ 用来控制邻域的大小。

5.3，最小分割

Min-cut：将图分成两个集合A和B，使得连接A中顶点和B中顶点的边的权重最小。

$cut(A,B)=\sum_{i\in A,j\in B}w_{ij}$

也就是求解最小生成树，所用方法：Prim算法或Krushal算法（具体参考上面博客），以Prim算法为例。

将最后的最小生成树中最小权重的边 AD=10 作为切割线，可得到两个簇： $\left \{ A \right \},\left \{ B,C,D,E,F \right \}$ 。

从结果看，这种做法似乎有些问题，通常情况下我们希望簇之间的结点的数目尽可能一致，否则会出现不令人满意的分区-通常会隔离顶点。

5.4，标准分割

Normalized cut：将图分成两个集合A和B，使得连接A中顶点和B中顶点的边的权重最小&A和B的大小非常相似。由于子图样本的个数多并不一定权重就大，切图时基于权重也更合我们的目标，因此一般来说Ncut切图优于RatioCut切图。

$Ncut(A,B)=cut(A,B)(\frac{1}{vol(A)}+\frac{1}{vol(B)})$

其中 $vol(A)=\sum_{i\in A}d_i$ 表示图A中权重的和，也可以用数量来代替。

但是对我们来说，NP很难解决！！光谱聚类是这个方法的一种松弛。

令 $W\in R^{n\times n}$ 表示图的邻接矩阵。

令，其中 $d_i=\sum_{j=0}^{n}w_{ij}$ ，行和。

令，

令 $f=[f_1,f_2,...,f_n]^T,f_i=\left\{\begin{matrix} \frac{1}{vol(A)} & i\in A\\ -\frac{1}{vol(B)} & i\in B \end{matrix}\right.$

$=\sum_{i=1}^{n}d_if_i^2-\sum_{i=1}^{n}\sum_{j=1}^{n}f_if_jw_{ij}$

$=\frac{1}{2}\sum_{i=1}^{n}d_if_i^2+\frac{1}{2}\sum_{j=1}^{n}d_jf_j^2-\sum_{i=1}^{n}\sum_{j=1}^{n}f_if_jw_{ij}$ ，带入 $d_i=\sum_{j=1}^{n}w_{ij}$

$=\frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}w_{ij}f_i^2+\frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}w_{ij}f_j^2-\sum_{i=1}^{n}\sum_{j=1}^{n}f_if_jw_{ij}$

$=\frac{1}{2}\sum_{i=1}^{n}\sum_{i=1}^{n}w_{ij}(f_i^2+f_j^2-2f_if_j)$

$=\frac{1}{2}\sum_{i=1}^{n}\sum_{i=1}^{n}w_{ij}(f_i-f_j)^2$

$=\frac{1}{2}\sum_{i\in A,j\in B}w_{ij}(\frac{1}{vol(A)}+\frac{1}{vol(B)})^2$

$f^TDf=\sum_{i}d_if_i^2=\sum_{i\in A}\frac{d_i}{vol(A)^2}+\sum_{j\in B}\frac{d_j}{vol(B)^2}$

带入， $vol(A)=\sum_{i\in A}d_i$

$f^TDf=\frac{1}{vol(A)}+\frac{1}{vol(B)}$

又有 $f^TLf=\frac{1}{2}\sum_{i\in A,j\in B}w_{ij}(\frac{1}{vol(A)}+\frac{1}{vol(B)})^2$

$Ncut(A,B)=cut(A,B)(\frac{1}{vol(A)}+\frac{1}{vol(B)})$

所以， $Ncut(A,B)=2\frac{f^TLf}{f^TDf}$

因此，我们的目标转变为：

$min\, \, \frac{f^TLf}{f^TDf}\, \, \, \, s.t.\, \, \, f^TDe=0$

从原始无松弛下而来，e为向量(1,1,1,1...,1)：

$f^TDe=\sum_{i\in A\cup B}f_id_i=\sum_{i\in A}f_id_i+\sum_{i\in B}f_id_i$

$=\sum_{i\in A}\frac{1}{vol(A)}d_i+\sum_{i\in B}\frac{-1}{vol(B)}d_i$

$=\frac{vol(A)}{vol(A)}-\frac{vol(B)}{vol(B)}=1-1=0$

我们再看原始问题，求解 $min\, \, \frac{f^TLf}{f^TDf}\, \, \, \, s.t.\, \, \, f^TDe=0$

$\frac{f^TLf}{f^TDf}$ 利用矩阵对矩阵求导可得：

$\frac{(L^T+L)f*f^TDf-f^TLf*(D^T+D)f}{(f^TDf)^2}$ ，又因为  为对称矩阵：

$\frac{2Lf*f^TDf-2f^TLf*Df}{(f^TDf)^2}$ ，令导数=0：

$\2Lf*f^TDf-2f^TLf*Df=0$

$\ Lf*f^TDf=f^TLf*Df$

$\ Lf=\frac{f^TLf}{f^TDf}Df$ ，等价于向量  （特殊矩阵）的广义特征多项式。

$Lf = \lambda Df$

需要求 $min\, \, \frac{f^TLf}{f^TDf}$ ，即求特征值 $\lambda$ 的最小值。

$Lf = \lambda Df$

对上式求转置可得：

$\lambda f^TD=f^TL$ ，同乘单位向量。

$\lambda f^TDe=f^TLe=f^T(D-W)e$ ，根据D和W的关系。

$\lambda f^TDe=0$

由于L是半正定矩阵，因此L的最小特征值为0，进而通过在0处设置阈值  来获得群集分配。

5.5，归一化的近似切割

设是对应于广义矩阵求解问题的第二小的特征向量，等价于对应于归一化拉普拉斯函数的第二个最小值的特征向量。

5.6，划分图

通过选择最小的k个特征值（一般情况选择大于k的，因为存在误差和噪声）和对应的特征向量，将特征向量k-means聚类(少量的特征向量)。

5.7，有效性

数据被投影到一个低维空间（光谱/特征向量域），在那里它们很容易分离，比如说使用k-均值。

图中有三个相连的分量——前三个特征向量在每个分量上都是常数（所有的）。

如果图是连通的，第一拉普拉斯算子evec是常数(都是1)；如果图是不连通的(k个连通分量)，拉普拉斯算子为块对角线，前k拉普拉斯算子为：

若集群不对应于图中的连接组件，那个么所有希望都破灭了吗？不！如果簇是松散连接的(小的离块对角线企业)，则第一拉普拉斯偶数都是1，但第二evec得到第一个切割(最小归一化切割)。

块权重矩阵（断开连接的图形）产生块特征向量：

轻微扰动不会显著改变特征向量的范围：

无论数据顺序如何，嵌入都是相同的：

6，应用题

6.1，应用题一

【问题】阐述K-means和谱聚类算法的工作原理，并比较他们的优缺点。

K-means：事先给定一组个中心 $\left \{ u_1,u_2,...,u_k \right \}$ ，将每一个样本分配给距离它最近的中心，即 $arg\, \, \underset{k\in \left \{ 1,2,...,k \right \}}{min}||x_i-u_k||$ ，将分好的簇记为，重新计算中心点 $u_k=\frac{1}{c_k}\sum_{j\in c_k}^{}x_j$ ，重复多次计算直到各簇之间不发生变化。

谱聚类：根据数据构造一个，的每个节点对应一个数据，将相似的连接起来，并用边的权重表示数据之间的相似度，用邻接矩阵表示；构造 $D=diag(w_{11},w_{22},...)$ ，并得出：求出的前个非0特征值及对应的特征向量；把这个特征向量排列在一起组成一个新的矩阵，并将每一行看作维空间中的向量，并将其作为给定中心用算法进行聚类。

一方面，K-means对于中心的给定比较敏感，差的中心极有可能得到较慢的收敛速率和较差的结果，而谱聚类的算法可以帮助我们快速找到合适的聚类中心，避免因为中心的影响而导致结果的不理想；

另一方面，谱聚类考虑了邻里之间的关系，而K-means并没有，因此谱聚类可以适用于更多的非圆形中心，而K-means只对圆形中心有更好的聚类；

此外，谱聚类要求样本的权重 $w_{ij}$ 非负，这极大的限制了它的运用范围，而K-means没有。

【问题】假设数据有多重特征表示，即 $X=[X_{(1)},X_{(2)},...,X_{(m)}]$ ，其中代表数据的第  个特征，请设计能够融合这些不同特征的聚类算法。

【第一步】使用核函数思想，即   $K(x_i,x_j)=\Phi (x_i)^T\Phi (x_j)$ ，通过核K-means算法对其聚类。在算法中，我们需要确定一个能够表征所有特征的核函数，这个核函数应该与每一个特征相关。

【第二步】如果我们引用高斯核函数，那么 $K(x_i,x_j)=exp(-\frac{||x_i-x_j||^2}{\sigma ^2})$ ，每一个 $\sigma ^2$ 都对应一个不同的核函数，不同的特征对应不同的核函数，而其线性组合得到的核函数  必然是可以通过多个高斯基函数  线性组合近似得到的，通过这组高斯基函数并将其线性组合即可得到一个具有多种特征的高斯核函数 $k_b=\sum_{s=1}^{n}b_sk_s$ ，得到新的核函数。

【第三步】先给定一组  的值，带入给定样本中进行学习这一核函数，通过不断调整线性组合系数  得到不同的簇，并根据已知的训练样本分簇与上述聚类样本对比，选择聚类情况最优时对应的核函数  即为学习得到最优的核函数，此时的核函数能够较友好反应样本的特征。

通过以三步，我们确定了最优的核函数，可以将其带入K-Means算法中，可以对更多的样本进行分类。

6.2，应用题二

给定样本集合 $S=\left \{ (x_1,y_1,s_1),...,(x_n,y_n,s_n) \right \}\in R_d\times \left \{ -1,1 \right \}$ ，其中 $\left \{ x_1,x_2,...,x_n \right \}$ 独立同分布， $s_i\in \left \{ 0,1 \right \}$ ，为第个样本的缺失指示矩阵，即表示样本的第个特征可观测（ $q\in [1,d]$ ），否则表示该特征值缺失。

（1）请设计分类算法以处理数据中含确实特征的情形。

【第一步】首先对于样本中缺失的数据，将  缺失的特征记为0，但不改变样本标签，仍然使，则  样本每个特征上都存在特定的值。

【第二步】分析问题给定  个类别和初始标签，将  视为原有标签。通过核SVM分类算法对所得样本  进行分类，并通过交叉验证的方法不断调整松弛因子  得到分类器和  个最终类别。

【第三步】我们认为每一个分在同一类的样本具有较强的相关性，则可以用该类别中样本该特征非缺失值的均值逐一对样本中缺失的值补齐，更新样本  ，并不改变  的标签，仍看作为缺失值。

【第四步】用更新后的样本重复多次进行核SVM分类，得到该次样本，当第  次样本某个特征与第  次样本对应特征之差在一个可以容忍的区间时（由初始给定的一个预设值），并将标签改为，停止该样本该特征的更新，直到每一个样本都不在更新，得到最后样本和类别。

（2）请设计聚类算法以处理数据中含有缺失特征的情形。

【第一步】首先对于样本中缺失的数据，将  缺失的特征记为0,，但不改变样本标签，仍然使，则  样本每个特征上都存在特定的值。

【第二步】通过谱聚类的方法取非0最大的前  个特征值和特征向量，并将其作为给定中心用K-means算法进行聚类，得到有  个类别。

【第三步】我们认为每一个同一类的样本具有较强的相关性，则可以用该类别中样本该特征非缺失值的均值逐一对样本中所缺失的值补齐，更新样本，并不改变  的标签，仍看作为缺失值。

【第四步】用更新后的样本重复多次进行聚类分析，得到该次样本，当第  次样本某个特征与第  次样本对应特征之差在一个可以容忍的区间时（由初始给定的一个预设值），并将标签改为，停止该样本该特征的更新，直到每一个样本都不在更新，得到最后样本和类别。

你可能感兴趣的:(机器学习/深度学习/强化学习,机器学习)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
将cmd中命令输出保存为txt文本文件落难Coder Windows cmd window
最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
Python实现简单的机器学习算法 master_chenchengg python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
遥感影像的切片处理 sand&wich 计算机视觉 python 图像处理
在遥感影像分析中，经常需要将大尺寸的影像切分成小片段，以便于进行详细的分析和处理。这种方法特别适用于机器学习和图像处理任务，如对象检测、图像分类等。以下是如何使用Python和OpenCV库来实现这一过程，同时确保每个影像片段保留正确的地理信息。准备环境首先，确保安装了必要的Python库，包括numpy、opencv-python和xml.etree.ElementTree。这些库将用于图像处理
推荐3家毕业AI论文可五分钟一键生成！文末附免费教程！小猪包333 写论文人工智能 AI写作深度学习计算机视觉
在当前的学术研究和写作领域，AI论文生成器已经成为许多研究人员和学生的重要工具。这些工具不仅能够帮助用户快速生成高质量的论文内容，还能进行内容优化、查重和排版等操作。以下是三款值得推荐的AI论文生成器：千笔-AIPassPaper、懒人论文以及AIPaperPass。千笔-AIPassPaper千笔-AIPassPaper是一款基于深度学习和自然语言处理技术的AI写作助手，旨在帮助用户快速生成高质
AI大模型的架构演进与最新发展季风泯灭的季节 AI大模型应用技术二人工智能架构
随着深度学习的发展，AI大模型（LargeLanguageModels,LLMs）在自然语言处理、计算机视觉等领域取得了革命性的进展。本文将详细探讨AI大模型的架构演进，包括从Transformer的提出到GPT、BERT、T5等模型的历史演变，并探讨这些模型的技术细节及其在现代人工智能中的核心作用。一、基础模型介绍：Transformer的核心原理Transformer架构的背景在Transfo
ai绘画工具midjourney怎么下载？附作品管理教程设计师早上好
Midjourney是一款功能强大的AI绘画工具，它使用机器学习技术和深度神经网络等算法，可以生成各种艺术风格的绘画作品。在创意设计、广告宣传等方面有着广泛的应用前景。那么，ai绘画工具midjourney怎么下载？本文将为您介绍Midjourney的下载以及作品的相关管理。一、Midjourney下载Midjourney的下载非常简单，只需打开Midjourney官网（点击“GetMidjour
[实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估 pytorch python 机器学习
文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
[实践应用] 深度学习之优化器 YuanDaima2048 深度学习工具使用 pytorch 深度学习人工智能机器学习 python 优化器
文章总览：YuanDaiMa2048博客文章总览深度学习之优化器1.随机梯度下降（SGD）2.动量优化（Momentum）3.自适应梯度（Adagrad）4.自适应矩估计（Adam）5.RMSprop总结其他介绍在深度学习中，优化器用于更新模型的参数，以最小化损失函数。常见的优化函数有很多种，下面是几种主流的优化器及其特点、原理和PyTorch实现：1.随机梯度下降（SGD）原理:随机梯度下降通过
机器学习-聚类算法不良人龍木木机器学习机器学习算法聚类
机器学习-聚类算法1.AHC2.K-means3.SC4.MCL仅个人笔记，感谢点赞关注！1.AHC2.K-means3.SC传统谱聚类：个人对谱聚类算法的理解以及改进4.MCL目前仅专注于NLP的技术学习和分享感谢大家的关注与支持！
生成式地图制图 Bwywb_3 深度学习机器学习深度学习生成对抗网络
生成式地图制图（GenerativeCartography）是一种利用生成式算法和人工智能技术自动创建地图的技术。它结合了传统的地理信息系统（GIS）技术与现代生成模型（如深度学习、GANs等），能够根据输入的数据自动生成符合需求的地图。这种方法在城市规划、虚拟环境设计、游戏开发等多个领域具有应用前景。主要特点：自动化生成：通过算法和模型，系统能够根据输入的地理或空间数据自动生成地图，而无需人工逐
深度 Qlearning：在直播推荐系统中的应用 AGI通用人工智能之禅程序员提升自我硅基计算碳基计算认知计算生物计算深度学习神经网络大数据 AIGC AGI LLM Java Python 架构设计 Agent 程序员实现财富自由
深度Q-learning：在直播推荐系统中的应用关键词：深度Q-learning,强化学习,直播推荐系统,个性化推荐1.背景介绍1.1问题的由来随着互联网技术的飞速发展,直播平台如雨后春笋般涌现。面对海量的直播内容,用户很难快速找到自己感兴趣的内容。因此,个性化推荐系统在直播平台中扮演着越来越重要的角色。1.2研究现状目前,主流的个性化推荐算法包括协同过滤、基于内容的推荐等。这些方法在一定程度上缓
未来软件市场是怎么样的？做开发的生存空间如何？ cesske 软件需求
目录前言一、未来软件市场的发展趋势二、软件开发人员的生存空间前言未来软件市场是怎么样的？做开发的生存空间如何？一、未来软件市场的发展趋势技术趋势：人工智能与机器学习：随着技术的不断成熟，人工智能将在更多领域得到应用，如智能客服、自动驾驶、智能制造等，这将极大地推动软件市场的增长。云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
吴恩达深度学习笔记(30)-正则化的解释极客Array
正则化（Regularization）深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少你的网络误差。如果你怀疑神经网络过度拟合了数据，即存在高方差问题，那么最先想到的方法可能是正则化，另一个解决高方差的方法就是准备更多数据，这也是非常
个人学习笔记7-6：动手学深度学习pytorch版-李沐浪子L 深度学习深度学习笔记计算机视觉 python 人工智能神经网络 pytorch
#人工智能##深度学习##语义分割##计算机视觉##神经网络#计算机视觉13.11全卷积网络全卷积网络（fullyconvolutionalnetwork，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换。引入l转置卷积（transposedconvolution）实现的，输出的类别预测与输入图像在像素级别上具有一一对应关系：通道维的输出即该位置对应像素的类别预测。13.11.1构造模型下
python中zeros用法_Python中的numpy.zeros()用法江平舟 python中zeros用法
numpy.zeros()函数是最重要的函数之一,广泛用于机器学习程序中。此函数用于生成包含零的数组。numpy.zeros()函数提供给定形状和类型的新数组,并用零填充。句法numpy.zeros(shape,dtype=float,order='C'参数形状：整数或整数元组此参数用于定义数组的尺寸。此参数用于我们要在其中创建数组的形状,例如(3,2)或2。dtype：数据类型(可选)此参数用于
深度学习-点击率预估-研究论文2024-09-14速读 sp_fyf_2024 深度学习人工智能
深度学习-点击率预估-研究论文2024-09-14速读1.DeepTargetSessionInterestNetworkforClick-ThroughRatePredictionHZhong,JMa,XDuan,SGu,JYao-2024InternationalJointConferenceonNeuralNetworks,2024深度目标会话兴趣网络用于点击率预测摘要：这篇文章提出了一种新
【NumPy】深入解析numpy.zeros()函数二七830 numpy
欢迎莅临我的个人主页这里是我深耕Python编程、机器学习和自然语言处理（NLP）领域，并乐于分享知识与经验的小天地！博主简介：我是二七830，一名对技术充满热情的探索者。多年的Python编程和机器学习实践，使我深入理解了这些技术的核心原理，并能够在实际项目中灵活应用。尤其是在NLP领域，我积累了丰富的经验，能够处理各种复杂的自然语言任务。技术专长：我熟练掌握Python编程语言，并深入研究了机
【中国国际航空-注册_登录安全分析报告】风控牛验证码接口安全评测系列安全行为验证极验网易易盾智能手机
前言由于网站注册入口容易被黑客攻击，存在如下安全问题：1.暴力破解密码，造成用户信息泄露2.短信盗刷的安全问题，影响业务及导致用户投诉3.带来经济损失，尤其是后付费客户，风险巨大，造成亏损无底洞所以大部分网站及App都采取图形验证码或滑动验证码等交互解决方案，但在机器学习能力提高的当下，连百度这样的大厂都遭受攻击导致点名批评，图形验证及交互验证方式的安全性到底如何？请看具体分析一、中国国际航空PC
机器学习流形数据降维：UMAP 降维算法小嗷犬 Python 机器学习 #数据分析及可视化机器学习算法人工智能
✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。个人主页：小嗷犬的个人主页个人网站：小嗷犬的技术小站个人信条：为天地立心，为生民立命，为往圣继绝学，为万世开太平。本文目录UMAP简介理论基础特点与优势应用场景在Python中使用UMAP安装umap-learn库使用UMAP可视化手写数字数据集UMAP简介UMAP（UniformManifoldApproximatio
损失函数与反向传播 Star_. PyTorch pytorch 深度学习 python
损失函数定义与作用损失函数(lossfunction)在深度学习领域是用来计算搭建模型预测的输出值和真实值之间的误差。1.损失函数越小越好2.计算实际输出与目标之间的差距3.为更新输出提供依据（反向传播)常见的损失函数回归常见的损失函数有：均方差（MeanSquaredError，MSE）、平均绝对误差（MeanAbsoluteErrorLoss，MAE）、HuberLoss是一种将MSE与MAE
七.正则化愿风去了
吴恩达机器学习之正则化（Regularization）http://www.cnblogs.com/jianxinzhou/p/4083921.html从数学公式上理解L1和L2https://blog.csdn.net/b876144622/article/details/81276818虽然在线性回归中加入基函数会使模型更加灵活，但是很容易引起数据的过拟合。例如将数据投影到30维的基函数上，模
机器学习-------数据标准化罔闻_spider 数据分析算法机器学习人工智能
什么是归一化，它与标准化的区别是什么？一作用在做训练时，需要先将特征值与标签标准化，可以防止梯度防炸和过拟合；将标签标准化后，网络预测出的数据是符合标准正态分布的—StandarScaler()，与真实值有很大差别。因为StandarScaler()对数据的处理是（真实值-平均值）/标准差。同时在做预测时需要将输出数据逆标准化提升模型精度：标准化/归一化使不同维度的特征在数值上更具比较性，提高分类
分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据 python hadoop 计算机毕业设计选题计算机毕业设计源码数据分析 spark毕设
作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
【深度学习】训练过程中一个OOM的问题，太难查了 weixin_40293999 深度学习深度学习人工智能
现象：各位大佬又遇到过ubuntu的这个问题么？现象是在训练过程中，ssh上不去了，能ping通，没死机，但是ubunutu的pc侧的显示器，鼠标啥都不好用了。只能重启。问题原因：OOM了95G，尼玛！！！！pytorch爆内存了，然后journald假死了，在journald被watchdog干掉之后，系统就崩溃了。这种规模的爆内存一般，即使被oomkill了，也要卡半天的，确实会这样，能不能配
两种方法判断Python的位数是32位还是64位 sanqima Python编程电脑 python 开发语言
Python从1991年发布以来，凭借其简洁、清晰、易读的语法、丰富的标准库和第三方工具，在Web开发、自动化测试、人工智能、图形识别、机器学习等领域发展迅猛。 Python是一种胶水语言，通过Cython库与C/C++语言进行链接，通过Jython库与Java语言进行链接。 Python是跨平台的，可运行在多种操作系统上，包括但不限于Windows、Linux和macOS。这意味着用Py
OpenAI o1 的价值意义及“强化学习的Scaling Law” & Kimi创始人杨植麟最新分享：关于OpenAI o1新范式的深度思考光剑书架上的书 ChatGPT 大数据AI人工智能计算人工智能算法机器学习
OpenAIo1的价值意义及“强化学习的ScalingLaw”蹭下热度谈谈OpenAIo1的价值意义及RL的Scalinglaw。一、OpenAIo1是大模型的巨大进步我觉得OpenAIo1是自GPT4发布以来，基座大模型最大的进展，逻辑推理能力提升的效果和方法比预想的要好，GPT4o和o1是发展大模型不同的方向，但是o1这个方向更根本，重要性也比GPT4o这种方向要重要得多，原因下面会分析。为什
SQL的各种连接查询 xieke90 UNION ALL UNION 外连接内连接 JOIN
一、内连接概念：内连接就是使用比较运算符根据每个表共有的列的值匹配两个表中的行。内连接（join 或者inner join ） SQL语法： select * fron
java编程思想--复用类百合不是茶 java 继承代理组合 final类
复用类看着标题都不知道是什么,再加上java编程思想翻译的比价难懂,所以知道现在才看这本软件界的奇书一:组合语法:就是将对象的引用放到新类中即可代码: package com.wj.reuse; /** * * @author Administrator 组
[开源与生态系统]国产CPU的生态系统 comsci cpu
计算机要从娃娃抓起...而孩子最喜欢玩游戏.... 要让国产CPU在国内市场形成自己的生态系统和产业链,国家和企业就不能够忘记游戏这个非常关键的环节.... 投入一些资金和资源,人力和政策,让游
JVM内存区域划分Eden Space、Survivor Space、Tenured Gen，Perm Gen解释商人shang jvm内存
jvm区域总体分两类，heap区和非heap区。heap区又分：Eden Space（伊甸园）、Survivor Space(幸存者区)、Tenured Gen（老年代-养老区）。非heap区又分：Code Cache(代码缓存区)、Perm Gen（永久代）、Jvm Stack(java虚拟机栈)、Local Method Statck(本地方法栈)。 HotSpot虚拟机GC算法采用分代收
页面上调用 QQ oloz qq
<A href="tencent://message/?uin=707321921&Site=有事Q我&Menu=yes"> <img style="border:0px;" src=http://wpa.qq.com/pa?p=1:707321921:1></a>
一些问题文强chu 问题
1.eclipse 导出 doc 出现“The Javadoc command does not exist.” javadoc command 选择 jdk/bin/javadoc.exe 2.tomcate 配置 web 项目 ..... SQL:3.mysql * 必须得放前面否则 select&nbs
生活没有安全感小桔子生活孤独安全感
圈子好小，身边朋友没几个，交心的更是少之又少。在深圳，除了男朋友，没几个亲密的人。不知不觉男朋友成了唯一的依靠，毫不夸张的说，业余生活的全部。现在感情好，也很幸福的。但是说不准难免人心会变嘛，不发生什么大家都乐融融，发生什么很难处理。我想说如果不幸被分手(无论原因如何)，生活难免变化很大，在深圳，我没交心的朋友。明
php 基础语法 aichenglong php 基本语法
1 .1 php变量必须以$开头 <?php $a=” b”; echo ?> 1 .2 php基本数据库类型 Integer float/double Boolean string 1 .3 复合数据类型数组array和对象 object 1 .4 特殊数据类型 null 资源类型(resource) $co
mybatis tools 配置详解 AILIKES mybatis
MyBatis Generator中文文档 MyBatis Generator中文文档地址： http://generator.sturgeon.mopaas.com/ 该中文文档由于尽可能和原文内容一致，所以有些地方如果不熟悉，看中文版的文档的也会有一定的障碍，所以本章根据该中文文档以及实际应用，使用通俗的语言来讲解详细的配置。本文使用Markdown进行编辑，但是博客显示效
继承与多态的探讨百合不是茶 JAVA面向对象继承对象
继承 extends 多态继承是面向对象最经常使用的特征之一：继承语法是通过继承发、基类的域和方法 //继承就是从现有的类中生成一个新的类，这个新类拥有现有类的所有extends是使用继承的关键字：在A类中定义属性和方法； class A{ //定义属性 int age； //定义方法 public void go
JS的undefined与null的实例 bijian1013 JavaScript JavaScript
<form name="theform" id="theform"> </form> <script language="javascript"> var a alert(typeof(b)); //这里提示undefined if(theform.datas
TDD实践（一） bijian1013 java 敏捷 TDD
一.TDD概述 TDD：测试驱动开发，它的基本思想就是在开发功能代码之前，先编写测试代码。也就是说在明确要开发某个功能后，首先思考如何对这个功能进行测试，并完成测试代码的编写，然后编写相关的代码满足这些测试用例。然后循环进行添加其他功能，直到完全部功能的开发。
[Maven学习笔记十]Maven Profile与资源文件过滤器 bit1129 maven
什么是Maven Profile Maven Profile的含义是针对编译打包环境和编译打包目的配置定制，可以在不同的环境上选择相应的配置，例如DB信息，可以根据是为开发环境编译打包，还是为生产环境编译打包，动态的选择正确的DB配置信息 Profile的激活机制 1.Profile可以手工激活，比如在Intellij Idea的Maven Project视图中可以选择一个P
【Hive八】Hive用户自定义生成表函数(UDTF) bit1129 hive
1. 什么是UDTF UDTF，是User Defined Table-Generating Functions，一眼看上去，貌似是用户自定义生成表函数，这个生成表不应该理解为生成了一个HQL Table，貌似更应该理解为生成了类似关系表的二维行数据集 2. 如何实现UDTF 继承org.apache.hadoop.hive.ql.udf.generic
tfs restful api 加auth 2.0认计 ronin47
　　目前思考如何给tfs的ngx-tfs api增加安全性。有如下两点：　　一是基于客户端的ip设置。这个比较容易实现。　　二是基于OAuth2.0认证，这个需要lua，实现起来相对于一来说，有些难度。　　现在重点介绍第二种方法实现思路。　　前言：我们使用Nginx的Lua中间件建立了OAuth2认证和授权层。如果你也有此打算，阅读下面的文档，实现自动化并获得收益。SeatGe
jdk环境变量配置 byalias java jdk
进行java开发，首先要安装jdk，安装了jdk后还要进行环境变量配置： 1、下载jdk（http://java.sun.com/javase/downloads/index.jsp），我下载的版本是：jdk-7u79-windows-x64.exe 2、安装jdk-7u79-windows-x64.exe 3、配置环境变量：右击"计算机"-->&quo
《代码大全》表驱动法-Table Driven Approach-2 bylijinnan java
package com.ljn.base; import java.io.BufferedReader; import java.io.FileInputStream; import java.io.InputStreamReader; import java.util.ArrayList; import java.util.Collections; import java.uti
SQL 数值四舍五入小数点后保留2位 chicony 四舍五入
1.round() 函数是四舍五入用，第一个参数是我们要被操作的数据，第二个参数是设置我们四舍五入之后小数点后显示几位。 2.numeric 函数的2个参数，第一个表示数据长度，第二个参数表示小数点后位数。例如：　　select cast(round(12.5,2) as numeric(5,2))
c++运算符重载 CrazyMizzz C++
一、加+，减-，乘*，除/ 的运算符重载 Rational operator*(const Rational &x) const{ return Rational(x.a * this->a); } 在这里只写乘法的，加减除的写法类似二、<<输出,>>输入的运算符重载 &nb
hive DDL语法汇总 daizj hive 修改列 DDL 修改表
hive DDL语法汇总１、对表重命名 hive> ALTER TABLE table_name RENAME TO new_table_name; 2、修改表备注 hive> ALTER TABLE table_name SET TBLPROPERTIES ('comment' = new_comm
jbox使用说明 dcj3sjt126com Web
参考网址：http://www.kudystudio.com/jbox/jbox-demo.html jBox v2.3 beta [ 点击下载] 技术交流QQGroup：172543951 100521167 [2011-11-11] jBox v2.3 正式版 - [调整&修复] IE6下有iframe或页面有active、applet控件
UISegmentedControl 开发笔记 dcj3sjt126com
// typedef NS_ENUM(NSInteger, UISegmentedControlStyle) { // UISegmentedControlStylePlain, // large plain &
Slick生成表映射文件 ekian scala
Scala添加SLICK进行数据库操作，需在sbt文件上添加slick-codegen包 "com.typesafe.slick" %% "slick-codegen" % slickVersion 因为我是连接SQL Server数据库，还需添加slick-extensions，jtds包 "com.typesa
ES-TEST gengzg test
package com.MarkNum; import java.io.IOException; import java.util.Date; import java.util.HashMap; import java.util.Map; import javax.servlet.ServletException; import javax.servlet.annotation
为何外键不再推荐使用 hugh.wang mysql DB
表的关联，是一种逻辑关系，并不需要进行物理上的“硬关联”，而且你所期望的关联，其实只是其数据上存在一定的联系而已，而这种联系实际上是在设计之初就定义好的固有逻辑。在业务代码中实现的时候，只要按照设计之初的这种固有关联逻辑来处理数据即可，并不需要在数据库层面进行“硬关联”，因为在数据库层面通过使用外键的方式进行“硬关联”，会带来很多额外的资源消耗来进行一致性和完整性校验，即使很多时候我们并不
领域驱动设计 julyflame VO DAO 设计模式 DTO po
概念： VO（View Object）：视图对象，用于展示层，它的作用是把某个指定页面（或组件）的所有数据封装起来。 DTO（Data Transfer Object）：数据传输对象，这个概念来源于J2EE的设计模式，原来的目的是为了EJB的分布式应用提供粗粒度的数据实体，以减少分布式调用的次数，从而提高分布式调用的性能和降低网络负载，但在这里，我泛指用于展示层与服务层之间的数据传输对
单例设计模式 hm4123660 java Singleton 单例设计模式懒汉式饿汉式
单例模式是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例类的特殊类。通过单例模式可以保证系统中一个类只有一个实例而且该实例易于外界访问，从而方便对实例个数的控制并节约系统源。如果希望在系统中某个类的对象只能存在一个，单例模式是最好的解决方案。 &nb
logback zhb8015 log logback
一、logback的介绍 Logback是由log4j创始人设计的又一个开源日志组件。logback当前分成三个模块：logback-core,logback- classic和logback-access。logback-core是其它两个模块的基础模块。logback-classic是log4j的一个改良版本。此外logback-class
整合Kafka到Spark Streaming——代码示例和挑战 Stark_Summer spark storm zookeeper PARALLELISM processing
作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。期间， Michael还提到了将Kafka整合到 Spark Streaming中的一些现状，非常值得阅读，虽然有一些信息在Spark 1.2版
spring-master-slave-commondao 王新春 DAO spring dataSource slave master
互联网的web项目，都有个特点：请求的并发量高，其中请求最耗时的db操作，又是系统优化的重中之重。为此，往往搭建 db的一主多从库的数据库架构。作为web的DAO层，要保证针对主库进行写操作，对多个从库进行读操作。当然在一些请求中，为了避免主从复制的延迟导致的数据不一致性，部分的读操作也要到主库上。（这种需求一般通过业务垂直分开，比如下单业务的代码所部署的机器，读去应该也要从主库读取数