Jayphone17

降维与压缩——奇异值分解（SVD）

一、特征值分解（EVD）的局限性

在进行主成分分析（PCA）的时候我们用到了特征值分解（EVD）的方法，这个方法很重要和很高效，但是同时也存在局限性。

那就是特征值分解要求矩阵必须是方阵并且一定能够被对角化。

那么扩展到一般情况，对于任意形状的矩阵的情况怎么办呢？比如说图片、数据表格等等。

那么奇异值分解（SVD）就进入了我们的视野，它可以对任意形状的矩阵进行分解，适用范围更广。

二、特征值分解的几何意义

我们一开始是获得一组原始的M X N 的数据采样矩阵A，其中M代表特征的个数，N代表样本个数。

$\large A$ 矩阵通过与自身的转置矩阵 $\large A^T$ 相乘， $\large AA^T$ 得到M阶的样本特征的协方差矩阵 $\large C$ 。

然后获取协方差矩阵 $\large C$ 的一组标准正交特征向量 $\large (q_1,q_2,q_3,...,q_m)$ 以及对应的特征值 $\large (\lambda_1, \lambda_2, \lambda_3,..., \lambda_m )$ 。

此时，我们对协方差矩阵 $\large C$ 进行特征值分解，将矩阵分解为这样的形式：

$\large C = [q_1,q_2,q_3,...q_m]\begin{bmatrix} \lambda _1 & & & &\\ & \lambda _2 & & &\\ & & \lambda _3 & &\\ & & & ... &\\ & & & & \lambda _m \end{bmatrix} \begin{bmatrix} q_1^T\\ q_2^T\\ q_3^T\\ ...\\ q_m^T\\ \end{bmatrix}$

最终通过获取前面k个特征值对应的特征向量，依次构成数据压缩矩阵 $\large P$ 的各行，通过矩阵相乘 $\large PA$ 进行投影达到数据压缩的目的。

我们可以看到，想要完成特征值分解，最终还是要回到 $\large Cq_i = \lambda _iq_i$ 这个式子上来。

三、入手奇异值分解——Av = σμ

如果不进协方差矩阵 $\large C$ 的获取，直接对原始的数据采样矩阵 $\large A$ 进行矩阵分解，进行降维操作，显然是不行的。

特征值分解有两个大前提，一是必须是方阵，二是必须能够满足对角化。

但是对于原始的m x n 矩阵 $\large A$ 可能连基本方阵的要求都达不到，根本无法进行特征值分解。

对于一个任意形状的m x n形状矩阵，我们有以下普遍意义的性质：

① 假设m>n，就有r≤n
②在 $\large R^n$ 空间中一定有一组正交向量 $\large v_1,v_2,v_3,...v_n$ ，在 $\large R^m$ 空间中一定有一组正交向量 $\large v_1,v_2,v_3,...v_m$ ，

使之满足 $\large A\upsilon _i = \sigma_i\mu_i$ 。

在此基础上可以将

$\large A[v_1.v_2.v_3,...v_n] = [\sigma_1\mu_1,\sigma_2\mu_2.\sigma_3\mu_3,...,\sigma_n\mu_n]$

进一步转换为以下形式：

$\large A[v_1.v_2.v_3,...v_n] = [\mu_1.\mu_2,\mu_3,...\mu_n]\begin{bmatrix} \sigma_1 & & & & \\ & \sigma_2 & & & \\ & & \sigma_3 & & \\ & & & ... & \\ & & & & \sigma_n \end{bmatrix}$

在这个分解的式子下，我们发现基向量 $\LARGE u_{_{^{n+1}}},u_{_{^{n+2}}},u_{_{^{n+3}}},...,u_{_{^{m}}}$ 没有包含在内。

将其添加到矩阵右侧，得到完整的m阶方阵

$\large U = [u_1,u_2,u_3,...,u_n,u_{_{^{n+1}}},u_{_{^{n+2}}},u_{_{^{n+3}}},...,u_{_{^{m}}}]$

接下来，在对角矩阵下方加上 m - n 个全零行，形成m x n 的矩阵

由于右下方全是全零行，所以结果不变。

此时得到等式

$\large AV = U\Sigma$

由于矩阵 $\large V$ 各列是标准正交向量，有 $\large V^-1 = V^T$ ,那么有一个矩阵分解的最终式子：

$\large A = U\Sigma V^T$

矩阵 $\large U$ 和矩阵 $\large V$ 是标准正交向量构成的m阶和n阶方阵， $\large \Sigma$ 是一个m x n 的对角矩阵，但不是方阵。

接下来方阵 $\large U$ 和方阵 $\large V$ 要怎么求呢？矩阵 $\large \Sigma$ 的各个值应该是多少？

我们先获取 $\large A$ 的转置矩阵 $\large A^T = (U\Sigma V^T)^T = V\Sigma U^T$

由此，可以获取两个对称矩阵 $\large AA^T$ 和 $\large A^TA$

$\large AA^T = U\Sigma U^T$

$\large A^TA = V\Sigma ^2V^T$

由对称矩阵的性质可知，

矩阵 $\large A^TA$ 一定有n个标准正交特征向量 $\large [v_1,v_2,v_3,...,v_n]$

矩阵 $\large AA^T$ 一定有m个标准正交特征向量 $\large [u_1,u_2,u_3,...,u_m]$ 。这里 $\large v_i$ 与 $\large u_i$ 一一对应。通过对应，即可求出 $\large U$ 和 $\large V$ 。

对应的，矩阵 $\large \Sigma$ 也很好求，只要求出 $\large AA^T$ 或者 $\large A^TA$ 的非零特征值，从大到小排列 $\large \lambda_1, \lambda_2, \lambda_3,..., \lambda _r$ ，

那么矩阵 $\large \Sigma$ 中对角线上的特征值 $\large \sigma$ 依次为 $\large \sqrt{\lambda_1}, \sqrt{\lambda_2}, \sqrt{\lambda_3},...,\sqrt{\lambda_r}$

对角线上 $\large \sigma _r$ 之后的特征值元素均为0

那么隐藏零特征值，得到完整的奇异值分解（SVD）的结果：

$\large A= [\mu_1.\mu_2,\mu_3,...\mu_m] \begin{bmatrix} \sigma_1 & & & & \\ & \sigma_2 & & & \\ & & \sigma_3 & & \\ & & & ... & \\ & & & & \sigma_r \end{bmatrix} \begin{bmatrix} v_1^T\\ v_2^T\\ v_3^T\\ ...\\ v_n^T \end{bmatrix}$

以下是一个抽象的示意图：

四、利用奇异值分解进行数据降维

奇异值分解（SVD）还有一个亮点就是，它可以从行或者列两个不同的维度同时进行对数据的降维处理。

一个采样数据的矩阵的行和列通常代表着不同的特征。因此这种特性可以带来不同的处理效果。

1.行压缩数据降维

若要对行数据进行压缩，我们从矩阵 $\large A$ 的奇异值分解式子 $\large A = U\Sigma V^T$ 入手。

将等式两边同时乘以左奇异矩阵的转置矩阵 $\large U^T$ ，得到 $\large U^TA = U^TU\Sigma v^T = \Sigma V^T$ 。

左侧表达式 $\large U^TA$ 表示把矩阵 $\large A$ 的n个m维列向量并排放置：

$\large [u_1,u_2,u_3,...u_m]^TA = \begin{bmatrix} u_1^T\\ u_2^T\\ u_3^T\\ ...\\ u_m^T\\ \end{bmatrix}[colA_1,colA_2,colA_3,cloA_n]= \begin{bmatrix} u_1^TcolA_1& u_1^TcolA_2& u_1^TcolA_3 & ... & u_1^TcolA_n \\ u_2^TcolA_1& u_2^TcolA_2& u_2^TcolA_3& ...& u_2^TcolA_n& \\ u_3^TcolA_1& u_3^TcolA_2& u_3^TcolA_3& ...& u_3^TcolA_n& \\ ...& ...& ...& ...& ...& \\ u_m^TcolA_1& u_m^TcolA_2& u_m^TcolA_3& ...& u_m^TcolA_n& \end{bmatrix}$

此时，可以把每一列看作一个样本，各行是样本的不同特征，各行之间彼此无关，

此时可以选择最大的k个奇异值对应的k个标准正交向量，形成行压缩矩阵

通过式子

实现了列向量从m维降低到k维，完成主成分提取。

2.列压缩数据降维

列压缩数据降维也是同理，

我们也是从矩阵 $\large A$ 的奇异值分解式子 $\large A = U\Sigma V^T$ 出发，在式子两边同时乘以右奇异矩阵 $\large V$ 。

得到等式 $\large AV = U\Sigma$

我们对左边的式子进行转置处理， $\large (AV)^T = V^TA^T$

把矩阵 $\large A$ 记作：，那么有：
$\large V^TA^T =\begin{bmatrix} v_1^T\\ v_2^T\\ v_3^T\\ ...\\ v_n^T\\ \end{bmatrix}[rowA_1,rowA_2,rowA_3,...,rowA_m] = \begin{bmatrix} v_1^TrowA_1& v_1^TrowA_2& v_1^TrowA_3& ...& v_1^TrowA_m& \\ v_2^TrowA_1& v_2^TrowA_2& v_2^TrowA_3& ...& v_2^TrowA_m& \\ v_3^TrowA_1& v_3^TrowA_2& v_3^TrowA_3& ...& v_3^TrowA_m& \\ ...& ...& ...& ...& ...& \\ v_n^TrowA_1& v_n^TrowA_2& v_n^TrowA_3& & v_n^TrowA_m& \end{bmatrix}$

在矩阵 $\large v_3^T$ $\large V$ 中，从小到大去前k个特征值所对应的标准正交特征向量，就构成了另一个压缩矩阵

通过乘法运算 $\large V_{k \times n}^TA^T$ 就能够实现将矩阵 $\large A^T$ 的各列由n维压缩到k维。

3.矩阵整体进行数据压缩

如果是要从矩阵整体处理视角来进行数据压缩，思路可以类似级数。

将一个m x n 的原始数据矩阵 $\large A$ 分解为若干个相同维度矩阵乘以各自权重后相加的形式。

同样的，我们从 $\large A = U\Sigma V^T$ 入手，展开：

$\large A= [\mu_1.\mu_2,\mu_3,...\mu_m] \begin{bmatrix} \sigma_1 & & & & \\ & \sigma_2 & & & \\ & & \sigma_3 & & \\ & & & ... & \\ & & & & \sigma_r \end{bmatrix} \begin{bmatrix} v_1^T\\ v_2^T\\ v_3^T\\ ...\\ v_n^T \end{bmatrix}$

将矩阵相乘的式子展开得到：

$\large A = \sigma _1u_1v_1^T + \sigma _2u_2v_2^T + \sigma _3u_3v_3^T + ... + \sigma _ru_rv_r^T$

展开式中每一个 $\large u_iv_i^T$ 都代表一个等维的 m x n 的矩阵

前面系数 $\large \sigma _i$ 表示每个矩阵“重要程度”，因此可以按照主成分贡献率的最低要求选择前k个项进行叠加，得到近似式子：

$\large A \approx \sigma _1u_1v_1^T + \sigma _2u_2v_2^T + \sigma _3u_3v_3^T + ... + \sigma _ku_kv_k^T$

原理抽象示意图如图所示：

五、利用python进行奇异值分解

1. 一次性获得奇异值分解所有结果

这里可以不按照推导奇异值分解的过程：先求对称矩阵 $\large AA^T$ 和 $\large A^TA$ ，再依次求得要的矩阵 $\large U$ ， $\large V$ ， $\large \Sigma$ 。

我们直接通过Python提供的工具一次性获得所有结果。

假设有一个矩阵

$\large A = \begin{bmatrix} 0& 0& 0& 2& 2& \\ 0& 0& 0& 3& 3& \\ 0& 0& 0& 1& 1& \\ 1& 1& 1& 0& 0& \\ 2& 2& 2& 0& 0& \\ 5& 5& 5& 0& 0&\\ 1& 1& 1& 0& 0& \end{bmatrix}$

import numpy as np
A = [[0,0,0,2,2],
     [0,0,0,3,3],
     [0,0,0,1,1],
     [1,1,1,0,0],
     [2,2,2,0,0],
     [5,5,5,0,0],
     [1,1,1,0,0]]
U,sigma,V_T = np.linalg.svd(A)
print(U)
print(sigma)
print(V_T)

[[ 8.33888363e-17 -5.34522484e-01 -8.19688300e-01 -1.42578545e-02
   1.17589781e-01 -1.68291600e-01  6.64076653e-03]
 [-5.27910020e-33 -8.01783726e-01  4.81453408e-01 -3.68497530e-03
  -3.51336168e-01 -4.34953513e-02  1.71632139e-03]
 [ 0.00000000e+00 -2.67261242e-01  1.95016375e-01  3.95706349e-02
   8.18828941e-01  4.67069254e-01 -1.84304972e-02]
 [-1.79605302e-01  4.55126095e-17  8.85078821e-02  8.82844675e-01
   1.60750385e-01 -3.92953497e-01  1.55058983e-02]
 [-3.59210604e-01  6.56005654e-17  1.77015764e-01 -4.17392305e-01
   3.21500770e-01 -6.18874662e-01 -4.23140914e-01]
 [-8.98026510e-01  1.48333183e-18 -1.06209459e-01  3.21272177e-02
  -1.92900462e-01  3.79211394e-01 -1.49636365e-02]
 [-1.79605302e-01  3.28002827e-17  8.85078821e-02 -2.08696153e-01
   1.60750385e-01 -2.65354150e-01  9.05594112e-01]]

[9.64365076e+00 5.29150262e+00 6.49628424e-16 1.43063514e-16
 2.79192092e-17]

[[-5.77350269e-01 -5.77350269e-01 -5.77350269e-01  0.00000000e+00
   0.00000000e+00]
 [-1.70408510e-16  8.52042552e-17  8.52042552e-17 -7.07106781e-01
  -7.07106781e-01]
 [-6.19518612e-01 -1.50835436e-01  7.70354049e-01  2.48999108e-16
   1.37976805e-16]
 [-0.00000000e+00  8.56793076e-17 -8.56793076e-17  7.07106781e-01
  -7.07106781e-01]
 [ 5.31848997e-01 -8.02443355e-01  2.70594358e-01  5.04241948e-17
  -6.05981077e-17]]

这样就获得了奇异值分解所有的结果

sigma不是一个矩阵，是5个奇异值从大到小排序的一个列表

2. 行和列奇异值分解数据压缩

通过上面奇异值分解的结果

我们观察到前两个奇异值在数量级上有优势，所以我们选择k=2来进行行压缩和列压缩。

利用 $\large U_{2 \times 7}^TA$ 将矩阵 $\large A$ 的行数由7行压缩到2行。

利用 $\large V_{2 \times 5}^TA^T$ 将矩阵 $\large A$ 的列数由5列压缩到2列。

import numpy as np
A = [[0,0,0,2,2],
     [0,0,0,3,3],
     [0,0,0,1,1],
     [1,1,1,0,0],
     [2,2,2,0,0],
     [5,5,5,0,0],
     [1,1,1,0,0]]
U,sigma,V_T = np.linalg.svd(A)
U_T_2x7 = U.T[:2,:]
print(np.dot(U_T_2x7,A))
V_T_2x5 = V_T[:2,:]
print(np.dot(V_T_2x5,np.mat(A).T).T)

[[-5.56776436e+00 -5.56776436e+00 -5.56776436e+00  1.66777673e-16
   1.66777673e-16]
 [ 2.16930682e-16  2.16930682e-16  2.16930682e-16 -3.74165739e+00
  -3.74165739e+00]]
[[ 0.00000000e+00 -2.82842712e+00]
 [ 0.00000000e+00 -4.24264069e+00]
 [ 0.00000000e+00 -1.41421356e+00]
 [-1.73205081e+00  1.23259516e-32]
 [-3.46410162e+00  2.46519033e-32]
 [-8.66025404e+00  4.93038066e-32]
 [-1.73205081e+00  1.23259516e-32]]

3. 整体压缩——矩阵近似

接下来从整体维度进行数据压缩，取前两个贡献率高的奇异值 $\large \sigma_1$ 和 $\large \sigma_2$ ，

利用 $\large \sigma _1u_1v_1^T + \sigma _2u_2v_2^T$ 进行矩阵近似

import numpy as np
A = [[0,0,0,2,2],
     [0,0,0,3,3],
     [0,0,0,1,1],
     [1,1,1,0,0],
     [2,2,2,0,0],
     [5,5,5,0,0],
     [1,1,1,0,0]]
U,sigma,V_T = np.linalg.svd(A)
A_1 = sigma[0] * np.dot(np.mat(U[:, 0]).T, np.mat(V_T[0, :]))
A_2 = sigma[1] * np.dot(np.mat(U[:, 1]).T, np.mat(V_T[1, :]))
print(A_1+A_2)

[[ 1.76986622e-17 -7.05283417e-16 -7.05283417e-16  2.00000000e+00
   2.00000000e+00]
 [ 7.22982080e-16 -3.61491040e-16 -3.61491040e-16  3.00000000e+00
   3.00000000e+00]
 [ 2.40994027e-16 -1.20497013e-16 -1.20497013e-16  1.00000000e+00
   1.00000000e+00]
 [ 1.00000000e+00  1.00000000e+00  1.00000000e+00 -1.70292592e-16
  -1.70292592e-16]
 [ 2.00000000e+00  2.00000000e+00  2.00000000e+00 -2.45454840e-16
  -2.45454840e-16]
 [ 5.00000000e+00  5.00000000e+00  5.00000000e+00 -5.55011948e-18
  -5.55011948e-18]
 [ 1.00000000e+00  1.00000000e+00  1.00000000e+00 -1.22727420e-16
  -1.22727420e-16]]

从得到的矩阵结果来看，近似矩阵为

$\large \begin{bmatrix} 1.76e-17& -7.05e-16& -7.05e-16& 2.00e+00& 2.00e+00&\\ 7.22e-16& -3.61e-16& -3.61e-16& 3.00e+00& 3.00e+00&\\ 2.40e-16& -1.20e-16& -1.20e-16& 1.00e+00& 1.00e+00&\\ 1.00e+00& 1.00e+00& 1.00e+00& -1.70e-16& -1.70e-16&\\ 2.00e+00& 2.00e+00& 2.00e+00& -2.45e-16& -2.45e-16& \\ 5.00e+00& 5.00e+00& 5.00e+00& -5.55e-18& -5.55e-18&\\ 1.00e+00& 1.00e+00& 1.00e+00& -1.22e-16& -1.22e-16& \end{bmatrix}$

与原来的矩阵

$\large A = \begin{bmatrix} 0& 0& 0& 2& 2& \\ 0& 0& 0& 3& 3& \\ 0& 0& 0& 1& 1& \\ 1& 1& 1& 0& 0& \\ 2& 2& 2& 0& 0& \\ 5& 5& 5& 0& 0&\\ 1& 1& 1& 0& 0& \end{bmatrix}$ 对比，发现基本一致。实现了矩阵近似的效果。

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
python os.environ 江湖偌大 python 深度学习
os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
Python中os.environ基本介绍及使用方法鹤冲天Pro #Python python 服务器开发语言
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
Pyecharts数据可视化大屏：打造沉浸式数据分析体验我的运维人生信息可视化数据分析数据挖掘运维开发技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
Python教程：一文了解使用Python处理XPath 旦莫 Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 python os.environ
>>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
探索OpenAI和LangChain的适配器集成：轻松切换模型提供商 nseejrukjhad langchain easyui 前端 python
#探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
使用Faiss进行高效相似度搜索 llzwxh888 faiss python
在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
python是什么意思中文-在python中%是什么意思编程大乐趣
Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库 python
深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
python八股文面试题分享及解析(1) Shawn________ python
#1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
人工智能时代，程序员如何保持核心竞争力？ jmoych 人工智能
随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。有人担心AI可能取代部分编程工作，也有人认为AI是提高效率的得力助手。面对这一趋势,程序员应该如何应对?是专注于某个领域深耕细作，还是广泛学习以适应快速变化的技术环境?又或者，我们是否应该将重点转向AI无法轻易替代的软技能？让我们一起探讨程序员
每日算法&面试题，大厂特训二十八天——第二十天（树）肥学 ⚡算法题⚡面试题每日精进 java 算法数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
Python快速入门 —— 第三节：类与对象孤华暗香 Python快速入门 python 开发语言
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
pyecharts——绘制柱形图折线图 2224070247 信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
Python 实现图片裁剪（附代码） | Python工具剑客阿良_ALiang
前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
《Python数据分析实战终极指南》 xjt921122 python 数据分析开发语言
对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
Python中深拷贝与浅拷贝的区别 yuxiaoyu.
转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
ES聚合分析原理与代码实例讲解光剑书架上的书大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据 AIGC AGI LLM Java Python 架构设计 Agent 程序员实现财富自由
ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
Python编译器鹿鹿~ Python编译器 Python python 开发语言后端
嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
java短路运算符和逻辑运算符的区别 3213213333332132 java基础
/* * 逻辑运算符——不论是什么条件都要执行左右两边代码 * 短路运算符——我认为在底层就是利用物理电路的“并联”和“串联”实现的 * 原理很简单，并联电路代表短路或（||），串联电路代表短路与（&&）。 * * 并联电路两个开关只要有一个开关闭合，电路就会通。 * 类似于短路或（||），只要有其中一个为true（开关闭合）是
Java异常那些不得不说的事白糖_ java exception
一、在finally块中做数据回收操作比如数据库连接都是很宝贵的，所以最好在finally中关闭连接。 JDBCAgent jdbc = new JDBCAgent(); try{ jdbc.excute("select * from ctp_log"); }catch(SQLException e){ ... }finally{ jdbc.close();
utf-8与utf-8(无BOM)的区别 dcj3sjt126com PHP
BOM——Byte Order Mark，就是字节序标记在UCS 编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符，它的编码是FEFF。而FFFE在UCS中是不存在的字符，所以不应该出现在实际传输中。UCS规范建议我们在传输字节流前，先传输字符"ZERO WIDTH NO-BREAK SPACE"。这样如
JAVA Annotation之定义篇周凡杨 java 注解 annotation 入门注释
Annotation: 译为注释或注解 An annotation, in the Java computer programming language, is a form of syntactic metadata that can be added to Java source code. Classes, methods, variables, pa
tomcat的多域名、虚拟主机配置 g21121 tomcat
众所周知apache可以配置多域名和虚拟主机，而且配置起来比较简单，但是项目用到的是tomcat，配来配去总是不成功。查了些资料才总算可以，下面就跟大家分享下经验。很多朋友搜索的内容基本是告诉我们这么配置：在Engine标签下增面积Host标签，如下： <Host name="www.site1.com" appBase="webapps"
Linux SSH 错误解析（Capistrano 的cap 访问错误 Permission ） 510888780 linux capistrano
1.ssh -v [email protected] 出现 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). 错误运行状况如下： OpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013 debug1: Reading configuratio
log4j的用法 Harry642 java log4j
一、前言： log4j 是一个开放源码项目，是广泛使用的以Java编写的日志记录包。由于log4j出色的表现，当时在log4j完成时，log4j开发组织曾建议sun在jdk1.4中用log4j取代jdk1.4 的日志工具类，但当时jdk1.4已接近完成，所以sun拒绝使用log4j，当在java开发中
mysql、sqlserver、oracle分页，java分页统一接口实现 aijuans oracle jave
定义：pageStart 起始页，pageEnd 终止页,pageSize页面容量 oracle分页：　　　　select * from ( select mytable.*,rownum num from (实际传的SQL) where rownum<=pageEnd) where num>=pageStart sqlServer分页：
Hessian 简单例子 antlove java Web service hessian
hello.hessian.MyCar.java package hessian.pojo; import java.io.Serializable; public class MyCar implements Serializable { private static final long serialVersionUID = 473690540190845543
数据库对象的同义词和序列百合不是茶 sql 序列同义词 ORACLE权限
回顾简单的数据库权限等命令; 解锁用户和锁定用户 alter user scott account lock/unlock; //system下查看系统中的用户 select * dba_users; //创建用户名和密码 create user wj identified by wj; identified by //授予连接权和建表权 grant connect to
使用Powermock和mockito测试静态方法 bijian1013 持续集成单元测试 mockito Powermock
实例： package com.bijian.study; import static org.junit.Assert.assertEquals; import java.io.IOException; import org.junit.Before; import org.junit.Test; import or
精通Oracle10编程SQL(6)访问ORACLE bijian1013 oracle 数据库 plsql
/* *访问ORACLE */ --检索单行数据 --使用标量变量接收数据 DECLARE v_ename emp.ename%TYPE; v_sal emp.sal%TYPE; BEGIN select ename,sal into v_ename,v_sal from emp where empno=&no; dbms_output.pu
【Nginx四】Nginx作为HTTP负载均衡服务器 bit1129 nginx
Nginx的另一个常用的功能是作为负载均衡服务器。一个典型的web应用系统，通过负载均衡服务器，可以使得应用有多台后端服务器来响应客户端的请求。一个应用配置多台后端服务器，可以带来很多好处：负载均衡的好处增加可用资源增加吞吐量加快响应速度，降低延时出错的重试验机制 Nginx主要支持三种均衡算法： round-robin l
jquery-validation备忘白糖_ jquery css F#Firebug
留点学习jquery validation总结的代码： function checkForm(){ validator = $("#commentForm").validate({// #formId为需要进行验证的表单ID errorElement :"span",// 使用"div"标签标记错误，默认:&
solr限制admin界面访问（端口限制和http授权限制） ronin47 限定Ip访问
solr的管理界面可以帮助我们做很多事情，但是把solr程序放到公网之后就要限制对admin的访问了。可以通过tomcat的http基本授权来做限制，也可以通过iptables防火墙来限制。我们先看如何通过tomcat配置http授权限制。第一步：在tomcat的conf/tomcat-users.xml文件中添加管理用户，比如： <userusername="ad
多线程-用JAVA写一个多线程程序，写四个线程，其中二个对一个变量加1，另外二个对一个变量减1 bylijinnan java 多线程
public class IncDecThread { private int j=10; /* * 题目:用JAVA写一个多线程程序，写四个线程，其中二个对一个变量加1，另外二个对一个变量减1 * 两个问题： * 1、线程同步--synchronized * 2、线程之间如何共享同一个j变量--内部类 */ public static
买房历程 cfyme
2015-06-21: 万科未来城，看房子 2015-06-26: 办理贷款手续，贷款73万，贷款利率5.65=5.3675 2015-06-27: 房子首付,签完合同 2015-06-28，央行宣布降息 0.25，就2天的时间差啊，没赶上。首付，老婆找他的小姐妹接了5万，另外几个朋友借了1-
[军事与科技]制造大型太空战舰的前奏 comsci 制造
天气热了........空调和电扇要准备好.......... 最近,世界形势日趋复杂化,战争的阴影开始覆盖全世界.......... 所以,我们不得不关
dateformat dai_lm DateFormat
"Symbol Meaning Presentation Ex." "------ ------- ------------ ----" "G era designator (Text) AD" "y year
Hadoop如何实现关联计算 datamachine mapreduce hadoop 关联计算
选择Hadoop，低成本和高扩展性是主要原因，但但它的开发效率实在无法让人满意。以关联计算为例。假设：HDFS上有2个文件，分别是客户信息和订单信息，customerID是它们之间的关联字段。如何进行关联计算，以便将客户名称添加到订单列表中？ &nbs
用户模型中修改用户信息时，密码是如何处理的 dcj3sjt126com yii
当我添加或修改用户记录的时候对于处理确认密码我遇到了一些麻烦，所有我想分享一下我是怎么处理的。场景是使用的基本的那些(系统自带)，你需要有一个数据表(user)并且表中有一个密码字段(password),它使用 sha1、md5或其他加密方式加密用户密码。面是它的工作流程: 当创建用户的时候密码需要加密并且保存，但当修改用户记录时如果使用同样的场景我们最终就会把用户加密过的密码再次加密，这
中文 iOS/Mac 开发博客列表 dcj3sjt126com Blog
本博客列表会不断更新维护，如果有推荐的博客，请到此处提交博客信息。本博客列表涉及的文章内容支持定制化Google搜索，特别感谢 JeOam 提供并帮助更新。本博客列表也提供同步更新的OPML文件（下载OPML文件），可供导入到例如feedly等第三方定阅工具中，特别感谢 lcepy 提供自动转换脚本。这里有导入教程。
js去除空格，去除左右两端的空格蕃薯耀去除左右两端的空格 js去掉所有空格 js去除空格
js去除空格，去除左右两端的空格 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>&g
SpringMVC4零配置--web.xml hanqunfeng springmvc4
servlet3.0+规范后，允许servlet，filter，listener不必声明在web.xml中，而是以硬编码的方式存在，实现容器的零配置。 ServletContainerInitializer：启动容器时负责加载相关配置 package javax.servlet; import java.util.Set; public interface ServletContainer
《开源框架那些事儿21》：巧借力与借巧力 j2eetop 框架 UI
同样做前端UI，为什么有人花了一点力气，就可以做好？而有的人费尽全力，仍然错误百出？我们可以先看看几个故事。故事1：巧借力，乌鸦也可以吃核桃有一个盛产核桃的村子，每年秋末冬初，成群的乌鸦总会来到这里，到果园里捡拾那些被果农们遗落的核桃。核桃仁虽然美味，但是外壳那么坚硬，乌鸦怎么才能吃到呢？原来乌鸦先把核桃叼起，然后飞到高高的树枝上，再将核桃摔下去，核桃落到坚硬的地面上，被撞破了，于是，
JQuery EasyUI 验证扩展可怜的猫 jquery easyui 验证
最近项目中用到了前端框架-- EasyUI，在做校验的时候会涉及到很多需要自定义的内容，现把常用的验证方式总结出来，留待后用。以下内容只需要在公用js中添加即可。使用类似于如下： <input class="easyui-textbox" name="mobile" id="mobile&
架构师之httpurlconnection----------读取和发送(流读取效率通用类) nannan408
1.前言. 如题. 2.代码. /* * Copyright (c) 2015, S.F. Express Inc. All rights reserved. */ package com.test.test.test.send; import java.io.IOException; import java.io.InputStream
Jquery性能优化 r361251 JavaScript jquery
一、注意定义jQuery变量的时候添加var关键字这个不仅仅是jQuery，所有javascript开发过程中，都需要注意，请一定不要定义成如下： $loading = $('#loading'); //这个是全局定义，不知道哪里位置倒霉引用了相同的变量名，就会郁闷至死的二、请使用一个var来定义变量如果你使用多个变量的话，请如下方式定义： . 代码如下: var page
在eclipse项目中使用maven管理依赖 tjj006 eclipse maven
概览: 如何导入maven项目至eclipse中建立自有Maven Java类库服务器建立符合maven代码库标准的自定义类库 Maven在管理Java类库方面有巨大的优势，像白衣所说就是非常“环保”。我们平时用IDE开发都是把所需要的类库一股脑的全丢到项目目录下，然后全部添加到ide的构建路径中，如果用了SVN/CVS，这样会很容易就把
中国天气网省市级联页面 x125858805 级联
1、页面及级联js <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%> <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> &l