snowdroptulip

深度学习不可不知的矩阵微积分

这篇文章介绍了深度学习中会用到的矩阵微积分，帮助我们更好的理解深度学习。

文章里面介绍的内容来自于https://explained.ai/matrix-calculus/index.html，感谢原作者，在这里我只是个搬运工。如有问题请指教，谢谢！

引言常用微积分介绍

向量微积分和偏导介绍

矩阵微积分

Jacobian矩阵

向量对应元素二元运算的导数

链式法则

1. 单变量链式法则

2. 单变量全导数链式法则

3. 向量链式法则

引言常用微积分介绍

首先我们先来回顾一下微积分的基本法则。

规则		对进行求导	示例
常量			$\frac{d}{dx}99=0$
乘以常量		$c\frac{df}{dx}$	$\frac{d}{dx}3x=3$
幂	$x^{n}$	$nx^{n-1}$	$\frac{d}{dx}x^{3}=3x^{2}$
加法		$\frac{df}{dx}+\frac{dg}{dx}$	$\frac{d}{dx}(x^{2}+3x)=2x+3$
减法		$\frac{df}{dx}-\frac{dg}{dx}$	$\frac{d}{dx}(x^{2}-3x)=2x-3$
乘法		$f\frac{dg}{dx}+g\frac{df}{dx}$	$\frac{d}{dx}(x^{2}x)=2xx+x^{2}1=3x^{2}$
链式法则		$\frac{df}{du}\frac{du}{dx},u=g(x)$	$\frac{d}{dx}ln(x^{2})=\frac{1}{x^{2}}2x=\frac{2}{x}$

对于,我们常用或者代表 $\frac{d}{dx}f(x)$

向量微积分和偏导介绍

神经网络中的函数往往不会只是一元函数，这里我们来看一下例如的多元函数。

对于偏导，我们通常用 $\frac{\partial }{\partial x}$ 代替 $\frac{d}{dx}$ 。

例子：

假设 $f(x,y)=3x^{2}y$ ,那么:

$\frac{\partial }{\partial x}3x^{2}y=3y\frac{\partial }{\partial x}x^{2}=3y2x=6xy$

$\frac{\partial }{\partial y}3x^{2}y=3x^{2}\frac{\partial }{\partial y}y=3x^{2}$

我们把下面公式成为向量的梯度：

${\color{Blue} \Delta f(x,y)=[\frac{\partial f(x,y)}{\partial x},\frac{\partial f(x,y)}{\partial y}]=[6xy,3x^{2}]}$

所以，梯度就是它的偏导数的向量。梯度是向量微积分的一部分，它处理将n个标量参数映射到单个标量的函数。现在，让我们同时考虑多个函数的导数。

矩阵微积分

假设 $f(x,y)=3x^{2}y$ ， $g(x,y)=2x+y^{8}$

我们可以得出它们的梯度： $\Delta f(x,y)=[6xy,3x^{2}]$ ， $\Delta g(x,y)=[2,8y^{7}]$

梯度向量构成了一个特定标量函数的所有偏导数。如果我们有两个函数，我们也可以通过叠加梯度将它们的梯度组织成一个矩阵。
当我们这样做时，我们得到了Jacobian 矩阵(或者仅仅是Jacobian)，其中梯度是行。

$J=\begin{bmatrix} \Delta f(x,y)\\ \Delta g(x,y) \end{bmatrix}=\begin{bmatrix} \frac{\partial f(x,y)}{\partial x} & \frac{\partial f(x,y)}{\partial y}\\ \frac{\partial g(x,y)}{\partial x} & \frac{\partial g(x,y)}{\partial y} \end{bmatrix}=\begin{bmatrix} 6xy & 3x^{2}\\ 2 & 8y^{7} \end{bmatrix}$

Jacobian矩阵

在上面我们介绍了一个Jacobian矩阵的特例，下面我们将更详细的介绍什么是Jacobian矩阵。

对于多元函数 $f(x_{1},x_{2},x_{3})\Rightarrow f(\boldsymbol{x})$ ,其中 $\boldsymbol{x}$ 代表向量：

$x=\begin{bmatrix} x_{1}\\ x_{2}\\ \vdots \\ x_{n} \end{bmatrix}$

对于多个标量值函数，我们可以将它们组合成一个向量，就像我们对参数所做的那样。令 $\boldsymbol{y}= \boldsymbol{f}(\boldsymbol{x})$ 是n标量的函数（就像x是n标量），所以 $\boldsymbol{y}= \boldsymbol{f}(\boldsymbol{x})$ 可以展开如下：

$\begin{matrix} y_{1}= f_{1}(\boldsymbol{x})\\ y_{2}= f_{2}(\boldsymbol{x})\\ \vdots \\ y_{m}= f_{m}(\boldsymbol{x}) \end{matrix}$

例如，我们可以用如下公式来代表 $f(x,y)=3x^{2}y$ ， $g(x,y)=2x+y^{8}$ ：

$\begin{matrix} y_{1}= f_{1}(\boldsymbol{x})=3x_{1}^{2}x_{2}\\ y_{2}= f_{2}(\boldsymbol{x})=2x_{1}+x_{2}^{8}\end{matrix}$

其中 $x_{1},x_{2}$ 分别代表。

下面介绍的例子，例如 $\boldsymbol{y}=\boldsymbol{f}(\boldsymbol{x})=\boldsymbol{x}$ :

$\begin{matrix} y_{1}= f_{1}(\boldsymbol{x})=x_{1}\\ y_{2}= f_{2}(\boldsymbol{x})=x_{2}\\ \vdots \\ y_{n}= f_{n}(\boldsymbol{x})=x_{n} \end{matrix}$

所以我们有了的函数和参数。通俗来讲，Jacobian有的偏导（有一些地方得出来的形式可能有所区别，是下式矩阵的转置）：

${\color{Blue} \frac{\partial \boldsymbol{y}}{\partial \boldsymbol{x}}= \begin{bmatrix} \Delta f_{1}(\boldsymbol{x}))\\ \Delta f_{2}(\boldsymbol{x}))\\ \cdots \\ \Delta f_{m}(\boldsymbol{x})) \end{bmatrix}=\begin{bmatrix} \frac{\partial }{\partial \boldsymbol{x}} f_{1}(\boldsymbol{x})\\ \frac{\partial }{\partial \boldsymbol{x}} f_{2}(\boldsymbol{x})\\ \cdots \\ \frac{\partial }{\partial \boldsymbol{x}} f_{m}(\boldsymbol{x}) \end{bmatrix}=\begin{bmatrix} \frac{\partial }{\partial x_{1}} f_{1}(\boldsymbol{x})& \cdots & \frac{\partial }{\partial x_{n}} f_{1}(\boldsymbol{x}) \\ \frac{\partial }{\partial x_{1}} f_{2}(\boldsymbol{x})& \cdots & \frac{\partial }{\partial x_{n}} f_{2}(\boldsymbol{x}) \\ \cdots \\ \frac{\partial }{\partial x_{1}} f_{m}(\boldsymbol{x})& \cdots & \frac{\partial }{\partial x_{n}} f_{m}(\boldsymbol{x}) \end{bmatrix}}$

其中，每一个 $\frac{\partial }{\partial \boldsymbol{x}} f_{i}(\boldsymbol{x})$ 是n维的水平向量。

下面以方框来直观的表示偏导的维度：

对于 $\boldsymbol{f}(\boldsymbol{x})=\boldsymbol{x}$ ， $f_{i}(\boldsymbol{x})=x_{i}$ ，来说：

$\frac{\partial \boldsymbol{y}}{\partial \boldsymbol{x}}= \begin{bmatrix} \Delta f_{1}(\boldsymbol{x}))\\ \Delta f_{2}(\boldsymbol{x}))\\ \cdots \\ \Delta f_{m}(\boldsymbol{x})) \end{bmatrix}=\begin{bmatrix} \frac{\partial }{\partial \boldsymbol{x}} f_{1}(\boldsymbol{x})\\ \frac{\partial }{\partial \boldsymbol{x}} f_{2}(\boldsymbol{x})\\ \cdots \\ \frac{\partial }{\partial \boldsymbol{x}} f_{m}(\boldsymbol{x}) \end{bmatrix}=\begin{bmatrix} \frac{\partial }{\partial x_{1}} f_{1}(\boldsymbol{x})& \cdots & \frac{\partial }{\partial x_{n}} f_{1}(\boldsymbol{x}) \\ \frac{\partial }{\partial x_{1}} f_{2}(\boldsymbol{x})& \cdots & \frac{\partial }{\partial x_{n}} f_{2}(\boldsymbol{x}) \\ \cdots \\ \frac{\partial }{\partial x_{1}} f_{m}(\boldsymbol{x})& \cdots & \frac{\partial }{\partial x_{n}} f_{m}(\boldsymbol{x}) \end{bmatrix}$

$=\begin{bmatrix} \frac{\partial }{\partial x_{1}} x_{1}& \cdots & \frac{\partial }{\partial x_{n}} x_{1} \\ \frac{\partial }{\partial x_{1}} x_{2}& \cdots & \frac{\partial }{\partial x_{n}} x_{2} \\ \cdots \\ \frac{\partial }{\partial x_{1}} x_{n}& \cdots & \frac{\partial }{\partial x_{n}} x_{n}\end{bmatrix}=\begin{bmatrix} \frac{\partial }{\partial x_{1}} x_{1}& \cdots & 0 \\ 0& \cdots & 0 \\ \cdots \\ 0& \cdots & \frac{\partial }{\partial x_{n}} x_{n}\end{bmatrix}$

$=\begin{bmatrix} 1 & 0 & \cdots & 0\\ 0& 1& \cdots & 0\\ & & \ddots & \\ 0 & 0 & \cdots &1 \end{bmatrix}=I$

向量对应元素二元运算的导数

题目可能有点儿绕口，意思就是说第一个向量和第二个向量的第一个元素做运算，第一个向量和第二个向量的第二个元素做运算，……

例如 $\boldsymbol{w}+\boldsymbol{x}= \begin{bmatrix} w_{1}\\ w_{2}\\ \vdots \\ w_{n} \end{bmatrix}+ \begin{bmatrix} x_{1}\\ x_{2}\\ \vdots \\ x_{n} \end{bmatrix}= \begin{bmatrix} w_{1}+x_{1}\\ w_{2}+x_{2}\\ \vdots \\ w_{n}+x_{n} \end{bmatrix}$ 就是对应元素做运算。

我们假对应元素二元运算为： $y=\boldsymbol{f}(\boldsymbol{w})\bigcirc \boldsymbol{g}(\boldsymbol{x})$ ，其中。 $\bigcirc$ 代表任意对应元素运算符（例如+），而不是函数组合运算符。展开 $y=\boldsymbol{f}(\boldsymbol{w})\bigcirc \boldsymbol{g}(\boldsymbol{x})$ ，得到以下公式：

$\begin{bmatrix} y_{1}\\ y_{2}\\ \vdots \\ y_{n} \end{bmatrix}= \begin{bmatrix} f_{1}(\boldsymbol{w})\bigcirc g_{1}(\boldsymbol{x})\\ f_{2}(\boldsymbol{w})\bigcirc g_{2}(\boldsymbol{x})\\ \vdots \\ f_{n}(\boldsymbol{w})\bigcirc g_{n}(\boldsymbol{x}) \end{bmatrix}$

根据上面学的Jacobian,我们可以得出偏导：

${\color{Blue} \boldsymbol{J}_{\boldsymbol{w}}=\frac{\partial \boldsymbol{y}}{\partial \boldsymbol{w}}= \begin{bmatrix} \frac{\partial}{\partial w_{1}}(f_{1}(\boldsymbol{w})\bigcirc g_{1}(\boldsymbol{x}))& \frac{\partial}{\partial w_{2}}(f_{1}(\boldsymbol{w})\bigcirc g_{1}(\boldsymbol{x})) &\cdots & \frac{\partial}{\partial w_{n}}(f_{1}(\boldsymbol{w})\bigcirc g_{1}(\boldsymbol{x}))\\ \frac{\partial}{\partial w_{1}}(f_{2}(\boldsymbol{w})\bigcirc g_{2}(\boldsymbol{x}))& \frac{\partial}{\partial w_{2}}(f_{2}(\boldsymbol{w})\bigcirc g_{2}(\boldsymbol{x})) &\cdots & \frac{\partial}{\partial w_{n}}(f_{2}(\boldsymbol{w})\bigcirc g_{2}(\boldsymbol{x}))\\ & \cdots & & \\ \frac{\partial}{\partial w_{1}}(f_{n}(\boldsymbol{w})\bigcirc g_{n}(\boldsymbol{x}))& \frac{\partial}{\partial w_{2}}(f_{n}(\boldsymbol{w})\bigcirc g_{n}(\boldsymbol{x})) &\cdots & \frac{\partial}{\partial w_{n}}(f_{n}(\boldsymbol{w})\bigcirc g_{n}(\boldsymbol{x})) \end{bmatrix}}$

${\color{Blue} \boldsymbol{J}_{\boldsymbol{x}}=\frac{\partial \boldsymbol{y}}{\partial \boldsymbol{x}}= \begin{bmatrix} \frac{\partial}{\partial x_{1}}(f_{1}(\boldsymbol{w})\bigcirc g_{1}(\boldsymbol{x}))& \frac{\partial}{\partial x_{2}}(f_{1}(\boldsymbol{w})\bigcirc g_{1}(\boldsymbol{x})) &\cdots & \frac{\partial}{\partial x_{n}}(f_{1}(\boldsymbol{w})\bigcirc g_{1}(\boldsymbol{x}))\\ \frac{\partial}{\partial x_{1}}(f_{2}(\boldsymbol{w})\bigcirc g_{2}(\boldsymbol{x}))& \frac{\partial}{\partial x_{2}}(f_{2}(\boldsymbol{w})\bigcirc g_{2}(\boldsymbol{x})) &\cdots & \frac{\partial}{\partial x_{n}}(f_{2}(\boldsymbol{w})\bigcirc g_{2}(\boldsymbol{x}))\\ & \cdots & & \\ \frac{\partial}{\partial x_{1}}(f_{n}(\boldsymbol{w})\bigcirc g_{n}(\boldsymbol{x}))& \frac{\partial}{\partial x_{2}}(f_{n}(\boldsymbol{w})\bigcirc g_{n}(\boldsymbol{x})) &\cdots & \frac{\partial}{\partial x_{n}}(f_{n}(\boldsymbol{w})\bigcirc g_{n}(\boldsymbol{x})) \end{bmatrix}}$

链式法则

当我们在计算复杂函数的导数时，只用上面学的知识可能不能求出导数了，这是我们会使用链式法则。

1. 单变量链式法则

如果有一个函数，我们令，则：

${\color{Blue} \frac{dy}{dx}=\frac{dy}{du}\frac{du}{dx}}$

下面让试着我们计算 $y=f(g(x))=sin(x^{2})$ 的导数吧！

1. 引入中间变量。令 $u =x^{2}$ （ $u (x)=x^{2}$ 的简写）：

$u =x^{2}$

2. 计算导数。

$\frac{du}{dx}=2x$

$\frac{dy}{du}=cos(u)$

3. 合并

$\frac{dy}{dx}=\frac{dy}{du}\frac{du}{dx}=cos(u)2x$

4. 替换

$\frac{dy}{dx}=\frac{dy}{du}\frac{du}{dx}=cos(x^{2})2x=2xcos(x^{2})$

可以看到计算过程非常的简单，接下来我们再来计算一个更为复杂的函数 $y=f(x)=f_{4}(f_{3}(f_{2}(f_{1}(x))))=ln(sin(x^{3})^2)$ :

1. 引入中间变量。令 $u =x^{2}$ （ $u (x)=x^{2}$ 的简写）：

$u_{1} =f_{1}(x)=x^{3}$

$u_{2} =f_{2}(u_{1})=sin(u_{1})$

$u_{3} =f_{3}(u_2)=u_{2}^{2}$

2. 计算导数。

$\frac{du_1}{dx}=\frac{d}{dx}x^{3}=3x^2$

$\frac{du_2}{du1}=\frac{d}{du_1}sin(u_1)=cos(u_1)$

$\frac{du_3}{du_2}=\frac{d}{du_2}u_2^{2}=2u_2$

$\frac{du_4}{du_3}=\frac{d}{du_3}ln(u_3)=\frac{1}{u_3}$

3. 合并

$\frac{dy}{dx}=\frac{du_4}{dx}=\frac{du_4}{du_3}\frac{du_3}{du_2}\frac{du_2}{du_1}\frac{du_1}{x}=\frac{1}{u_3}2u_2cos(u_1)3x^2=\frac{6u_2x^2cos(u_1)}{u_3}$

4. 替换

$\frac{dy}{dx}=\frac{6u_2x^2cos(u_1)}{u_3}=\frac{6sin(u_1)x^2cos(x^3)}{u_2^2}=\frac{6sin(x^3)x^2cos(x^3)}{sin(u_1)^2}=\frac{6sin(x^3)x^2cos(x^3)}{sin(x^3)^2}=\frac{6x^2cos(x^3)}{sin(x^3)}$

2. 单变量全导数链式法则

我们的单变量链式法则的适用性有限，因为所有中间变量都必须是单变量的函数。但是，它演示了链式法则的核心机制，即把中间子表达式的所有导数乘出来。但是，要处理更一般的表达式，比如，我们需要扩充基本的链式法则。

我们使：

让我们试试会发生什么。如果尝试 $\frac{du_2}{du_1}=0+1=1$ 并且 $\frac{du_1}{dx}=2x$ ,根据之前我们学习的，得到 $\frac{dy}{dx}=\frac{du_2}{dx}=\frac{du_2}{du_1}\frac{du_1}{dx}=2x$ ，显然与正确答案不一样。

因为有多个参数，所以应该引入偏微分。让我们盲目的加入偏微分来看看会得到什么：

$\frac{\partial u_1(x)}{\partial x}=2x$

$\frac{\partial u_2(x,u_1)}{\partial u_1}=\frac{\partial }{\partial u_1}=0+1=1$

${\color{Red} \frac{\partial u_2(x,u_1)}{\partial x}=\frac{\partial }{\partial x}=1+0=1}$

有错误！ ${\color{Red} \frac{\partial u_2(x,u_1)}{\partial x}}$ 的计算是错误的，因为它违反了偏导数的关键规则：当对x做偏导的时候，其它的变量应该与x相互独立。然而我们可以看到：，明显是与x有关系的。

正确的全导数的法则是：

$\frac{dy}{dx}=\frac{\partial f(x)}{\partial x}=\frac{\partial u_2(x,u_1)}{\partial x}=\frac{\partial u_2}{\partial x}\frac{\partial x}{\partial x}+\frac{\partial u_2}{\partial u_1}\frac{\partial u_1}{\partial x}=\frac{\partial u_2}{\partial x}+\frac{\partial u_2}{\partial u_1}\frac{\partial u_1}{\partial x}$

使用这个公式，我们得出正确的答案：

$\frac{dy}{dx}=\frac{\partial u_2}{\partial x}+\frac{\partial u_2}{\partial u_1}\frac{\partial u_1}{\partial x}=1+1*2x=1+2x$

我们称一下公式为单变量全导数链式法则：

${\color{Blue} \frac{\partial f(x,u_1,u_2,\cdots ,u_n)}{\partial x}=\frac{\partial f}{\partial x}+\frac{\partial f}{\partial u_1}\frac{\partial u_1}{\partial x}+\frac{\partial f}{\partial u_2}\frac{\partial u_2}{\partial x}+\cdots +\frac{\partial f}{\partial u_n}\frac{\partial u_n}{\partial x}=\frac{\partial f}{\partial x}+\sum_{i=1}^{n}\frac{\partial f}{\partial u_i}\frac{\partial u_i}{\partial x}}$

总导数假设所有变量都是相互依赖的，而偏导数假设除x外所有变量都是常数。

例子

让我们看看嵌套子表达式，例如。我们引入三个中间变量:

偏导为：

$\frac{\partial u_1}{\partial x}=2x$

$\frac{\partial u_2}{\partial x}=\frac{\partial }{\partial x}(x+u_1)+\frac{\partial u_2}{\partial u_1}\frac{\partial u_1}{\partial x}=1+1*2x=1+2x$

$\frac{\partial f(x)}{\partial x}=\frac{\partial u_3}{\partial x}+\frac{\partial u_3}{\partial u_2}\frac{\partial u_2}{\partial x}=0+cos(u_2)\frac{\partial u_2}{\partial x}=cos(x+x^2)(1+2x)$

例子

例如。我们引入两个中间变量：

偏导为：

$\frac{\partial u_1}{\partial x}=2x$

$\frac{\partial u_2}{\partial x}=\frac{\partial }{\partial x}(xu_1)+\frac{\partial u_2}{\partial u_1}\frac{\partial u_1}{\partial x}=u_1+x*2x=x^2+2x^2=3x^2$

3. 向量链式法则

到目前为止，我们已经对全导数练市法则已经有了一定的了解，现在我们来讨论向量链式法则。

假设 $\boldsymbol{y}=\boldsymbol{f}(x)$ ，展开后：

$\begin{bmatrix} y_1(x)\\ y_2(x) \end{bmatrix}= \begin{bmatrix} f_1(x)\\ f_2(x) \end{bmatrix}= \begin{bmatrix} ln(x^2)\\ sin(3x) \end{bmatrix}$

让我们引入两个中间变量，和对应每一个，所以 $\boldsymbol{y}=\boldsymbol{f}(\boldsymbol{g}(x))$ :

$\begin{bmatrix} g_1(x)\\ g_2(x) \end{bmatrix}= \begin{bmatrix} x^2\\ 3x \end{bmatrix}$

$\begin{bmatrix} f_1(\boldsymbol{g})\\ f_2(\boldsymbol{g}) \end{bmatrix}= \begin{bmatrix} ln(g_1)\\ sin(g_2) \end{bmatrix}$

$\boldsymbol{y}$ 的导数是垂直向量，每个元素是用单变量全导数法则求解出来的：

$\frac{\partial \boldsymbol{y}}{\partial x}=\begin{bmatrix} \frac{\partial f_1(\boldsymbol{g})}{\partial x}\\ \frac{\partial f_2(\boldsymbol{g})}{\partial x} \end{bmatrix} =\begin{bmatrix} \frac{\partial f_1}{\partial g_1}\frac{\partial g_1}{x}+\frac{\partial f_1}{\partial g_2}\frac{\partial g_2}{x}\\ \frac{\partial f_2}{\partial g_1}\frac{\partial g_1}{x}+\frac{\partial f_2}{\partial g_2}\frac{\partial g_2}{x} \end{bmatrix}=\begin{bmatrix} \frac{1}{g_1}2x+0\\ 0+cos(g_2)3 \end{bmatrix}=\begin{bmatrix} \frac{2x}{x^2}\\ 3cos(3x) \end{bmatrix}=\begin{bmatrix} \frac{2}{x}\\ 3cos(3x) \end{bmatrix}$

如果我们分离 $\frac{\partial f_i}{\partial g_j}\frac{\partial g_j}{\partial x}$ ，把 $\frac{\partial g_j}{\partial x}$ 分离出一个向量，我们会得到一个矩阵乘以一个向量

$\begin{bmatrix} \frac{\partial f_1}{\partial g_1} & \frac{\partial f_1}{\partial g_2}\\ \frac{\partial f_2}{\partial g_1} & \frac{\partial f_2}{\partial g_2} \end{bmatrix} \begin{bmatrix} \frac{\partial g_1}{x}\\ \frac{\partial g_2}{x} \end{bmatrix}= \frac{\partial \boldsymbol{f}}{\partial \boldsymbol{g}}\frac{\partial \boldsymbol{g}}{\partial x}$

这意味着雅可比矩阵是另外两个雅可比矩阵的乘积，it's cool！让我们来看看结果:

$\frac{\partial \boldsymbol{f}}{\partial \boldsymbol{g}}\frac{\partial \boldsymbol{g}}{\partial x}=\begin{bmatrix} \frac{1}{g_1} & 0\\ 0 & cos(g_2) \end{bmatrix} \begin{bmatrix} 2x\\ 3 \end{bmatrix} =\begin{bmatrix} \frac{1}{g_1}2x+0\\ 0+cos(g_2)3 \end{bmatrix} =\begin{bmatrix} \frac{2}{x}\\ 3cos(3x) \end{bmatrix}$

我们得到了相同的结果！

所以，向量链式法则的公式为：

${\color{Blue} \frac{\partial }{\partial x}\boldsymbol{f}(\boldsymbol{g}(x))=\frac{\partial \boldsymbol{f}}{\partial \boldsymbol{g}}\frac{\partial \boldsymbol{g}}{\partial x}}$

比较一下单元素链式法则，可以发现基本一样。

$\frac{\partial }{\partial x}f(g(x))=\frac{\partial f}{\partial g}\frac{\partial g}{\partial x}$

为了让多元向量 $\boldsymbol{x}$ 也适用于该公式，我们只需要改变为 $\boldsymbol{x}$ 。

${\color{Blue} \frac{\partial }{\partial \boldsymbol{x}}\boldsymbol{f}(\boldsymbol{g}(\boldsymbol{x}))=\frac{\partial \boldsymbol{f}}{\partial \boldsymbol{g}}\frac{\partial \boldsymbol{g}}{\partial \boldsymbol{x}}}$

${\color{Blue} \frac{\partial }{\partial \boldsymbol{x}}\boldsymbol{f}(\boldsymbol{g}(\boldsymbol{x}))= \begin{bmatrix} \frac{\partial f_1}{\partial g_1}& \frac{\partial f_1}{\partial g_2} & \cdots & \frac{\partial f_1}{\partial g_k} \\ \frac{\partial f_2}{\partial g_1}& \frac{\partial f_2}{\partial g_2} & \cdots & \frac{\partial f_2}{\partial g_k} \\ & & \ddots & \\ \frac{\partial f_m}{\partial g_1}& \frac{\partial f_m}{\partial g_2} & \cdots & \frac{\partial f_m}{\partial g_k} \end{bmatrix}\begin{bmatrix} \frac{\partial g_1}{\partial x_1}& \frac{\partial g_1}{\partial x_2} & \cdots & \frac{\partial g_1}{\partial x_n} \\ \frac{\partial g_2}{\partial x_1}& \frac{\partial g_2}{\partial x_2} & \cdots & \frac{\partial g_2}{\partial x_n} \\ & & \ddots & \\ \frac{\partial g_k}{\partial x_1}& \frac{\partial g_k}{\partial x_2} & \cdots & \frac{\partial g_k}{\partial x_n} \end{bmatrix}}$

其中，，，，最后矩阵的大小为（的矩阵乘以的矩阵） $^{}$

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
将cmd中命令输出保存为txt文本文件落难Coder Windows cmd window
最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
推荐3家毕业AI论文可五分钟一键生成！文末附免费教程！小猪包333 写论文人工智能 AI写作深度学习计算机视觉
在当前的学术研究和写作领域，AI论文生成器已经成为许多研究人员和学生的重要工具。这些工具不仅能够帮助用户快速生成高质量的论文内容，还能进行内容优化、查重和排版等操作。以下是三款值得推荐的AI论文生成器：千笔-AIPassPaper、懒人论文以及AIPaperPass。千笔-AIPassPaper千笔-AIPassPaper是一款基于深度学习和自然语言处理技术的AI写作助手，旨在帮助用户快速生成高质
AI大模型的架构演进与最新发展季风泯灭的季节 AI大模型应用技术二人工智能架构
随着深度学习的发展，AI大模型（LargeLanguageModels,LLMs）在自然语言处理、计算机视觉等领域取得了革命性的进展。本文将详细探讨AI大模型的架构演进，包括从Transformer的提出到GPT、BERT、T5等模型的历史演变，并探讨这些模型的技术细节及其在现代人工智能中的核心作用。一、基础模型介绍：Transformer的核心原理Transformer架构的背景在Transfo
[实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估 pytorch python 机器学习
文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
[实践应用] 深度学习之优化器 YuanDaima2048 深度学习工具使用 pytorch 深度学习人工智能机器学习 python 优化器
文章总览：YuanDaiMa2048博客文章总览深度学习之优化器1.随机梯度下降（SGD）2.动量优化（Momentum）3.自适应梯度（Adagrad）4.自适应矩估计（Adam）5.RMSprop总结其他介绍在深度学习中，优化器用于更新模型的参数，以最小化损失函数。常见的优化函数有很多种，下面是几种主流的优化器及其特点、原理和PyTorch实现：1.随机梯度下降（SGD）原理:随机梯度下降通过
生成式地图制图 Bwywb_3 深度学习机器学习深度学习生成对抗网络
生成式地图制图（GenerativeCartography）是一种利用生成式算法和人工智能技术自动创建地图的技术。它结合了传统的地理信息系统（GIS）技术与现代生成模型（如深度学习、GANs等），能够根据输入的数据自动生成符合需求的地图。这种方法在城市规划、虚拟环境设计、游戏开发等多个领域具有应用前景。主要特点：自动化生成：通过算法和模型，系统能够根据输入的地理或空间数据自动生成地图，而无需人工逐
吴恩达深度学习笔记(30)-正则化的解释极客Array
正则化（Regularization）深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少你的网络误差。如果你怀疑神经网络过度拟合了数据，即存在高方差问题，那么最先想到的方法可能是正则化，另一个解决高方差的方法就是准备更多数据，这也是非常
个人学习笔记7-6：动手学深度学习pytorch版-李沐浪子L 深度学习深度学习笔记计算机视觉 python 人工智能神经网络 pytorch
#人工智能##深度学习##语义分割##计算机视觉##神经网络#计算机视觉13.11全卷积网络全卷积网络（fullyconvolutionalnetwork，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换。引入l转置卷积（transposedconvolution）实现的，输出的类别预测与输入图像在像素级别上具有一一对应关系：通道维的输出即该位置对应像素的类别预测。13.11.1构造模型下
深度学习-点击率预估-研究论文2024-09-14速读 sp_fyf_2024 深度学习人工智能
深度学习-点击率预估-研究论文2024-09-14速读1.DeepTargetSessionInterestNetworkforClick-ThroughRatePredictionHZhong,JMa,XDuan,SGu,JYao-2024InternationalJointConferenceonNeuralNetworks,2024深度目标会话兴趣网络用于点击率预测摘要：这篇文章提出了一种新
损失函数与反向传播 Star_. PyTorch pytorch 深度学习 python
损失函数定义与作用损失函数(lossfunction)在深度学习领域是用来计算搭建模型预测的输出值和真实值之间的误差。1.损失函数越小越好2.计算实际输出与目标之间的差距3.为更新输出提供依据（反向传播)常见的损失函数回归常见的损失函数有：均方差（MeanSquaredError，MSE）、平均绝对误差（MeanAbsoluteErrorLoss，MAE）、HuberLoss是一种将MSE与MAE
【深度学习】训练过程中一个OOM的问题，太难查了 weixin_40293999 深度学习深度学习人工智能
现象：各位大佬又遇到过ubuntu的这个问题么？现象是在训练过程中，ssh上不去了，能ping通，没死机，但是ubunutu的pc侧的显示器，鼠标啥都不好用了。只能重启。问题原因：OOM了95G，尼玛！！！！pytorch爆内存了，然后journald假死了，在journald被watchdog干掉之后，系统就崩溃了。这种规模的爆内存一般，即使被oomkill了，也要卡半天的，确实会这样，能不能配
云服务业界动态简报-20180128 Captain7
一、青云青云QingCloud推出深度学习平台DeepLearningonQingCloud，包含了主流的深度学习框架及数据科学工具包，通过QingCloudAppCenter一键部署交付，可以让算法工程师和数据科学家快速构建深度学习开发环境，将更多的精力放在模型和算法调优。二、腾讯云1.腾讯云正式发布腾讯专有云TCE(TencentCloudEnterprise)矩阵，涵盖企业版、大数据版、AI
机器学习VS深度学习 nfgo 机器学习
机器学习（MachineLearning,ML）和深度学习（DeepLearning,DL）是人工智能（AI）的两个子领域，它们有许多相似之处，但在技术实现和应用范围上也有显著区别。下面从几个方面对两者进行区分：1.概念层面机器学习：是让计算机通过算法从数据中自动学习和改进的技术。它依赖于手动设计的特征和数学模型来进行学习，常用的模型有决策树、支持向量机、线性回归等。深度学习：是机器学习的一个子领
大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏租房推荐系统 58同城租房爬虫房源推荐系统房价预测系统计算机毕业设计机器学习深度学习人工智能 2401_84572577 程序员大数据 hadoop 人工智能
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
深度学习-13-小语言模型之SmolLM的使用皮皮冰燃深度学习深度学习
文章附录1SmolLM概述1.1SmolLM简介1.2下载模型2运行2.1在CPU/GPU/多GPU上运行模型2.2使用torch.bfloat162.3通过位和字节的量化版本3应用示例4问题及解决4.1attention_mask和pad_token_id报错4.2max_new_tokens=205参考附录1SmolLM概述1.1SmolLM简介SmolLM是一系列尖端小型语言模型，提供三种规
基于深度学习的农作物病害检测 SEU-WYL 深度学习dnn 深度学习人工智能
基于深度学习的农作物病害检测利用卷积神经网络（CNN）、生成对抗网络（GAN）、Transformer等深度学习技术，自动识别和分类农作物的病害，帮助农业工作者提高作物管理效率、减少损失。1.农作物病害检测的挑战病害种类繁多：农作物病害的类型多样，不同病害在同一作物上的表现差异很大，同时同一种病害在不同生长阶段的症状也可能不同。环境影响：天气、光照、湿度等外部环境因素会影响农作物的表现，使得病害检
基于深度学习的文本引导的图像编辑 SEU-WYL 深度学习dnn 深度学习人工智能
基于深度学习的文本引导的图像编辑（Text-GuidedImageEditing）是一种通过自然语言文本指令对图像进行编辑或修改的技术。它结合了图像生成和自然语言处理（NLP）的最新进展，使用户能够通过描述性文本对图像内容进行精确的调整和操控。1.文本引导的图像编辑的挑战文本和图像之间的对齐：如何将文本中的语义信息准确地映射到图像中的特定区域或元素是一个关键挑战。这涉及到多模态数据的对齐和理解。编
深度学习--对抗生成网络（GAN, Generative Adversarial Network） Ambition_LAO 深度学习生成对抗网络
对抗生成网络（GAN,GenerativeAdversarialNetwork）是一种深度学习模型，由IanGoodfellow等人在2014年提出。GAN主要用于生成数据，通过两个神经网络相互对抗，来生成以假乱真的新数据。以下是对GAN的详细阐述，包括其概念、作用、核心要点、实现过程、代码实现和适用场景。1.概念GAN由两个神经网络组成：生成器（Generator）和判别器（Discrimina
深度学习：怎么看pth文件的参数奥利给少年深度学习人工智能
.pth文件是PyTorch模型的权重文件，它通常包含了训练好的模型的参数。要查看或使用这个文件，你可以按照以下步骤操作：1.确保你有模型的定义你需要有创建这个.pth文件时所用的模型的代码。这意味着你需要有模型的类定义和架构。2.加载模型权重使用PyTorch的load_state_dict方法来加载权重。这里是如何操作的：importtorchimporttorch.nnasnn#定义模型结构
chatgpt赋能python：如何在Python中安装Keras库？ turensu ChatGpt python chatgpt keras 计算机
如何在Python中安装Keras库？Keras是一个简单易用的神经网络库，由FrançoisChollet编写。它在Python编程语言中实现了深度学习的功能，可以使您更轻松地构建和试验不同类型的神经网络。如果您是一名Python开发人员，肯定会想知道如何在您的Python项目中安装Keras库。在本文中，我们将向您展示如何安装和配置Keras库。步骤1：安装Python要使用Keras库，您需
如何理解深度学习的训练过程奋斗的草莓熊深度学习人工智能 python scikit-learn virtualenv numpy pandas
文章目录1.训练是干什么？2.预训练模型进行训练，主要更改的是预训练模型的什么东西？1.训练是干什么？以yolov5为例子，训练的目的是把一组输入猫狗图像放到神经网络中，得到一个输出模型，这个模型下次可以直接用来识别哪个是猫，哪个是狗2.预训练模型进行训练，主要更改的是预训练模型的什么东西？超参数（Hyperparameters）：这是模型结构中定义的参数，比如：卷积核大小（kernel_size
Keras深度学习框架入门及实战指南司莹嫣Maude
Keras深度学习框架入门及实战指南keraskeras-team/keras:是一个基于Python的深度学习库，它没有使用数据库。适合用于深度学习任务的开发和实现，特别是对于需要使用Python深度学习库的场景。特点是深度学习库、Python、无数据库。项目地址:https://gitcode.com/gh_mirrors/ke/keras一、项目介绍Keras简介Keras是一款高级神经网络
深度学习驱动的车牌识别：技术演进与未来挑战逼子歌深度学习车牌识别神经网络字符识别 YOLO 卷积神经网络
一、引言1.1研究背景在当今社会，智能交通系统的发展日益重要，而车牌识别作为其关键组成部分，发挥着至关重要的作用。车牌识别技术广泛应用于交通管理、停车场管理、安防监控等领域。在交通管理中，它可以用于车辆识别、交通违法监控和车流统计等，提高交通管理的效率和准确性。在停车场管理中，实现车辆的自动识别和收费，提升管理和服务水平。在安防监控领域，可用于追踪嫌疑人及犯罪行为。深度学习的出现为车牌识别带来了重
每天五分钟玩转深度学习PyTorch：模型参数优化器torch.optim 幻风_huanfeng 深度学习框架pytorch 深度学习 pytorch 人工智能神经网络机器学习优化算法
本文重点在机器学习或者深度学习中，我们需要通过修改参数使得损失函数最小化(或最大化)，优化算法就是一种调整模型参数更新的策略。在pytorch中定义了优化器optim，我们可以使用它调用封装好的优化算法，然后传递给它神经网络模型参数，就可以对模型进行优化。本文是学习第6步(优化器)，参考链接pytorch的学习路线随机梯度下降算法在深度学习和机器学习中，梯度下降算法是最常用的参数更新方法，它的公式
什么是AIGC？有哪些免费工具？ chent_某位 AIGC
AIGC（AIGeneratedContent），即“人工智能生成内容”，是指通过人工智能技术自动生成各种类型的数字内容。AIGC让机器能够根据输入的信息或数据生成符合人类需求的文本、图像、音频、视频等内容，极大提高了内容创作的效率。AIGC的背景与起源随着深度学习和自然语言处理技术的快速发展，人工智能已经不再局限于简单的任务，如分类、预测和数据分析，而是具备了生成内容的能力。生成式AI模型，如O
transformer架构(Transformer Architecture)原理与代码实战案例讲解 AI架构设计之禅大数据AI人工智能 Python入门实战计算科学神经计算深度学习神经网络大数据人工智能大型语言模型 AI AGI LLM Java Python 架构设计 Agent RPA
transformer架构(TransformerArchitecture)原理与代码实战案例讲解关键词：Transformer,自注意力机制,编码器-解码器,预训练,微调,NLP,机器翻译作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来自然语言处理（NLP）领域的发展经历了从规则驱动到统计驱动再到深度学习驱动的三个阶段。
如何有效的学习AI大模型？ Python程序员罗宾学习人工智能语言模型自然语言处理架构
学习AI大模型是一个系统性的过程，涉及到多个学科的知识。以下是一些建议，帮助你更有效地学习AI大模型：基础知识储备：数学基础：学习线性代数、概率论、统计学和微积分等，这些是理解机器学习算法的数学基础。编程技能：掌握至少一种编程语言，如Python，因为大多数AI模型都是用Python实现的。理论学习：机器学习基础：了解监督学习、非监督学习、强化学习等基本概念。深度学习：学习神经网络的基本结构，如卷
【深度学习】【OnnxRuntime】【Python】模型转化、环境搭建以及模型部署的详细教程牙牙要健康深度学习 onnx onnxruntime 深度学习 python 人工智能
【深度学习】【OnnxRuntime】【Python】模型转化、环境搭建以及模型部署的详细教程提示:博主取舍了很多大佬的博文并亲测有效,分享笔记邀大家共同学习讨论文章目录【深度学习】【OnnxRuntime】【Python】模型转化、环境搭建以及模型部署的详细教程前言模型转换--pytorch转onnxWindows平台搭建依赖环境onnxruntime调用onnx模型ONNXRuntime推理核
基于深度学习的多模态信息检索 SEU-WYL 深度学习dnn 深度学习人工智能
基于深度学习的多模态信息检索（MultimodalInformationRetrieval,MMIR）是指利用深度学习技术，从包含多种模态（如文本、图像、视频、音频等）的数据集中检索出满足用户查询意图的相关信息。这种方法不仅可以处理单一模态的数据，还可以在多种模态之间建立关联，从而更准确地满足用户需求。1.多模态信息检索的挑战异构数据表示：多模态数据通常具有不同的特征和表示形式（如文本的词嵌入与图
iOS http封装 374016526 ios 服务器交互 http 网络请求
程序开发避免不了与服务器的交互，这里打包了一个自己写的http交互库。希望可以帮到大家。内置一个basehttp，当我们创建自己的service可以继承实现。 KuroAppBaseHttp *baseHttp = [[KuroAppBaseHttp alloc] init]; [baseHttp setDelegate:self]; [baseHttp
lolcat ：一个在 Linux 终端中输出彩虹特效的命令行工具 brotherlamp linux linux教程 linux视频 linux自学 linux资料
那些相信 Linux 命令行是单调无聊且没有任何乐趣的人们，你们错了，这里有一些有关 Linux 的文章，它们展示着 Linux 是如何的有趣和“淘气” 。在本文中，我将讨论一个名为“lolcat”的小工具 – 它可以在终端中生成彩虹般的颜色。何为 lolcat ? Lolcat 是一个针对 Linux，BSD 和 OSX 平台的工具，它类似于 cat 命令，并为 cat
MongoDB索引管理（1）——[九] eksliang mongodb MongoDB管理索引
转载请出自出处：http://eksliang.iteye.com/blog/2178427 一、概述数据库的索引与书籍的索引类似，有了索引就不需要翻转整本书。数据库的索引跟这个原理一样，首先在索引中找，在索引中找到条目以后，就可以直接跳转到目标文档的位置，从而使查询速度提高几个数据量级。不使用索引的查询称
Informatica参数及变量 18289753290 Informatica 参数变量
下面是本人通俗的理解，如有不对之处，希望指正 info参数的设置：在info中用到的参数都在server的专门的配置文件中（最好以parma）结尾下面的GLOBAl就是全局的，$开头的是系统级变量，$$开头的变量是自定义变量。如果是在session中或者mapping中用到的变量就是局部变量，那就把global换成对应的session或者mapping名字。 [GLOBAL] $Par
python 解析unicode字符串为utf8编码字符串酷的飞上天空 unicode
php返回的json字符串如果包含中文，则会被转换成\uxx格式的unicode编码字符串返回。在浏览器中能正常识别这种编码，但是后台程序却不能识别，直接输出显示的是\uxx的字符，并未进行转码。转换方式如下 >>> import json >>> q = '{"text":"\u4
Hibernate的总结永夜-极光 Hibernate
1.hibernate的作用,简化对数据库的编码,使开发人员不必再与复杂的sql语句打交道做项目大部分都需要用JAVA来链接数据库，比如你要做一个会员注册的页面，那么获取到用户填写的基本信后，你要把这些基本信息存入数据库对应的表中，不用hibernate还有mybatis之类的框架，都不用的话就得用JDBC，也就是JAVA自己的，用这个东西你要写很多的代码，比如保存注册信
SyntaxError: Non-UTF-8 code starting with '\xc4' 随便小屋 python
刚开始看一下Python语言，传说听强大的，但我感觉还是没Java强吧！写Hello World的时候就遇到一个问题，在Eclipse中写的，代码如下 ''' Created on 2014年10月27日 @author: Logic ''' print("Hello World!"); 运行结果 SyntaxError: Non-UTF-8
学会敬酒礼仪不做酒席菜鸟 aijuans 菜鸟
俗话说，酒是越喝越厚，但在酒桌上也有很多学问讲究，以下总结了一些酒桌上的你不得不注意的小细节。细节一：领导相互喝完才轮到自己敬酒。敬酒一定要站起来，双手举杯。细节二：可以多人敬一人，决不可一人敬多人，除非你是领导。细节三：自己敬别人，如果不碰杯，自己喝多少可视乎情况而定，比如对方酒量，对方喝酒态度，切不可比对方喝得少，要知道是自己敬人。细节四：自己敬别人，如果碰杯，一
《创新者的基因》读书笔记 aoyouzi 读书笔记《创新者的基因》
创新者的基因创新者的“基因”，即最具创意的企业家具备的五种“发现技能”：联想，观察，实验，发问，建立人脉。第一部分破坏性创新，从你开始第一章破坏性创新者的基因如何获得启示：发现以下的因素起到了催化剂的作用：(1) -个挑战现状的问题；(2)对某项技术、某个公司或顾客的观察；(3) -次尝试新鲜事物的经验或实验；(4)与某人进行了一次交谈，为他点醒
表单验证技术百合不是茶 JavaScript DOM对象 String对象事件
js最主要的功能就是验证表单,下面是我对表单验证的一些理解,贴出来与大家交流交流 ,数显我们要知道表单验证需要的技术点, String对象,事件,函数一:String对象;通常是对字符串的操作; 1,String的属性; 字符串.length;表示该字符串的长度; var str= "java"
web.xml配置详解之context-param bijian1013 java servlet web.xml context-param
一.格式定义： <context-param> <param-name>contextConfigLocation</param-name> <param-value>contextConfigLocationValue></param-value> </context-param> 作用：该元
Web系统常见编码漏洞（开发工程师知晓） Bill_chen sql PHP Web fckeditor 脚本
1.头号大敌：SQL Injection 原因：程序中对用户输入检查不严格，用户可以提交一段数据库查询代码，根据程序返回的结果，获得某些他想得知的数据，这就是所谓的SQL Injection，即SQL注入。本质: 对于输入检查不充分，导致SQL语句将用户提交的非法数据当作语句的一部分来执行。示例： String query = "SELECT id FROM users
【MongoDB学习笔记六】MongoDB修改器 bit1129 mongodb
本文首先介绍下MongoDB的基本的增删改查操作，然后，详细介绍MongoDB提供的修改器，以完成各种各样的文档更新操作 MongoDB的主要操作 show dbs 显示当前用户能看到哪些数据库 use foobar 将数据库切换到foobar show collections 显示当前数据库有哪些集合 db.people.update，update不带参数，可
提高职业素养，做好人生规划白糖_ 人生
培训讲师是成都著名的企业培训讲师，他在讲课中提出的一些观点很新颖，在此我收录了一些分享一下。注：讲师的观点不代表本人的观点，这些东西大家自己揣摩。 1、什么是职业规划：职业规划并不完全代表你到什么阶段要当什么官要拿多少钱，这些都只是梦想。职业规划是清楚的认识自己现在缺什么，这个阶段该学习什么，下个阶段缺什么，又应该怎么去规划学习，这样才算是规划。
国外的网站你都到哪边看？ bozch 技术网站国外
学习软件开发技术，如果没有什么英文基础，最好还是看国内的一些技术网站，例如：开源OSchina，csdn，iteye,51cto等等。个人感觉如果英语基础能力不错的话，可以浏览国外的网站来进行软件技术基础的学习，例如java开发中常用的到的网站有apache.org 里面有apache的很多Projects,springframework.org是spring相关的项目网站,还有几个感觉不错的
编程之美-光影切割问题 bylijinnan 编程之美
package a; public class DisorderCount { /**《编程之美》“光影切割问题” * 主要是两个问题： * 1.数学公式（设定没有三条以上的直线交于同一点）： * 两条直线最多一个交点，将平面分成了4个区域； * 三条直线最多三个交点，将平面分成了7个区域； * 可以推出：N条直线 M个交点，区域数为N+M+1。
关于Web跨站执行脚本概念 chenbowen00 Web 安全跨站执行脚本
跨站脚本攻击(XSS)是web应用程序中最危险和最常见的安全漏洞之一。安全研究人员发现这个漏洞在最受欢迎的网站,包括谷歌、Facebook、亚马逊、PayPal,和许多其他网站。如果你看看bug赏金计划,大多数报告的问题属于 XSS。为了防止跨站脚本攻击,浏览器也有自己的过滤器,但安全研究人员总是想方设法绕过这些过滤器。这个漏洞是通常用于执行cookie窃取、恶意软件传播,会话劫持,恶意重定向。在
[开源项目与投资]投资开源项目之前需要统计该项目已有的用户数 comsci 开源项目
现在国内和国外,特别是美国那边,突然出现很多开源项目,但是这些项目的用户有多少,有多少忠诚的粉丝,对于投资者来讲,完全是一个未知数,那么要投资开源项目,我们投资者必须准确无误的知道该项目的全部情况,包括项目发起人的情况,项目的维持时间..项目的技术水平,项目的参与者的势力,项目投入产出的效益.....
oracle alert log file（告警日志文件） daizj oracle 告警日志文件 alert log file
The alert log is a chronological log of messages and errors, and includes the following items: All internal errors (ORA-00600), block corruption errors (ORA-01578), and deadlock errors (ORA-00060)
关于 CAS SSO 文章声明 denger SSO
由于几年前写了几篇 CAS 系列的文章，之后陆续有人参照文章去实现，可都遇到了各种问题，同时经常或多或少的收到不少人的求助。现在这时特此说明几点： 1. 那些文章发表于好几年前了，CAS 已经更新几个很多版本了，由于近年已经没有做该领域方面的事情，所有文章也没有持续更新。 2. 文章只是提供思路，尽管 CAS 版本已经发生变化，但原理和流程仍然一致。最重要的是明白原理，然后
初二上学期难记单词 dcj3sjt126com english word
lesson 课 traffic 交通 matter 要紧；事物 happy 快乐的，幸福的 second 第二的 idea 主意；想法；意见 mean 意味着 important 重要的，重大的 never 从来，决不 afraid 害怕的 fifth 第五的 hometown 故乡，家乡 discuss 讨论；议论 east 东方的 agree 同意；赞成 bo
uicollectionview 纯代码布局, 添加头部视图 dcj3sjt126com Collection
#import <UIKit/UIKit.h> @interface myHeadView : UICollectionReusableView { UILabel *TitleLable; } -(void)setTextTitle; @end #import "myHeadView.h" @implementation m
N 位随机数字串的 JAVA 生成实现 FX夜归人 java Math 随机数 Random
/** * 功能描述随机数工具类<br /> * @author FengXueYeGuiRen * 创建时间 2014-7-25<br /> */ public class RandomUtil { // 随机数生成器 private static java.util.Random random = new java.util.R
Ehcache（09）——缓存Web页面 234390216 ehcache 页面缓存
页面缓存目录 1 SimplePageCachingFilter 1.1 calculateKey 1.2 可配置的初始化参数 1.2.1 cach
spring中少用的注解@primary解析 jackyrong primary
这次看下spring中少见的注解@primary注解，例子 @Component public class MetalSinger implements Singer{ @Override public String sing(String lyrics) { return "I am singing with DIO voice
Java几款性能分析工具的对比 lbwahoo java
Java几款性能分析工具的对比摘自：http://my.oschina.net/liux/blog/51800 在给客户的应用程序维护的过程中，我注意到在高负载下的一些性能问题。理论上，增加对应用程序的负载会使性能等比率的下降。然而，我认为性能下降的比率远远高于负载的增加。我也发现，性能可以通过改变应用程序的逻辑来提升，甚至达到极限。为了更详细的了解这一点，我们需要做一些性能
JVM参数配置大全 nickys jvm 应用服务器
JVM参数配置大全 /usr/local/jdk/bin/java -Dresin.home=/usr/local/resin -server -Xms1800M -Xmx1800M -Xmn300M -Xss512K -XX:PermSize=300M -XX:MaxPermSize=300M -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=5 -
搭建 CentOS 6 服务器(14) - squid、Varnish rensanning varnish
（一）squid 安装 # yum install httpd-tools -y # htpasswd -c -b /etc/squid/passwords squiduser 123456 # yum install squid -y 设置 # cp /etc/squid/squid.conf /etc/squid/squid.conf.bak # vi /etc/
Spring缓存注解@Cache使用 tom_seed spring
参考资料 http://www.ibm.com/developerworks/cn/opensource/os-cn-spring-cache/ http://swiftlet.net/archives/774 缓存注解有以下三个： @Cacheable @CacheEvict @CachePut
dom4j解析XML时出现"java.lang.noclassdeffounderror: org/jaxen/jaxenexception"错误 xp9802
java.lang.NoClassDefFoundError: org/jaxen/JaxenExc 关键字: java.lang.noclassdeffounderror: org/jaxen/jaxenexception 使用dom4j解析XML时，要快速获取某个节点的数据，使用XPath是个不错的方法，dom4j的快速手册里也建议使用这种方式执行时却抛出以下异常： Exceptio

深度学习不可不知的矩阵微积分

引言 常用微积分介绍

向量微积分和偏导介绍

矩阵微积分

Jacobian矩阵

向量对应元素二元运算的导数

链式法则

1. 单变量链式法则

2. 单变量全导数链式法则

3. 向量链式法则

你可能感兴趣的:(深度学习,微积分)

引言常用微积分介绍