Umikaze_

吴恩达深度学习之一《神经网络和深度学习》学习笔记

一、深度学习概论

1.2 什么是神经网络

如上图所示的房价预测，我们可以把它的线性回归看作一个神经元构成的神经网络。神经元就是那个圈，是一个用于映射计算的函数。

图中使用的是十分常见的 ReLU函数，全称为修正线性单元（又称线性整流函数），就是一个非负的线性回归，让预测本应<0的部分都等于0

第一层是输入层x，最后一层是输出层y，中间是隐藏层。给你左边这四个房屋特征，预测房价。隐藏层结点用什么函数，有没有含义表示什么含义，都是由你来决定和设计的。比方说第二层三个结点你可以预测家庭人口、步行化程度、学校质量，然后再进一步预测价格。

1.3 用神经网络进行监督学习

如图所示的是结构化数据和非结构化数据

1.4 为什么深度学习会兴起

数据规模足够大时，随着数据规模的增大，机器学习模型的表现几乎不变。但越是大规模的神经网络，随着数据规模的增大，越是有更好的表现。当然在小规模时有时机器学习能表现得更好。

另一个原因是函数算法的优化

如图，sigmoid在两侧梯度趋近0，训练的很慢，而神经网络完全可以在过程中使用很多ReLU，这个训练起来就很快

二、神经网络基础

2.1 二分分类

比如彩色图片，像素64x64，RGB三个矩阵构成，每个像素点的值是0到255的灰度级位数。

一张图片就是一个样本，把这个样本的 64*64*3=12288个特征值摞起来就是 n=12288 维的特征向量

注意和机器学习的差别，深度学习中，一列是一个样本，一行是一个特征点

如图所示是m个样本构成的特征矩阵X，和标签矩阵y

再次注意和机器学习是反着来的，括号上标是第 j 个样本，即一列是一个样本

2.2 logistic回归

回忆机器学习内容

分类为了结果在0到1，用 sigmoid 函数 $\large \sigma(z)=\frac{1}{1+e^{-z}}$ ，

于是 x=0 时 y=0.5，x 正无穷 y 趋近 1，x 负无穷 y 趋近 0

逻辑回归就是假说函数 $\large \hat{y}=\sigma(w^Tx+b)=\sigma(\theta^Tx)$

本课程中使用前者写法。后者写法就是 $\large \theta^T$ 令 $\large x_0=1$ ， $\large \theta_0=b$ 整合到一起的写法

2.3 logistic回归损失函数

回忆机器学习内容

损失(误差)函数（loss(error) function）是一个样本预测值和实际值间的偏差

代价(成本)函数（cost function）是 m 个样本损失函数的均值

一个最简单的损失函数是 $\large L(\hat{y},y)=\frac{1}{2}(\hat{y}-y)^2$ ，就是类似于方差的形式

这个函数的问题是不是一个凹的，他有很多极小值

一般我们使用的损失函数是

$\large L(\hat{y},y)=-(y\log{\hat{y}}+(1-y)\log{(1-\hat{y})})$

整体取负号是因为 log 在 0 到 1 算出是负的，我们要用正数形式来比较大小

y=0 时，起作用的是后一项，想让 L 趋近 0，也就是让 y帽趋近0

y=1 时，起作用的是前一项，想让 L 趋近 0，也就是让 y帽趋近1

这个函数是一个凹函数，有唯一极值点

代价函数就是求和后的均值

$\large J(w,b)=\frac{1}{m}\sum_{i=1}^{m}L(\hat{y}^{(i)},y^{(i)})=-\frac{1}{m}\sum_{i=1}^{m}[y^{(i)}\log{\hat{y}^{(i)}}+(1-y^{(i)})\log{(1-\hat{y}^{(i)})}]$

2.4 梯度下降法

学习率 α

回忆机器学习内容，就是下山

重复执行如下操作，直到收敛

$\large w=w-\alpha\frac{\partial{J}}{\partial{w}}$

$\large b=b-\alpha\frac{\partial{J}}{\partial{b}}$

2.8 计算图的导数计算

如图正向传播就是带入当前参数，算出代价函数 J = 33

反向传播就是用链式求导来梯度下降，因为隐藏层都是我们设定的函数，所以依照链式求导法则，可以直接对输入层的参数更新

例如 $\large \frac{dJ}{da}=\frac{dJ}{dv}\frac{dv}{da}=3$

即每次 $\large a=a-3\alpha$

2.9 logistic回归中的反向传播

如图所示，输入层是偏置单元 x0=1 和 x1、x2，对应参数 b、w1、w2

隐藏层是一层逻辑回归假说函数，图中拆成了两步，第一步线性回归假说函数，第二步sigmoid函数

输出层是 a，a 和 y帽在书写定义上的区分是，a 是每一轮的结果，拿着 a 可以去梯度下降，最后得到的最终结果输出为 y帽

我们要用代价函数的偏导 w = w - dL / dw 来更新参数 w

而 $\large \frac{\partial{L}}{\partial{w}}=\frac{\partial{L}}{\partial{a}}\frac{da}{dz}\frac{\partial{z}}{\partial{w}}$

由 $\large L(\hat{y},y)=-(y\log{\hat{y}}+(1-y)\log{(1-\hat{y})})$

得 $\large \frac{\partial{L}}{\partial{a}}=-\frac{y}{a}+\frac{1-y}{1-a}$

由 $\large \sigma(z)=\frac{1}{1+e^{-z}}$

得 $\large \frac{da}{dz}=\frac{e^{-z}}{(1+e^{-z})^2}=a(1-a)$

注意sigmoid函数的导数可以用反函数反带回去，所以最后偏导总是可以用 x、y、y帽来计算

$\large \frac{\partial{z}}{\partial{w}}=x$

于是最后

$\large w=w-\alpha\frac{\partial{L}}{\partial{w}}=w-\alpha(a-y)x$

2.10 m个样本的梯度下降

2.9中展示的是用损失函数，即一个样本

实际应当用代价函数

$\large J(w,b)=\frac{1}{m}\sum_{i=1}^{m}L(\hat{y}^{(i)},y^{(i)})=-\frac{1}{m}\sum_{i=1}^{m}[y^{(i)}\log{\hat{y}^{(i)}}+(1-y^{(i)})\log{(1-\hat{y}^{(i)})}]$

而由代价函数的公式，显然我们可以发现，代价函数的偏导也是损失函数偏导的平均值

即 $\large \frac{\partial{J}}{\partial{w}}=\frac{1}{m}\sum_{i=1}^{m}[(\hat{y}^{(i)}-y^{(i)})x^{(i)}]$

一般我们将 J 对某一项的偏导简记为这一项的微分，比如上式我们一般会将 $\large \frac{\partial{L}}{\partial{w}}$ 简记为 $\large dw$

2.11 向量化

做矩阵操作应该尽可能用numpy

numpy使用了SIMD单指令多数据流，充分利用了CPU/GPU的并行性，其中GPU更适合并行

据博主推断，numpy做一次向量整体操作应该只需要 O(1)，而 for 循环需要 O(n)

不难想象矩阵乘法用 np.dot 应该是 O(n^2)，而手写朴素算法的 for 是 O(n^3)

另外要注意 jupyter notebook 中只有 CPU，没有 GPU

2.13 向量化logistic回归

对于 $\large z=w^Tx+b$

显然 m 个样本可以向量化成 $\large [z^{(1)},z^{(2)},...,z^{(m)}]=w^TX+[b,b,...,b]$

记作 $\large Z=w^TX+b$

2.14 向量化logistic回归的梯度输出

$\large dw=\frac{1}{m}\sum_{i=1}^{m}[(\hat{y}^{(i)}-y^{(i)})x^{(i)}]$

实际上我前面的这个写法已经是扩展为 n 行了，w 和 x^(i) 都是一个样本的列向量，没有带下标

更进一步地，我们应当把 m 个样本的求和符号去掉

想象一下线代学的 $\large Ax=[\alpha_1,...,\alpha_n][x_1,...,x_n]^T=b$

不难得到 $\large dw=\frac{1}{m}np.sum(X(\hat{Y}-Y)^T)$

当然这里也可以不用 1/m sum，用 mean 或者 average 也是可以的

2.15 Python中的广播

比如一个矩阵加一个数，就是这个矩阵每个元素都加这个数

这种整体操作基本是常数级的，因为SIMD

这种拷贝性的整体操作称之为广播

当然并不是什么形式都能拷贝广播

常见的用法是单个数、行向量、列向量的广播

如图所示

吴恩达给出的一个应用是向量化计算元素在列和中所占百分比，如图所示

需要注意的是，数值轴记作 0 轴，水平轴记作 1 轴

另外一定要注意的是，向量是一种矩阵，是二维数组，而非一维数组！！

一定要养成小心检查维度shape，养成shape、reshape的习惯

在机器学习编程中要尽可能杜绝使用一维数组

2.18 (选修)logistic损失函数的解释

logistic损失函数的本质是在做极大似然估计

极大似然估计即用 θ 表示出似然函数（特定样本下的概率函数），求这个函数的极大值，便可让估计的概率最高，极大值点 θ帽就是 θ 的极大似然估计

概率中，求似然函数 L(或者P) 的极大值时，一般用 log L 来求导，算极值点

logistic 中的似然函数即在不同条件 x 下，对 y 的预测的概率

实际上，可以把这个条件按 y 来分段函数

$\large P(y|x)=\left\{\begin{matrix} \hat{y}, y=1\\ 1-\hat{y}, y=0 \end{matrix}\right.$

我们知道我们预测的是 y=1 的概率

于是对 y=1 预测命中的概率是 y帽，对 y=0 预测命中的概率是 1-y帽

数学中的题目，我们都是带入一个特定样本，计算出对 θ 的似然估计

而机器学习中，我们要给出表达式，对一个不确定的样本，让它能直接带表达式直接求

对不确定的样本，带入分段函数求极值并不是一个好的选择，写起来还要加入if之类的逻辑进行分类讨论，可以发现的是，它可以合并成一个函数

$\large P(y|x)=\hat{y}^y(1-\hat{y})^{(1-y)}$

极大似然估计就是让这个函数取极大值

对 P 取log得到的 $\large -log P$ 就是我们的损失函数的表达式，就是求其极小值

对于 m 个样本，它们是独立同分布的，联合概率就是每个样本概率的累乘乘积

求这个联合函数的极大值，取 log，就变成加和形式了

因此，这就是为什么代价函数是 m个样本的损失函数的和

值得一提的是，你可能会好奇log的底到底是什么，这个是自由的，只要单调，随便自己想搞什么都行，一般可能会默认用log2方便书写一些

然后需要注意的是，通过这个概率式子，你也可以理解到，所有二分类问题它的损失函数、代价函数都是这种形式，不论你用的是或不是逻辑回归

三、浅层神经网络

3.1 神经网络概览

图中的每个神经元我们都设为sigmoid单元

具体来讲，图中每一个神经元做的是 $\large a=\sigma(w^Tx+b)$

规定用上标括号表示第几层的变量（输入层是第 0 层）

图中的过程就是

$\large z^{[1]}=W^{[1]}x+b^{[1]}$

$\large a^{[1]}=\sigma(z^{[1]})$

$\large z^{[2]}=W^{[2]}a^{[1]}+b^{[2]}$

$\large a^{[2]}=\sigma(z^{[2]})$

计算 $\large L(a^{[2]},y)$ 然后反向传播，得到最终的结果输出为 $\large \hat{y}$

3.2 神经网络表示

如图一层输入层，一层隐藏层，一层输入层

输入是第0层，一般不计入层数，我们一般把图中的神经网络叫做双层神经网络

a 是 activations，叫作激活值，即传入下一层的值

输入层 x 又可记作 $\large a^{[0]}$

W的维数中，行数是所在层的结点数，列数是上一层的结点数

第 i 层的参数，和第 i-1 层的激活值 a^i-1 计算，得到本层的激活值 a^i

同层每个激活值按顺序从上到下用下标 1、2、3、... 来表示

下标 i 实际上就是取第 i 行向量

对 W 也是这样，W1 就是用 x 计算 a1 的一行参数

3.3 计算神经网络的输出

W 的一行里的每个元素，是对应上一层各个激活值的参数，W的这一行用作算出本层的一个激活值

显然

$\large a^{[i]}=\sigma(W^{[i]}a^{[i-1]}+b^{[i]})$

3.4 多个例子中的向量化

进一步，把 m 个样本加入进来

显然

$\large A^{[i]}=\sigma(W^{[i]}A^{[i-1]}+b^{[i]})$ （正向传播总结性最终公式，注意）

3.5 向量化实现的解释

前面已经讲过了，再总结一次（概念总结，注意）

$\large A_i^{[k](j)}$ ：第 k 层，第 j 个样本的第 i 个激活值（ i 行 j 列，下同）

$\large W_i^{[k](j)}$ ：第 k 层，用于计算本层第 i 个激活值 $\large A_i$ 对应于上一层第 j 个激活值 $\large A_j$ 的一个参数

A的一行是一个激活值在每一个样本的实际值

A的一列是一个样本的所有激活值

W的一行是用于算得本层一个A的、对应于上一层所有A的参数

W的一列是用于算得本层每个A的、对应于上一层一个A的参数

对 W 我们应该按行分块，对 A 我们应该按列分块

W 乘以上层 A 的一列，就是算出本层 A 的一列，即本层一个样本的所有 A

W 的一行乘以上层 A，就是算出本层 A 的一行，即本层所有样本的一个 A

W 的一行乘以上层 A 的一列，就是算出本层 A 的一个元素，即本层一个样本的一个A，哪一个A取决于 W 的哪一行，哪一个样本取决于上层 A 的哪一列

3.6 激活函数

如图所示的是四种激活函数（总结性内容，注意）

①sigmoid： $\large a=\frac{1}{1+e^{-z}}$

②tanh： $\large a=\frac{e^z-e^{-z}}{e^z+e^{-z}}$

③ReLU： $\large a=max(0,z)$

④Leaky ReLU： $\large a=max(0.01z,z)$

tanh 函数范围是 [ -1, 1 ]。tanh 函数的表现比 sigmoid 更好，但是二分类输出层一定要用 sigmoid，于是 tanh 就是用于隐藏层。然而二者都有一个问题就是导数趋近0，训练慢（称作饱和神经元），用ReLU会快一些（称作非饱和神经元，实际上ReLU是一个左饱和函数，即导数为0）。但是ReLU在负向导数恒为 0 ，这是一个小小的问题，一般可以尝试一下带泄露的ReLU 即 Leaky ReLU ，效果会更好一点。

3.7 为什么需要非线性激活函数

对 x 的线性组合的线性组合还是 x 的线性组合

隐藏层如果只用 ReLU 那就是毫无意义的，不论你有多少隐藏层，都和全部删掉没有区别，就和机器学习的逻辑回归是完全一样的，所以你一定要有 tanh

吴恩达表示，ReLU 的唯一用途是用作回归问题的输出层激活函数，比如房价预测

博主的进一步理解

实际上隐藏层如果要用线性单元，应当尽可能只用 Leaky ReLU，因为由链式求导法则，z一旦进入负向，路径中含有 ReLU 的参数将直接收敛，再也不会梯度下降，不会再有任何变化，称作一个死亡的神经元。特别在学习率过大的时候，这个弊端十分明显。还需要注意的是实际上隐藏层只用 ReLU 和删除所有隐藏层并不完全等价。ReLU 并非普通的线性组合，它的负向是 0，只含ReLU其实并不等价于logistic回归。因此，隐藏层如果要用 ReLU 应该只用 Leaky ReLU。然后不妨思考，假设我们允许一层中使用多个激活函数，可以发现一层中出现 >= 2个线性激活函数，就已经是多余了，显然一层中最多 1 个线性激活函数，而且一层中只有1个线性激活函数也是多余的，这层可以删掉，因此一层中至少应当有 1 个非线性激活函数，不然就应该删掉。（总结性内容，注意）

3.8 激活函数的导数

（总结性内容，注意）

对 a = g(z)

①sigmoid 的导数： $\large {g}'(z)=a(1-a)$

②tanh 的导数： $\large {g}'(z)=1-a^2$

③ReLU 的导数： $\large {g}'(z)=\left\{\begin{matrix} 0,z<0\\ 1,z\geq0 \end{matrix}\right.$

（注：数学上在 0 处导数无定义，计算机中如果你要实现，可以随便定义一个值，这是无关紧要的，很少有正好=0的情况，对于 Leaky ReLU也是同理）

④Leaky ReLU的导数： $\large {g}'(z)=\left\{\begin{matrix} 0.01,z<0\\ 1,z\geq0 \end{matrix}\right.$

3.9 神经网络的梯度下降法

我们可以用 $\large n^{[i]}$ 表示第 i 层的单元个数

于是前面讲过的 $\large W^{[i]}$ 的维数就可以表示为 $\large (n^{[i]},n^{[i-1]})$

带入m个样本的向量化反向传播（总结性结论，注意）

对这类问题首先要想清一件事，就是链式求导应该在求和的里面，当你需要的时候才会涉及整体取平均值

其次是弄清公式问题，求和怎么转向量化

利用分块矩阵

比如 $\large A=\begin{pmatrix} a1&a2&a3 \end{pmatrix}$ ， $\large B=\begin{pmatrix}b1 \\b2 \\b3 \end{pmatrix}$

可以得到 $\large AB=\sum a_ib_i$ ，就是求和形式，反过来就是做向量化

其中 ai、bi，可以是等长向量对应相乘，也可以是其中一个是数，另一个是向量。也可以两个都是数

以双层神经网络、二分类任务、所有神经元均为 sigmoid单元为例

于是对于 $\large \frac{dJ}{dW^{[2]}}$

我们有

$\large \begin{align*} \frac{dJ}{dW^{[2]}}=\frac{1}{m}\sum_{i=1}^{m}\frac{dL}{dW^{[2]}} \\ =\frac{1}{m}\sum_{i=1}^{m}\frac{dL}{dA^{[2](i)}}\frac{dA^{[2](i)}}{dZ^{[2](i)}}\frac{dZ^{[2](i)}}{dW^{[2]}} \\ =\frac{1}{m}\sum_{i=1}^{m} (\frac{-Y^{(i)}}{A^{[2](i)}}+\frac{1-Y^{(i)}}{1-A^{[2](i)}})\times (A^{[2](i)}(1-A^{[2](i)})) \times A^{[1](i)} \\ =\frac{1}{m}\sum_{i=1}^{m} (A^{[2](i)}-Y^{(i)}) \times A^{[1](i)} \\=\frac{1}{m}\sum_{i=1}^{m} (A^{[2](i)}-Y^{(i)}) A^{[1]T}_i \\=\frac{1}{m}(A^{[2]}-Y)A^{[1]T} \end{align*}$

注意过程中我们一开始是对应项相乘，然后可以转换为与转置向量的内积

进一步对 $\large \frac{dJ}{dW^{[1]}}$

有 $\large \begin{align*} \frac{dJ}{dW^{[1]}}= \frac{dJ}{dZ^{[2]}} \frac{dZ^{[2]}}{dA^{[1]}}\frac{dA^{[1]}}{dZ^{[1]}}\frac{dZ^{[1]}}{dW^{[1]}} \\=\frac{1}{m}(A^{[2]}-Y)W^{[2]}(A^{[1]}(1-A^{[1]}))X^T \end{align*}$

实际上，只有输出层那里的计算特别一些，从这里开始，我们已经能给出一个统一计算的递推式了

设激活函数为 g(z)

$\large \frac{dJ}{dZ^{[i]}}=\frac{dJ}{dZ^{[i+1]}}W^{[i+1]}{g^{[i]}}'(A^{[i]})$

$\large \frac{dJ}{dW^{[i]}}=\frac{dJ}{dZ^{[i]}}A^{[i-1]T}$ （注：dJ 种包含了1/m 不要忘了）

当然，我们前面假设了同一层用的都是同一个激活函数

当然每个神经元可以用不同的激活函数，这时只需调整一下 $\large {g^{[i]}}'(A^{[i]})$ 即可

$\large {g^{[i]}}'(A^{[i]})$ 的结果还是作为一个矩阵带回递推式，唯一的差别是 $\large {g^{[i]}}'(A^{[i]})$ 的计算应当对每个行向量 $\large a^{[i]}_j$ 分别用对应的激活函数求导，然后将这些行向量组合成矩阵再带回去

实际上对输出层（第 L 层）我们也可以稍微总结一下公式

$\large \frac{dJ}{dZ^{[L]}}=\frac{dJ}{dA^{[L]}}\frac{dA^{[L]}}{dZ^{[L]}}=\frac{dJ}{dA^{[L]}}{g^{[L]}}'(A^{[L]})$

（注：dJ/dA 就是损失函数基础上换成矩阵并乘上1/m ）

$\large \frac{dJ}{dW^{[L]}}=\frac{dJ}{dZ^{[L]}}A^{[L-1]T}$

( 注：这里和隐藏层的常规公式是一样的，输出层唯一特殊的只有 dJ/dZ )

最后要说的是一个编程中的小问题，对于numpy，如果一个函数的计算结果是向量，它会很糟糕地返回给你一个一维数组，当你不想用reshape这个写法时，可以用keepdims参数，比如np.sum(Z, keepdims=True)

3.11 随机初始化

如图所示，假设箭头指向的两个神经元用的同一个激活函数

如果他们的参数初始值相同，那么将始终计算同一个函数

这两个神经元称作对称的，这是毫无意义的事情

所以我们要随机初始化

令图中 $\large W^{[1]}=np.random.randn([2,2])*0.01$ ，W^[2]同理

注意乘了个 0.01，是因为太大了梯度下降就慢了，接近 0 会好一点

0.01 对浅层神经网络是一个很好的选择

然后其他值的情况将在接下来的课程中介绍

四、深层神经网络

4.1 深层神经网络

层数记作 L，小写 l 表示第几层

每层结点数用 $\large n^{[l]}$ 表示

输入层可以用 $\large n_x$ 或者 $\large n^{[0]}$ ，输出层如图，可以是 $\large n^{[4]}$ 或者 $\large n^{[l]}$

4.3 核对矩阵的维数

(总结性内容，注意！)

$\large X:(n_x,m)$

$\large Y:(n_y,m)$

$\large W^{[l]}:(n^{[l]},n^{[l-1]})$

$\large A^{[l]},Z^{[l]}:(n^{[l]},m)$

对第 j 个样本，有：（省略了 l，下同，三个维度的混合自己做）

$\large X^{(j)} or x:(n_x,1)$

$\large Y^{(j)} or y:(n_y,1)$

$\large A^{(j)} or a,Z^{(j)} or z:(n^{[l]},1)$

对层中的第 i 个结点，有：

$\large X_i:(1,m)$ ，对 $\large X_{i}^{(j)}$ 或说 $\large x_i$ 就是混合起来的 $\large (1,1)$ ，很显然，不再赘述

$\large Y_{i}:(1,m)$

$\large A_i,Z_i:(1,m)$

用于计算本层第 i 个结点的所有参数：

$\large W_i:(1,n^{[l-1]})$

用于计算本层所有结点的第 j 个参数（即和上一层第 j 个结点相乘）：

$\large W^{(j)}:(n^{[l]},1)$

4.4 为什么使用深层表示

随着层数加深，可以对特征的处理逐步细化，比如图像、音频识别中，第一层首先是边缘探测器，探测出面部的一些边缘，然后再识别出眼睛鼻子耳朵这些器官，然后再识别出这些器官的组合，再...

另一种常用的解释是电路理论

比如说对 y = a xor b xor c xor d

abcd 组合有 0000、0001、0010、...、1111 共 2^n = 16 种，如右图所示，你只用一层，那么你将用 2^n 个单元来表示出所有这些组合

而如左图所示，( a xor b) xor ( c xor d )，组合的组合就变成树形，只需要 n-1 个单元

实际上这就是树、图其数据结构本身的用途和优势

4.5 搭建神经网络块

浅层中已讲过正向传播和反向传播，不再赘述

需要注意的是，实际操作中

正向传播传递 A，缓存 Z，反向传播传递 dJ/dA

4.6 前向和反向传播

主要是激活函数不同的问题，吴恩达讲的还是比较粗的，浅层中我已总结过

4.7 参数VS超参数

（重点）首先需要注意的是，神经网络的实际应用中，因为一些原因，我们总是同一层使用相同的激活函数（所以，隐藏层完全不可能用RELU...，另外，也因此随机初始化的必要性不言而喻）

参数 Parameters 包括 W 和 b

超参数 Hyper Parameters 包括：

学习率 α

梯度下降循环次数 iterations

隐藏层数 L

某一隐藏层的神经元数量 $\large n^{[1]},n^{[2]},...$

某一层的激活函数的选择

等等

其他超参数将会在下一个吴恩达课程中具体讲解

超参数 α 可以通过观察随着迭代步数，代价函数值的变化来进行调整

比如上图，你看到代价增大，最后发散，那么不选，再换个 α 试试

比如，某个 α 得到最下面那条线，代价下降得快，收敛得小，那么就用这个 α 了

4.8 这和大脑有什么关系

长得像神经元，然后吸引媒体，就这样，实际也可以说没啥关系吧...

你可能感兴趣的:(深度学习,神经网络,机器学习)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
将cmd中命令输出保存为txt文本文件落难Coder Windows cmd window
最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
Python实现简单的机器学习算法 master_chenchengg python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
遥感影像的切片处理 sand&wich 计算机视觉 python 图像处理
在遥感影像分析中，经常需要将大尺寸的影像切分成小片段，以便于进行详细的分析和处理。这种方法特别适用于机器学习和图像处理任务，如对象检测、图像分类等。以下是如何使用Python和OpenCV库来实现这一过程，同时确保每个影像片段保留正确的地理信息。准备环境首先，确保安装了必要的Python库，包括numpy、opencv-python和xml.etree.ElementTree。这些库将用于图像处理
推荐3家毕业AI论文可五分钟一键生成！文末附免费教程！小猪包333 写论文人工智能 AI写作深度学习计算机视觉
在当前的学术研究和写作领域，AI论文生成器已经成为许多研究人员和学生的重要工具。这些工具不仅能够帮助用户快速生成高质量的论文内容，还能进行内容优化、查重和排版等操作。以下是三款值得推荐的AI论文生成器：千笔-AIPassPaper、懒人论文以及AIPaperPass。千笔-AIPassPaper千笔-AIPassPaper是一款基于深度学习和自然语言处理技术的AI写作助手，旨在帮助用户快速生成高质
AI大模型的架构演进与最新发展季风泯灭的季节 AI大模型应用技术二人工智能架构
随着深度学习的发展，AI大模型（LargeLanguageModels,LLMs）在自然语言处理、计算机视觉等领域取得了革命性的进展。本文将详细探讨AI大模型的架构演进，包括从Transformer的提出到GPT、BERT、T5等模型的历史演变，并探讨这些模型的技术细节及其在现代人工智能中的核心作用。一、基础模型介绍：Transformer的核心原理Transformer架构的背景在Transfo
ai绘画工具midjourney怎么下载？附作品管理教程设计师早上好
Midjourney是一款功能强大的AI绘画工具，它使用机器学习技术和深度神经网络等算法，可以生成各种艺术风格的绘画作品。在创意设计、广告宣传等方面有着广泛的应用前景。那么，ai绘画工具midjourney怎么下载？本文将为您介绍Midjourney的下载以及作品的相关管理。一、Midjourney下载Midjourney的下载非常简单，只需打开Midjourney官网（点击“GetMidjour
[实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估 pytorch python 机器学习
文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
[实践应用] 深度学习之优化器 YuanDaima2048 深度学习工具使用 pytorch 深度学习人工智能机器学习 python 优化器
文章总览：YuanDaiMa2048博客文章总览深度学习之优化器1.随机梯度下降（SGD）2.动量优化（Momentum）3.自适应梯度（Adagrad）4.自适应矩估计（Adam）5.RMSprop总结其他介绍在深度学习中，优化器用于更新模型的参数，以最小化损失函数。常见的优化函数有很多种，下面是几种主流的优化器及其特点、原理和PyTorch实现：1.随机梯度下降（SGD）原理:随机梯度下降通过
机器学习-聚类算法不良人龍木木机器学习机器学习算法聚类
机器学习-聚类算法1.AHC2.K-means3.SC4.MCL仅个人笔记，感谢点赞关注！1.AHC2.K-means3.SC传统谱聚类：个人对谱聚类算法的理解以及改进4.MCL目前仅专注于NLP的技术学习和分享感谢大家的关注与支持！
生成式地图制图 Bwywb_3 深度学习机器学习深度学习生成对抗网络
生成式地图制图（GenerativeCartography）是一种利用生成式算法和人工智能技术自动创建地图的技术。它结合了传统的地理信息系统（GIS）技术与现代生成模型（如深度学习、GANs等），能够根据输入的数据自动生成符合需求的地图。这种方法在城市规划、虚拟环境设计、游戏开发等多个领域具有应用前景。主要特点：自动化生成：通过算法和模型，系统能够根据输入的地理或空间数据自动生成地图，而无需人工逐
未来软件市场是怎么样的？做开发的生存空间如何？ cesske 软件需求
目录前言一、未来软件市场的发展趋势二、软件开发人员的生存空间前言未来软件市场是怎么样的？做开发的生存空间如何？一、未来软件市场的发展趋势技术趋势：人工智能与机器学习：随着技术的不断成熟，人工智能将在更多领域得到应用，如智能客服、自动驾驶、智能制造等，这将极大地推动软件市场的增长。云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
吴恩达深度学习笔记(30)-正则化的解释极客Array
正则化（Regularization）深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少你的网络误差。如果你怀疑神经网络过度拟合了数据，即存在高方差问题，那么最先想到的方法可能是正则化，另一个解决高方差的方法就是准备更多数据，这也是非常
个人学习笔记7-6：动手学深度学习pytorch版-李沐浪子L 深度学习深度学习笔记计算机视觉 python 人工智能神经网络 pytorch
#人工智能##深度学习##语义分割##计算机视觉##神经网络#计算机视觉13.11全卷积网络全卷积网络（fullyconvolutionalnetwork，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换。引入l转置卷积（transposedconvolution）实现的，输出的类别预测与输入图像在像素级别上具有一一对应关系：通道维的输出即该位置对应像素的类别预测。13.11.1构造模型下
python中zeros用法_Python中的numpy.zeros()用法江平舟 python中zeros用法
numpy.zeros()函数是最重要的函数之一,广泛用于机器学习程序中。此函数用于生成包含零的数组。numpy.zeros()函数提供给定形状和类型的新数组,并用零填充。句法numpy.zeros(shape,dtype=float,order='C'参数形状：整数或整数元组此参数用于定义数组的尺寸。此参数用于我们要在其中创建数组的形状,例如(3,2)或2。dtype：数据类型(可选)此参数用于
深度学习-点击率预估-研究论文2024-09-14速读 sp_fyf_2024 深度学习人工智能
深度学习-点击率预估-研究论文2024-09-14速读1.DeepTargetSessionInterestNetworkforClick-ThroughRatePredictionHZhong,JMa,XDuan,SGu,JYao-2024InternationalJointConferenceonNeuralNetworks,2024深度目标会话兴趣网络用于点击率预测摘要：这篇文章提出了一种新
计算机视觉中，Pooling的作用 Wils0nEdwards 计算机视觉人工智能
在计算机视觉中，Pooling（池化）是一种常见的操作，主要用于卷积神经网络（CNN）中。它通过对特征图进行下采样，减少数据的空间维度，同时保留重要的特征信息。Pooling的作用可以归纳为以下几个方面：1.降低计算复杂度与内存需求Pooling操作通过对特征图进行下采样，减少了特征图的空间分辨率（例如，高度和宽度）。这意味着网络需要处理的数据量会减少，从而降低了计算量和内存需求。这对大型神经网络
【NumPy】深入解析numpy.zeros()函数二七830 numpy
欢迎莅临我的个人主页这里是我深耕Python编程、机器学习和自然语言处理（NLP）领域，并乐于分享知识与经验的小天地！博主简介：我是二七830，一名对技术充满热情的探索者。多年的Python编程和机器学习实践，使我深入理解了这些技术的核心原理，并能够在实际项目中灵活应用。尤其是在NLP领域，我积累了丰富的经验，能够处理各种复杂的自然语言任务。技术专长：我熟练掌握Python编程语言，并深入研究了机
神经网络-损失函数红米煮粥神经网络人工智能深度学习
文章目录一、回归问题的损失函数1.均方误差（MeanSquaredError,MSE）2.平均绝对误差（MeanAbsoluteError,MAE）二、分类问题的损失函数1.0-1损失函数（Zero-OneLossFunction）2.交叉熵损失（Cross-EntropyLoss）3.合页损失（HingeLoss）三、总结在神经网络中，损失函数（LossFunction）扮演着至关重要的角色，它
【中国国际航空-注册_登录安全分析报告】风控牛验证码接口安全评测系列安全行为验证极验网易易盾智能手机
前言由于网站注册入口容易被黑客攻击，存在如下安全问题：1.暴力破解密码，造成用户信息泄露2.短信盗刷的安全问题，影响业务及导致用户投诉3.带来经济损失，尤其是后付费客户，风险巨大，造成亏损无底洞所以大部分网站及App都采取图形验证码或滑动验证码等交互解决方案，但在机器学习能力提高的当下，连百度这样的大厂都遭受攻击导致点名批评，图形验证及交互验证方式的安全性到底如何？请看具体分析一、中国国际航空PC
机器学习流形数据降维：UMAP 降维算法小嗷犬 Python 机器学习 #数据分析及可视化机器学习算法人工智能
✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。个人主页：小嗷犬的个人主页个人网站：小嗷犬的技术小站个人信条：为天地立心，为生民立命，为往圣继绝学，为万世开太平。本文目录UMAP简介理论基础特点与优势应用场景在Python中使用UMAP安装umap-learn库使用UMAP可视化手写数字数据集UMAP简介UMAP（UniformManifoldApproximatio
损失函数与反向传播 Star_. PyTorch pytorch 深度学习 python
损失函数定义与作用损失函数(lossfunction)在深度学习领域是用来计算搭建模型预测的输出值和真实值之间的误差。1.损失函数越小越好2.计算实际输出与目标之间的差距3.为更新输出提供依据（反向传播)常见的损失函数回归常见的损失函数有：均方差（MeanSquaredError，MSE）、平均绝对误差（MeanAbsoluteErrorLoss，MAE）、HuberLoss是一种将MSE与MAE
七.正则化愿风去了
吴恩达机器学习之正则化（Regularization）http://www.cnblogs.com/jianxinzhou/p/4083921.html从数学公式上理解L1和L2https://blog.csdn.net/b876144622/article/details/81276818虽然在线性回归中加入基函数会使模型更加灵活，但是很容易引起数据的过拟合。例如将数据投影到30维的基函数上，模
BP神经网络的传递函数大胜归来19 MATLAB
BP网络一般都是用三层的，四层及以上的都比较少用；传输函数的选择，这个怎么说，假设你想预测的结果是几个固定值，如1,0等，满足某个条件输出1，不满足则0的话，首先想到的是hardlim函数，阈值型的，当然也可以考虑其他的；然后，假如网络是用来表达某种线性关系时，用purelin---线性传输函数；若是非线性关系的话，用别的非线性传递函数，多层网络时，每层不一定要用相同的传递函数，可以是三种配合，可
神经网络传递函数sigmoid,神经网络传递函数作用快乐的小荣荣神经网络机器学习深度学习人工智能
神经网络传递函数选取不同会有特别大差别嘛？只是最后一层，但前面层是非线性，那么可能存在区别不大的情况。线性函数f(a*input)=af(input),一般来说，input为向量，最简化情况下，可以假设input的各个维度，a1=a2=a3。。。意味着你线性层只是简单的对输入做了scale~而神经网络能起作用的原因，在于通过足够复杂的非线性函数，来模拟任何的分布。所以，神经网络必须要用非线性函数。
机器学习-------数据标准化罔闻_spider 数据分析算法机器学习人工智能
什么是归一化，它与标准化的区别是什么？一作用在做训练时，需要先将特征值与标签标准化，可以防止梯度防炸和过拟合；将标签标准化后，网络预测出的数据是符合标准正态分布的—StandarScaler()，与真实值有很大差别。因为StandarScaler()对数据的处理是（真实值-平均值）/标准差。同时在做预测时需要将输出数据逆标准化提升模型精度：标准化/归一化使不同维度的特征在数值上更具比较性，提高分类
分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据 python hadoop 计算机毕业设计选题计算机毕业设计源码数据分析 spark毕设
作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
redis学习笔记——不仅仅是存取数据 Everyday都不同 returnSource expire/del incr/lpush 数据库分区 redis
最近项目中用到比较多redis，感觉之前对它一直局限于get/set数据的层面。其实作为一个强大的NoSql数据库产品，如果好好利用它，会带来很多意想不到的效果。（因为我搞java，所以就从jedis的角度来补充一点东西吧。PS：不一定全，只是个人理解，不喜勿喷） 1、关于JedisPool.returnSource(Jedis jeids) 这个方法是从red
SQL性能优化-持续更新中。。。。。。 atongyeye oracle sql
1 通过ROWID访问表--索引你可以采用基于ROWID的访问方式情况,提高访问表的效率, , ROWID包含了表中记录的物理位置信息..ORACLE采用索引(INDEX)实现了数据和存放数据的物理位置(ROWID)之间的联系. 通常索引提供了快速访问ROWID的方法,因此那些基于索引列的查询就可以得到性能上的提高. 2 共享SQL语句--相同的sql放入缓存 3 选择最有效率的表
[JAVA语言]JAVA虚拟机对底层硬件的操控还不完善 comsci JAVA虚拟机
如果我们用汇编语言编写一个直接读写CPU寄存器的代码段，然后利用这个代码段去控制被操作系统屏蔽的硬件资源，这对于JVM虚拟机显然是不合法的，对操作系统来讲，这样也是不合法的，但是如果是一个工程项目的确需要这样做，合同已经签了，我们又不能够这样做，怎么办呢？那么一个精通汇编语言的那种X客，是否在这个时候就会发生某种至关重要的作用呢？ &n
lvs- real 男人50 LVS
#!/bin/bash # # Script to start LVS DR real server. # description: LVS DR real server # #. /etc/rc.d/init.d/functions VIP=10.10.6.252 host='/bin/hostname' case "$1" in sta
生成公钥和私钥 oloz DSA 安全加密
package com.msserver.core.util; import java.security.KeyPair; import java.security.PrivateKey; import java.security.PublicKey; import java.security.SecureRandom; public class SecurityUtil {
UIView 中加入的cocos2d，背景透明 374016526 cocos2d glClearColor
要点是首先pixelFormat:kEAGLColorFormatRGBA8，必须有alpha层才能透明。然后view设置为透明glView.opaque = NO;[director setOpenGLView:glView];[self.viewController.view setBackgroundColor:[UIColor clearColor]];[self.viewControll
mysql常用命令香水浓 mysql
连接数据库 mysql -u troy -ptroy 备份表 mysqldump -u troy -ptroy mm_database mm_user_tbl > user.sql 恢复表（与恢复数据库命令相同） mysql -u troy -ptroy mm_database < user.sql 备份数据库 mysqldump -u troy -ptroy
我的架构经验系列文章 - 后端架构 - 系统层面 agevs JavaScript jquery css html5
系统层面：高可用性所谓高可用性也就是通过避免单独故障加上快速故障转移实现一旦某台物理服务器出现故障能实现故障快速恢复。一般来说，可以采用两种方式，如果可以做业务可以做负载均衡则通过负载均衡实现集群，然后针对每一台服务器进行监控，一旦发生故障则从集群中移除；如果业务只能有单点入口那么可以通过实现Standby机加上虚拟IP机制，实现Active机在出现故障之后虚拟IP转移到Standby的快速
利用ant进行远程tomcat部署 aijuans tomcat
在javaEE项目中，需要将工程部署到远程服务器上，如果部署的频率比较高，手动部署的方式就比较麻烦，可以利用Ant工具实现快捷的部署。这篇博文详细介绍了ant配置的步骤（http://www.cnblogs.com/GloriousOnion/archive/2012/12/18/2822817.html），但是在tomcat7以上不适用，需要修改配置，具体如下： 1.配置tomcat的用户角色
获取复利总收入 baalwolf 获取
public static void main(String args[]){ int money=200; int year=1; double rate=0.1; &
eclipse.ini解释 BigBird2012 eclipse
大多数java开发者使用的都是eclipse，今天感兴趣去eclipse官网搜了一下eclipse.ini的配置，供大家参考，我会把关键的部分给大家用中文解释一下。还是推荐有问题不会直接搜谷歌，看官方文档，这样我们会知道问题的真面目是什么，对问题也有一个全面清晰的认识。 Overview 1、Eclipse.ini的作用 Eclipse startup is controlled by th
AngularJS实现分页功能 bijian1013 JavaScript AngularJS 分页
对于大多数web应用来说显示项目列表是一种很常见的任务。通常情况下，我们的数据会比较多，无法很好地显示在单个页面中。在这种情况下，我们需要把数据以页的方式来展示，同时带有转到上一页和下一页的功能。既然在整个应用中这是一种很常见的需求，那么把这一功能抽象成一个通用的、可复用的分页（Paginator）服务是很有意义的。 &nbs
[Maven学习笔记三]Maven archetype bit1129 ArcheType
archetype的英文意思是原型，Maven archetype表示创建Maven模块的模版，比如创建web项目，创建Spring项目等等. mvn archetype提供了一种命令行交互式创建Maven项目或者模块的方式， mvn archetype 1.在LearnMaven-ch03目录下，执行命令mvn archetype:gener
【Java命令三】jps bit1129 Java命令
jps很简单，用于显示当前运行的Java进程，也可以连接到远程服务器去查看 [hadoop@hadoop bin]$ jps -help usage: jps [-help] jps [-q] [-mlvV] [<hostid>] Definitions: <hostid>: <hostname>[:
ZABBIX2.2 2.4 等各版本之间的兼容性 ronin47
zabbix更新很快，从2009年到现在已经更新多个版本，为了使用更多zabbix的新特性，随之而来的便是升级版本，zabbix版本兼容性是必须优先考虑的一点客户端AGENT兼容 zabbix1.x到zabbix2.x的所有agent都兼容zabbix server2.4：如果你升级zabbix server，客户端是可以不做任何改变，除非你想使用agent的一些新特性。 Zabbix代理（p
unity 3d还是cocos2dx哪个适合游戏？ brotherlamp unity自学 unity教程 unity视频 unity资料 unity
unity 3d还是cocos2dx哪个适合游戏？问：unity 3d还是cocos2dx哪个适合游戏？答：首先目前来看unity视频教程因为是3d引擎，目前对2d支持并不完善，unity 3d 目前做2d普遍两种思路，一种是正交相机，3d画面2d视角，另一种是通过一些插件，动态创建mesh来绘制图形单元目前用的较多的是2d toolkit，ex2d，smooth moves，sm2，
百度笔试题：一个已经排序好的很大的数组，现在给它划分成m段，每段长度不定，段长最长为k，然后段内打乱顺序，请设计一个算法对其进行重新排序 bylijinnan java 算法面试百度招聘
import java.util.Arrays; /** * 最早是在陈利人老师的微博看到这道题： * #面试题#An array with n elements which is K most sorted，就是每个element的初始位置和它最终的排序后的位置的距离不超过常数K * 设计一个排序算法。It should be faster than O(n*lgn)。
获取checkbox复选框的值 chiangfai checkbox
<title>CheckBox</title> <script type = "text/javascript"> doGetVal: function doGetVal() { //var fruitName = document.getElementById("apple").value;//根据
MySQLdb用户指南 chenchao051 mysqldb
原网页被墙，放这里备用。 MySQLdb User's Guide Contents Introduction Installation _mysql MySQL C API translation MySQL C API function mapping Some _mysql examples MySQLdb
HIVE 窗口及分析函数 daizj hive 窗口函数分析函数
窗口函数应用场景：（1）用于分区排序（2）动态Group By （3）Top N （4）累计计算（5）层次查询一、分析函数用于等级、百分点、n分片等。函数说明 RANK() &nbs
PHP ZipArchive 实现压缩解压Zip文件 dcj3sjt126com PHP zip
PHP ZipArchive 是PHP自带的扩展类，可以轻松实现ZIP文件的压缩和解压，使用前首先要确保PHP ZIP 扩展已经开启，具体开启方法就不说了，不同的平台开启PHP扩增的方法网上都有，如有疑问欢迎交流。这里整理一下常用的示例供参考。一、解压缩zip文件 01 02 03 04 05 06 07 08 09 10 11
精彩英语贺词 dcj3sjt126com 英语
I'm always here 我会一直在这里支持你 &nb
基于Java注解的Spring的IoC功能 e200702084 java spring bean IOC Office
java模拟post请求 geeksun java
一般API接收客户端（比如网页、APP或其他应用服务）的请求，但在测试时需要模拟来自外界的请求，经探索，使用HttpComponentshttpClient可模拟Post提交请求。此处用HttpComponents的httpclient来完成使命。 import org.apache.http.HttpEntity ; import org.apache.http.HttpRespon
Swift语法之 ---- ?和!区别 hongtoushizi ?swift !
转载自： http://blog.sina.com.cn/s/blog_71715bf80102ux3v.html Swift语言使用var定义变量，但和别的语言不同，Swift里不会自动给变量赋初始值，也就是说变量不会有默认值，所以要求使用变量之前必须要对其初始化。如果在使用变量之前不进行初始化就会报错： var stringValue : String //
centos7安装jdk1.7 jisonami jdk centos
安装JDK1.7 步骤1、解压tar包在当前目录 [root@localhost usr]#tar -xzvf jdk-7u75-linux-x64.tar.gz 步骤2：配置环境变量在etc/profile文件下添加 export JAVA_HOME=/usr/java/jdk1.7.0_75 export CLASSPATH=/usr/java/jdk1.7.0_75/lib
数据源架构模式之数据映射器 home198979 PHP 架构数据映射器 datamapper
前面分别介绍了数据源架构模式之表数据入口、数据源架构模式之行和数据入口数据源架构模式之活动记录，相较于这三种数据源架构模式，数据映射器显得更加“高大上”。一、概念数据映射器（Data Mapper）：在保持对象和数据库（以及映射器本身）彼此独立的情况下，在二者之间移动数据的一个映射器层。概念永远都是抽象的，简单的说，数据映射器就是一个负责将数据映射到对象的类数据。 &nb
在Python中使用MYSQL pda158 mysql python
缘由　　近期在折腾一个小东西须要抓取网上的页面。然后进行解析。将结果放到数据库中。　　了解到 Python在这方面有优势，便选用之。　　由于我有台 server上面安装有 mysql，自然使用之。在进行数据库的这个操作过程中遇到了不少问题，这里记录一下，大家共勉。　　 python中mysql的调用　　百度之后能够通过MySQLdb进行数据库操作。
单例模式 hxl1988_0311 java 单例设计模式单件
package com.sosop.designpattern.singleton; /* * 单件模式：保证一个类必须只有一个实例，并提供全局的访问点 * * 所以单例模式必须有私有的构造器，没有私有构造器根本不用谈单件 * * 必须考虑到并发情况下创建了多个实例对象 * */ /** * 虽然有锁，但是只在第一次创建对象的时候加锁，并发时不会存在效率
27种迹象显示你应该辞掉程序员的工作 vipshichg 工作
1、你仍然在等待老板在2010年答应的要提拔你的暗示。 2、你的上级近10年没有开发过任何代码。 3、老板假装懂你说的这些技术，但实际上他完全不知道你在说什么。 4、你干完的项目6个月后才部署到现场服务器上。 5、时不时的，老板在检查你刚刚完成的工作时，要求按新想法重新开发。 6、而最终这个软件只有12个用户。 7、时间全浪费在办公室政治中，而不是用在开发好的软件上。 8、部署前5分钟才开始测试。