xiaoyaolangwj

《图解深度学习》学习笔记（三）

第四章受限玻尔兹曼机

受限玻尔兹曼机是起源于图模型的神经网络。这种网络是由Hopfield神经网络那样的相互连接型网络衍生而来的。

Hopfield神经网络、玻尔兹曼机、受限玻尔兹曼机、多个受限玻尔兹曼机堆叠组成的深度信念网络。

神经网络分为两大类：

前面介绍过的多层神经网络。分层。

相互连接型网络：不分层，单元之间相互连接，（可看做同层之间也互相连接）。它能够根据每个单元的值记忆网络状态，被称为：联想记忆。

人类的大脑能够根据某种输入信息记忆或者联想与之有关的信息，比如看到“苹果”能够想到“红色”，看到“香蕉”能够想到“黄色”。

联想记忆就是通过在事物之间建立对应关系来记忆的方法。多层神经网络和卷积神经网络可应用于模式识别，而相互连接型网络可通过联想记忆去除输入数据中的噪声。

一、Hopfield神经网络

Hopfield神经网络是最典型的相互连接型网络：具有以下优点：

单元之间的连接权重对称( $w_{ij} = w_{ji}$ )(无向或说双向对等)
每个单元没有到自身的连接( $w_{ii}=0$ )(无自环，无自联)
单元的状态变化采用随机异步更新方式，每次只有一个单元改变状态。

Hopfield神经网络是由n个二值单元组成的二值神经网络，每个单元i的输出只能是0或1两个值，故而网络由 $2^{n}$ 种状态。

联想记忆就是当输入模式为某种状态时，输出端要给出与之相应的输出模式y。

自联想记忆：输入模式与输出模式一致。

异联想记忆：输入模式与输出模式不一致。

所谓的输入模式，输出模式，或者说模式，就是指每个神经元的0或1状态的组合模式。每一种组合都是一种模式。每个模式对应一种状态。网络从这个神经元的0或1状态中记忆联想来调整权重使总能量最小。

训练过程：

设有由n个单元组成的Hopfield神经网络，第i个单元在t(t=0, 1, 2, ...)时刻的输入记作 $u_{i}(t)$ ，输出记作 $x_{i}(t)$ ，连接权重为 $w_{ij}$ ，阈值为 $b_{i}(t)$ ，则t+1时刻单元的输出 $x_{i}(t+1)$ 可用下式表示。

$x_{i}(t+1) = \left\{\begin{matrix} 1 \\ x_{i}(t) \\ 0 \end{matrix}\right.$ $\begin{matrix} u_{i}(t) > 0\\ u_{i}(t) = 0\\ u_{i}(t) < 0 \end{matrix}$ $u_{i}(t) = \sum_{j=1}^{n}w_{ij}x_{j}(t) - b_{i}(t)$

如果单元接收的来自其他单元的输入 $x_{j}(t)$ 的权重总和 $\sum_{j=1}^{n}w_{ij}x_{j}(t)$ 大于阈值 $b_{i}(t)$ ，则单元的输出就取值为1；如果小于阈值 $b_{i}(t)$ ，则单元的输出就取值为0。（直白点讲：就说神经元有没有被激活。大于阈值就激活。）

在Hopfield神经网络中，每个时刻都只有一个随机选择的单元发生状态变化。对于一个由n个单元组成的网络，如果要完成全部单元的状态变化，至少需要n个时刻。实际上，单元的状态变化会一直进行下去，直到网络达到稳定状态。各单元的最终状态就是输出模式y。

目标函数：

根据输入模式联想输出模式时，需要实现确定连接权重 $w_{ij}$ 。而连接权重 $w_{ij}$ 要对输入模式的训练样本进行训练才能确定。和神经网络一样，一次训练并不能确定连接权重，而是不断重复这个训练过程，直到满足终止判断条件。而这个满足条件的指标就是表示Hopfield神经网络状态的能量函数(误差函数)E。 $E= -\frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}w_{ij}x_{i}x_{j}+\sum_{i=1}^{n}b_{i}x_{i}$ 。（目标函数）

为研究能量函数如何变化，将能量函数分解成单元k的能量函数和k以外的单元的能量函数。

由于Hopfield神经网络采用随机异步更新方式，所以除单元k以外,其他单元的状态不发生变化。

从t时刻至t+1时刻，单元k的输出值变化如下：

$x_{k}(t)\rightarrow x_{k}(t+1)$ ：要么激活，要不激活。要么为1，要么为0。

$\Delta x_{k} = x_{k}(t+1) - x_{k}(t)$ ：结果会变为1或-1。要么从0变到1，要么从1变到0。1-0或者0-1。

单元k的状态变化量 $\Delta x_{k}$ 相对应的能量函数变化量 $\Delta E_{k}$ ：

$\Delta E_{k} = -u_{k}\Delta x_{k}$

分析这个 $\Delta E_{k}$ ：

当 $\Delta x_{k}$ > 0时，说明1-0，单元k的输出值 $x_{k}$ 从0变为了1。也就是说阈值激活， $u_{k}$ > 0。此时的 $\Delta E_{k}$ < 0;

当 $\Delta x_{k}$ < 0时，说明0-1，单元k的输出值 $x_{k}$ 从1变为了0。也就是说阈值激活， $u_{k}$ < 0。此时的 $\Delta E_{k}$ < 0;

如果k的状态不变，此时 $\Delta x_{k}$ = 0，那么 $\Delta E_{k}$ = 0；即：当输入模式与输出模式一致时，能量函数E的结果为0。

综上： $\Delta E_{k} \leqslant 0$ 。总是成立的。

也就是说随着时间的不断增加E逐渐减小，直到网络达到稳定状态为止。

接下来，我们将P个模式输入到网络中，训练网络的连接权重，以记忆这些模式。模式用 $\large x^{s} = (x_{1}^{s},x_{2}^{s},x_{3}^{s},..,x_{n}^{s})\left ( s = 1, 2, ..., P \right )$ 表示。

所谓记忆模式 $\large x^{s}$ ，就是求与模式对应的能量函数的极小值。

阈值为0时，与模式 $\large x^{s}$ ，对应的能量函数(误差函数)： $E^{s}= - \frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}w_{ij}^{s}x_{i}^{s}x_{j}^{s}$ 。为了使能量函数(误差函数)收敛于极小值，可以做出假设： $w_{ij}^{s} = x_{i}^{s}x_{j}^{s}$ 。这样能量函数(误差函数)就可以用公式 $E^{s}= - \frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}(x_{i}^{s})^{2}(x_{j}^{s})^{2}$ 这样的相互影响矩阵来表示了。网络需要记忆P个模式，因此所有模式的连接权重： $w_{ij} = \frac{1}{p}\sum_{i=1}^{n}w_{ij}^{s} = \frac{1}{p}\sum_{i=1}^{n}x_{i}^{s}x_{j}^{s}$ 。

如图4.2(a)这样的两种模式为例，来进行Hopfield神经网络的联想训练。这两种训练模式的图像样本由5 $\times$ 5 个像素组成，像素值为1的是白色，为0的是黑色。

Hopfield神经网络会把每一个像素作为一个单元，用0对单元之间的连接权重 $w_{ij}$ 进行初始化。（零启动初始化。）

根据公式： $x_{i}(t+1) = \left\{\begin{matrix} 1 \\ x_{i}(t) \\ 0 \end{matrix}\right.$ $\begin{matrix} u_{i}(t) > 0\\ u_{i}(t) = 0\\ u_{i}(t) < 0 \end{matrix}$ $u_{i}(t) = \sum_{j=1}^{n}w_{ij}x_{j}(t) - b_{i}(t)$ ，调节连接权重后，得到的连接权重如图4.3所示。一些连接权重的值比较大，但是连接权重矩阵的对角线元素为0。

测试时，训练模式使用的是含有噪声的样本图像(图4.2(b))。虽然训练时使用所有的训练模式来更新连接权重，但在测试时是逐张添加图像的，最终分别得到相应的结果(图4.2(c))。由此可见，即使训练模式中含有噪声，Hopfield神经网络也能联想出原本的模式。

接下来再来看看如图4.4(a)所示的三种模式时的网络训练。使用如图4.4(b)所示的含有噪声的模式作为测试图像时，Hopfield神经网络输出的是如图4.4(c)所示的模式。虽然训练时使用的模式各不相同，但是Hopfield神经网络还是误把“1”识别成了“4”。这是因为“4”中包含了“1”中的全部竖线，所以网络根据竖线联想到了“4”。 $w_{ij} = \frac{1}{p}\sum_{i=1}^{n}w_{ij}^{s} = \frac{1}{p}\sum_{i=1}^{n}x_{i}^{s}x_{j}^{s}$ 是针对所有模式的近似连接权重，所以当需要记忆的模式之间较为相似，或者需要记忆的模式太多时，Hopfield神经网络就不能正确地辨别模式。这种相互干扰、不能准确记忆的情况称为串扰(crosstalk)。Hopfield神经网络能够记忆的模式数量有限，大约是网络单元数的15%左右。为了防止串扰，可以采用先把模式正交化再进行记忆等方法。

二、玻尔兹曼机

如果发生串扰或陷入局部最优解，Hopfield神经网络就不能正确地辨别模式。而玻尔兹曼机(Boltzmann Machine)则可以通过让每个单元按照一定的概率分布发生状态变化，来避免陷入局部最优解。

玻尔兹曼机：

各单元之间的连接权重是对称的，即 $w_{ij} = w_{ji}$ ，且没有到自身的连接 $w_{ii}=0$ 。
每个单元的输出要么是0，要么是1。（以上两个特点与Hopfield相同。）
玻尔兹曼机的输出是按照某种概率分布决定的。而Hopfield神经网络的输出是按照某种确定性决定的。（两者最大不同。）

输出： $\large \left\{\begin{matrix} p(x_{i}=1\mid u_{i}) = \frac{exp(\frac{x}{kT})}{1 + exp(\frac{x}{kT})}\\ p(x_{i}=0\mid u_{i}) = \frac{1}{1 + exp(\frac{x}{kT})} \end{matrix}\right.$ 。

T表示温度系数(>0)。如图4.5所示，随着kT值的增大， $\large x_{i}$ 等于1的概率没有显著变化；相反，随着kT值的减小，曲线在0附近的斜率急剧增大。当T趋近于无穷大时，无论 $\large u_{i}$ 取值如何， $\large x_{i}$ 等于1或0的概率都分别是1/2，这种状态称为稳定状态。

对于玻尔兹曼机来说，温度系数越大，跳出局部最优解的概率越高。但是温度系数增大时，获得能量函数极小值的概率就会降低；反之，温度系数减小时，虽然获得能量函数极小值的概率增加了，但是玻尔兹曼机需要经历较长时间才能达到稳定状态。不过，模拟退火算法能够解决这个问题，这个算法会先采用较大的温度系数进行粗调，然后逐渐减小温度系数进行微调。(调节显微镜也这么调的吧)。根据公式 $\large T = \frac{c}{log(t+1)}$ 就可以获得温度系数T的极小值。

训练过程：

玻尔兹曼机和Hopfield神经网络一样，也是相互连接型网络。两者的连接权重定义和训练过程也一样。

（网络结构一样，系数定义方式一样，训练流程一样。状态激活方式一样，唯独激活以后的输出不同。）前者输出 $x_{i}$ 等于1或0的概率，后者输出 $x_{i}$ 等于1或者0。一个是概率，一个是定值。

首先，使用随机数或相关系数矩阵初始化连接权重。接下来，选取一个单元 i，根据 $u_{i}(t) = \sum_{j=1}^{n}w_{ij}x_{j}(t) - b_{i}(t)$ 计算该单元的激活值 $u_{i}$ 。根据 $x_{i}(t+1) = \left\{\begin{matrix} 1 \\ x_{i}(t) \\ 0 \end{matrix}\right.$ $\begin{matrix} u_{i}(t) > 0\\ u_{i}(t) = 0\\ u_{i}(t) < 0 \end{matrix}$ 可知，当 $u_{i}$ > 0时 $x_{i}$ =1，当 $u_{i}$ < 0时 $x_{i}$ =0, 当 $u_{i}$ = 0时 $x_{i}$ = $x_{i}$ 。然后根据 $x_{i}$ 的值，利用公式 $\large \left\{\begin{matrix} p(x_{i}=1\mid u_{i}) = \frac{exp(\frac{x}{kT})}{1 + exp(\frac{x}{kT})}\\ p(x_{i}=0\mid u_{i}) = \frac{1}{1 + exp(\frac{x}{kT})} \end{matrix}\right.$ ，计算出 $x_{i}$ 等于1或0的概率值，并根据这个概率调整 $x_{i}$ 的值。

利用公式 $\large \left\{\begin{matrix} p(x_{i}=1\mid u_{i}) = \frac{exp(\frac{x}{kT})}{1 + exp(\frac{x}{kT})}\\ p(x_{i}=0\mid u_{i}) = \frac{1}{1 + exp(\frac{x}{kT})} \end{matrix}\right.$ 计算得到的是概率，不能直接作为 $x_{i}$ 的值使用，而应该把这个概率作为出现概率来决定 $x_{i}$ 的值。

在调整连接权重 $w_{ij}$ 时，按照相同的步骤计算单元j的值 $x_{j}$ 。如果 $x_{i}$ 和 $x_{j}$ 两者均为1，则增大 $w_{ij}$ ，并对所有单元迭代实施相同的处理。然后，向网络输入任意的训练样本，按照相同步骤计算 $x_{i}$ 和 $x_{j}$ 。如果两者均为1，则降低 $w_{ij}$ ，并对所有单元迭代实施相同的处理。这两种更新连接权重的处理分别称为训练和遗忘。迭代过程中使用的是模拟退火算法，逐渐减小温度系数T。

目标函数：

根据上述规则，调整连接权重 $w_{ij}$ 和偏执 $b_{i}$ 。这里使用似然函数 $L\left (\theta \right ) = \prod_{n=1}^{N}p(x_{n}\mid \theta )$ 导出调整值。这里的 $\theta$ 是一个参数，表示所有的连接权重和偏置。据此可以计算出所有组合的似然函数。此外，概率分布 $p(x_{n}\mid \theta )$ 的定义如下：

$p(x_{n}\mid \theta ) = \frac{1}{Z(\theta)} e^{-E(x, \theta )}$ 。该公式的概率分布就称为玻尔兹曼机。E表示能量函数(损失函数)目标函数。 $Z(\theta)$ 是一个归一化常数，能够使所有概率分布的总和等于1， $Z(\theta) = \sum_{x}e^{-E(x,\theta)}$ 。

玻尔兹曼机中引入概率分布后，似然函数 $L\left (\theta \right ) = \prod_{n=1}^{N}p(x_{n}\mid \theta )$ 转换为对数似然函数： $L\left (\theta \right ) = \sum_{n=1}^{N}logp(x_{n}\mid \theta )$ 。当对数似然函数的梯度为0时，就可以得到最大似然函数估计量。而对于对数似然函数，通过求连接权重 $w_{ij}$ 和偏执 $b_{i}$ 的相关梯度，可以求出调整值。但是，因为似然函数是基于所有单元组合来计算的，所以单元数过多将会导致组合数异常庞大，无法进行实时计算。为了解决这个问题，人们提出了一种近似算法，即对比散度算法（Contrastive Divergence, CD）。

两种玻尔兹曼机的构成形式：

全部由可见单元构成；
由可见单元和隐藏单元共同构成。

如上图：隐藏单元与输入数据没有直接联系。以图像为例，图像的像素点就相当于可见单元。前面的介绍就是在计算各像素点为黑=0或白=1的概率。隐藏单元虽然与输入数据没有直接联系，但是会影响可见单元的概率。假设可见单元为可见变量v、隐藏单元为隐藏变量h。玻尔兹曼机中含有隐藏变量时，概率分布仍然与前面计算的结果相同。所以，这并没有解决似然函数中组合数庞大的问题。与不含隐藏变量的情况相比，玻尔兹曼机中增加隐藏变量后，参数量相应增加了一个输入数据维度。因此组合数增加，计算愈发困难。

三、受限玻尔兹曼机

含有隐藏变量的玻尔兹曼机的网络训练非常困难。所以，辛顿（Hinton）等人在玻尔兹曼机中加入了“层内单元之间无连接”的限制，提出了受限玻尔兹曼机（Restricted Boltzmann Machine）。

受限玻尔兹曼机是由可见层和隐藏层构成的两层结构，可见层和隐藏层又分别由可见变量v和隐藏变量h构成。可见层与隐藏层之间是相互连接着的，而相同层内单元之间均无连接。

受限玻尔兹曼机的能量函数为： $E\left ( v,h,\theta \right ) = - \sum_{i=1}^{n}b_{i}v_{i}- \sum_{j=1}^{m}c_{j}h_{j} - \sum_{i=1}^{n}\sum_{j=1}^{m}w_{ij}v_{i}h_{j}$ 。 $b_{i}$ 是可见变量的偏置， $c_{j}$ 是隐藏变量的偏置， $w_{ij}$ 是连接权重， $\theta$ 是表示所有连接权重和偏置的参数集合。能量函数 $E(v, h, \theta )$ )中，可见变量 $\large v_{i}$ 和隐藏变量 $\large h_{j}$ 的乘积即表示两者之间的相关程度，其与权重 $w_{ij}$ 一致时，能够得到参数的最大似然估计量。

状态(v，h)的联合概率分布如下所示。

在受限玻尔兹曼机的训练过程中，需要计算的参数包括可见变量偏置 $b_{i}$ 、隐藏变量的偏置 $c_{j}$ ，以及连接权重 $w_{ij}$ 。和玻尔兹曼机一样，计算时也需要使用对数似然函数，然后求导计算梯度。然后迭代更新计算连接权重和偏置。

对于受限玻尔兹曼机的庞大计算量，可以使用Gibbs采样算法进行迭代计算近似求解。但是迭代次数仍然很多。人们提出了对比散度算法这种近似算法。

四、对比散度算法

Gibbs采样和对比散度算法都是近似求解算法。能够通过较少的迭代次数求出参数调整值。

五、深度信念网络

辛顿等人提出的深度信念网络由受限玻尔兹曼机通过堆叠组成，与多层神经网络或卷积神经网络最大的区别是网络的训练方法不同。

训练神经网络或卷积神经网络时，首先要确定网络结构，根据最顶层的误差调整连接权重和偏置。具体做法是：使用误差反向传播算法，把误差反向传播到下一层，调整所有的连接权重和偏置。链式法则。
深度信念网络则如下图所示，是使用对比散度算法，逐层来调整连接权重和偏置的。具体做法是：首先训练输入层和隐藏层之间的参数，把训练后得到的参数作为下一层的输入，再调整改层与下一个隐藏层之间的参数。然后逐次迭代，完成多层网络的训练。逐层训练。

深度信念网络既可以当做生成模式来使用，也可以当做判别模式来使用。

作为生成模式使用时，网络会按照某种概率分布生成训练数据。概率分布可根据训练样本导出，但是覆盖全部数据模式的概率分布很难导出。所以这里使用最大似然估计法训练参数，得到最能覆盖训练样本的概率分布。这种生成模式能够去除输入数据中含有的噪声，得到新的数据，也能够进行输入数据压缩和特征表达。
作为判别模式使用时，需要在模型顶层添加一层来达到分类的功能。就像手写字符识别那样，判别模型能够对输入进行分类。受限玻尔兹曼机不能单独作为判别模式使用，必须在顶层增加特殊的层才能进行数据分类。

深度信念网络作为判别模式使用时，如图4.10所示：在最顶层级联一个softmax层。进行分类时，需要同时提供训练样本和期望输出。除最顶层外，其他各层都可以使用无监督学习进行训练。接下来，把训练得到的参数作为初始值，使用误差反向传播算法对包含最顶层的神经网络进行训练。最顶层的参数使用随机数进行初始化。

六、小结

玻尔兹曼机起源于Hopfield神经网络这种相互连接型神经网络，在此基础上人们又提出了受限玻尔兹曼机。深度学习之所以变得如此流行，受限玻尔兹曼机功不可没，堆叠式的想法也是由此诞生的。虽然当前的主流技术是卷积神经网络和自编码器，但是受限玻尔兹曼机可用于卷积神经网络的预训练等，因此仍然是一项非常重要的技术。

小结：1、Hopfield网络，不分层，所有神经元可见且每个神经元之间互联，每个神经元的输出通过其他神经元与权重之积是否超过阈值来确定。如果超过阈值就为1；等于阈值维持原状变；如果不到阈值就为0。输出的值是确定的。

但是Hopfield记忆空间有限，容易发生串扰或者陷入局部最优解，所以一般采用模式正交化方法。

2、玻尔兹曼机对于Hopfield的改进，将神经元的输出改为状态概率，而不再直接输出状态值，可以避免陷入局部最优解。

3、受限玻尔兹曼机主要解决玻尔兹曼机隐藏层单元的训练困难这个问题，同时减小了计算量。取消了“层内单元之间的连接”（层内单元之间无连接）。

4、深度信念网络由玻尔兹曼机堆叠而成。可以用于生成模式和判别模式。

Python机器学习实战：构建序列到序列(Seq2Seq)模型处理翻译任务 AGI大模型与大数据研究院程序员提升自我硅基计算碳基计算认知计算生物计算深度学习神经网络大数据 AIGC AGI LLM Java Python 架构设计 Agent 程序员实现财富自由
Python机器学习实战：构建序列到序列(Seq2Seq)模型处理翻译任务1.背景介绍1.1问题的由来翻译是跨语言沟通的重要桥梁，随着全球化进程的加速，翻译需求日益增长。传统的机器翻译方法主要依赖于规则和统计方法，如基于短语的翻译、基于统计的机器翻译等。然而，这些方法难以处理复杂的语言现象，翻译质量参差不齐。近年来，随着深度学习技术的快速发展，基于神经网络序列到序列（Sequence-to-Seq
Python第十六课：深度学习入门 | 神经网络解密程之编 Python全栈通关秘籍 python 神经网络青少年编程
本节目标理解生物神经元与人工神经网络的映射关系掌握激活函数与损失函数的核心作用使用Keras构建手写数字识别模型可视化神经网络的训练过程掌握防止过拟合的基础策略一、神经网络基础（大脑的数字化仿生）1.神经元对比生物神经元人工神经元树突接收信号输入层接收特征数据细胞体整合信号加权求和（∑(权重×输入)+偏置）轴突传递电信号激活函数处理输出2.核心组件解析激活函数：神经元的"开关"（如ReLU：max
【大模型开发】深入解析 DeepSpeed：原理、核心技术与示例代码云博士的AI课堂大模型技术开发与实践哈佛博后带你玩转机器学习深度学习大模型开发大模型微调 deepseek deepspeed python 人工智能 pytorch
深入解析DeepSpeed：原理、核心技术与示例代码DeepSpeed是由微软开源的高性能深度学习训练优化引擎，专注于帮助研究人员和工程团队在分布式环境中高效地训练超大规模模型。其核心目标是提供高吞吐、低内存占用、低成本的分布式训练方案，让数千亿甚至万亿级参数模型的训练成为可能。本文将从DeepSpeed的核心原理、关键组件、代码示例及实现过程详解等方面做详细阐述，帮助读者更好地理解并使用Deep
【漫话机器学习系列】130.主成分（Principal Components） IT古董漫话机器学习系列专辑机器学习人工智能 python
主成分（PrincipalComponents）详解1.什么是主成分？主成分（PrincipalComponents，PCs）是数据集中方差最大的线性组合，它是主成分分析（PrincipalComponentAnalysis，PCA）中的核心概念。主成分可以看作是对原始特征的新表述方式，它通过数学变换找到一组新的正交坐标轴，使得数据的主要变化方向与这些轴对齐。简单来说：主成分是数据集中信息量（方差
一学就会的深度学习基础指令及操作步骤（6）迁移学习小圆圆666 深度学习迁移学习人工智能卷积神经网络
文章目录迁移学习模型准备数据增强模型训练模型微调和预测检查预测结果迁移学习迁移学习是将一个任务中学到的知识应用到另一个相关任务上，以提高新任务的学习效率和性能。优势：节省训练时间，提高模型性能，尤其在小数据场景下效果显著。核心是利用源域的知识来帮助目标域任务，比如在ImageNet上预训练的模型用于医疗影像分类。源域（SourceDomain）：已有知识的领域（如ImageNet图像库）。目标域（
C++开源库大全大王算法 C/C++开发实战365 C++入门及项目实战宝典 c++开源
程序员要站在巨人的肩膀上，C++拥有丰富的开源库，这里包括：标准库、Web应用框架、人工智能、数据库、图片处理、机器学习、日志、代码分析等。标准库C++StandardLibrary：是一系列类和函数的集合，使用核心语言编写，也是C++ISO自身标准的一部分。
基于PyTorch的深度学习6——数据处理工具箱2 Wis4e 深度学习 pytorch 人工智能
torchvision有4个功能模块：model、datasets、transforms和utils。主要介绍如何使用datasets的ImageFolder处理自定义数据集，以及如何使用transforms对源数据进行预处理、增强等。下面将重点介绍transforms及ImageFolder。transforms提供了对PILImage对象和Tensor对象的常用操作。1)对PILImage的常
基于PyTorch的深度学习——机器学习3 Wis4e 深度学习机器学习 pytorch
激活函数在神经网络中作用有很多，主要作用是给神经网络提供非线性建模能力。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。在搭建神经网络时，如何选择激活函数？如果搭建的神经网络层数不多，选择sigmoid、tanh、relu、softmax都可以；而如果搭建的网络层次较多，那就需要小心，选择不当就可导致梯度消失问题。此时一般不宜选择sigmoid、tanh激活函数，因它们的导数都小于1
深度学习与普通神经网络有何区别？是理不是里深度学习神经网络人工智能
深度学习与普通神经网络的主要区别体现在以下几个方面：一、结构复杂度普通神经网络：通常指浅层结构，层数较少，一般为2-3层，包括输入层、一个或多个隐藏层、输出层。深度学习：强调通过5层以上的深度架构逐级抽象数据特征，包含多层神经网络，层数可能达到几十层甚至上百层。例如，ResNet（2015）包含152个卷积层。二、特征学习方式普通神经网络：特征提取通常依赖人工设计，需要领域专家的经验。这意味着在处
神经网络中梯度计算求和公式求导问题 serve the people 日常琐问神经网络机器学习算法
以下是公式一推导出公式二的过程。表达式一∂E∂wjk=−2(tk−ok)⋅sigmoid(∑jwjk⋅oj)⋅(1−sigmoid(∑jwjk⋅oj))⋅∂∂wjk(∑jwjk⋅oj)\frac{\partialE}{\partialw_{jk}}=-2(t_k-o_k)\cdot\text{sigmoid}\left(\sum_jw_{jk}\cdoto_j\right)\cdot(1-\tex
AI 技术引入 RTK（实时动态定位）系统，可以实现智能化管理和自动化运行小赖同学啊人工智能低空经济人工智能自动化运维
将AI技术引入RTK（实时动态定位）系统，可以实现智能化管理和自动化运行，从而提高系统的精度、效率和可靠性。以下是AI技术在RTK系统中的应用实例：一、AI技术在RTK系统中的应用场景1.整周模糊度快速解算问题：RTK的核心是解算载波相位的整周模糊度，传统方法耗时较长。AI解决方案：使用深度学习模型（如卷积神经网络CNN）预测整周模糊度。通过历史数据训练模型，实现快速解算。实例：某无人机公司使用A
AI 驱动的软件测试革命：从自动化到智能化的进阶之路綦枫Maple AI+软件测试人工智能自动化运维
引言：软件测试的智能化转型浪潮在数字化转型加速的今天，软件产品的迭代速度与复杂度呈指数级增长。传统软件测试依赖人工编写用例、执行测试的模式，已难以应对快速交付与高质量要求的双重挑战。人工智能技术的突破为测试领域注入了新动能，通过机器学习、深度学习、自然语言处理等技术，测试流程正从“被动验证”向“主动预防”演进。本文将深入探讨AI与软件测试的融合路径，结合技术原理、工具实践与行业趋势，为读者呈现一幅
XGBClassifiler函数介绍浊酒南街 #算法机器学习 XGB
目录前言函数介绍示例前言XGBClassifier是XGBoost库中用于分类任务的类。XGBoost是一种高效且灵活的梯度提升决策树（GBDT）实现，它在多种机器学习竞赛中表现出色，尤其擅长处理表格数据。函数介绍XGBClassifiler(max_depth=3,learning_rate=0.1,n_estimators=100,objective='binary:logistic',boo
基于大数据架构的就业岗位推荐系统的设计与实现【java或python】—计算机毕业设计源码+LW文档 qq_375279829 大数据架构 python 课程设计算法
摘要随着互联网技术的迅猛发展和大数据时代的到来，就业市场日益复杂多变，求职者与招聘方之间的信息不对称问题愈发突出。为解决这一难题，本文设计并实现了一个基于大数据架构的就业岗位推荐系统。该系统通过收集、整合并分析大量求职者简历信息、企业招聘信息以及市场动态数据，运用先进的机器学习算法，为求职者提供个性化的岗位推荐服务，同时帮助企业快速定位到合适的候选人。本文将从系统设计的背景与意义、技术基础、需求分
向量数据库简介 openwin_top python编程示例系列 python编程示例系列二数据库
向量数据库（VectorDatabase）是一种专门用于存储和查询向量数据的数据库系统。向量数据库通常使用高效的向量索引技术，支持基于向量相似度的查询和检索，可以应用于图像搜索、自然语言处理、推荐系统、机器学习等领域。与传统的关系型数据库不同，向量数据库通常使用基于向量的数据模型，将向量作为数据的核心表示形式。向量数据库可以存储和处理大量的向量数据，支持高效的向量相似度计算和查询。常见的向量索引技
Ubuntu22.04安装CP2K最新版2025.1 jhonwyyc 机器学习深度学习 ubuntu
CP2K教程CP2K系列之一安装文章目录CP2K教程前言一、安装依赖库1.引入库二、下载并解压缩1.下载链接2.解压缩三、安装1.安装cp2k_toolchain2.安装cp2k3.指定根目录4.修改环境变量四、测试总结前言CP2K是一款开源的第一性原理计算软件，采用Fortran98编写。近年来结合机器学习与lammps，已成为热度逐年增加的软件。但是目前使用它仍存在不少难点。本文讲解在Ubun
使用Activeloop Deep Lake构建深度学习数据仓库与向量存储 dgay_hua 深度学习人工智能 python
技术背景介绍随着深度学习技术的发展，数据的存储与管理成为了一个重要的问题。尤其是对于需要处理大量数据的应用，例如自然语言处理和图像识别，传统的数据存储方式已经无法满足需求。ActiveloopDeepLake是专为深度学习设计的数据仓库，可以作为向量存储使用，支持多模态数据的存储和处理，并且可以直接用于细调大型语言模型（LLMs）。此外，它还提供自动版本控制，无需依赖其他服务，兼容主要云服务提供商
基于双向长短期记忆神经网络结合多头注意力机制(BiLSTM-Multihead-Attention)的单变量时序预测机器学习和优化算法多头注意力机制深度学习神经网络人工智能机器学习单变量时序预测 BiLSTM 多头注意力机制
目录1、代码简介2、代码运行结果展示3、代码获取1、代码简介基于双向长短期记忆神经网络结合多头注意力机制(BiLSTM-Multihead-Attention)的单变量时序预测(单输入单输出)1.程序已经调试好，无需更改代码替换数据集即可运行！！！数据格式为excel！2.需要其他算法的都可以定制！注：1️⃣、运行环境要求MATLAB版本为2023b及其以上。【没有我赠送】2️⃣、评价指标包括:R
Azure AI Document Intelligence 使用指南 scaFHIO azure 人工智能 flask python
AzureAIDocumentIntelligence使用指南AzureAIDocumentIntelligence（原名AzureFormRecognizer）是一项基于机器学习的服务，可以从数字或扫描PDF、图像、Office和HTML文件中提取文本（包括手写）、表格、文档结构（如标题、节标题等）和键值对。它支持多种格式，包括PDF、JPEG/JPG、PNG、BMP、TIFF、HEIF、DOC
鸢尾花数据集的四个特征具体是什么？学术乙方 Python 人工智能
鸢尾花数据集（IrisDataset）是机器学习领域中最经典的数据集之一，它包含150个样本，每个样本有4个特征，分别是：1.花萼长度（SepalLength）描述：花萼（花的外部绿色部分）的长度，单位为厘米。取值范围：通常为4.3cm到7.9cm。2.花萼宽度（SepalWidth）描述：花萼的宽度，单位为厘米。取值范围：通常为2.0cm到4.4cm。3.花瓣长度（PetalLength）描述：
大语言模型原理基础与前沿挑战与机遇 AI大模型应用之禅 DeepSeek R1 &AI大模型与大数据计算科学神经计算深度学习神经网络大数据人工智能大型语言模型 AI AGI LLM Java Python 架构设计 Agent RPA
大语言模型原理基础与前沿挑战与机遇1.背景介绍大语言模型（LargeLanguageModels,LLMs）是近年来人工智能领域的一个重要突破。它们通过深度学习技术，特别是基于变换器（Transformer）架构的模型，能够在自然语言处理（NLP）任务中表现出色。大语言模型的出现不仅推动了学术研究的发展，也在实际应用中展现了巨大的潜力。1.1大语言模型的起源大语言模型的起源可以追溯到早期的统计语言
3.10 项目总结不要不开心了 pyqt 深度学习机器学习数据挖掘人工智能
今天的项目是一个使用PyTorch框架构建和训练神经网络的实例，旨在实现手写数字识别。以下是项目的总结、内容分析以及优化建议：项目总结1.目标：使用神经网络对MNIST数据集中的手写数字进行分类。2.步骤：-数据加载和预处理。-构建神经网络模型。-定义损失函数和优化器。-训练模型并评估其性能。-可视化训练结果。内容分析1.数据加载和预处理：-使用`torchvision.datasets`加载MN
《深度解析DeepSeek-M8：量子经典融合，重塑计算能效格局》程序猿阿伟量子计算
在科技飞速发展的今天，量子计算与经典算法的融合成为了前沿领域的焦点。DeepSeek-M8的“量子神经网络混合架构”，宛如一把钥匙，开启了经典算法与量子计算协同推理的全新大门，为诸多复杂问题的解决提供了前所未有的思路。量子计算，基于量子力学的奇妙特性，如量子比特的叠加与纠缠，展现出了超越经典计算的潜力。量子比特能够同时处于多个状态，实现并行计算，这使得量子计算机在处理某些特定问题时，具备指数级加速
DeepSeek源码解析（2）白鹭凡 deepseek ai
Tensor（张量）的介绍在计算机科学和机器学习领域，“张量”（Tensor）是一个数学概念，它被用来表示多维数组。在大模型（如深度学习模型）中，张量扮演着核心角色，具体来说：数据表示：张量用于表示输入数据、模型参数和中间计算结果。例如，在图像处理中，一张图片可以被表示为一个三维张量（高度、宽度、颜色通道数），而在自然语言处理中，一段文本可以被编码为一系列词向量组成的二维张量（句子长度、词向量维度
点云语义分割：PointNet++在S3DIS数据集上的训练完美代码 3d neo4j 点云
点云语义分割：PointNet++在S3DIS数据集上的训练点云语义分割是计算机视觉领域的一个重要任务，旨在将点云数据中的每个点分配给其对应的语义类别。PointNet++是一种流行的深度学习方法，可用于处理点云数据，并在各种任务中取得了良好的性能。在本文中，我们将探讨如何使用PointNet++模型在S3DIS数据集上进行训练，并提供相应的源代码。数据集介绍S3DIS数据集是一个常用的用于室内场
PointNet、PointNet++ 基于深度学习的3D点云分类和分割一颗小树x 人工智能感知算法自动驾驶深度学习机器学习 3D点云 PointNet
前言PointNet是直接对点云进行处理的，它对输入点云中的每一个点，学习其对应的空间编码，之后再利用所有点的特征得到一个全局的点云特征。Pointnet提取的全局特征能够很好地完成分类任务，但局部特征提取能力较差，这使得它很难对复杂场景进行分析。PointNet++核心是提出了多层次特征提取结构，有效提取局部特征提取，和全局特征。目录一、PointNet1.1PointNet思路流程1.2Poi
机器学习数学基础：29.t检验 @心都机器学习人工智能
一、t检验的定义与核心思想（一）定义t检验（Student’st-test）是一种在统计学领域中广泛应用的基于t分布的统计推断方法。其主要用途在于判断样本均值与总体均值之间，或者两个独立样本的均值之间、配对样本的均值之间是否存在显著差异。例如，在教育研究中，可以通过t检验判断某个班级学生的平均成绩与全校学生的平均成绩是否有显著差异；在医学实验里，可用于比较实验组和对照组的患者某项生理指标的均值是否
基于YOLOv5的烟雾检测系统：从数据集准备到UI界面实现深度学习&目标检测实战项目 YOLO ui 分类数据挖掘目标跟踪
1.引言烟雾是火灾发生的一个重要早期信号。烟雾检测能够在火灾初期及时识别并报警，为火灾的扑灭争取宝贵的时间。因此，烟雾检测的研究一直是计算机视觉领域中的一个热点问题。近年来，随着深度学习技术的发展，目标检测算法被广泛应用于烟雾检测，尤其是基于YOLOv5的目标检测模型，由于其较高的精度和较低的计算开销，已经成为许多实时检测系统的首选模型。在这篇博客中，我们将介绍如何使用YOLOv5模型进行烟雾检测
机器学习算法（2）—— 线性回归算法疯狂的石头。算法机器学习线性回归
‘’‘构造数据集’‘’x=[[80,86],[82,80],[85,78],[90,90],[86,82],[82,90],[78,80],[92,94]]y=[84.2,80.6,80.1,90,83.2,87.6,79.4,93.4]‘’‘模型训练’‘’实例化一个估计器estimator=LinearRegression()使用fit方法进行训练estimator.fit(x,y)查看回归系数
【深度学习】Adam（Adaptive Moment Estimation）优化算法辰尘_星启机器学习--深度学习深度学习算法人工智能 Adam pytorch python
概述Adam算法结合了动量法（Momentum）和RMSProp的思想，能够自适应调整每个参数的学习率。通过动态调整每个参数的学习率，在非平稳目标（如深度神经网络的损失函数）中表现优异目录基本原理和公式笼统说明：为什么Adam算法可以帮助模型找到更好的参数基本概念动量（Momentum）：跟踪梯度的指数衰减平均（一阶矩），加速收敛并减少震荡。自适应学习率：跟踪梯度平方的指数衰减平均（二阶矩），调整
LeetCode[Math] - #66 Plus One Cwind java LeetCode 题解 Algorithm Math
原题链接：#66 Plus One 要求：给定一个用数字数组表示的非负整数，如num1 = {1, 2, 3, 9}, num2 = {9, 9}等，给这个数加上1。注意： 1. 数字的较高位存在数组的头上，即num1表示数字1239 2. 每一位（数组中的每个元素）的取值范围为0~9 难度：简单分析：题目比较简单，只须从数组
JQuery中$.ajax()方法参数详解 AILIKES JavaScript jsonp jquery Ajax json
url: 要求为String类型的参数，（默认为当前页地址）发送请求的地址。 type: 要求为String类型的参数，请求方式（post或get）默认为get。注意其他http请求方法，例如put和 delete也可以使用，但仅部分浏览器支持。 timeout: 要求为Number类型的参数，设置请求超时时间（毫秒）。此设置将覆盖$.ajaxSetup()方法的全局
JConsole & JVisualVM远程监视Webphere服务器JVM Kai_Ge JVisualVM JConsole Webphere
JConsole是JDK里自带的一个工具，可以监测Java程序运行时所有对象的申请、释放等动作，将内存管理的所有信息进行统计、分析、可视化。我们可以根据这些信息判断程序是否有内存泄漏问题。　　使用JConsole工具来分析WAS的JVM问题，需要进行相关的配置。　　首先我们看WAS服务器端的配置. 　　1、登录was控制台https://10.4.119.18
自定义annotation 120153216 annotation
Java annotation 自定义注释@interface的用法一、什么是注释说起注释，得先提一提什么是元数据(metadata)。所谓元数据就是数据的数据。也就是说，元数据是描述数据的。就象数据表中的字段一样，每个字段描述了这个字段下的数据的含义。而J2SE5.0中提供的注释就是java源代码的元数据，也就是说注释是描述java源
CentOS 5/6.X 使用 EPEL YUM源 2002wmj centos
CentOS 6.X 安装使用EPEL YUM源1. 查看操作系统版本[root@node1 ~]# uname -a Linux node1.test.com 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 00:31:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux [root@node1 ~]#
在SQLSERVER中查找缺失和无用的索引SQL 357029540 SQL Server
--缺失的索引 SELECT avg_total_user_cost * avg_user_impact * ( user_scans + user_seeks ) AS PossibleImprovement , last_user_seek ,
Spring3 MVC 笔记（二） —json+rest优化 7454103 Spring3 MVC
接上次的 spring mvc 注解的一些详细信息！其实也是一些个人的学习笔记呵呵！
替换“\”的时候报错Unexpected internal error near index 1 \ ^ adminjun java “\替换”
发现还是有些东西没有刻子脑子里,,过段时间就没什么概念了,所以贴出来...以免再忘... 在拆分字符串时遇到通过 \ 来拆分，可是用所以想通过转义 \\ 来拆分的时候会报异常 public class Main { /*
POJ 1035 Spell checker(哈希表) aijuans 暴力求解--哈希表
/* 题意：输入字典，然后输入单词，判断字典中是否出现过该单词，或者是否进行删除、添加、替换操作，如果是，则输出对应的字典中的单词要求按照输入时候的排名输出题解：建立两个哈希表。一个存储字典和输入字典中单词的排名，一个进行最后输出的判重 */ #include <iostream> //#define using namespace std; const int HASH =
通过原型实现javascript Array的去重、最大值和最小值 ayaoxinchao JavaScript array prototype
用原型函数（prototype）可以定义一些很方便的自定义函数，实现各种自定义功能。本次主要是实现了Array的去重、获取最大值和最小值。实现代码如下： <script type="text/javascript"> Array.prototype.unique = function() { var a = {}; var le
UIWebView实现https双向认证请求 bewithme UIWebView https Objective-C
什么是HTTPS双向认证我已在先前的博文 ASIHTTPRequest实现https双向认证请求中有讲述，不理解的读者可以先复习一下。本文是用UIWebView来实现对需要客户端证书验证的服务请求，网上有些文章中有涉及到此内容，但都只言片语，没有讲完全，更没有完整的代码，让人困扰不已。但是此知
NoSQL数据库之Redis数据库管理(Redis高级应用之事务处理、持久化操作、pub_sub、虚拟内存) bijian1013 redis 数据库 NoSQL
3.事务处理 Redis对事务的支持目前不比较简单。Redis只能保证一个client发起的事务中的命令可以连续的执行，而中间不会插入其他client的命令。当一个client在一个连接中发出multi命令时，这个连接会进入一个事务上下文，该连接后续的命令不会立即执行，而是先放到一个队列中，当执行exec命令时，redis会顺序的执行队列中
各数据库分页sql备忘 bingyingao oracle sql 分页
ORACLE 下面这个效率很低 SELECT * FROM ( SELECT A.*, ROWNUM RN FROM (SELECT * FROM IPAY_RCD_FS_RETURN order by id desc) A ) WHERE RN <20; 下面这个效率很高 SELECT A.*, ROWNUM RN FROM (SELECT * FROM IPAY_RCD_
【Scala七】Scala核心一：函数 bit1129 scala
1. 如果函数体只有一行代码，则可以不用写{},比如 def print(x: Int) = println(x) 一行上的多条语句用分号隔开，则只有第一句属于方法体，例如 def printWithValue(x: Int) : String= println(x); "ABC" 上面的代码报错，因为，printWithValue的方法
了解GHC的factorial编译过程 bookjovi haskell
GHC相对其他主流语言的编译器或解释器还是比较复杂的，一部分原因是haskell本身的设计就不易于实现compiler，如lazy特性，static typed，类型推导等。关于GHC的内部实现有篇文章说的挺好，这里，文中在RTS一节中详细说了haskell的concurrent实现，里面提到了green thread，如果熟悉Go语言的话就会发现，ghc的concurrent实现和Go有点类
Java-Collections Framework学习与总结-LinkedHashMap BrokenDreams LinkedHashMap
前面总结了java.util.HashMap，了解了其内部由散列表实现，每个桶内是一个单向链表。那有没有双向链表的实现呢？双向链表的实现会具备什么特性呢？来看一下HashMap的一个子类——java.util.LinkedHashMap。
读《研磨设计模式》-代码笔记-抽象工厂模式-Abstract Factory bylijinnan abstract
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * Abstract Factory Pattern * 抽象工厂模式的目的是： * 通过在抽象工厂里面定义一组产品接口，方便地切换“产品簇” * 这些接口是相关或者相依赖的
压暗面部高光 cherishLC PS
方法一、压暗高光&重新着色当皮肤很油又使用闪光灯时，很容易在面部形成高光区域。下面讲一下我今天处理高光区域的心得：皮肤可以分为纹理和色彩两个属性。其中纹理主要由亮度通道（Lab模式的L通道）决定，色彩则由a、b通道确定。处理思路为在保持高光区域纹理的情况下，对高光区域着色。具体步骤为：降低高光区域的整体的亮度，再进行着色。如果想简化步骤，可以只进行着色（参看下面的步骤1
Java VisualVM监控远程JVM crabdave visualvm
Java VisualVM监控远程JVM JDK1.6开始自带的VisualVM就是不错的监控工具. 这个工具就在JAVA_HOME\bin\目录下的jvisualvm.exe, 双击这个文件就能看到界面通过JMX连接远程机器, 需要经过下面的配置: 1. 修改远程机器JDK配置文件 (我这里远程机器是linux).
Saiku去掉登录模块 daizj saiku 登录 olap BI
1、修改applicationContext-saiku-webapp.xml <security:intercept-url pattern="/rest/**" access="IS_AUTHENTICATED_ANONYMOUSLY" /> <security:intercept-url pattern=&qu
浅析 Flex中的Focus dsjt html Flex Flash
关键字：focus、 setFocus、 IFocusManager、KeyboardEvent 焦点、设置焦点、获得焦点、键盘事件一、无焦点的困扰——组件监听不到键盘事件原因：只有获得焦点的组件（确切说是InteractiveObject）才能监听到键盘事件的目标阶段；键盘事件（flash.events.KeyboardEvent）参与冒泡阶段，所以焦点组件的父项（以及它爸
Yii全局函数使用 dcj3sjt126com yii
由于YII致力于完美的整合第三方库，它并没有定义任何全局函数。yii中的每一个应用都需要全类别和对象范围。例如，Yii::app()->user;Yii::app()->params['name'];等等。我们可以自行设定全局函数，使得代码看起来更加简洁易用。(原文地址) 我们可以保存在globals.php在protected目录下。然后，在入口脚本index.php的，我们包括在
设计模式之单例模式二（解决无序写入的问题） come_for_dream 单例模式 volatile 乱序执行双重检验锁
在上篇文章中我们使用了双重检验锁的方式避免懒汉式单例模式下由于多线程造成的实例被多次创建的问题，但是因为由于JVM为了使得处理器内部的运算单元能充分利用，处理器可能会对输入代码进行乱序执行（Out Of Order Execute）优化，处理器会在计算之后将乱序执行的结果进行重组，保证该
程序员从初级到高级的蜕变 gcq511120594 框架工作 PHP android html5
软件开发是一个奇怪的行业，市场远远供不应求。这是一个已经存在多年的问题，而且随着时间的流逝，愈演愈烈。我们严重缺乏能够满足需求的人才。这个行业相当年轻。大多数软件项目是失败的。几乎所有的项目都会超出预算。我们解决问题的最佳指导方针可以归结为——“用一些通用方法去解决问题，当然这些方法常常不管用，于是，唯一能做的就是不断地尝试，逐个看看是否奏效”。现在我们把淫浸代码时间超过3年的开发人员称为
Reverse Linked List hcx2013 list
Reverse a singly linked list. /** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode next; * ListNode(int x) { val = x; } * } */ p
Spring4.1新特性——数据库集成测试 jinnianshilongnian spring 4.1
目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
C# Ajax上传图片同时生成微缩图(附Demo) liyonghui160com
1.Ajax无刷新上传图片,详情请阅我的这篇文章。（jquery + c# ashx） 2.C#位图处理 System.Drawing。 3.最新demo支持IE7,IE8,Fir
Java list三种遍历方法性能比较 pda158 java
从c/c++语言转向java开发，学习java语言list遍历的三种方法，顺便测试各种遍历方法的性能，测试方法为在ArrayList中插入1千万条记录，然后遍历ArrayList，发现了一个奇怪的现象，测试代码例如以下： package com.hisense.tiger.list; import java.util.ArrayList; import java.util.Iterator;
300个涵盖IT各方面的免费资源（上）——商业与市场篇 shoothao seo 商业与市场 IT资源免费资源
A.网站模板+logo+服务器主机+发票生成 HTML5 UP:响应式的HTML5和CSS3网站模板。 Bootswatch:免费的Bootstrap主题。 Templated:收集了845个免费的CSS和HTML5网站模板。 Wordpress.org|Wordpress.com:可免费创建你的新网站。 Strikingly:关注领域中免费无限的移动优
localStorage、sessionStorage uule localStorage
W3School 例子 HTML5 提供了两种在客户端存储数据的新方法： localStorage - 没有时间限制的数据存储 sessionStorage - 针对一个 session 的数据存储之前，这些都是由 cookie 完成的。但是 cookie 不适合大量数据的存储，因为它们由每个对服务器的请求来传递，这使得 cookie 速度很慢而且效率也不