MyDLNote-Enhancement: CVPR2020 基于不变表示学习的非监督图像修复算法

MyDLNote-Enhancement: CVPR2020 Learning Invariant Representation for Unsupervised Image Restoration

[paper] : https://arxiv.org/pdf/2003.12769.pdf

[github] : https://github.com/Wenchao-Du/LIR-for-Unsupervised-IR

参考文章：Diverse Image-to-Image Translation via Disentangled Representations ECCV 2018

Abstract

Recently, cross domain transfer has been applied for unsupervised image restoration tasks. However, directly applying existing frameworks would lead to domain-shift problems in translated images due to lack of effective supervision.

motivition：近年来，跨域图像翻译（cross domain transfer）应用于无监督图像恢复任务。但是，由于缺乏有效的监督，直接应用现有框架会导致翻译后的图像出现域迁移（domain-shift）问题。

Instead, we propose an unsupervised learning method that explicitly learns invariant presentation from noisy data and reconstructs clear observations. To do so, we introduce discrete disentangling representation and adversarial domain adaption into general domain transfer framework, aided by extra self-supervised modules including background and semantic consistency constraints, learning robust representation under dual domain constraints, such as feature and image domains.

本文方法：提出了一种无监督学习方法，从噪声数据学习不变量表示和重建清晰的图像。

具体细节：在 domain transfer framework 中引入离散 disentangling representation 和 adversarial domain adaption 引入一般的域转移框架中，并借助额外的自监督模块，包括背景和语义一致性约束，学习双重域（如特征域和图像域）约束下的鲁棒表示。

Experiments on synthetic and real noise removal tasks show the proposed method achieves comparable performance with other state-of-the-art supervised and unsupervised methods, while having faster and stable convergence than other domain adaption methods.

实验结果：

1. 人工合成数据集、真实数据集效果优于监督和无监督 SOTA 算法；

2. 与其它 domain adaption methods 相比，运行速度快

3. 与其它 domain adaption methods 相比，收敛速度稳定

Introduction

引言就像漏斗。本文第一段，先用几句介绍大背景，告诉读者是做哪个领域的工作。紧接着，缩小研究方向到 DNNs 和 GAN，这两种模型下，传统的方法是什么，问题是什么。

Image restoration > DNNs/GAN 监督学习方法 > 监督学习的问题

Image restoration (IR) attempts to reconstruct clean signals from their corrupted observations, which is known to be an ill-posed inverse problem. By accommodating different types of corruption distributions, the same mathematical model applies to problems such as image denoising, super-resolution and deblurring. Recently, deep neural networks (DNNs) and generative adversarial networks (GANs) [10] have shown their superior performance in various lowlevel vision tasks. Nonetheless, most of these methods need paired training data for specific tasks, which limits their generality, scalability and practicality in real-world multimedia applications. In addition, strong supervision may suffer from the overfitting training and lower generalization to real image corruption types.

研究大方向背景和大方向问题：

背景：图像恢复 (IR) 试图从损坏的观测数据中重建干净的信号，这是一个病态的逆问题。通过适应不同类型的污染分布（corruption distributions），同一数学模型适用于图像去噪、超分辨率和去模糊等问题。近年来，深度神经网络 (DNNs) 和生成对抗网络(GANs) [10] 在各种低层次视觉任务中表现出了优异的性能。

问题：尽管如此，这些方法中的大多数都 需要针对特定任务的成对训练数据，限制了它们在实际多媒体应用中的通用性、可扩展性和实用性。此外，监督力度大可能会导致训练过度拟合和对真实图像污染类型的泛化能力低。

-----------------------------------

下面的内容就是，既然监督学习有问题，就有了先前的无监督的方法，但是这些无监督方法还有问题。这就是本文要解决的根本问题（motivation）。

More recently, the domain transfer based unsupervised learning methods have attracted lots of attention due to the great progress [9, 18, 20, 21, 40] achieved in style transfer, attribute editing and image translation, e.g., CycleGAN [40], UNIT [21] and DRIT [18]. Although these methods have been expanded to specific restoration tasks, they could not reconstruct the high-quality images due to losing finer details or inconsistency backgrounds, as shown in Fig. 1. Different from DNNs based supervised models, which aim at learning a powerful mapping between the noisy and clean images. Directly applying existing domain-transfer methods is unsuitable for generalized image inverse problems due to the following reasons:

Indistinct Domain Boundary.

Image translation aims to learn abstract shared-representations from unpaired data with clear domain characteristics, such as horse-to-zebra, day-to-night, etc. On the contrary, varying noise levels and complicated backgrounds blur domain boundaries between unpaired inputs.

Weak Representation.

Unsupervised domain-adaption methods extract high-level representations from unpaired data by shared-weight encoder and explicit target domain discriminator. For slight noisy signals, it is easy to cause domain shift problems in translated images and lead to low-quality reconstruction.

Poor Generalization.

Image translation learns a domain mapping from one-to-one image, which hardly captures the generalized semantic and texture representations. This also exacerbates the instability of GAN.

(a) Input (b) CycleGAN (c) UNIT (d) Ours

Figure 1: The typical results for Gaussian Noise. Our method has better ability on noise removal and texture preservation than other domain-transfer methods.

本段提出本文核心解决的问题：传统非监督方法存在的问题。

基于域迁移的无监督学习方法由于在风格迁移、属性编辑和图像翻译等方面取得了巨大的进展 [9,18,20,21,40]，如 CycleGAN [40]、UNIT [20] 和 DRIT [18] 等，受到了广泛的关注。虽然这些方法已经扩展到特定的恢复任务，但由于丢失了更细的细节或背景不一致，无法重构出高质量的图像，如图1所示。不同于基于DNNs的监督模型，它的目标是学习一个噪声和干净的图像之间的映射。直接应用现有的域转移方法不适用于广义图像逆问题，主要有以下原因

模糊的域边界

图像翻译的目的是从没有配对的、具有明确的域特征的数据中学习抽象的共享表达从，如马到斑马，白天到夜晚等。但是相反，不同的噪声水平和复杂的背景模糊了未配对输入之间的域边界。

表达能力弱

无监督域适应方法通过共享权重编码器和显式目标域识别器从未配对数据中提取高级表示。对于轻微的噪声信号，在翻译后的图像中容易产生域漂移问题，导致重构的质量较低。

泛化能力差

图像转换从一对一图像中学习域映射，很难捕捉到广义的语义和纹理表示，加剧了 GAN 的不稳定性。

[20] Unpaired image-to-image translation using cycleconsistent adversarial networks. In ICCV, 2017

[21] Unsupervised image-to-image translation networks. In NIPS, 2017

[18] Diverse image-to-image translation via disentangled representations. In ArXiv, 2018

In order to address these problems, inspired by image sparse representation [24] and domain adaption [7, 8], we attempt to learn invariant representation from unpaired samples via domain adaption and reconstruct clean images instead of relying on pure unsupervised domain transfer. Different from general image translation methods [18, 21, 40], our goal is to learn robust intermediate representation free of noise (referred to as Invariant Representation) and reconstruct clean observations. Specifically, to achieve this goal, we factorize content and noise representations for corrupted images via disentangled learning; then a representation discriminator is utilized to align features to the expected distribution of clean domain. In addition, the extra self-supervised modules, including background and semantic consistency constraints, are used to supervise representation learning from image domains further.

为了解决这些问题，受图像稀疏表示和域自适应的启发 [7,8]，本文通过域自适应从未配对样本中学习不变量表示，并重建干净的图像，而不是单纯依赖于无监督的域转移。与一般的图像迁移方法 [18,21,40] 不同，本文的目标是学习无噪声的高鲁棒中间表示(称为不变量表示 Invariant Representation)，并重建干净的复原图像。具体来说，通过分离学习 disentangled learning 对损坏图像的内容和噪声表示进行分解；然后利用表示鉴别器对特征进行匹配，使特征符合干净域的期望分布。此外，本文还提出了额外的自监督模块，包括背景和语义一致性约束，用于监督进一步从图像域学习表示。

[7] Unsupervised domain adaptation by backpropagation. ArXiv, 2014

[8] Domain-adversarial training of neural networks. J. Mach. Learn. Res. 2015

In short, the main contributions of the paper could be summarized as follows:

1) Propose an unsupervised representation learning method for image restoration based on data-driven, which is easily expanded to other low-level vision tasks, such as super-resolution and deblurring.

2) Disentangle deep representation via dual domain constraints, i.e., feature and image domains. Extra self-supervised modules, including semantic meaning and background consistency modules, further improve the robustness of representations.

3) Build an unsupervised image restoration framework based on cross domain transfer with more effective training and faster convergence speed. To our knowledge, this is the first unsupervised representation learning approach that achieves competing results for processing synthetic and real noise removal with end-to-end training.

三个主要贡献：

1. 提出了非监督表示学习方法，用于图像去噪、超分辨和去模糊；

2. 通过对偶域约束解决 disentangle 深度表示法；提出了一种自监督模型（包括语义和背景一致性模型）；

3. 建立了一种基于跨域转移的无监督图像恢复框架，训练效果更好，收敛速度更快

Related Work

In general, DNNs-based methods could realize superior results on synthetic noise removal via effective supervised training, but it is unsuitable for real-world applications.

基于 DNNs 的方法不能很好的对真实图像修复。

Unsupervised Learning for IR

Image Domain Transfer.

Another direction solves image restoration by domain transfer, which aims to learn one2one mapping from one domain to another and output image to lie on the manifold of clean image. Previous works, e.g., CycleGAN [40], DualGAN [37] and BicycleGAN [41] have shown great capacity in image translation. Expanding works, containing CouplesGAN [22], UNIT [21] and DRIT [18] learn shared-latent representation for diverse image translation. Along this way, Yuan et al. [38] proposed a nested CycleGAN to solve the unsupervised image super-resolution. Expanding DRIT, Lu et al. [23] decoupled image content domain and blur domain to solve image deblurring, referred to as DRNet. However, these methods aim to learn stronger domain generators, they require obvious domain boundary and complicated network structure.

通过域转换来实现图像的恢复，其目的是学习一个域到另一个域的 one2one 映射，将图像输出到干净图像的流形上。

然而，这些方法的目的是学习更强的域生成器，它们要求明显的域边界和复杂的网络结构。

The Proposed Method

Our goal is to learn abstract intermediate representations from noise inputs and reconstruct clear observations. In a certain way, unsupervised IR could be viewed as a specific domain transfer problem, i.e., from noise domain to clean domain. Therefore, the method is injected into the general domain transfer architecture, as shown in Fig. 2.

Figure 2: Method Overview. (a) The latent space assumption. Proposed method aims to learn invariant representations from inputs and align them via adversarial domain adaption.

本文提出的方法，根本的目的是 从噪声输入（和干净图像）中抽象中间表示（图 2 中的 $\mathcal{Z}$ ），然后利用这个表示重构干净图像。

提前解释一下，这个 $\mathcal{Z}$ 包含三个内容：干净图像的图像中间表示 $z_{\mathcal{Y}}$ ；噪声图像中的图像中间表示 $z_{\mathcal{X}}$ 和噪声中间表示 $z^N_{\mathcal{Y}$ 。

In supervised domain transfer, we are given samples drawn from a joint distribution $P_{\mathcal{X,Y}}(x, y)$ , where $\mathcal{X}$ and $\mathcal{Y}$ are two image domains. For unsupervised domain translation, samples are drawn from the marginal distributions $P_{\mathcal{X}}(x)$ and $P_{\mathcal{Y}}(y)$ . In order to infer the joint distribution from the marginal samples, a shared-latent space assumption is proposed that there exists a shared latent code in a shared-latent space $\mathcal{Z}$ , so that we can recover both images from this code. Given samples from the joint distribution, this process is presented by

$z=E_{\mathcal{X}}(x)=E_{\mathcal{Y}}(y)$ (1)

$x=G_{\mathcal{X}}(z),~~y=G_{\mathcal{Y}}(z)$ (2)

A key step is how to implement this shared-latent space assumption.

To do so, an effective strategy is sharing high-level representation by shared-weight encoder, which samples the features from the unified distribution. However, it is unsuitable for IR that latent representation only contains semantic meanings, which leads to domain shift in recovered images, e.g., blurred details and inconsistent backgrounds.

Therefore, we attempt to learn more generalized representations containing richer texture and semantic features from inputs, i.e., invariant representations. To achieve it, adversarial domain adaption based discrete representation learning and self-supervised constraint modules are introduced into our method.

在无监督方法中，样本（本文表示有噪声样本）和（无噪声样本，与 unpair）来自于边缘分布 $P_{\mathcal{X}}(x)$ 和 $P_{\mathcal{Y}}(y)$ 。

为了从边缘样本中推断出联合分布，提出了共享隐含（shared-latent）空间假设，即在共享隐含空间 $\mathcal{Z}$ 中存在一个共享隐含编码（shared latent code）。关键的一步是如何实现共享潜在空间的假设。

一种有效的策略是使用共享权重编码器共享高层表示，从统一分布中抽取特征。但是，由于潜在表示只包含语义，导致恢复后的图像出现域偏移，如细节模糊、背景不一致等，不适用于IR。

因此，本文从输入中学习更一般化的表示（包含更丰富纹理和语义特征），即不变量表示（invariant representations）。为了实现该方法，引入了基于对抗域自适应的离散表示学习和自监督约束模块。

Discrete Representation Learning

Discrete representation aims to compute the latent code from inputs, where contains texture and semantic information as much as possible. To do so, we use two auto-encoders to model $\{E_{\mathcal{X}}, G_{\mathcal{X}}\}$ and $\{E_{\mathcal{Y}}, G_{\mathcal{Y}}\}$ separately. Given any unpaired samples , where $x \in\mathcal{X}$ and $y\in\mathcal{Y}$ separately denote noise and clean sample from different domains, Eq. 1 is reformulated as $z_{\mathcal{X}} = E_{\mathcal{X}} (x)$ and $z_{\mathcal{Y}} = E_{\mathcal{Y}} (x)$ . Further, IR could be represented as $F^{\mathcal{X}\rightarrow\mathcal{Y}}(x)=G_{\mathcal{Y}}(z_{\mathcal{X}})$ .

However, considering noise always adheres to high-frequency signals, directly reconstructing clean images is difficult due to varying noise levels and types, which requires powerful domain generator and discriminator. Therefore, we introduce the disentangling representation into our architecture.

离散表示的目的是从输入中计算隐含代码，其中包含尽可能多的纹理和语义信息。

为了实现离散表示，采用了两个自编码器组合的模型 $\{E_{\mathcal{X}}, G_{\mathcal{X}}\}$ 和 $\{E_{\mathcal{Y}}, G_{\mathcal{Y}}\}$ 。其中， $E_{\mathcal{X}}$ 用来提取输入（噪声图像）的隐含编码，即 $z_{\mathcal{X}} = E_{\mathcal{X}} (x)$ （同理 $z_{\mathcal{Y}} = E_{\mathcal{Y}} (x)$ 是输入干净图像的隐含编码）； $G_{\mathcal{X}}$ 表示将隐含编码生成噪声图像的模型（同理， $G_{\mathcal{Y}}$ 是生成干净图像的模型）。将噪声图像重构为干净图像的过程就是 $F^{\mathcal{X}\rightarrow\mathcal{Y}}(x)=G_{\mathcal{Y}}(z_{\mathcal{X}})$ 。

但是，虑到噪声总是依附于高频信号，如果直接按照上述过程恢复干净图像是很难获得理想结果的，因为噪声的形式是多样的，采用 GAN 方法训练时，对生成器和判别器的要求很高。因此，将分离表示引入到本文的架构中。

Figure 2: Method Overview. (b) Our method is injected into general domain-transfer framework. Extra self-supervised modules are introduced to learn more robust representations.

Disentangling Representation.

For noise sample , an extra noise encoder $E^N_{\mathcal{X}}$ is used to model varying noisy levels and types. The self-reconstruction is formulated by $x=G_{\mathcal{X}}(z_{\mathcal{X}},z^N_{\mathcal{X}})$ , where $z_{\mathcal{X}} = E_{\mathcal{X}} (x)$ and $z^N_{\mathcal{X}} = E^N_{\mathcal{X}} (x)$ . Assuming the latent codes $z_{\mathcal{X}}$ and $z_{\mathcal{Y}}$ obey same distribution in shared-space that $\{z_{\mathcal{X}},z_{\mathcal{Y}}\}\in {\mathcal{Z}}$ , similar to image translation, unsupervised image restoration could be divided into two stages: forward translation and back reconstruction.

对于给定输入噪声图像，可以用噪声编码器 $E^N_{\mathcal{X}}$ 对各种不同形式和程度的噪声进行建模。自重构通过 $x=G_{\mathcal{X}}(z_{\mathcal{X}},z^N_{\mathcal{X}})$ 形式实现。其中， $z_{\mathcal{X}} = E_{\mathcal{X}} (x)$ ， $z^N_{\mathcal{X}} = E^N_{\mathcal{X}} (x)$ 。

假设 $z_{\mathcal{X}}$ and $z_{\mathcal{Y}}$ 服从相同分布，并分享相同域 $\{z_{\mathcal{X}},z_{\mathcal{Y}}\}\in {\mathcal{Z}}$ 。类似于图像翻译，无监督图像恢复可分为前向转换和后向重建两个阶段。

Forward Cross Translation.

We first extract the representations $\{z_{\mathcal{X}},z_{\mathcal{Y}}\}$ from and extra noise code $z^N_{\mathcal{X}}$ . Restoration and degradation could be represented by

where $\widetilde{x}^{\mathcal{X}\rightarrow \mathcal{Y}}$ represents the recovered clean sample, $\widetilde{y}^{\mathcal{Y}\rightarrow \mathcal{X}}$ denotes the degraded noise sample. ⊕ represents channelwise concatenation operation. $G_{\mathcal{X}}$ and $G_{\mathcal{Y}}$ are viewed as specific domain generators.

前向交叉转换（Forward Cross Translation）：

首先，提取各种中间表示，干净图像的图像中间表示 $z_{\mathcal{Y}}$ ；噪声图像中的图像中间表示 $z_{\mathcal{X}}$ 和噪声中间表示 $z^N_{\mathcal{Y}$ 。

修复和降质的过程就是公式（3）和（4）表示。

其中， $\widetilde{x}^{\mathcal{X}\rightarrow \mathcal{Y}}$ 表示修复图像， $\widetilde{y}^{\mathcal{Y}\rightarrow \mathcal{X}}$ 表示降质图像。⊕ 表示通道级联。

Backward Cross Reconstruction.

After performing the first translation, reconstruction could be achieved by swapping the inputs $\widetilde{x}^{\mathcal{X}\rightarrow \mathcal{Y}}$ and $\widetilde{y}^{\mathcal{Y}\rightarrow \mathcal{X}}$ that:

where $\widehat{x}$ and $\widehat{y}$ denote reconstructed inputs. To enforce this constraint, we add the cross-cycle consistency loss $\mathcal{L}^{CC}_{\mathcal{X}}$ for $\mathcal{X}$ and $\mathcal{Y}$ domains:

(7)

(8)

向后交叉重建（Backward Cross Reconstruction）：

在执行第一次转换后，可以通过交换输入来实现重构。 $\widehat{x}$ 和 $\widehat{y}$ 表示重构输入。为了加强这一约束，添加了 $\mathcal{X}$ 和 $\mathcal{Y}$ 的 cross-cycle 一致性损失，就是将重构的噪声图像 $\widehat{x}$ 和原始噪声图像做 L1 损失；将重构的干净图像 $\widehat{y}$ 与原始图像做 L1 损失。

Adversarial Domain Adaption.

Another factor is how to embed latent representations $z_{\mathcal{X}}$ and $z_{\mathcal{Y}}$ into shared space. Inspired by unsupervised domain adaption, we implement it by adversarial learning instead of shared-weight encoder. Our goal is to facilitate representations from inputs obeying the similar distribution while preserving richer texture and semantic information of inputs. Therefore, a representation discriminator $D_{\mathcal{R}}$ is utilized in our architecture. We express this feature adversarial loss $\mathcal{L}^{\mathcal{R}}_{adv}$ as

另一个因素是如何嵌入表征 $z_{\mathcal{X}}$ 和 $z_{\mathcal{Y}}$ 到共享空间。受无监督域自适应的启发，用对抗式学习代替共享权重编码器来实现。

本文的目标是促进遵从相似分布的输入的表示，同时保留输入的更丰富的纹理和语义信息。

因此，采用了表示判别器 $D_{\mathcal{R}}$ ，并引入特征对抗的损失（9）。

Self-Supervised Constraint

Due to lack of effective supervised signals for translated images, only relying on feature domain discriminant constraints would lead to domain shift problems inevitably in generated images. To speed convergence while learning more robust representations, self-supervised modules including Background Consistency Module (BCM) and Semantic Consistency Module (SCM) are introduced to provide more reasonable and reliable supervision.

由于转换后的图像缺乏有效的监督信号，仅依靠特征域判别约束，不可避免地会导致生成的图像出现域偏移问题。为了在学习鲁棒表示的同时加快收敛速度，引入了自监督模块，包括背景一致性模块 (BCM) 和语义一致性模块 (SCM)，以提供更加合理和可靠的监督。

BCM aims to preserve the background consistency between the translated images and inputs. Similar strategies have been applied for self-supervised image reconstruction tasks [14, 28]. These methods use the gradient error to constrain reconstructed images by smoothing the input and output images with blur operators, e.g., Gaussian blur kernel and guided filtering [13]. Different from them, a L1 loss is directly used for the recovered images instead of gradient error loss in our module, as shown in Fig. 3, which is simple but effective to retain background consistency while recovering finer texture in our experiments. Specifically, a multiscale Gaussian-Blur operator is used to obtain multi-scale features respectively. Therefore, a background consistency loss $\mathcal{L}_{BC}$ could be formulated as:

where $B_{\sigma }(\cdot)$ denotes the Gaussian-Blur operator with blur kernel $\sigma$ , $\lambda _{\sigma }$ is the hyper-parameter to balance the errors at different Gaussian-Blur levels. $\mathcal{X}$ and $\mathcal{\widetilde{X}}$ denote original input and the translated output. Based on experimental attempts at image denoising, we set $\lambda _{\sigma }$ as {0.25, 0.5, 1.0} for $\sigma = {5, 9, 15}$ respectively.

BCM 的目的是保持转换图像和输入图像之间的背景一致性。类似的策略也被应用于自监督图像重建任务 [14,28]。这些方法利用梯度误差来约束重构图像，通过使用模糊算子 (如高斯模糊核和引导滤波[13]) 来平滑输入和输出图像。不同的是，本文对恢复的图像直接使用了 L1 损失，而不是梯度误差损失，如图 3 所示。本文利用多尺度高斯模糊算子分别获取多尺度特征。

In addition, inspired by perception loss [15], the feature from the deeper layers of the pre-trained model contain semantic meanings only, which are noiseless or with little noise. Therefore, different from the general feature loss, which aims to recover finer image texture details via similarities among shallow features, we only extract deeper features as semantic representations from the corrupted and recovered images to keep consistency, referred to as semantic consistency loss $\mathcal{L}_{SC}$ . It could be formulated as

where φ(·) denotes the features from lth layer of the pretrained model. In our experiments, we use the conv5-1 layer of VGG-19 [31] pre-trained network on ImageNet.

预训练模型的更深层次特征只包含语义意义，无噪声或噪声很小。

一般的 VGG losss 采用浅层特征间的相似性来恢复较细图像纹理细节的特征丢失。

而本文选择较深的特征作为语义表征，用来保持损坏和恢复的图像在语义上的一致性。

Jointly Optimizing

除了所提出的 cross-cycle 一致性损失、表示对抗损失和自监督损失外，我们还在联合优化中使用了其他损失函数。

Target Domain Adversarial Loss.

We impose domain adversarial loss $\mathcal{L}^{domain }_{adv}$ , where $D_{\mathcal{X}}$ and $D_{\mathcal{Y}}$ attempt to discriminate the realness of generated images from each domain. For the noise domain, we define the adversarial loss $\mathcal{L}^{{\mathcal{X}}}_{adv}$ as

Similarly, we define adversarial loss for clean image domain as

Domain Adversarial Loss 中的两个图是输入来自同一个 domain。判别器努力鉴别两张图不属于同一域（干净域或不干净域）；生成器生成努力生成的图像属于相同域。增强了 $G_{\mathcal{X}}$ ， $G_{\mathcal{Y}}$ 的能力。

Self-Reconstruction Loss.

In addition to the cross-cycle reconstruction, we also apply a self-reconstruction loss $\mathcal{L}^{Rec}$ to facilitate the training. This process is represented as and .

看图 2，我们发现， $G_{\mathcal{X}}$ 的输入来自 $\mathcal{Y}$ 域， $G_{\mathcal{Y}}$ 的输入来自 $\mathcal{X}$ 域。而 Self-Reconstruction 损失是指，当 $G_{\mathcal{X}}$ 的输入来自 $\mathcal{X}$ 域时，输出也应该是 $\mathcal{X}$ 域的，这样的 $G_{\mathcal{X}}$ 才是合理可信的。 $G_{\mathcal{Y}}$ 同理。

KL Loss.

In order to model the noise encoder branch, we add a KL divergence loss to regularize the distribution of the noise code to be close to the normal distribution that where DKL =.

考虑到噪声的特点，生成的噪声中间表达 $z^N_{\mathcal{X}}$ 的分布特征应该与正态分布近似，这个近似用 KL发散损失来衡量。

总体的损失函数就是如下了

Restoration:

After learning, we only retain the cross encoder-generator network $\{E_{\mathcal{X}},G_{\mathcal{Y}}\}$

最后，用于测试的网络参数只有生成器 $\{E_{\mathcal{X}},G_{\mathcal{Y}}\}$ ；前者用于生成域不变表示 $z_{\mathcal{X}}$ ；后者用于生成最终的修复图像 $\widetilde{x}^{\mathcal{X}\rightarrow\mathcal{Y}}$ 。

你可能感兴趣的:(deep,learning,深度学习)

深度学习算法，该如何深入，举例说明 liyy614 深度学习
深度学习算法的深入学习可以从理论和实践两个方面进行。理论上，深入理解深度学习需要掌握数学基础（如线性代数、概率论、微积分）、机器学习基础和深度学习框架原理。实践上，可以通过实现和优化深度学习模型来提升技能。理论深入数学基础线性代数：理解向量、矩阵、特征值和特征向量等，对于理解神经网络的权重和偏置矩阵至关重要。概率论：用于理解模型的不确定性，如Dropout等正则化技术。微积分：理解梯度下降等优化算
python基础学习 agente python python 学习开发语言
第一章标识符1、python被称为胶水语言，可以跟各个代码能一块儿使用爬虫、数据分析web全栈开发、数据科学方向、人工智能的机械学习和深度学习、自动化运维、爬虫、办公自动化python是跨平台的，python是解释型语言，不需要编译，python是面向对象的语言1、print()#print()可以输出数字、字符串、含有运算符的表达式#print()可以将内容输出到显示器、文件#print()输出
机器学习和深度学习区别 hong161688 机器学习深度学习人工智能
机器学习和深度学习作为人工智能领域的两大重要分支，虽然有着紧密的联系，但在多个方面存在显著的差异。以下将从定义与起源、技术基础、模型复杂度、数据需求、计算资源需求、应用领域以及学习方式与特点等角度，详细阐述机器学习和深度学习的区别。一、定义与起源机器学习：是人工智能的一个分支，它让计算机能够在没有明确编程的情况下，通过观察和分析大量数据来学习并做出预测或决策。机器学习起源于20世纪50年代，随着算
深度学习算法在图算法中的应用（图卷积网络GCN和图自编码器GAE）大嘤三喵军团深度学习算法网络
深度学习算法在图算法中的应用1.图卷积网络（GraphConvolutionalNetworks,GCN）图卷积网络（GCN）是一种将卷积神经网络（ConvolutionalNeuralNetworks,CNN）推广到图结构数据的方法。GCN被广泛用于节点分类、图分类、链接预测等任务。优势和好处灵活性：GCN可以处理不规则和不均匀的数据结构，比如社交网络、分子结构、交通网络等。高效性：GCN使用局
深度学习速通系列:LoRA微调是什么 Ven% 深度学习速通系列人工智能深度学习 python 机器学习 nlp
LoRA微调（Low-RankAdaptation）是一种用于大型预训练语言模型（LLM）的高效微调技术。它的核心思想是在不改变预训练模型权重的前提下，通过在模型的Transformer层中引入可训练的低秩矩阵来实现模型的微调。这种方法可以显著减少训练参数的数量，从而降低对计算资源的需求。LoRA微调的原理：LoRA微调方法建议冻结预训练模型的权重，并在每个Transformer块中注入可训练的低
基于深度学习的基因组数据分析 SEU-WYL 深度学习dnn 深度学习数据分析人工智能
基于深度学习的基因组数据分析利用深度学习技术来处理和分析基因组数据，帮助解决基因组学领域中一些复杂且具有挑战性的问题。这种方法已经在疾病预测、基因功能预测、变异检测、基因表达调控分析、个性化医疗等方面取得了显著进展。1.基因组数据分析的核心挑战基因组数据分析涉及以下主要挑战：高维数据与稀疏性：基因组数据通常包括数百万到数十亿个碱基对，数据维度非常高。同时，许多基因变异事件是稀有的，这种稀疏性使得数
linux查看jupyter运行,在Linux服务器上运行Jupyter notebook server教程天启大烁哥
在Linux服务器上运行Jupyternotebookserver教程很多deeplearning教程都推荐在jupyternotebook运行python代码，方便及时交互。但只在本地运行没有GPU环境，虽然googlecolab是个好办法，但发现保存模型后在云端找不到模型文件，且需要合理上网才能访问。于是想给实验室的服务器配置jupyternotebook，供本机远程访问。踩了不少坑，码一下教
加载pkl文件，Python报错AttributeError: Can‘t get attribute ‘DeepFM‘ on ＜module ‘__main__‘ from...＞ Zerol_Yan Python基础 python
背景模型同学发过来的pkl格式的模型，在系统中加载的时候，报错AttributeError:module'__main__'hasnoattribute'LabelEncoderExt'，尝试了很多种方式，最后终于解决了这个问题，记录一下，以后遇到类似的可以做参考。项目代码及结构app.pyfrominitimportappimportjsonfromflaskimportrequest@app.
基于深度学习的信号滤波：创新技术与应用挑战逼子歌深度学习神经网络信号滤波图像去噪卷积神经网络长短期记忆网络
一、引言1.1研究背景随着科技的不断发展，信号处理领域面临着越来越复杂的挑战。在众多信号处理技术中，基于深度学习的信号滤波技术逐渐崭露头角，成为研究的热点。基于深度学习的信号滤波在信号处理领域具有至关重要的地位。如今，我们生活在一个数据爆炸的时代，各种信号源不断产生大量的复杂数据。例如，在通信领域，信号常常受到噪声干扰，传统的滤波方法在处理复杂、非线性信号时可能效果不佳。而深度学习技术具有自动特征
如何在DPDK中实现协议解析？编码小哥 dpdk 架构
在DPDK中实现协议解析涉及几个步骤，包括初始化环境、配置网卡、接收数据包、解析数据包并处理数据包。下面将详细介绍这些步骤以及如何在DPDK中实现基本的协议解析。初始化DPDK环境首先，你需要初始化DPDK环境，加载EAL(EthernetAddressLearning)库，并设置好内存池、环形缓冲区等。#include#include#includeintmain(intargc,char**a
pytorh基础知识和函数的学习：torchvision.transforms() 深蓝海拓机器视觉和人工智能学习学习 pytorch
transforms是PyTorch的torchvision库中用于图像处理的一个模块。它提供了一组工具，用于在图像数据集上进行常见的预处理和数据增强操作，以便更好地训练深度学习模型。以下是一些常用的torchvision.transforms转换：基础图像转换：transforms.ToTensor():将PIL图像或NumPy数组转换为PyTorch的张量，并将像素值范围从[0,255]缩放到
使用PyTorch实现的DeepSpeech模型: 强大的语音识别利器毕艾琳
使用PyTorch实现的DeepSpeech模型:强大的语音识别利器deepspeech.pytorchSpeechRecognitionusingDeepSpeech2.项目地址:https://gitcode.com/gh_mirrors/de/deepspeech.pytorch在今天的数字化世界中，语音识别技术已成为人机交互的关键组成部分。deepspeech.pytorch是一个由Sea
深度学习驱动下的字符识别：挑战与创新逼子歌神经网络深度学习字符识别卷积神经网络图像处理特征提取
一、引言1.1研究背景深度学习在字符识别领域具有至关重要的地位。随着信息技术的飞速发展，对字符识别的准确性和效率要求越来越高。字符识别作为计算机视觉领域的一个重要研究方向，其主要目的是将各种形式的字符转换成计算机可识别的文本信息。近年来，深度学习技术在字符识别领域取得了显著的进展。国内研究者主要使用基于模板匹配的方法、基于统计模型的方法、基于神经网络的方法等各种方法进行字符识别研究。目前，国内各大
Adam优化器：深度学习中的自适应方法 2401_85743969 深度学习人工智能
引言在深度学习领域，优化算法是训练神经网络的核心组件之一。Adam（AdaptiveMomentEstimation）优化器因其自适应学习率调整能力而受到广泛关注。本文将详细介绍Adam优化器的工作原理、实现机制以及与其他优化器相比的优势。深度学习优化器概述优化器在深度学习中负责调整模型的参数，以最小化损失函数。常见的优化器包括SGD（随机梯度下降）、RMSprop、AdaGrad、AdaDelt
【深度学习实战】行人检测追踪与双向流量计数系统【python源码+Pyqt5界面+数据集+训练代码】YOLOv8、ByteTrack、目标追踪、双向计数、行人检测追踪、过线计数阿_旭 AI应用软件开发实战深度学习实战深度学习 python 行人检测行人追踪过线计数
《博主简介》小伙伴们好，我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。✌更多学习资源，可关注公-仲-hao:【阿旭算法与机器学习】，共同学习交流~感谢小伙伴们点赞、关注！《------往期经典推荐------》一、AI应用软件开发实战专栏【链接】项目名称项目名称1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】3.【手势识别系统开发】4.【人脸面部活体
Deepspeed 结合huggingface Trainer实现多机分布式训练 ningzhao 分布式
目前工作中只使用了单机多卡做微调训练，为了提升训练效率，特实验多机多卡分布式训练。一、环境准备本试验使用两台机器（manager，worker），操作系统ubuntu22.4，每台机器有4个GPU为了使安装配置统一，使用docker容器，docker的安装这里不做介绍。1.网络配置-创建overlay共享网络初始化集群，在manager机器上运行:dockerswarminit#输出结果:Swar
大模型多机多卡脚本实例 - 增量预训练 -accelerate和deepspeed命令多机多卡训练有什么不同 AI生成曾小健大模型/增量预训练CPT 深度学习 python 机器学习
第一步，同步权重ls-l/data/xxx/gpu008/MoeRemake/train/etuning/LLaMA-Factory2/models/xxx-Base-10B-200k-Llama第二步，同步环境：./scp_batch.sh"/data/xxx/miniconda3/envs/etuning4/""/data/vayu/miniconda3/envs/etuning4/"gpu0
【PyTorch】使用容器(Containers)进行网络层管理(Module) 遥感小萌新深度学习 python pytorch 人工智能 python 深度学习
文章目录前言一、Sequential二、ModuleList三、ModuleDict四、ParameterList&ParameterDict总结前言当深度学习模型逐渐变得复杂，在编写代码时便会遇到诸多麻烦，此时便需要Containers的帮助。Containers的作用是将一部分网络层模块化，从而更方便地管理和调用。本文介绍PyTorch库常用的nn.Sequential，nn.ModuleLi
深度学习之sigmoid函数介绍 yueguang8 人工智能深度学习人工智能
1.基本概念Sigmoid函数，也称为Logistic函数，是一种常用的数学函数，其数学表达式为：其中，e是自然对数的底数，Zj是输入变量。Sigmoid函数曲线如下所示：计算示例：原始输出结果Zj：[-0.6,1.4,2.5]使用Sigmoid函数后输出为：[0.35,0.8,0.92]2.Sigmoid函数特点Sigmoid函数具有以下特点：值域限定在(0,1)之间：Sigmoid函数的输出范
Deep learning for Computer Vision with Python（1）从零开始入门计算机视觉 Hazelyu27 计算机视觉大数据计算机视觉深度学习
本书的内容分成三个部分：1.初始阶段初始阶段学习：机器学习、神经网络、卷积神经网络、建立数据集。2.实践阶段实践阶段：深入学习深度学习，理解先进技术，发现最佳实践方式。3.图像网络阶段完成计算机视觉领域的经验积累。使用大规模数据集和真实图片案例作为数据集，包括年龄和性别预测，交通工具模型识别。本书提供了对应网站：http://pyimg.co/fnkxk本文介绍前两章内容：基本介绍和深度学习简介。
使用matlab的热门问题七十二五值得关注 matlab 开发语言青少年编程算法经验分享
MATLAB广泛应用于科学计算、数据分析、信号处理、图像处理、机器学习等多个领域，因此热门问题也涵盖了这些方面。以下是一些可能被认为当前最热门的MATLAB问题：深度学习与神经网络：如何使用MATLAB的深度学习工具箱（DeepLearningToolbox）来构建和训练神经网络？如何利用MATLAB进行图像识别、语音识别或自然语言处理等深度学习应用？数据分析与可视化：如何使用MATLAB进行大数
DeepSeek缓存命中技术，成本降低10倍智匠MindCraft Al 人工智能 gpt ai 功能测试 AI编程
DeepSeek系列升级：DeepSeek发布最新的缓存命中技术，有效降低成本至0.1元/百万tokens，适用于文件读取和固定提示词。点评：由于token消耗大部分是在系统提示词中，妥善使用确实可以极大降低成本，同时还能保证较高的输出质量。今天就分享到这里，在智匠AI（MindCraftAI）上可以体验到最新更新的模型。
深度学习目标检测入门COCO数据集日暮途远z 深度学习目标检测人工智能
常见数据集类型：COCO数据集：Pytorch加载COCO数据集：COCO数据集的读取COCO_dataset=torchvision.datasets.CocoDetection(root="./dataset/val2017",annFile="./instances_val2017/instances_val2017.json")root(strorpathlib.Path)–Rootdir
【数据获取与读取】JSON & CSV yogurt=b 数据分析 json python
数据分析流程获取数据-读取数据-评估数据-清洗数据-整理数据-分析数据-可视化数据公开数据集飞桨（百度旗下深度学习平台）数据集：https:/aistudio.baidu.com/aistudio/datasetoverview天池（阿里云旗下开发者竞赛平台）:https:/tianchiaiyun.com/dataset/和鲸社区（数据科学开源社区）数据集：htps://www.heywhale
DL参考资源（二） antkillerfarm 深度学习
DL参考资源推荐系统https://zhuanlan.zhihu.com/p/26237106深度学习在推荐算法上的应用进展http://i.dataguru.cn/mportal.php?mod=view&aid=11463深度学习在推荐领域的应用https://mp.weixin.qq.com/s/hGvQvddD3i858XSK4z08Ug主要推荐系统算法总结及Youtube深度学习推荐算法
COI实验室技能：图像到图像的深度学习开发框架（pytorch版）山颠海涯深度学习 pytorch 人工智能
Basicdeeplearningframeworkforimage-to-image这个开发框架旨在帮助科研人员快速地实现图像到图像之间的模型开发。github连接：https://github.com/SituLab/Basic-deep-learning-framework-for-image-to-image目录1模型开发1-1克隆项目到本地1-2深度学习开发2环境配置2-1安装conda
大模型面试通关指南：常见问题与答案解析史上最全超详细收藏我这一篇就够了程序员辣条面试职场和发展大模型人工智能 AI大模型
大模型相关的面试问题通常涉及模型的原理、应用、优化以及面试者对于该领域的理解和经验。以下是一些常见的大模型面试问题以及建议的回答方式：请简述什么是大模型，以及它与传统模型的主要区别是什么？回答：大模型通常指的是参数数量巨大的深度学习模型，如GPT系列。它们与传统模型的主要区别在于规模：大模型拥有更多的参数和更复杂的结构，从而能够处理更复杂、更广泛的任务。此外，大模型通常需要更多的数据和计算资源进行
auto encoder war3gu 深度学习
Deepauto-encoder与受限玻尔兹曼机有点像，都可以进行信息的压缩，都可以用作pre-trainning.区别在于受限玻尔兹曼机是无向图模型，而Deepauto-encoder是一种神经网络,中间特别窄的bottleneck的数据作为压缩的codeencoder与decoder的参数可以相互独立，也可以互为逆数字图片auto-encoder，越是deep的auto-encoder，压缩出
自动编码器 - Autoencoder hellozhxy 深度学习人工智能机器学习
文章目录一、自编码器（Autoencoder）简单模型介绍二、神经网络自编码模型三、神经网络自编码器三大特点四、自编码器（Autoencoder）搭建五、几种常见编码器1.堆栈自动编码器2.欠完备自编码器3.正则自编码器4.噪自编码器（denoisingautoencoder,DAE）参考链接一、自编码器（Autoencoder）简单模型介绍暂且不谈神经网络、深度学习等，仅仅是自编码器的话，其原理
Autoencoder chuange6363 人工智能 python
自编码器Autoencoder稀疏自编码器SparseAutoencoder降噪自编码器DenoisingAutoencoder堆叠自编码器StackedAutoencoder本博客是从梁斌博士的博客上面复制过来的，本人利用Tensorflow重新实现了博客中的代码深度学习有一个重要的概念叫autoencoder，这是个什么东西呢，本文通过一个例子来普及这个术语。简单来说autoencoder是一
SQL的各种连接查询 xieke90 UNION ALL UNION 外连接内连接 JOIN
一、内连接概念：内连接就是使用比较运算符根据每个表共有的列的值匹配两个表中的行。内连接（join 或者inner join ） SQL语法： select * fron
java编程思想--复用类百合不是茶 java 继承代理组合 final类
复用类看着标题都不知道是什么,再加上java编程思想翻译的比价难懂,所以知道现在才看这本软件界的奇书一:组合语法:就是将对象的引用放到新类中即可代码: package com.wj.reuse; /** * * @author Administrator 组
[开源与生态系统]国产CPU的生态系统 comsci cpu
计算机要从娃娃抓起...而孩子最喜欢玩游戏.... 要让国产CPU在国内市场形成自己的生态系统和产业链,国家和企业就不能够忘记游戏这个非常关键的环节.... 投入一些资金和资源,人力和政策,让游
JVM内存区域划分Eden Space、Survivor Space、Tenured Gen，Perm Gen解释商人shang jvm内存
jvm区域总体分两类，heap区和非heap区。heap区又分：Eden Space（伊甸园）、Survivor Space(幸存者区)、Tenured Gen（老年代-养老区）。非heap区又分：Code Cache(代码缓存区)、Perm Gen（永久代）、Jvm Stack(java虚拟机栈)、Local Method Statck(本地方法栈)。 HotSpot虚拟机GC算法采用分代收
页面上调用 QQ oloz qq
<A href="tencent://message/?uin=707321921&Site=有事Q我&Menu=yes"> <img style="border:0px;" src=http://wpa.qq.com/pa?p=1:707321921:1></a>
一些问题文强chu 问题
1.eclipse 导出 doc 出现“The Javadoc command does not exist.” javadoc command 选择 jdk/bin/javadoc.exe 2.tomcate 配置 web 项目 ..... SQL:3.mysql * 必须得放前面否则 select&nbs
生活没有安全感小桔子生活孤独安全感
圈子好小，身边朋友没几个，交心的更是少之又少。在深圳，除了男朋友，没几个亲密的人。不知不觉男朋友成了唯一的依靠，毫不夸张的说，业余生活的全部。现在感情好，也很幸福的。但是说不准难免人心会变嘛，不发生什么大家都乐融融，发生什么很难处理。我想说如果不幸被分手(无论原因如何)，生活难免变化很大，在深圳，我没交心的朋友。明
php 基础语法 aichenglong php 基本语法
1 .1 php变量必须以$开头 <?php $a=” b”; echo ?> 1 .2 php基本数据库类型 Integer float/double Boolean string 1 .3 复合数据类型数组array和对象 object 1 .4 特殊数据类型 null 资源类型(resource) $co
mybatis tools 配置详解 AILIKES mybatis
MyBatis Generator中文文档 MyBatis Generator中文文档地址： http://generator.sturgeon.mopaas.com/ 该中文文档由于尽可能和原文内容一致，所以有些地方如果不熟悉，看中文版的文档的也会有一定的障碍，所以本章根据该中文文档以及实际应用，使用通俗的语言来讲解详细的配置。本文使用Markdown进行编辑，但是博客显示效
继承与多态的探讨百合不是茶 JAVA面向对象继承对象
继承 extends 多态继承是面向对象最经常使用的特征之一：继承语法是通过继承发、基类的域和方法 //继承就是从现有的类中生成一个新的类，这个新类拥有现有类的所有extends是使用继承的关键字：在A类中定义属性和方法； class A{ //定义属性 int age； //定义方法 public void go
JS的undefined与null的实例 bijian1013 JavaScript JavaScript
<form name="theform" id="theform"> </form> <script language="javascript"> var a alert(typeof(b)); //这里提示undefined if(theform.datas
TDD实践（一） bijian1013 java 敏捷 TDD
一.TDD概述 TDD：测试驱动开发，它的基本思想就是在开发功能代码之前，先编写测试代码。也就是说在明确要开发某个功能后，首先思考如何对这个功能进行测试，并完成测试代码的编写，然后编写相关的代码满足这些测试用例。然后循环进行添加其他功能，直到完全部功能的开发。
[Maven学习笔记十]Maven Profile与资源文件过滤器 bit1129 maven
什么是Maven Profile Maven Profile的含义是针对编译打包环境和编译打包目的配置定制，可以在不同的环境上选择相应的配置，例如DB信息，可以根据是为开发环境编译打包，还是为生产环境编译打包，动态的选择正确的DB配置信息 Profile的激活机制 1.Profile可以手工激活，比如在Intellij Idea的Maven Project视图中可以选择一个P
【Hive八】Hive用户自定义生成表函数(UDTF) bit1129 hive
1. 什么是UDTF UDTF，是User Defined Table-Generating Functions，一眼看上去，貌似是用户自定义生成表函数，这个生成表不应该理解为生成了一个HQL Table，貌似更应该理解为生成了类似关系表的二维行数据集 2. 如何实现UDTF 继承org.apache.hadoop.hive.ql.udf.generic
tfs restful api 加auth 2.0认计 ronin47
　　目前思考如何给tfs的ngx-tfs api增加安全性。有如下两点：　　一是基于客户端的ip设置。这个比较容易实现。　　二是基于OAuth2.0认证，这个需要lua，实现起来相对于一来说，有些难度。　　现在重点介绍第二种方法实现思路。　　前言：我们使用Nginx的Lua中间件建立了OAuth2认证和授权层。如果你也有此打算，阅读下面的文档，实现自动化并获得收益。SeatGe
jdk环境变量配置 byalias java jdk
进行java开发，首先要安装jdk，安装了jdk后还要进行环境变量配置： 1、下载jdk（http://java.sun.com/javase/downloads/index.jsp），我下载的版本是：jdk-7u79-windows-x64.exe 2、安装jdk-7u79-windows-x64.exe 3、配置环境变量：右击"计算机"-->&quo
《代码大全》表驱动法-Table Driven Approach-2 bylijinnan java
package com.ljn.base; import java.io.BufferedReader; import java.io.FileInputStream; import java.io.InputStreamReader; import java.util.ArrayList; import java.util.Collections; import java.uti
SQL 数值四舍五入小数点后保留2位 chicony 四舍五入
1.round() 函数是四舍五入用，第一个参数是我们要被操作的数据，第二个参数是设置我们四舍五入之后小数点后显示几位。 2.numeric 函数的2个参数，第一个表示数据长度，第二个参数表示小数点后位数。例如：　　select cast(round(12.5,2) as numeric(5,2))
c++运算符重载 CrazyMizzz C++
一、加+，减-，乘*，除/ 的运算符重载 Rational operator*(const Rational &x) const{ return Rational(x.a * this->a); } 在这里只写乘法的，加减除的写法类似二、<<输出,>>输入的运算符重载 &nb
hive DDL语法汇总 daizj hive 修改列 DDL 修改表
hive DDL语法汇总１、对表重命名 hive> ALTER TABLE table_name RENAME TO new_table_name; 2、修改表备注 hive> ALTER TABLE table_name SET TBLPROPERTIES ('comment' = new_comm
jbox使用说明 dcj3sjt126com Web
参考网址：http://www.kudystudio.com/jbox/jbox-demo.html jBox v2.3 beta [ 点击下载] 技术交流QQGroup：172543951 100521167 [2011-11-11] jBox v2.3 正式版 - [调整&修复] IE6下有iframe或页面有active、applet控件
UISegmentedControl 开发笔记 dcj3sjt126com
// typedef NS_ENUM(NSInteger, UISegmentedControlStyle) { // UISegmentedControlStylePlain, // large plain &
Slick生成表映射文件 ekian scala
Scala添加SLICK进行数据库操作，需在sbt文件上添加slick-codegen包 "com.typesafe.slick" %% "slick-codegen" % slickVersion 因为我是连接SQL Server数据库，还需添加slick-extensions，jtds包 "com.typesa
ES-TEST gengzg test
package com.MarkNum; import java.io.IOException; import java.util.Date; import java.util.HashMap; import java.util.Map; import javax.servlet.ServletException; import javax.servlet.annotation
为何外键不再推荐使用 hugh.wang mysql DB
表的关联，是一种逻辑关系，并不需要进行物理上的“硬关联”，而且你所期望的关联，其实只是其数据上存在一定的联系而已，而这种联系实际上是在设计之初就定义好的固有逻辑。在业务代码中实现的时候，只要按照设计之初的这种固有关联逻辑来处理数据即可，并不需要在数据库层面进行“硬关联”，因为在数据库层面通过使用外键的方式进行“硬关联”，会带来很多额外的资源消耗来进行一致性和完整性校验，即使很多时候我们并不
领域驱动设计 julyflame VO DAO 设计模式 DTO po
概念： VO（View Object）：视图对象，用于展示层，它的作用是把某个指定页面（或组件）的所有数据封装起来。 DTO（Data Transfer Object）：数据传输对象，这个概念来源于J2EE的设计模式，原来的目的是为了EJB的分布式应用提供粗粒度的数据实体，以减少分布式调用的次数，从而提高分布式调用的性能和降低网络负载，但在这里，我泛指用于展示层与服务层之间的数据传输对
单例设计模式 hm4123660 java Singleton 单例设计模式懒汉式饿汉式
单例模式是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例类的特殊类。通过单例模式可以保证系统中一个类只有一个实例而且该实例易于外界访问，从而方便对实例个数的控制并节约系统源。如果希望在系统中某个类的对象只能存在一个，单例模式是最好的解决方案。 &nb
logback zhb8015 log logback
一、logback的介绍 Logback是由log4j创始人设计的又一个开源日志组件。logback当前分成三个模块：logback-core,logback- classic和logback-access。logback-core是其它两个模块的基础模块。logback-classic是log4j的一个改良版本。此外logback-class
整合Kafka到Spark Streaming——代码示例和挑战 Stark_Summer spark storm zookeeper PARALLELISM processing
作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。期间， Michael还提到了将Kafka整合到 Spark Streaming中的一些现状，非常值得阅读，虽然有一些信息在Spark 1.2版
spring-master-slave-commondao 王新春 DAO spring dataSource slave master
互联网的web项目，都有个特点：请求的并发量高，其中请求最耗时的db操作，又是系统优化的重中之重。为此，往往搭建 db的一主多从库的数据库架构。作为web的DAO层，要保证针对主库进行写操作，对多个从库进行读操作。当然在一些请求中，为了避免主从复制的延迟导致的数据不一致性，部分的读操作也要到主库上。（这种需求一般通过业务垂直分开，比如下单业务的代码所部署的机器，读去应该也要从主库读取数