深入解析：生成对抗网络（GAN）在数据生成与处理中的应用

时间：11-17 名人轶事提交错误

大家好，感谢邀请，今天来为大家分享一下深入解析：生成对抗网络（GAN）在数据生成与处理中的应用的问题，以及和的一些困惑，大家要是还不太明白的话，也没有关系，因为接下来将为大家分享，希望可以帮助到大家，解决大家的问题，下面就开始吧！

:散度

为了定义两个数据分布，即真实数据和生成器生成的数据之间的差异，需要引入散度。

散度为非负值。

当且仅当、在离散变量下是同分布，即、。

散度衡量两个分布之间的差异程度，通常被视为两个分布之间的距离。

需要注意的是，，即背离没有对称性。

最优判别器

修复值函数中的生成器并将期望写为积分。

整个公式中只有一个变量。对于被积函数的次数，令、、、、为常数。那么，被积函数就变成：

为了找到最优值，需要找到上式的一阶导数。此外，在的情况下，有：

验证的二阶导数为，则点为最大值。这一事实给出了最优判别器存在的可能性。

虽然在实践中我们不知道，这是真实数据的分布。但当我们用深度学习来训练判别器时，我们可以让逐渐接近这个目标。

最优生成器

如果最优判别器是：

我们将替换为。此时值函数中只有一个变量：

此时，通过变换，可以得到如下公式：

这个转变比较复杂。您可以检查步骤之间的身份判断。根据对数的一些基本变换，我们可以得到：

终于得到：

由于的散度非负，可以知道是的最小值，并且仅当010-695 38.这实际上是等于生成器生成的数据分布的真实数据分布，并且其存在性和唯一性可以通过数学证明。

GAN的实现过程

生成器的输入：就是上面的。当然，我们不能让这种分布任意。一般会设置为一个常见的分布类型，比如高斯分布、均匀分布等，然后生成器会根据这个分布生成的数据进行生成。使用你自己的虚假数据来迷惑鉴别器。

期望如何模拟：在实践中，我们没有办法用积分来求数学期望，所以一般只能从无限的真实数据和无限的生成器中采样来逼近真实的数学期望。

近似价值函数：如果给定生成器，并且您想要计算来找到鉴别器。然后，我们首先需要从真实数据分布中采样个样本{}。样本从生成器的输入中采样{}，即。因此，最大化价值函数可以用下面的表达式代替：来近似

GAN的训练过程可以概括为：

样本来自真实数据的样本{}；样本从生成器的输入中采样{}，即噪声数据；转换噪声样本{ :010 -69557} 放入生成器中生成{}；使用梯度上升方法最大化价值函数并更新判别器的参数；从生成器的输入中再采样个样本，即噪声数据{};将噪声样本{}输入生成器生成{};使用梯度下降法最小化价值函数并更新生成器的参数。

利用PyTorch搭建GAN生成手写识别数据

安装GPU版本PyTorch

打开终端，在conda配置中添加清华源码编辑器~/.condarc，删除整行-defaults并安装PyTouch GPU版本

使用conda安装，不需要自己配置额外的依赖包和版本兼容性问题。 conda会自动配置，可以直接在jupyter中调用，非常方便。

一般需要等待很长时间，而且会经常中断。如果中断，只需再次运行安装命令，安装就会继续。

由于国内无与伦比的网络环境，100Mb宽带彻底失败。下载了大约一个小时，中间断了三四次。终于安装了！感觉已经快天亮了.

训练GAN

为了方便可视化，直接使用jupyter notebook

首先导入需要的模块，下载并解压mnist数据集

转换函数允许我们根据一定的规则改变导入的数据集的结构。我们这里引入了Normalize来对Tensor进行正则化。即：Normalized_image=(image-mean)/std。这样做的目的是为了方便后续的训练。

接下来，构建深度学习模型来构建判别器和生成器。这里是通过引入nn.Module基类的方法来构建的

判别器构建过程遵循PyTorch 的Sequential 网络构建方法。我们使用4层网络结构，每层都使用全连接并带有LeakyReLU激活和dropout以防止过拟合。最后一层使用sigmoid来保证输出值为0到1之间的概率值。在设计前馈过程函数时，注意将每个样本量的输入矩阵转换为784的向量完全连接。

接下来构建生成器。该模型中设置生成器的每个输入样本都是一个大小为100 的向量，该向量是通过具有LeakyReLU 激活的全连接层构建的。最后一层用tanh激活，保证每个样本的输出是784的向量。

接下来，实例化生成器和判别器，并设置学习率和损失函数。根据定义，值函数为：

在PyTorch中，BCELoss表示二项式交叉熵，其展开形式为：

，其中y 是标签，x 是输出。那么，对于0和1这两个标签，当时，上式的第一项不存在，只剩下的第二项。当时，上式的第二项不存在，只剩下的第一项。那么BCELoss的结构与损失函数相同，只不过我们定义的损失函数有两个输出，分别为真实数据和生成器生成的数据。

接下来，您可以定义如何训练鉴别器。值得注意的是，这里需要设置zero_grad()来消除之前的梯度，避免梯度叠加。另外，我们添加真实数据的损失和假数据的损失作为最终的损失函数。然后，通过反向传播，与之前的决策优化器进行优化，通过减少BCELoss来增加价值函数的值。

同样，接下来我们需要定义生成器的训练方法。注意这里的real_labels稍后会被设置为1。因为对于所有生成器的输出，我们希望它从真实的数据分布中学习，那么此时的BCELoss为。最终，我们希望判别器的输出越接近1，即判别器判定该数据为真实数据的概率越大。因此，这里还是对BCELoss进行约简，生成器的损失函数可以通过直接调用criterion来设置。

我们之前将生成器的每个样本的输入设置为大小为100 的向量。这里我们将从生成器的输入生成大小为100 的向量，并服从标准正态分布。

一切准备就绪，开始GAN训练。

下面是刚刚生成的图片

文章分享结束，深入解析：生成对抗网络（GAN）在数据生成与处理中的应用和的答案你都知道了吗？欢迎再次光临本站哦！