投稿

生成对抗网络在以后的主要应用是什么（生成对抗网络有哪些）

用户投稿 • • 网络资讯 • 阅读 689

Building AI that can generate images of things it has never seen before

生成对抗网络（GAN）可以无中生有，生成它未见过的事物图像吗？

生成对抗网络 (GAN) 是一种成熟的 AI 方法来创建图像，无论是逼真的图片还是抽象的拼贴画。然而，迄今为止，这些模型有一个重要的限制：它们通常只能生成与训练数据集密切相关的对象或场景的图像。

例如，在汽车图像上训练的传统 GAN 在被要求生成其他汽车图像时显示出令人印象深刻的结果，但如果被要求在其汽车数据集之外生成花朵或其他物体的图像，则可能会失败。

Facebook AI 通过实例条件 GAN (IC-GAN) 在解决这个问题方面取得了长足的进步，这是一种新的简单图像生成模型，可以创建高质量、多样化的图像——即使它的输入图像没有出现在训练集中. 与以前的方法不同，IC-GAN 可以生成逼真的、不可预见的图像组合，例如城市中被雪包围的骆驼或斑马。我们的方法表现出跨不同类型对象的卓越传输能力。研究人员可以将现成的 IC-GAN 与以前未见过的数据集一起使用，并且仍然可以生成逼真的图像，而无需标记数据。

借助这些新功能，IC-GAN 可用于创建新的视觉示例，以增强数据集以包含不同的对象和场景；帮助艺术家和创作者提供更广泛、更有创意的 AI 生成内容；并推进高质量图像生成的研究。

训练和使用 IC-GAN

称为类条件 GAN 的标准方法专注于对类标签进行调节，有效地将数据划分为与这些标签相对应的组。这使他们能够生成比无条件对应物更高质量的样本。这些 GAN 不仅能够创建随机图像，还能够创建适合特定标签的图像，例如“服装”或“汽车”。但是，它们依赖于可能无法获得或无法获得的标记数据。

以前用于图像生成的无标签学习方法（不使用标记数据）一直很有希望，但是当被训练来对复杂数据集（例如 ImageNet）进行建模时，它们的输出质量通常很差。它们要么使用粗略的、不重叠的数据分区（导致非常大的集群，每个集群都包含非常不同的对象的图像，因此在语义上不会与模型试图创建的图片相似）。或者他们使用精细的分区，因为集群包含的数据点太少，结果往往会恶化。

我们的新方法 IC-GAN 可用于标记数据集和未标记数据集。它扩展了 GAN 框架以对本地和重叠数据集群的混合进行建模。它可以获取单个图像（或“实例”），然后生成与数据集中实例最近的邻居相似的图像。我们使用邻居作为判别器的输入，以强制生成器创建与每个实例的邻域样本相似的样本。这避免了将数据划分为小集群的问题，因为很多数据是重叠的，因此模型可以更有效地使用数据集。

一旦模型经过训练，我们就会在它从未见过的图像上对其进行测试。使用单个图像，该模型可以生成与数据集中最近邻相似的视觉丰富的图像。

生成对抗网络在以后的主要应用是什么（生成对抗网络有哪些）

IC-GAN 使用左侧的实例生成右侧显示的相应图像。在这种情况下，没有提供类标签。

IC-GAN 使用左侧的实例生成右侧显示的相应图像。在这种情况下，没有提供类标签。

对于类条件设置（训练集包括标记图像）以及根本没有标签的情况，IC-GAN 可以转移到训练期间未看到的其他数据集。在 IC-GAN 的情况下，我们通过在推理时交换条件实例来做到这一点。在类条件 IC-GAN 的情况下，我们可以交换实例条件或类标签。通过适当地组合实例和类标签，类条件 IC-GAN 可以创建在当前数据集中不存在或非常罕见的不寻常场景。例如，给定一个被雪包围的扫雪机图像和一个没有出现在实例条件中的类标签“骆驼”，我们可以生成被雪包围的骆驼，绕过骆驼只生活在沙漠中的偏见。

生成对抗网络在以后的主要应用是什么（生成对抗网络有哪些）

当以左侧显示的图像和类标签为条件时，IC-GAN 生成了右侧显示的图像。

当以左侧显示的图像和类标签为条件时，IC-GAN 生成了右侧显示的图像。

将 IC-GAN 应用于未来的工作

IC-GAN 可用于增强数据并包括训练数据中不常见的项目或对象。此外，由于它适用于不同的领域，我们的方法可以为对象识别模型生成更多样化的训练数据。例如，传统的 GAN 模型将无法生成站在城市地区的斑马图像，因为它的训练数据可能只包含草原上斑马的图像。IC-GAN 模型可用于扩充数据并包括标准数据集中不常见的项目或对象。我们已经证明我们可以使用受控语义来生成不寻常的图像组合，例如沙中的奶牛。

未来，我们希望探索为该模型带来更多控制的方法。它不再只是关于背景和中心的对象。我们想探索如何在背景中放置更多物体，并确定物品的放置位置，从而创建复杂、完美的场景。

生成对抗网络在以后的主要应用是什么（生成对抗网络有哪些）

IC-GAN 能够使用此处显示的房屋图形来创建如下所示的更逼真的建筑物

IC-GAN 能够使用此处显示的房屋图形来创建如下所示的更逼真的建筑物。

通过将我们的预训练模型以及重现论文结果的代码发布到开源社区，我们希望这项研究将导致生成图像的 AI 模型比以往任何时候都更加灵活、准确和高效。

作者

  • Arantxa Casanova Paga
  • Marlene Careil
  • Jakob Verbeek
  • Michal Drozdzal
  • Adriana Romero Soriano
本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 sumchina520@foxmail.com 举报，一经查实，本站将立刻删除。
如若转载，请注明出处：https://www.sumedu.com/faq/262678.html
赞 (0)
用户投稿
0 0
上一篇 2022年8月25日 13:31
下一篇 2022年8月25日 13:57

相关推荐