理解Photoshop的生成填充技术对摄影的意义

什么是生成填充技术？

生成填充技术是人工智能图像处理的典型例子。它使用机器学习从基于Adobe Stock图片和开放许可作品的广泛数据集中生成全新的图像。

目前，Photoshop的Beta版中实际上有两种不同的生成填充技术实现方式。其中一种（我认为对摄影师更有用）基本上可以看作是“超级内容感知填充”。它能够填充大面积区域，而且不会陷入其他填充或修复过程中常见的重复图案的问题。请注意，在这个复杂的背景下，它是如何顺利地移除了这辆汽车的：

考虑到复杂的图案、具有挑战性的光照以及没有任何源材料的区域，这个结果真的很令人印象深刻。实质上，Photoshop在梦想中构思了最可能的背景，并且很好地填补了缺失的区域。

但是生成填充技术可以做更多的事情 – 这就是它在纯粹的摄影方面变得不太有用，或许更适用于商业/广告工作的地方。也就是说，基于您输入的关键词文本描述，生成填充技术可以在您的场景中添加全新的元素。这种称为“文本到图像”的功能根据您的关键词生成全新的内容。

如下所示，如果我在选择区域后输入“白色卡车”，你可以看到它在图像的同一区域创建了一辆白色皮卡。Photoshop生成的卡车确实有一些在AI生成的照片中会看到的奇怪之处，但它足够接近真实的卡车形象，只需要花一两分钟进行手动修复，就能使其看起来非常无缝。令人惊讶的是，Photoshop甚至正确生成了卡车的阴影，以及我镜头的广角（稍微拉伸）透视效果！卡车的某些部分看起来很奇怪，但它不像是贴在图像上的纸板剪影，而是感觉像是场景的一部分。

Photoshop是如何做到这一点的呢？简而言之，它利用图像其他部分的上下文信息来生成最佳近似主题。这包括各种复杂的因素：透视、反射、光照和阴影的外观等。

即便如此，这个工具也有其局限性。生成填充技术目前仍处于测试阶段，并且本质上有些随机性。目前的一个限制是生成区域的最大长度限制约为1000像素。如果您选择的区域超过了这个大小，生成的材料会被上采样和拉伸以填补空白区域，这可能会使其看起来模糊不清、不协调。然而，您可以通过进行多个较小的选择来解决这个问题。

生成填充技术的另一个限制是它依赖于云处理。因为这个工具在Adobe的服务器上运行，所以在使用时需要保持活动的互联网连接，并且处理速度会有一定的延迟。相对于某些AI图像生成器来说，它仍然很快，并且每次甚至提供3种变体，但这并不能达到Photoshop用户对其他工具的近乎零处理的期望。

虽然生成填充技术的文本到图像功能可能是更引人注目、吸引头条新闻的方面，但对于许多摄影师来说，内容感知填充的一面可能更有用。以前，我面临着在一张复杂照片中克隆和修复讨厌的干扰物的巨大工作量。当我使用这个工具重新审视这些照片时，我惊讶地发现它只需一次点击和一个粗糙的选择就可以消除干扰。

替代内容感知填充和修复画笔

结合Photoshop新增的Remove工具（有效覆盖较小区域），生成填充技术现在是我需要移除大面积或复杂干扰物时首选的Photoshop工具之一。

老实说，它非常有效，以至于当涉及到为比赛、客户工作甚至仅仅是个人照片创作图像时，摄影师们需要思考自己的道德伦理和艺术责任。您可以轻松地改变场景，而且程度之大令人印象深刻，有些让人毛骨悚然。

伦理方面本身就可以成为一篇好文章。但为了将事情放入背景中，让我们看一下这个工具如何极大地改变照片的一些更多例子。以下是一个让我惊叹的例子：

如果您想要从这张照片中删除所有的汽车，你会怎么做呢？使用Photoshop以前的工具来完成这个任务将会非常耗时。只需看看汽车周围各种各样的纹理 – 您将不得不重建植物、树木、道路、墙壁等等。虽然完全可行，但付出的努力将会相当巨大。然而，通过生成填充技术，只需5个选择和每辆汽车一个运行的生成填充步骤，总共可能只需要2分钟的工作时间。

以下是结果 – 在网络分辨率下令人难以置信，即使放大到全分辨率照片中，基本上无瑕疵：

许多摄影师会发现自己需要删除复杂背景中的电线杆或路灯，所以我想尝试一下这个。以下是一个示例照片，如果考虑到玻璃上的细腻纹理，移除灯杆将需要大量手动编辑：

同样，使用Photoshop以前的工具也可以达到目标，但会花费一些时间。然而，生成填充技术在我进行宽松选择的情况下，就已经非常接近“最佳”了：

画布扩展

另一个出人意料地有效的功能是生成填充能够超出框架扩展的能力。也许您已经见过人们尝试利用这个功能来扩展古典绘画甚至专辑封面，为原作品赋予幽默的“背景”。对于摄影师而言，更有用的情况是在照片的任何一侧填充一些额外的画布。

再次出现了道德问题，这会让许多摄影师坚决拒绝使用这个工具。但是，如果您曾经遇到过一个挑剔的客户，在离修复时间太迟的时候突然改变主意，这可能会成为您的救命稻草。假设您拍摄了一张横向照片，但他们突然要求一张纵向照片怎么办？生成填充可以助您一臂之力：

至少目前为止，生成填充在网络分辨率图像方面效果最佳。大量放大通常会显示一些看起来不太对的区域。这还取决于图像 – 有时候，画布扩展看起来很棒。其他时候，Photoshop会在生成的区域中产生一些不需要的新对象。这就引出了我要提出的下一个观点：这种类型的技术并不总是完美的。

生成填充面临的挑战

如果您在Photoshop的生成填充测试版中尝试一下，很快就会意识到有些事情它做得不对。其中大多数限制涉及从头开始生成新内容，但其中一些也适用于点状修复类型的应用。它表现不佳的最大领域是什么？是文本。

生成文本是AI图像的一个主要限制。软件知道如何创建看起来像文本的胡言乱语，有时会生成难以理解顺序的真实字母 – 但是如果您希望AI内容实际上能够表达某些意思，几乎完全没什么希望。

生成填充面临困难的另一个领域是如果您需要生成标志或类似的东西。我想从版权和培训数据的角度来看，这是一个棘手的问题。您越是走向更晦涩的领域，情况可能就越糟。例如，您可以让生成填充制作出一个合理的美国国旗图案在旗杆上，但其他国家的国旗可能从不错的复制品到完全不准确的偏差都有。

还记得之前例子中生成的卡车吗？那就是生成填充的另一个限制 – 它绝对是一个“卡车状物体”，而且从眼角的视角看起来还不错。但仔细检查会发现很多问题，比如不同大小的轮胎，奇怪的门把手位置和没有车牌。

这在Photoshop中从头生成对象时经常发生。更复杂的主题往往会有更多问题，但即使是像长凳这样简单的东西，在仔细检查时看起来也不太对：

软件还难以同时结合多个概念。例如，如果我要求生成填充生成“狗坐在公园长凳上”的图像，它会给我以下的插图：

相当糟糕！

当然，您可以通过将这个提示分为两个概念来改善情况 – 首先生成一个长凳，然后在长凳上再生成一只狗。虽然看起来仍然不太确定，但至少比之前的好：

然而，这表明在“生成”方面的效果仍需要一些时间才能像“填充”部分一样出色。作为摄影师，这可能正是我们想要的 – 但对于商业应用而言，在任何复杂提示的各种变体上获得完全令人信服的结果可能仍需要一些时间。

未来展望

这种类型的工具还处于非常早期的阶段。Adobe专门将其限制在Photoshop的测试版中，并声明不适用于商业用途。但关于生成填充的未来（以及类似的其他内容生成工具）仍有许多问题。

一个未解之谜是在图像中使用此工具时如何处理版权问题。如果5%是由AI生成的，您是否能够对作品获得版权？那80%呢？不同的地区也在考虑围绕AI内容的监管和披露 – 这可能会严重影响商业摄影师。我认为，由于Adobe拥有庞大的库存图库，他们可能会比大多数AI公司更好地解决与版权相关的问题，但现在很难完全了解其影响。

对于艺术目的而言，在整个艺术界，尤其是在摄影领域，势必会存在巨大的分歧。如果您可以按需生成令人惊艳的日落景色，是否会贬低摄影师多次返回同一地点以获得完美光线的努力？如果照片大部分是真实的，但是像生成填充这样的工具被用于将画布在一侧扩展一英寸或两英寸呢？

然后还有一个问题，那就是Adobe将如何定价这个工具。服务器时间并非免费，尤其是对于运行这些模型所需的高性能GPU计算而言，而且Adobe在采取社区不受欢迎的定价模式时并没有退缩。目前还不清楚这个工具是否会有一天被隐藏在付费墙后。在我愿意支付“积分”之前，这项技术还有很长的路要走，但它可能不久就会达到那一步。

我认为潘多拉的盒子已经被打开了，像这样的AI生成工具只会变得越来越好。我们可以预期它在将来会在更高的分辨率下工作，更好地处理细节和生成更自然的图像。即使在当前形式下，这对摄影师来说仍然是一个非常强大的工具 – 尤其是如果您发现自己在为您的工作进行大量的点状修复。它在消除那些需要花费太多时间来克隆的干扰因素方面表现出色。

您尝试过生成填充吗？您是否认为它将在将来的编辑工作流程中扮演重要角色，还是您反对使用AI？我很想听听您在下面的评论中的想法。