稳定扩散3.5：稳定AI用新模型和扩展功能重新定义自己

Stability AI可能正在开始自己的救赎之路。在SD3 Medium令人失望之后，他们又回来了，推出了两款新机型7月份承诺：稳定扩散3.5大，稳定扩散3.5涡轮。

Stability在一份声明中表示：“6月，我们发布了Stable Diffusion 3 Medium，这是Stable Diffusion 3系列的第一个公开版本。这个版本没有完全符合我们的标准或我们社区的期望。”官方博客文章“在听取了宝贵的社区反馈后，我们没有快速解决问题，而是花时间进一步开发了一个版本，以推进我们改造视觉媒体的使命。”

在急于写这条突发新闻之前，我们生成了一些图片进行尝试——结果非常非常好。尤其是对于基础模型。

SD 3.5系列旨在在消费级系统上运行，甚至在某些标准下是低端系统，使高级图像生成比以往任何时候都更容易实现。是的，他们已经听到了对前一个版本的抱怨，所以这个版本有望变得更好——以至于他们的特色形象是一个躺在草地上的女人对恐怖秀的嘲讽当面临同样的挑战时，这种情况发生得更早。

图片：稳定AI

此版本的另一个重要方面是新的许可模式。Stable Diffusion 3.5采用更宽松的许可证，允许商业和非商业使用。小企业和收入低于100万美元的人可以免费使用和构建这些模型。

收入较高的公司必须联系Stability协商费用。相比之下，黑森林实验室提供其低端Flux Schnell是免费的，其中型Flux Dev是免费且非商业用途的，其SOTA型号Flux Pro是闭源模型（作为参考，Flux通常被认为是目前最好的开源图像生成器，至少在当前的后SDXL时代是这样。）

稳定扩散3.5有什么好处？

Stability AI发布了三个版本的Stable Diffusion 3.5，所有版本都满足了不同的需求：

• 稳定扩散3.5大：这是最大的一个，有80亿个参数，旨在提供一流的图像质量和严格的即时遵守。它专为专业用途而设计，特别是在100万像素的分辨率下，但可以处理各种风格和视觉格式。

• 稳定扩散3.5大涡轮：对于那些想用一点质量换取速度的人来说，这款精简版的Large型号是你的首选。它只需四个步骤即可生成高质量的图像，这与普通的SD3.5不同，后者需要大约30个步骤才能生成高质量图像。这相当于Flux Schell。

• 稳定扩散3.5介质：该模型即将推出，具有25亿个参数，并针对消费硬件进行了优化。对于那些需要在0.25至200万像素的分辨率下获得稳定性能，同时又不牺牲易定制性的用户来说，这是一个中间地带。

这些模型更加灵活，允许用户根据特定的创意需求对其进行微调。如果你担心你的消费级GPU能否处理这个问题，Stability AI会支持你。我们自己的测试显示，在具有6GB VRAM的RTX 2060上，Large Turbo可以在大约40秒内吐出图像。

非量化的全脂版本在相同的低端硬件上需要3分钟以上的时间，但这就是质量的代价。

引擎盖下的改进

稳定性AI正在追赶Flux，Flux是可定制性的首选模型。为了改善用户体验，Stability重新构想了SD 3.5的行为方式。Stability说：“在开发模型时，我们优先考虑可定制性，以提供灵活的基础。为了实现这一点，我们将查询密钥规范化集成到转换器块中，稳定了模型训练过程，简化了进一步的微调和开发。”。

换句话说，你可以比以前更容易地调整和改进这些模型，无论你是想要创建自定义样式的艺术家还是想要构建AI驱动应用程序的开发人员。稳定甚至共享LoRA培训指南帮助事情更快地开始。

LoRA（低阶自适应）是一种微调模型以专注于特定概念的技术，无论是风格还是主题，而无需重新训练整个大型基础模型。

描述：同一代人没有LoRA与使用LoRA添加更多细节。图片： 奇维塔

当然，灵活性带来了一些权衡。该模型现在非常有创意，以至于Stability警告说，“缺乏特异性的提示可能会导致输出的不确定性增加，美学水平可能会有所不同”

如果你仍然对Stable Diffusion 3.5持观望态度，而它的“不确定性”让你望而却步，那么这里有一些面向未来的建议——它支持“负面提示”，这意味着你的提示可以包括指令not做事情。对于那些想在不费力的情况下改进文本和图像生成的人来说，这是一个巨大的福音。

对于那些希望对自己的世代有更多控制权的人来说，这是一个很好的补充。此外，它似乎很擅长处理老式的SDXL风格的提示。事实上，在某些方面，SD3.5的提示风格比Flux更接近MidJourney，允许用户在不需要语言学学位.

除了定制，Stable Diffusion 3.5还在其他领域取得了进展：

• 快速遵守：在遵循用户输入方面，Large模型现在可以与更大的模型相媲美，并且在图像生成器领域处于领先地位。稳定性保证了SD 3.5大拍Flux.1 Dev在快速粘附方面的表现，但在美学质量方面仍然没有。

图片：稳定AI

• 图像质量：我们谈论的是生成能够承受一些最耗资源的模型的图像，而不会消耗GPU的内存。在Stability的基准测试中，Flux.1 Dev稍显领先，但SD 3.5 Large的效率更高，资源消耗更少。Sd 3.5 Large Turbo在附着力和质量方面与Flux.1 Schnell相当。

• 风格多样性：无论您的目标是3D渲染、照片级真实感图像、线条艺术还是绘画风格，Stable Diffusion 3.5都可以处理。它处理的风格比Flux更广泛——至少在我们的快速测试中是这样。

是的，值得一提的是，它没有经过审查。SD3.5 Large可以制作某些类型的内容，包括裸体，但并不太困难，尽管它并不完美。无论好坏，该模型都没有被故意限制，因此它为用户提供了充分的创作自由（尽管可能需要微调和一些特定的提示才能达到最佳效果）。

这在SD3推出时受到了严厉的批评，并被指出是它在解剖学理解方面如此困难的主要原因之一。我们可以确认其生成NSFW图像的能力，然而，该模型与最佳Flux微调不在同一水平，但与原始Flux模型相当。

但公平的警告是：尽管SD3.5功能强大，但你们NSFW Furry艺术家不应该很快或根本不期待小马扩散模型。最受欢迎和最强大的NSFW模型的创建者证实，他们对开发SD3.5微调不感兴趣。相反，他们选择使用Auraflow作为基地。一旦完成，他们可能会考虑Flux。

对于那些修补匠来说，ComfyUI现在支持Stable Diffusion 3.5，允许使用基于签名节点的工作流进行本地推理。有很多工作流程示例可供使用，如果您正在努力降低RAM，但想尝试完整的SD3.5体验，Comfy推出了一个实验性的fp8缩尺模型这降低了内存使用率。

接下来是什么？

10月29日，我们将获得Stable Diffusion 3.5 Medium，不久之后，Stability承诺发布SD 3.5的Control Nets。

ControlNets承诺将带来针对专业用例量身定制的高级控制功能，它们很可能将SD3.5的功能提升到一个新的水平。如果你想了解更多关于他们的信息，你可以阅读我们的摘要SD 1.5的简要指南然而，使用控件可以让用户做一些事情，比如选择拍摄对象的姿势、玩弄深度图、根据涂鸦重新想象场景等等。

原始图像与使用Controlnet影响子节点姿势的生成。图片来源：Jose Lanz

那么，稳定扩散3.5是通量杀手吗？不完全是，但它肯定开始看起来像一个竞争者。一些用户仍将吹毛求疵尤其是在SD3 Medium的惨败之后。但是，随着更好的解剖处理、更清晰的许可证以及及时遵守和输出质量的显著提高，很难说这不是向前迈出的一大步。稳定人工智能正在从过去的错误中学习，并朝着一个所有人都能更容易地使用先进人工智能工具的未来迈进。