免费工具:Stable Houdini将Stable Diffusion整合进Houdini

艺术家Stanislav Demchenko (stassius)发布了Stable Houdini,这是一个将Stable Diffusion整合到Houdini的开源工具包。

该工具包使得在Houdini内使用Stability AI的AI图像生成模型来创建概念艺术、哑光画甚至动画成为可能,并可以选择使用3D场景来指导结果。

稳定的Houdini可以完全在本地机器上运行,已经在虚拟制作公司EVR Systems的项目中使用,并且刚刚被SideFX公司在Houdini产品网站上介绍。

使用Stable Diffusion生成与Houdini场景构成相匹配的详细2D图像

我们过去曾介绍过另一个将Stable Diffusion技术整合到Houdini中的免费插件: Ubisoft TD Mohsen Tabasi的StableDiffusion_Houdini

和它一样,Stable Houdini让你从Houdini内部控制生成性AI模型,根据文本提示、源图像或3D场景的组成来创建2D图像。

上面的视频显示了该工具集的使用情况,它可以生成详细的二维环境和角色图像,与简单的遮挡几何图形相匹配,以及一个Mixamo股票角色的姿势。

潜在的使用案例包括创建概念艺术和故事板框架,为视觉效果镜头提供数字哑光背景,甚至为实时战略游戏提供背景

可以在离线机器上运行

这两个工具都可以使用开源的Stable Diffusion UI AUTOMATIC1111,使得在本地机器上运行AI模型成为可能,而不需要一个官方的Stability AI DreamStudio账户。

AUTOMATIC1111还包括AI图像缩放模型,使其有可能将稳定扩散生成的图像提升到生产中可用的分辨率。

 

也可用于生成简单的动画或使视频风格化

除此之外,Stable Houdini可以使用开源的AUTOMATIC1111的ControlNet扩展,对稳定的扩散进行更精细的控制,特别是在生成多帧时。

在上面的视频中,你可以看到可能的使用情况,包括创建简单的变形动画,对现有的视频进行风格化处理–甚至可以根据Rick Roll视频创建一个基努-里维斯跳舞的动画。

其结果不是特别的时间上的稳定,但效果在视觉上是相当令人愉悦的。

稳定的Houdini也可以用于更一般的图像或视频处理任务,如生成与当前帧相匹配的法线或深度图。

许可证和系统要求

稳定的Houdini与Houdini 19.5和Python 3.9兼容。可在GitHub上下载.hda文件和Houdini .hip演示场景。该源代码在Apache 2.0许可下可用。

AUTOMATIC1111仅以编译二进制文件的形式提供给Windows 10和Nvidia GPU,尽管如果你从源码安装,它也可以在AMD和苹果硅上运行。它在Affero GPL许可证下可用。

下载免费的Houdini Stable Diffusion工具箱 Stable Houdini from GitHub