艺术家Stanislav Demchenko (stassius)发布了Stable Houdini,这是一个将Stable Diffusion整合到Houdini的开源工具包。
该工具包使得在Houdini内使用Stability AI的AI图像生成模型来创建概念艺术、哑光画甚至动画成为可能,并可以选择使用3D场景来指导结果。
稳定的Houdini可以完全在本地机器上运行,已经在虚拟制作公司EVR Systems的项目中使用,并且刚刚被SideFX公司在Houdini产品网站上介绍。
使用Stable Diffusion生成与Houdini场景构成相匹配的详细2D图像
我们过去曾介绍过另一个将Stable Diffusion技术整合到Houdini中的免费插件: Ubisoft TD Mohsen Tabasi的StableDiffusion_Houdini。
和它一样,Stable Houdini让你从Houdini内部控制生成性AI模型,根据文本提示、源图像或3D场景的组成来创建2D图像。
上面的视频显示了该工具集的使用情况,它可以生成详细的二维环境和角色图像,与简单的遮挡几何图形相匹配,以及一个Mixamo股票角色的姿势。
潜在的使用案例包括创建概念艺术和故事板框架,为视觉效果镜头提供数字哑光背景,甚至为实时战略游戏提供背景。
可以在离线机器上运行
这两个工具都可以使用开源的Stable Diffusion UI AUTOMATIC1111,使得在本地机器上运行AI模型成为可能,而不需要一个官方的Stability AI DreamStudio账户。
AUTOMATIC1111还包括AI图像缩放模型,使其有可能将稳定扩散生成的图像提升到生产中可用的分辨率。
也可用于生成简单的动画或使视频风格化
除此之外,Stable Houdini可以使用开源的AUTOMATIC1111的ControlNet扩展,对稳定的扩散进行更精细的控制,特别是在生成多帧时。
在上面的视频中,你可以看到可能的使用情况,包括创建简单的变形动画,对现有的视频进行风格化处理–甚至可以根据Rick Roll视频创建一个基努-里维斯跳舞的动画。
其结果不是特别的时间上的稳定,但效果在视觉上是相当令人愉悦的。
稳定的Houdini也可以用于更一般的图像或视频处理任务,如生成与当前帧相匹配的法线或深度图。
许可证和系统要求
稳定的Houdini与Houdini 19.5和Python 3.9兼容。可在GitHub上下载.hda文件和Houdini .hip演示场景。该源代码在Apache 2.0许可下可用。
AUTOMATIC1111仅以编译二进制文件的形式提供给Windows 10和Nvidia GPU,尽管如果你从源码安装,它也可以在AMD和苹果硅上运行。它在Affero GPL许可证下可用。