手把手教你用Stable Diffusion制作动画视频(5种方法)

方法5:Temporal Kit

Temporal Kit实现了几种视频到视频转换的方法。我在这里只告诉你一个最好的方法。

其基本思想是在整个视频中挑选关键帧(如16个),用图像到图像的方式对其进行风格化处理,并将其作为参考来绘制相邻的帧。

这种方法是由EbSynth开创的,它是一个用于绘制视频的计算机程序。它是在稳定扩散之前创建的,但稳定扩散中的img功能给了它新的生命。

然而,如果你在单个帧上进行图像对图像的处理,效果会很差。原因是产生的图像缺乏连贯性。

诀窍是通过将所有关键帧缝合在一个巨大的片断中来一次转换。像这样:

手把手教你用Stable Diffusion制作动画视频(5种方法)

我们以前都是手动操作的。但有了Temporal Kit,你就不必这样做了。

步骤1:安装Temporal Kit扩展

在AUTOMATIC1111 Web-UI中,导航到扩展页面。

选择Install from URL标签。

URL for extension’s git repository字段中,输入

https://github.com/CiaraStrawberry/TemporalKit

点击Install

完全关闭并重新启动Web-UI。

第2步:安装FFmpeg

访问FFmpeg的下载页面,下载适合您平台的FFmpeg程序。

它应该是一个压缩文件。解压缩后,你应该看到一个名为ffmpegffmpeg.exe 的文件。这就是你需要的FFmpeg程序

但为了让Temporal Kit使用它,你需要把它放在PATH中,这样它就可以在任何地方被所有人访问。

如果你知道PATH的意思。把它放在PATH中的一个目录中。

如果不知道,请继续阅读…

窗口

Windows键。输入envirnoment ,然后点击 “为你的账户编辑环境变量 “项。

手把手教你用Stable Diffusion制作动画视频(5种方法)

选择PATH,然后编辑。

点击 “新建“添加一个新条目,然后输入

%USERPROFILE%bin

添加后,你应该看到上述路径的新条目。

点击确定,保存并退出。

打开文件管理器。在地址栏中,输入

%USERPROFILE%

并按回车键。你应该已经到了你的主文件夹。

创建一个名为bin 的新文件夹。

在地址栏中输入以下内容,并按回车键,以测试进入那里。

%USERPROFILE%bin

你应该是在你新创建的文件夹bin

现在把ffmpeg.exe 放在这个文件夹里,你就全部准备好了。现在该文件已经在你的PATH中。

为了测试,按Windows键打开一个命令提示符,输入cmd 。按回车键。

在命令提示符中,输入

ffmpeg

并按回车键。

手把手教你用Stable Diffusion制作动画视频(5种方法)

你应该看到ffmpeg的帮助页面。

Mac或Linux

打开终端应用程序。

在你的主目录下创建一个新的文件夹bin

mkdir ~/bin

ffmpeg 文件放到新目录下。你可以使用Finder。

在你的主目录中编辑.zprofile

添加以下一行

export PATH=~/bin:$PATH

启动一个新的终端,输入

ffmpeg

你应该看到ffmpeg的帮助页面显示。这就验证了FFmpeg在你的路径中。

第3步:输入预处理参数

在AUTOMATIC1111中,转到Temporal Kit页面。

转到Pre-Processing标签。

上传你的视频到输入视频画布。(如果你想使用相同的视频来跟随教程,请下载这个视频)。

接下来是生成一个巨大的关键帧表。这张表将通过img2img,以便所有关键帧都有相同的风格。

设置:

  • Side: 4 (This is setting a 4×4 images grid)
  • Height resolution: 2048 (Since each image is 512, 512×4 = 2048)
  • frames per keyframe: 4 (How many frames each keyframe is responsible for)
  • fps: 30
  • EbSyth mode: Yes
  • Target Folder: Put in a folder name path to wish to save this project to. E.g. G:temporalkittest1

点击右侧面板上的运行。你应该看到一张4×4关键帧的生成。

手把手教你用Stable Diffusion制作动画视频(5种方法)

确保这些关键帧覆盖你自己的视频的整个视频。如果没有,请调整这些参数。

如果你在下一个img步骤中遇到内存不足的问题,减少侧边或分辨率参数。

如果你对结果满意,点击保存设置

点击发送至img2img。

第四步:在关键帧上执行Img2img

转到Img2img页面。关键帧的巨片应该已经在图像画布上了。

切换到Batch标签。

输入目录:你的目标目录的名称,后面加上input 。比如说。G:temporalkittest1input

输出目录:类似的,但后面加了output 。例如。G:temporalkittest1output

图像大小应该被自动纠正和设置。(2048×2048).

输入一个提示。我使用了

photo of Sci fi cute girl, pink hair, photorealistic, in the style of franciszek starowieyski, white porcelain sci fi, mecha, 32k uhd, machine aesthetics, dark white and azure, hans zatzka, silver and pink, science fiction city,shiny pink hair, half body, oil painting, white background

还有一个负面的提示:

deformed, disfigured, ugly

采样方法:DPM++2M Karras

采样步骤:20

CFG规模:7

去噪强度:0.5(相应调整)。

在ControlNet(单元0)部分,设置:

  • Enable: Yes
  • Pixel Perfect: Yes
  • ControlType: Tile
  • Preprocessor: tile_resample
  • Model: control_xxxx_tile

按 “生成“。完成后,你会在批处理输出文件夹中找到图像。

确保以全尺寸打开图像,检查全尺寸的细节。确保它们看起来很清晰,并且有一个一致的风格。

第5步:准备EbSynth数据

现在我们需要生成数据以放入EbSynth中。

进入Temporal-Kit页面,切换到Ebsynth-Process标签。

输入文件夹:放在与你在 预处理页面中的目标文件夹路径相同的地方。例如G:temporalkittest1

点击读取last_settings。如果你的输入文件夹是正确的,视频和设置将被填充。

手把手教你用Stable Diffusion制作动画视频(5种方法)

点击prepare ebsynth。完成后,你应该看到keys文件夹中填充了你的风格化关键帧,frames文件夹中填充了你的图像。

第6步:用EbSynth处理

现在打开EbSynth程序。

打开文件管理器并导航到项目文件夹。你应该有如下所示的文件夹。我们需要EbSynth的keys文件夹和frames文件夹。

手把手教你用Stable Diffusion制作动画视频(5种方法)

从文件资源管理器中拖动keys folder并将其放到EbSynth的关键帧区域。

从文件资源管理器中拖动frames folder,并将其放到EbSynth的框架区域。

在这两步之后,EbSynth应该已经填充了正确的设置和一堆合成器按钮。每个关键帧都有一行。每个关键帧作为一个参考,对一定数量的帧进行样式化。

手把手教你用Stable Diffusion制作动画视频(5种方法)

点击 “全部运行“,等待它们完成。

当它完成后,你应该看到在目标项目文件夹中生成了一系列out_##### 的目录。

第7步:制作最后的视频

现在回到AUTOMATIC1111。你应该仍然是在Temporal Kit页面和Ebsynth-Process标签上。

点击recombine ebsynth,你就完成了!

手把手教你用Stable Diffusion制作动画视频(5种方法)

看看视频是多么流畅。通过一些调整,你可能可以让它变得更好!

变化

多重ControlNets

实验一下多重控制网,进一步修复小细节,减少闪烁。

例如,你可以添加第二个控制网,只用参考来修复角色的外观。我使用了之前生成的视频中的一个帧。

手把手教你用Stable Diffusion制作动画视频(5种方法)

这是带有线型图和纯参考控制网的视频。

其他设置

实验去噪强度,在变化量和闪烁之间进行权衡。

有时,输入的视频太难,无法用ControlNet很好地处理。试试另一个更大的、缓慢移动的主题。

消除闪烁

多重控制网

使用多个ControlNet来修复视频中的特征,可以大大减少闪烁。

例如,这是用一个控制网,线条艺术写实。

手把手教你用Stable Diffusion制作动画视频(5种方法)
线条艺术写实(权重:0.6)

如果我们再增加一个控制网,即瓦片重采样,会怎么样?

手把手教你用Stable Diffusion制作动画视频(5种方法)
线描写实(权重:0.6)。瓦片重采样(权重:0.5)。

它不仅可以减少闪烁,而且还有助于保留原始视频的颜色。

通过添加Canny控制网,可以实现类似程度的去抖动。

手把手教你用Stable Diffusion制作动画视频(5种方法)
Lineart realistic(权重:0.6)。Canny (权重: 0.5)

这样做的代价是需要更长的时间来处理一个视频。但我认为这是值得的!

后期处理

使用稳定扩散控制网制作的视频仍然有一定程度的闪烁。这里有一些你可以做的事情,就是消除抖动。

Da Vinci Resolve有一个 deflickering插件,你可以很容易地应用到稳定扩散的视频上。不幸的是,它只在付费版本(Studio)中提供。

如果你不准备掏钱买,又精通技术,就用这个deflickering模型来处理你的视频。

确定性取样器

使用确定性取样器来减少闪动。

下面是使用Euler a,一个随机的采样器。(用SD-CN-animation制作的。)

手把手教你用Stable Diffusion制作动画视频(5种方法)

下面的视频除了使用DPM++2M Karas这个确定的采样器外,使用了相同的设置。

手把手教你用Stable Diffusion制作动画视频(5种方法)

请注意她的脸和头发的闪烁较少。

确定性采样器的一些例子有

  • Euler
  • LMS
  • Heun
  • DPM++2M
  • DPM++2M Karas

请参阅采样器文章了解概况。

(1)
上一篇 2023年6月14日 22:45
下一篇 2023年6月11日 12:20

相关推荐

分享本页
返回顶部