方法1：ControlNet m2m脚本
这种视频到视频的方法使用起来比较简单，但闪烁的数量较多。
我们将使用下面的视频。
步骤1：更新A1111设置
在AUTOMATIC1111中使用controlnet m2m脚本之前，你必须进入Settings > ControlNet。选择以下两个选项。
- Do not append detectmap to output: Yes
- Allow other script to control this extension: Yes
第一个选项禁止将控制图像保存到图像输出文件夹中，这样你可以更容易地抓取帧图像。
第二个设置让controlnet m2m脚本将视频帧送入ControlNet扩展。
点击Apply Settings。重新加载Web-UI页面。
第二步：上传视频到ControlNet-M2M
在AUTOMATIC1111 Web-UI中，导航到txt2img页面。
在Script 下拉菜单中，选择ControlNet m2m脚本。
展开ControlNet-M2M部分。
将mp4视频上传至ControlNet-0标签。
第3步：进入ControlNet设置
展开ControlNet部分。输入以下设置：
Enable: Yes
Pixel Perfect: Yes
Control Type: Lineart
Preprocessor: lineart realistic
Model: control_xxxx_lineart
Control weight: 0.6
对于你自己的视频，你会想尝试不同的控制类型和预处理程序。
第四步：输入txt2img设置
在页面顶部的稳定扩散检查点中选择一个你想使用的模型。我将使用deliberate v2。
想出一个提示和一个负提示。我将使用以下内容：
photo of Sci fi cute girl, pink hair, photorealistic, in the style of franciszek starowieyski, white porcelain sci fi, mecha, 32k uhd, machine aesthetics, dark white and azure, hans zatzka, silver and pink, science fiction city,shiny pink hair, half body, oil painting, white backgrounddeformed, disfigured, ugly输入以下生成参数：
Sampling method: Euler a
Sampling steps: 20
Width: 768
Height: 512
CFG Scale: 7
Seed: 100
种子值需要固定，以减少闪动。改变种子将改变背景和角色的外观。
点击 “Generate“。
第5步：制作GIF动画或mp4视频
该脚本用ControlNet frame-by-frame转换图像。你会在txt2img输出文件夹中发现一系列的png文件。
你有两个选择：（1）将PNG文件合并成一个GIF动画；（2）制作一个mp4视频。
GIF动画
使用EZGIF页面将PNG文件转换为GIF动画。
在GIF选项中，将Delay time设置为5（以1/100秒计），每秒20帧。
这就是最终的GIF动画。
MP4视频
使用以下命令将png文件转换为MP4视频。(你需要在你的本地电脑上安装ffmpeg )
ffmpeg -framerate 20 -pattern_type glob -i '*.png' -c:v libx264 -pix_fmt yuv420p out.mp4ControlNet m2m script注意事项
不幸的是，在写这篇文章的时候，多个ControlNet并不能与m2m脚本一起工作。正如我们以后所看到的，多路ControlNet 是一个有用的技术，可以减少闪动。希望以后的更新能纠正这一点。
这里是另一个用ControlNet Line艺术改造的视频，很逼真。
用不同的ControlNets 进行实验，可以得到不同的结果。
