[Stable Diffusion教程 2024] 本机AI视频生动画 | AnimateDiff桌面UI工具DiffEx使用指南 | 免费 快捷 为自己做动画
TLDR大家好，我是小林。今天分享的主题是DiffEx AI视频生动画工具的使用指南。DiffEx是Stable Diffusion的一个衍生工具，它简化了动画制作流程，允许用户在本机生成视频，既自由又经济。用户只需3-5步即可完成动画制作，无需复杂的手动配置。在开始之前，需要在本机安装DiffEx及其依赖的AnimateDiff Prompt Travel和ffmpeg。安装完成后，用户可以选择AI模型，设置动画参数，如帧率和画质，并上传视频进行动画生成。视频中还展示了如何解决安装过程中可能遇到的问题，如torch版本与CUDA不兼容的问题。最后，动画视频文件将保存在指定目录下，用户可以快速浏览生成的每一帧图片，体验慢动作的动画效果。如果你对本机AI视频生动画感兴趣，这个视频将为你提供全面的指导。
Takeaways
- 😀 DiffEx是一种桌面工具，允许用户在本机生成动画视频，不需网络连接。
- 🔧 与其他在线服务如Sora和Pika相比，DiffEx提供更大的自由度和经济性。
- 🎞️ 用户可以轻松地将普通视频转换成动画，例如将跳舞视频变为动画。
- 📦 安装DiffEx前需要安装多个依赖项，包括Python、Git和FFmpeg。
- 🚀 DiffEx的操作界面简洁，用户通常只需3-5步即可完成动画制作。
- 💾 用户需要手动下载并安装动画生成所需的模型和编解码器。
- 👗 在DiffEx中，可以通过简单的设置更改动画中的元素，比如更改服装颜色。
- 🔄 生成动画时，DiffEx支持自定义宽度、高度、帧率和视频格式。
- 🛠️ 如果出现兼容性问题，如Torch未编译CUDA，用户需根据设备更新相应的软件版本。
- 🎥 最终动画保存在指定目录，用户可以通过图片浏览器查看动画的每一帧。
Q & A
DiffEx是什么？
-DiffEx是一个AI视频生动画工具，是Stable Diffusion的一个衍生工具，它允许用户在本机生成视频动画，简化了动画制作流程。
使用DiffEx之前需要安装哪些软件？
-使用DiffEx之前，需要安装AnimateDiff Prompt Travel、python、git和ffmpeg。AnimateDiff Prompt Travel是DiffEx依赖的动画生成工具，python和git是编程环境和版本控制工具，ffmpeg用于视频的编解码工作。
如何下载并安装DiffEx？
-可以在C站找到DiffEx，下载后解压缩文件，在Diffex目录里运行animatediff-installer.bat文件以安装依赖，然后设置系统环境变量以包含ffmpeg的bin路径。
安装AnimateDiff Prompt Travel需要多长时间？
-安装AnimateDiff Prompt Travel的时间根据网速不同可能需要5-30分钟。
在DiffEx中，如何添加AI模型？
-用户需要手动下载AI模型，并将它们存放到DiffEx文件夹中对应的目录里，如Model对应sd目录，Motion Module对应motion-module目录，Vae对应vae目录。
DiffEx中的Scheduler是什么？
-Scheduler在DiffEx中对应WebUI里的Sampling method，即抽样方法，它与生成图片的AI模型、动作模型和图片编解码器一起工作，用于动画制作。
在DiffEx中，如何开始动画制作？
-在DiffEx中，用户首先需要输入项目的名称，选择相应的AI模型、动作模型和图片编解码器，设置Scheduler、Steps、CFG和FPS等参数，然后选择视频并开始Stylize过程，之后输入提示词进行动画生成。
如果遇到Torch not compilied with CUDA enabled的错误，应该如何解决？
-需要确保安装的torch版本与CUDA版本兼容。可以通过打开命令窗口，进入DiffEx下的animatediff-cli-prompt-travel目录，启动python虚拟环境，然后根据提示信息安装或更新torch版本和CUDA驱动来解决这个问题。
动画视频文件生成后保存在哪里？
-动画视频文件保存在animatediff-cli-prompt-travel的stylize目录下，具体在日期加项目名称的日期目录中。
在DiffEx中，如何查看动画的每一帧图片？
-可以在动画视频文件保存的目录中找到生成动画的每一张图片，使用图片浏览器打开并快速浏览它们，可以看到慢动作的动画效果。
DiffEx相比在线动画生成工具有哪些优势？
-DiffEx允许用户在本机生成视频，相比在线工具更加自由和经济，同时简化了动画制作流程，减少了手动配置的繁琐步骤，通常只需3-5步即可完成动画制作。
为什么在第一次使用DiffEx时建议上传3秒以内的视频？
-因为较长的视频会导致动画生成的时间非常长，可能会挑战用户的耐心。为了实验的便捷性，建议初次使用时选择较短的视频进行尝试。
Outlines
🚀 Introduction to DiffEx AI Video Animation Tool
The first paragraph introduces the presenter, 小林 (Kobayashi), and the topic of the video, which is the DiffEx AI video animation tool. It highlights the tool's ability to transform videos, such as a dancing girl or a racing car, into smooth and natural animations while controlling flickering issues. The tool is positioned as a user-friendly and cost-effective alternative to other online animation generators like Sora and Pika, as it allows for local video generation. The video also mentions the simplification of the animation creation process with DiffEx, which is a derivative tool of Stable Diffusion, and contrasts it with the more complex SD WebUI setup. The audience is encouraged to follow along as the video demonstrates the capabilities of DiffEx after a brief overview of the installation process for DiffEx and its dependencies, including AnimateDiff Prompt Travel, python, git, and ffmpeg.
🎬 Using DiffEx for Video Stylization and Animation
The second paragraph delves into the process of using DiffEx to stylize and animate videos. It suggests starting with a short video for initial experiments to manage animation generation time. The paragraph outlines the steps to prepare the video for stylization, which includes setting the FPS to match the setup interface and monitoring the process through the console for any issues. After stylization, the user is guided to the Prompt interface to input descriptors for the video content and to modify elements such as changing the girl's dress color to red. The paragraph also covers the selection of a Controlnet model and the configuration of additional ControlNet Units if desired. Finally, it details the execution of the animation generation, including setting the video parameters and troubleshooting potential errors, such as compatibility issues between torch and CUDA versions. The video concludes with instructions on where to find the generated animation files and offers assistance for any installation issues through the video's comment section.
Mindmap
Keywords
💡DiffEx
💡AnimateDiff Prompt Travel
💡ffmpeg
💡AI模型
💡Stable Diffusion
💡视频编解码
💡ControlNet
💡Stylize
💡Prompt
💡HiRes
💡LCM
💡CUDA
Highlights
DiffEx是一个AI视频生动画工具，可以轻松将视频转换成动画效果，如将跳舞的小姐姐或飞驰的赛车转换成动画。
动画效果自然流畅，有效控制了画面闪烁问题。
DiffEx允许用户在本机生成视频，相比在线工具更自由且经济。
DiffEx简化了动画制作流程，只需3-5步即可完成动画制作。
作为Stable Diffusion的衍生工具，DiffEx无需繁琐的手动配置。
用户可以在C站下载DiffEx，并解压缩以安装。
安装DiffEx前需要安装AnimateDiff Prompt Travel、python、git和ffmpeg。
AnimateDiff Prompt Travel的安装可能需要5-30分钟，取决于网速。
DiffEx的主程序和依赖文件可以在DiffEx的目录中找到。
AI模型需要手动安装，包括Model、Motion Module和VAE。
用户可以从指定链接下载所需的AI模型，并存放到相应的目录。
在DiffEx中设置项目名称、选择模型、设置帧率等参数后，可以开始动画制作。
Stylize步骤是将视频抽帧和生成蒙版，但不生成视频。
Prompt界面允许用户输入提示词来修改原视频内容。
Execute界面用于指定动画的宽高、帧率、帧数和视频格式等参数。
生成动画时可能会遇到错误，如Torch和CUDA版本不兼容，需要按照指示修复。
动画视频文件保存在animatediff-cli-prompt-travel的stylize目录下。
用户可以通过图片浏览器快速浏览生成动画的每一张图片，体验慢动作动画效果。
视频教程详细介绍了DiffEx的安装和使用步骤，适合初学者学习和参考。