[Stable Diffusion教程 2024] 本机AI视频生动画 | AnimateDiff桌面UI工具DiffEx使用指南 | 免费 快捷 为自己做动画

小林AI实验室
2 Mar 202409:23

TLDR大家好，我是小林。今天分享的主题是DiffEx AI视频生动画工具的使用指南。DiffEx是Stable Diffusion的一个衍生工具，它简化了动画制作流程，允许用户在本机生成视频，既自由又经济。用户只需3-5步即可完成动画制作，无需复杂的手动配置。在开始之前，需要在本机安装DiffEx及其依赖的AnimateDiff Prompt Travel和ffmpeg。安装完成后，用户可以选择AI模型，设置动画参数，如帧率和画质，并上传视频进行动画生成。视频中还展示了如何解决安装过程中可能遇到的问题，如torch版本与CUDA不兼容的问题。最后，动画视频文件将保存在指定目录下，用户可以快速浏览生成的每一帧图片，体验慢动作的动画效果。如果你对本机AI视频生动画感兴趣，这个视频将为你提供全面的指导。

Takeaways

  • 😀 DiffEx是一种桌面工具，允许用户在本机生成动画视频，不需网络连接。
  • 🔧 与其他在线服务如Sora和Pika相比，DiffEx提供更大的自由度和经济性。
  • 🎞️ 用户可以轻松地将普通视频转换成动画，例如将跳舞视频变为动画。
  • 📦 安装DiffEx前需要安装多个依赖项，包括Python、Git和FFmpeg。
  • 🚀 DiffEx的操作界面简洁，用户通常只需3-5步即可完成动画制作。
  • 💾 用户需要手动下载并安装动画生成所需的模型和编解码器。
  • 👗 在DiffEx中，可以通过简单的设置更改动画中的元素，比如更改服装颜色。
  • 🔄 生成动画时，DiffEx支持自定义宽度、高度、帧率和视频格式。
  • 🛠️ 如果出现兼容性问题，如Torch未编译CUDA，用户需根据设备更新相应的软件版本。
  • 🎥 最终动画保存在指定目录，用户可以通过图片浏览器查看动画的每一帧。

Q & A

  • DiffEx是什么？

    -DiffEx是一个AI视频生动画工具，是Stable Diffusion的一个衍生工具，它允许用户在本机生成视频动画，简化了动画制作流程。

  • 使用DiffEx之前需要安装哪些软件？

    -使用DiffEx之前，需要安装AnimateDiff Prompt Travel、python、git和ffmpeg。AnimateDiff Prompt Travel是DiffEx依赖的动画生成工具，python和git是编程环境和版本控制工具，ffmpeg用于视频的编解码工作。

  • 如何下载并安装DiffEx？

    -可以在C站找到DiffEx，下载后解压缩文件，在Diffex目录里运行animatediff-installer.bat文件以安装依赖，然后设置系统环境变量以包含ffmpeg的bin路径。

  • 安装AnimateDiff Prompt Travel需要多长时间？

    -安装AnimateDiff Prompt Travel的时间根据网速不同可能需要5-30分钟。

  • 在DiffEx中，如何添加AI模型？

    -用户需要手动下载AI模型，并将它们存放到DiffEx文件夹中对应的目录里，如Model对应sd目录，Motion Module对应motion-module目录，Vae对应vae目录。

  • DiffEx中的Scheduler是什么？

    -Scheduler在DiffEx中对应WebUI里的Sampling method，即抽样方法，它与生成图片的AI模型、动作模型和图片编解码器一起工作，用于动画制作。

  • 在DiffEx中，如何开始动画制作？

    -在DiffEx中，用户首先需要输入项目的名称，选择相应的AI模型、动作模型和图片编解码器，设置Scheduler、Steps、CFG和FPS等参数，然后选择视频并开始Stylize过程，之后输入提示词进行动画生成。

  • 如果遇到Torch not compilied with CUDA enabled的错误，应该如何解决？

    -需要确保安装的torch版本与CUDA版本兼容。可以通过打开命令窗口，进入DiffEx下的animatediff-cli-prompt-travel目录，启动python虚拟环境，然后根据提示信息安装或更新torch版本和CUDA驱动来解决这个问题。

  • 动画视频文件生成后保存在哪里？

    -动画视频文件保存在animatediff-cli-prompt-travel的stylize目录下，具体在日期加项目名称的日期目录中。

  • 在DiffEx中，如何查看动画的每一帧图片？

    -可以在动画视频文件保存的目录中找到生成动画的每一张图片，使用图片浏览器打开并快速浏览它们，可以看到慢动作的动画效果。

  • DiffEx相比在线动画生成工具有哪些优势？

    -DiffEx允许用户在本机生成视频，相比在线工具更加自由和经济，同时简化了动画制作流程，减少了手动配置的繁琐步骤，通常只需3-5步即可完成动画制作。

  • 为什么在第一次使用DiffEx时建议上传3秒以内的视频？

    -因为较长的视频会导致动画生成的时间非常长，可能会挑战用户的耐心。为了实验的便捷性，建议初次使用时选择较短的视频进行尝试。

Outlines

00:00

🚀 Introduction to DiffEx AI Video Animation Tool

The first paragraph introduces the presenter, 小林 (Kobayashi), and the topic of the video, which is the DiffEx AI video animation tool. It highlights the tool's ability to transform videos, such as a dancing girl or a racing car, into smooth and natural animations while controlling flickering issues. The tool is positioned as a user-friendly and cost-effective alternative to other online animation generators like Sora and Pika, as it allows for local video generation. The video also mentions the simplification of the animation creation process with DiffEx, which is a derivative tool of Stable Diffusion, and contrasts it with the more complex SD WebUI setup. The audience is encouraged to follow along as the video demonstrates the capabilities of DiffEx after a brief overview of the installation process for DiffEx and its dependencies, including AnimateDiff Prompt Travel, python, git, and ffmpeg.

05:05

🎬 Using DiffEx for Video Stylization and Animation

The second paragraph delves into the process of using DiffEx to stylize and animate videos. It suggests starting with a short video for initial experiments to manage animation generation time. The paragraph outlines the steps to prepare the video for stylization, which includes setting the FPS to match the setup interface and monitoring the process through the console for any issues. After stylization, the user is guided to the Prompt interface to input descriptors for the video content and to modify elements such as changing the girl's dress color to red. The paragraph also covers the selection of a Controlnet model and the configuration of additional ControlNet Units if desired. Finally, it details the execution of the animation generation, including setting the video parameters and troubleshooting potential errors, such as compatibility issues between torch and CUDA versions. The video concludes with instructions on where to find the generated animation files and offers assistance for any installation issues through the video's comment section.

Mindmap

Keywords

💡DiffEx

DiffEx是一个桌面UI工具，它允许用户在自己的计算机上生成视频动画，而不需要依赖在线服务。在视频中，DiffEx被用来将跳舞的视频和赛车的视频转换成动画，提供了一个自由且经济的解决方案。它简化了动画制作流程，用户通常只需3-5步即可完成动画制作。

💡AnimateDiff Prompt Travel

AnimateDiff Prompt Travel是DiffEx依赖的一个程序，它负责动画生成的核心功能。在安装DiffEx之前，需要先安装AnimateDiff Prompt Travel，因为它包含了必要的动画生成模型和算法。

💡ffmpeg

ffmpeg是一个开源的多媒体框架，能够处理视频和音频数据。在视频中，ffmpeg用于视频的编解码工作，是DiffEx不可或缺的一部分，因为它需要处理视频文件的转换和处理。

💡AI模型

AI模型在视频中指的是用于生成图片和动画的人工智能算法。DiffEx使用特定的AI模型来生成动画，包括用于生成图片的模型、生成帧与帧之间动作的模型，以及图片编解码器。这些模型需要用户手动安装并选择使用。

💡Stable Diffusion

Stable Diffusion是一个开源的AI模型，用于生成高质量的图像。在视频中，DiffEx作为Stable Diffusion的一个衍生工具，提供了一个更简洁高效的操作步骤，去除了SD WebUI的繁琐手动配置。

💡视频编解码

视频编解码是指对视频进行压缩和解压缩的过程，这对于视频的存储和传输非常重要。在视频中，DiffEx利用ffmpeg进行视频编解码，以便生成动画。

💡ControlNet

ControlNet是DiffEx中用于控制动画生成过程的一个组件。用户可以在Prompt界面中配置ControlNet Units，以修改原视频的内容，如改变视频中角色的衣服颜色等。

💡Stylize

在DiffEx中，Stylize是一个步骤，它涉及将视频抽帧和生成蒙版，但不会直接生成视频。这是动画生成过程的初步阶段，为后续的动画构建提供基础。

💡Prompt

在AI生成内容的上下文中，Prompt是用户提供给系统以指导内容生成的指令或描述。在视频中，用户在Prompt界面输入提示词，如'1girl, dancing, red dress'，以指导AI生成特定风格的动画。

💡HiRes

HiRes是DiffEx中的一个功能，用于启动高清增强模式。虽然它可以提高生成动画的清晰度，但同时也会增加动画生成的时间，因此在实验中暂时不开启。

💡LCM

LCM（Lightweight Codec Modulation）是DiffEx中的一个功能，它可以加速动画的生成过程，但可能会牺牲一些画质。在视频中，为了保持动画的质量，选择不开启LCM功能。

💡CUDA

CUDA是一个并行计算平台和编程模型，允许软件开发者使用NVIDIA GPU进行高性能计算。在视频中，提到了CUDA与Torch版本的兼容性问题，这是在修复生成动画时遇到的一个技术挑战。

Highlights

DiffEx是一个AI视频生动画工具，可以轻松将视频转换成动画效果，如将跳舞的小姐姐或飞驰的赛车转换成动画。

动画效果自然流畅，有效控制了画面闪烁问题。

DiffEx允许用户在本机生成视频，相比在线工具更自由且经济。

DiffEx简化了动画制作流程，只需3-5步即可完成动画制作。

作为Stable Diffusion的衍生工具，DiffEx无需繁琐的手动配置。

用户可以在C站下载DiffEx，并解压缩以安装。

安装DiffEx前需要安装AnimateDiff Prompt Travel、python、git和ffmpeg。

AnimateDiff Prompt Travel的安装可能需要5-30分钟，取决于网速。

DiffEx的主程序和依赖文件可以在DiffEx的目录中找到。

AI模型需要手动安装，包括Model、Motion Module和VAE。

用户可以从指定链接下载所需的AI模型，并存放到相应的目录。

在DiffEx中设置项目名称、选择模型、设置帧率等参数后，可以开始动画制作。

Stylize步骤是将视频抽帧和生成蒙版，但不生成视频。

Prompt界面允许用户输入提示词来修改原视频内容。

Execute界面用于指定动画的宽高、帧率、帧数和视频格式等参数。

生成动画时可能会遇到错误，如Torch和CUDA版本不兼容，需要按照指示修复。

动画视频文件保存在animatediff-cli-prompt-travel的stylize目录下。

用户可以通过图片浏览器快速浏览生成动画的每一张图片，体验慢动作动画效果。

视频教程详细介绍了DiffEx的安装和使用步骤，适合初学者学习和参考。