Stable Diffusion 3竟然支持中文！本地部署与官方工作流教程。

AI探索与发现
16 Jun 202409:30

TLDR本视频介绍了如何本地部署开源文生图模型Stable Diffusion 3，并使用官方提供的三个工作流。视频中提到，Stable Diffusion 3在图片细节和文字生成方面表现出色，且能直接理解中文短语生成图片。作者分享了运行Stable Diffusion 3所需的最低配置，模型下载流程，以及如何使用comfyUI界面程序。此外，还展示了如何安装插件和放大模型，以及使用中文提示词生成图片的效果。

Takeaways

  • 😲 Stable Diffusion 3支持中文，能通过中文短语生成图片。
  • 💻 运行Stable Diffusion 3的最低配置要求是6G显存和16G内存。
  • 🚀 推荐使用英伟达显卡，并安装CUDA 12.1驱动以获得最佳性能。
  • 📝 模型下载需要到hugging face网站申请，中国大陆用户也可通过共享网盘下载。
  • 📦 发布的模型有四个版本，包括基础版和带不同编码器的版本。
  • 🌐 官方推荐使用comfyUI作为文生图的界面程序。
  • 🔗 comfyUI的整合包和相关插件可以从GitHub下载。
  • 🔧 通过comfyUI的操作界面，用户可以通过节点设置和串联来设计图片生成的工作流。
  • 🖼️ 可以生成最大1024*1024分辨率的图片，并通过插件进行放大。
  • 🔍 测试表明，Stable Diffusion 3对中文提示的理解有限，但可以通过安装插件来改善。

Q & A

  • Stable Diffusion 3是什么？

    -Stable Diffusion 3是一个开源的文生图模型，能够根据文本描述生成图片，其生成效果接近于一些商业应用如midjourney V6和DALL-E 3。

  • Stable Diffusion 3支持中文输入吗？

    -是的，Stable Diffusion 3能够理解中文，可以直接使用中文短语来生成图片。

  • 运行Stable Diffusion 3的最低配置要求是什么？

    -运行Stable Diffusion 3至少需要6G显存和16G内存，推荐使用英伟达显卡并安装CUDA12.1驱动。

  • 如何获取Stable Diffusion 3的模型？

    -可以通过访问hugging face网站填写申请表单来获取模型，或者从视频作者提供的网盘链接下载。

  • Stable Diffusion 3有哪些不同的版本？

    -Stable Diffusion 3有四个版本：基础版、基础版加CLIP编码器、带T5编码器的高精度版（16位精度，需要32G内存），以及带T5编码器的低精度版（8位精度，需要24G内存）。

  • 官方推荐使用哪个界面程序来运行Stable Diffusion 3？

    -官方推荐使用comfyUI作为文生图的界面程序。

  • 如何安装并使用comfyUI？

    -下载comfyUI整合包并解压，将模型文件放入models目录下的checkpoints目录，将工作流文件放入custom_nodes文件夹，然后运行comfyUI即可。

  • Stable Diffusion 3生成图片的最大分辨率是多少？

    -Stable Diffusion 3生成图片的最大分辨率为1024*1024像素。

  • 如果想要生成更高分辨率的图片，应该怎么做？

    -可以通过使用官方提供的图片放大工作流来实现，这需要安装相应的插件和放大模型。

  • 如何安装comfyUI的插件和模型？

    -通过comfyUI的管理器插件来安装，可以自动检测并安装缺少的插件和模型。

  • Stable Diffusion 3在处理中文提示词时的表现如何？

    -Stable Diffusion 3在处理中文提示词时，只有少部分能理解，大多数情况下生成的图片可能与提示词不相关。

Outlines

00:00

🚀 Introduction to Stable Diffusion 3

The speaker introduces the Stable Diffusion 3, an open-source text-to-image model, comparing its output quality to that of paid services like Midjourney V6 and DALL-E 3. They highlight the model's ability to handle image details and text generation, as well as its surprising proficiency in understanding Chinese. The tutorial focuses on running Stable Diffusion 3 locally, with a minimum requirement of 6GB VRAM and 16GB RAM, recommending NVIDIA graphics cards with CUDA 12.1. The speaker also provides guidance on obtaining the model from Hugging Face or a shared disk for those in Mainland China, and discusses the different available versions, including base and enhanced versions with varying hardware requirements and capabilities.

05:02

🔧 Setting Up and Running Stable Diffusion 3

The tutorial continues with instructions on setting up the Stable Diffusion 3 model, including downloading and configuring the official workflows. The speaker recommends using ComfyUI, an image generation interface, and provides a step-by-step guide on how to install it, including downloading a pre-configured package for Windows with NVIDIA graphics. They explain how to set up the model and workflows within ComfyUI, adjusting nodes to create a workflow for image generation. The speaker also demonstrates how to modify the workflow to use the model's built-in CLIP and T5 encoders, and shows the process of generating an image using English and Chinese prompts, noting the model's ability to produce realistic images and its limitations with Chinese prompts.

🌐 Enhancing and Troubleshooting Stable Diffusion 3

The speaker tests the model's capabilities with Chinese prompts and discusses the partial success, suggesting the installation of a prompt plugin for full Chinese support. They then explore advanced workflows, including one that generates images with detailed style and color descriptions. The tutorial also addresses issues with a workflow designed for image upscaling, which requires additional plugins and models not included in the initial download. The speaker guides viewers through installing necessary plugins and models using ComfyUI's manager, including a basic interface localization plugin and a manager plugin for easier installation of additional components. The tutorial concludes with a demonstration of the upscaling workflow, showing the process of generating and放大 images, and the speaker promises to provide all relevant links in the video description.

Mindmap

Keywords

💡Stable Diffusion 3

Stable Diffusion 3是一个开源的文生图模型，用于生成高质量的图像。在视频中，它被提到与Midjourney V6和DALL-E 3相媲美，尤其是在处理图片细节和文字生成方面表现出色。这个模型能够理解中文，允许用户使用中文短语直接生成图片，这在AI图像生成领域是一个重要的进步。

💡本地部署

本地部署指的是在用户自己的计算机上安装和运行软件或服务，而不是在远程服务器上。在视频中，作者分享了如何在本地计算机上运行Stable Diffusion 3模型，这对于想要控制数据隐私和降低对互联网依赖的用户来说是一个关键步骤。

💡显存

显存是显卡用来存储图像数据的内存，对于图像处理和AI模型运行至关重要。视频中提到，运行Stable Diffusion 3至少需要6G显存，这表明该模型对图形处理能力有一定的要求。

💡CUDA

CUDA是NVIDIA推出的并行计算平台和编程模型。在视频中，作者建议使用安装了CUDA 12.1驱动的英伟达显卡来运行Stable Diffusion 3，以确保最佳性能。CUDA能够显著提高图像处理任务的速度。

💡模型下载

模型下载是指获取Stable Diffusion 3所需的数据文件，以便在本地计算机上运行。视频中提到，模型下载需要先到hugging face网站申请，或者从作者共享的网盘下载，这是开始使用该模型的前提步骤。

💡工作流

工作流是一系列步骤或过程，用于完成特定的任务。在视频中，作者介绍了Stable Diffusion 3的三个官方工作流，这些工作流通过不同的配置文件来实现，用于指导图像生成的整个过程。

💡comfyUI

comfyUI是官方推荐的文生图界面程序，用于与Stable Diffusion 3模型交互。视频中详细说明了如何下载、安装和配置comfyUI，以及如何通过它来运行不同的工作流，从而生成图像。

💡文本编码器

文本编码器是AI模型中用于理解和处理文本数据的组件。在视频中，作者提到了几种版本的Stable Diffusion 3模型，其中一些版本包括了文本编码器，如CLIP和T5，这些编码器帮助模型更准确地理解生成图像的提示词。

💡图片放大

图片放大是指增加图像的分辨率，以获得更清晰的细节。视频中提到，虽然Stable Diffusion 3生成的图片最大分辨率为1024*1024，但可以通过图片放大插件来生成更高分辨率的图像。

💡插件安装

插件安装是指在软件中添加额外的功能模块。在视频中，作者展示了如何在comfyUI中安装汉化插件和放大插件，这些插件扩展了软件的功能，使得用户能够以中文界面操作，并生成更高分辨率的图像。

Highlights

Stable Diffusion 3支持中文，可以直接使用中文短语生成图片。

Stable Diffusion 3的图片生成效果与Midjourney V6和DALL-E 3相媲美。

Stable Diffusion 3在处理图片细节和文字生成方面表现出色。

本地运行Stable Diffusion 3的最低配置要求为6G显存和16G内存。

推荐使用英伟达显卡和CUDA12.1驱动以获得更好的运行效果。

Stable Diffusion 3模型下载需要先到hugging face网站申请。

中国大陆用户可以从共享网盘下载Stable Diffusion 3模型。

模型有四个版本，包括基础版、带CLIP编码器版、带T5编码器的高精度和低精度版。

官方提供了三个工作流配置文件，用于指导图片生成过程。

推荐使用comfyUI作为文生图的界面程序。

comfyUI的操作界面基于节点组成，每个节点代表图片生成过程中的一个任务。

Stable Diffusion 3模型最大生成图片分辨率为1024*1024。

通过图片放大插件可以实现更高分辨率的图片生成。

官方的第二个工作流配置了多层提示，可以更准确地控制图片的风格和主体信息。

安装提示插件可以提高模型对中文提示词的理解。

comfyUI可以通过管理器插件安装缺少的插件和模型。

图片放大过程主要依赖CPU，耗时较长。

视频提供了所有下载链接和教程，方便用户本地部署和使用Stable Diffusion 3。