Stable Diffusion 零基礎新手入門！Part 3 - 社群繪圖模型 & ControlNet 擴充功能

PAPAYA 電腦教室
25 Nov 202314:01

TLDR本视频是Stable Diffusion新手系列的第三集，介绍了如何使用社群绘图模型和ControlNet扩展功能。首先，通过Civitai网站下载特定风格的模型，如Anything和ReV Animated，来生成具有特定艺术风格的图像。接着，讲解了如何使用LoRA微调模型和Automatic1111的扩展功能，例如sd-webui-roop换脸工具。最后，详细介绍了ControlNet的功能，包括Scribble、Openpose和InPaint，展示了如何通过这些工具控制图像的生成，创造出具有特定动作、表情和细节的图像。

Takeaways

  • 📚 视频是Stable Diffusion新手系列的第三集，也是最后一集，专注于社群绘图模型和ControlNet扩展功能。
  • 🎨 若要尝试特定动漫风格，如日式动漫，可以在提示词后添加‘Anime’并进行图像生成。
  • 🌐 Civitai是一个流行的Stable Diffusion素材网站，用户可以上传和分享绘图模型。
  • 🔍 通过Civitai可以找到特定风格训练的模型，如Anything模型，专门生成萌系风格的角色。
  • 📂 下载的绘图模型应放置在Stable Diffusion Web UI安装位置的Models文件夹中。
  • 🖌️ 使用特定模型时，应注意作者提供的模型介绍和使用建议，如搭配VAE文件使用。
  • 🎨 通过在提示词中加入特定关键字，可以利用ControlNet分析和控制图片的生成。
  • 🔄 ControlNet的Inpaint功能可以对图像特定范围进行重绘，适用于修图或合成。
  • 🌐 ControlNet的Outpaint功能可以将画布向外扩展并生成图像。
  • 🔧 社群开发的Extensions扩展功能可以增强Stable Diffusion的能力，如sd-webui-roop换脸工具。
  • 🎉 通过社群的贡献，Stable Diffusion的功能不断扩展，提供了丰富的创意和创作可能性。

Q & A

  • Stable Diffusion 是什么？

    -Stable Diffusion 是一个基于深度学习的图像生成模型，能够根据用户提供的文本提示词（Prompt）生成相应的图像。

  • 如何使用Stable Diffusion生成具有特定动漫风格的作品？

    -用户可以通过在提示词后添加特定的风格关键词，如'Anime'，来生成具有日式动漫风格的图像。此外，还可以在Civitai等网站上寻找受过特定风格训练的模型，下载后应用到Stable Diffusion中。

  • Civitai网站提供了哪些功能？

    -Civitai是一个素材网站，提供了大量用户上传和分享的绘图模型。用户可以通过浏览或输入关键字的方式寻找所需的艺术风格模型。

  • 如何安装和使用新的绘图模型？

    -用户需要将下载的模型文件剪切并粘贴到Stable Diffusion Webui安装位置的Models文件夹中。之后，在界面上重新整理模型清单，并从下拉菜单中选择并加载相应的模型。

  • 什么是CheckPoint和LoRA？

    -CheckPoint是在基础模型上衍生并经过额外训练的模型，可以生成更高质量的画作。LoRA则是一种微调模型，它允许用户通过少量图片训练和权重值调整来改变画作风格。

  • ControlNet是什么，它如何扩展Stable Diffusion的功能？

    -ControlNet是一个擴充功能，可以分析图片的构图和特征，并根据这些特征控制图片的生成。它提供了多种模型，如Inpaint、Openpose和Scribble，用于不同的图像编辑和创作需求。

  • 如何使用ControlNet的Scribble模型？

    -用户需要提供一个手绘草稿，然后在ControlNet的操作面板中启用功能，并选择Scribble模型。模型会根据草稿生成图像。

  • ControlNet的Openpose模型有什么用途？

    -Openpose模型可以控制图像中人物的动作和表情。用户需要提供一张参考图，ControlNet会分析并让生成的图像中的角色模仿原图中的姿势。

  • InPaint功能在ControlNet中如何使用？

    -InPaint功能允许用户指定图像的特定范围进行重绘。用户需要在Prompt栏位中输入想要添加的元素，并使用内置的笔刷工具标出范围。然后选择InPaint处理模式和相应的模型来生成图像。

  • 如何使用ControlNet的OutPaint功能扩展画布？

    -OutPaint功能允许用户将画布向外扩展并同时生成图像。用户需要先存储已有的图像，然后在img2img标签中上传该图像，并设置新图像的尺寸和降噪强度。在ControlNet的设置中启用Upload选项并勾选Resize and Fill来激活OutPaint功能。

  • Automatic1111的擴充功能(Extensions)提供了哪些工具？

    -Automatic1111的擴充功能由社群成员贡献和开发，提供了多种工具来增强Stable Diffusion的能力。用户可以自由安装感兴趣的项目，例如换脸工具sd-webui-roop，操作简单，可以用于更换图像中的人物面孔。

Outlines

00:00

🎨 Exploring Stable Diffusion's Artistic Styles

This paragraph introduces viewers to the use of Stable Diffusion for creating art in various styles, with a focus on applying a Japanese anime style. It explains how to use specific models trained for certain styles, like the popular Anything model for generating cute, anime-style girls. The process of downloading and installing these models onto the user's computer is detailed, as well as how to use them within the Stable Diffusion Web UI. The paragraph also touches on the use of Civitai, a popular platform for sharing and finding trained models, and the importance of using the right model for the desired artistic style.

05:02

🔍 Advanced Techniques with Civitai and Extensions

The second paragraph delves into more advanced techniques for using Stable Diffusion, including the use of Civitai to find and download specialized models like ReV Animated for 2.5D fantasy styles. It also discusses the importance of reading model descriptions and following author recommendations for prompt techniques. The paragraph introduces the concept of CheckPoints and LoRA, explaining their roles in the hierarchy of Stable Diffusion models and how they can be used to improve image quality and style. The use of LoRA files is demonstrated, showing how to apply them in the prompt for a specific effect.

10:05

🛠️ Enhancing Stable Diffusion with Extensions

The final paragraph discusses the use of extensions to enhance the capabilities of Stable Diffusion. It highlights the contribution of the community in developing tools like sd-webui-roop for easy face-swapping and ControlNet for controlling image composition and features. The paragraph provides a step-by-step guide on installing and using these extensions, including how to apply them to images for specific effects. It also explains the different types of ControlNet models, such as Inpaint, Openpose, and Scribble, and demonstrates how they can be used to create detailed and controlled artwork. The tutorial concludes with a summary of the various techniques and tools covered, encouraging users to explore further on their own.

Mindmap

Keywords

💡Stable Diffusion

Stable Diffusion是一种基于深度学习的图像生成模型，它可以根据用户输入的文字提示（prompts）来生成相应的图像。在视频中，Stable Diffusion被用来生成具有特定风格和元素的图像，例如日式动漫风格或特定漫画家的风格。

💡Civitai

Civitai是一个素材网站，用户可以在这里上传和分享基于Stable Diffusion训练的绘图模型。这些模型通常针对特定的艺术风格或主题进行了优化，使得用户能够更容易地生成具有特定风格的图像。

💡CheckPoint

在视频中，CheckPoint指的是在基础模型（Base Model）之上，通过额外大量图片训练得到的模型。CheckPoint能够生成比基础模型更高质量的画作，它们通常用于提高图像生成的质量和风格化程度。

💡LoRA

LoRA是一种微调模型，它允许用户通过调整权重值来改变生成图像的风格。LoRA不能单独使用，必须搭配现有的CheckPoint模型。它的特点是文件小、灵活性高，使得非专业用户也能通过少量图片训练出自己的模型。

💡Extensions

Extensions指的是Stable Diffusion的擴充功能，由社群成员贡献和开发，用于增强Stable Diffusion的能力。这些扩展功能可以提供额外的工具和选项，让用户在图像生成过程中有更多的控制和定制选项。

💡ControlNet

ControlNet是一个用于分析和控制图像生成的扩展功能。它能够分析一张图片的构图和特征，并根据这些特征来控制生成的图像。ControlNet有自己的参数和结构，并且需要下载专用的模型来使用。

💡Prompt

在Stable Diffusion中，Prompt是指用户提供给模型的文字描述，用于指导模型生成图像。Prompt中包含的关键词和描述会影响最终生成图像的风格和内容。

💡Negative Prompt

Negative Prompt是Stable Diffusion中用于指定模型不应包含的元素或特征的一种提示方式。通过设置Negative Prompt，用户可以指导模型避免生成某些不希望出现的内容，从而提高生成图像的相关性和质量。

💡VAE

VAE是变分自编码器（Variational Autoencoder）的缩写，它是一种深度学习模型，用于生成和修改图像。在Stable Diffusion中，VAE通常与绘图模型一起使用，以改善生成图像的细节和质量。

💡Roop

Roop是一个Stable Diffusion的扩展功能，它允许用户通过简单的操作来更换图像中人物的面貌。用户可以上传一张图片，并选择要更换面貌的人物，Roop会根据用户的指示生成新的图像。

Highlights

介绍了如何使用Stable Diffusion进行不同画风的尝试，特别是日式动漫风格。

可以通过Civitai网站找到受过特定风格训练的模型，如Anything模型，擅长生成萌系风格的作品。

讲解了如何下载并安装特定的绘图模型到本地电脑，并在Stable Diffusion Webui中使用。

分享了如何通过Prompt和Negative Prompt来提升画作质量。

介绍了ReV Animated模型，它能够生成2.5D式的奇幻风格动漫人物。

解释了Base Model、CheckPoint和LoRA三者之间的关系和区别。

展示了如何使用LoRA微调模型来调整生成图像的风格。

讨论了Automatic1111的擴充功能(Extensions)，这些工具由社群成员开发，用于增强Stable Diffusion的能力。

介绍了sd-webui-roop外掛，一个简单的换脸工具。

ControlNet是Stable Diffusion最受欢迎的擴充功能之一，能够分析图片的构图与特征。

ControlNet的Inpaint、Openpose和Scribble模型分别用于不同的目的，如重绘图像特定范围、控制人物动作和表情、以及根据手稿生成图像。

提供了如何使用ControlNet的Scribble模型根据手稿生成图像的步骤。

展示了ControlNet的Openpose模型如何控制图像中人物的动作和表情。

介绍了ControlNet的InPaint功能，可以针对影像的特定范围进行重绘。

ControlNet的OutPaint功能可以扩展画布并同时生成影像，用于修图或合成。

通过实例演示了如何使用ControlNet的各种模型来生成具有特定风格和特征的图像。

本系列视频为Stable Diffusion新手提供了全面的入门指导，从基础操作到高级功能的应用。