Stable Diffusion教學 使用Lora製作AI網紅

Kas Kuo Lab
1 Mar 202311:33

TLDR本视频教程介绍了如何使用Stable Diffusion和Lora功能制作AI网红照片和AI Coser。首先，需要下载Stable Diffusion模型和Lora模型，并通过Civit AI进行操作。接着，通过调整Lora模型的权重和提示词，生成具有特定特征的图像。此外，还展示了如何使用Additional Networks外挂和各种编辑技巧来优化和增强图像质量，最终制作出高清晰度的AI网红和Coser照片。

Takeaways

  • 🎨 使用Stable Diffusion和Lora功能可以制作AI網紅照片和AI Coser。
  • 🚀 首先需要下载Stable Diffusion模型，例如Chillout Mix-NI，但该模型因舆论问题在Civit AI下架。
  • 🔍 在Civit AI搜索并下载Lora模型，如Korean Doll Likeness、Taiwan Doll Likeness和Japanese Doll Likeness。
  • 📂 将下载的模型文件放置在Stable Diffusion Webui的正确文件夹内。
  • 🔧 安装Additional Networks外掛，并在Stable Diffusion中加载使用。
  • 🎯 利用Lora标签选择并调整不同Lora模型的权重，注意总和不超过1。
  • 🏷️ 输入提示词和负面提示词，设置取样模式和参数以生成AI網紅照片。
  • 🔄 进行多次抽样（9连抽）直到出现高质量的SSR（超特殊角色）图像。
  • 🌟 通过调整Seed值，可以保持图像生成的一致性。
  • 🖌️ 使用img2img和inpainting功能对生成的图像进行细节修改和优化。
  • 👗 制作AI Coser照片时，使用特定角色的Lora模型和提示词来生成具有角色特征的图像。
  • 📸 通过调整参数和使用Extras功能，消除眼袋等不需要的特征，并提高图像分辨率。

Q & A

  • Stable Diffusion和Lora是什么技术？

    -Stable Diffusion是一种深度学习模型，专门用于生成图像，而Lora是用于生成特定风格或特征的AI模型，两者结合可以制作出具有特定人物特征的AI网红照片。

  • 如何下载Stable Diffusion模型？

    -首先需要打开Civit AI，搜索Chillout Mix模型，并在模型页面下载Chillout Mix-NI模型。

  • 为什么Chillout Mix-NI模型被Civit AI下架了？

    -根据视频中的描述，Chillout Mix-NI模型因为过于火爆而产生了一些舆论问题，导致Civit AI将其下架。

  • 如何安装Additional Networks外挂？

    -首先执行webui-user.bat打开Stable Diffusion，选择Chillout Mix-NI模型，然后在Extensions标签下的Available标签中找到并安装kohya-ss Additional Networks脚本模型。

  • 在使用Lora模型时，权重设置有什么注意事项？

    -所有的Lora权重加起来不应超过1，以确保模型可以正确地结合各个特征生成图像。

  • 如何使用Seed功能来保持图像生成的一致性？

    -在生成图像后，可以按下Seed旁边的绿色按钮来保存当前的Seed值，这样后续生成的图像都会以这个Seed为标准，保持一致性。

  • 在制作AI网红照片时，如何调整图像的细节？

    -可以使用img2img功能和inpainting功能来调整图像的细节，如霓虹灯的亮度、眼袋的突出程度等。

  • 如何制作AI Coser照片？

    -首先下载所需的Lora模型，然后在提示词中加入触发Lora的关键字和服装特征的描述，通过调整Lora模型的权重和生成参数来生成具有特定角色特征的图像。

  • 在调整图像时，如何提高图像的清晰度？

    -可以通过Extras功能中的放大取样算法和调整GFPGAN visibility以及Code Former visibility参数来提高图像的清晰度。

  • 视频最后提到的下集内容是什么？

    -下集影片将详细说明如何训练自己的Lora模型，以便Stable Diffusion能够稳定地生成指定角色的图片。

Outlines

00:00

🎨 Introduction to AI Influencer Photo Creation with Lora and Stable Diffusion

This paragraph introduces the process of creating AI influencer photos using Stable Diffusion and Lora models. It explains the initial steps of downloading the necessary Stable Diffusion model, specifically the Chillout Mix-NI model, from Civit AI. However, it mentions a setback where the model was taken down due to controversy. A backup link is provided for continued access. The paragraph then details the downloading and installation of Lora models, such as Korean, Taiwan, and Japanese Doll Likeness, and their subsequent integration with the Stable Diffusion Webui. It also covers the installation of the Additional Networks extension for further customization and the process of generating AI influencer photos by selecting Lora models and adjusting their weights.

05:00

🖌️ Editing and Enhancing AI Photos with inpainting and Extras

The second paragraph focuses on the editing process of AI-generated images. It describes how to use the inpainting feature to fix minor issues like non-lit neon lights by manually painting over them. The process is repeated until the desired effect is achieved. The paragraph then addresses the adjustment of prominent eye bags using the Extras feature with specific parameters to reduce their visibility. It also guides through the process of refining the AI-generated images by adjusting the resolution and parameters to achieve high-definition AI influencer photos. The steps to create AI Coser photos using specific Lora models of characters like Lucy, and how to use trigger words and refine the facial features and costumes, are also detailed.

10:02

📸 Final Touches and Producing More Variations with img2img

The final paragraph discusses the finishing touches to the AI-generated images, including the use of the img2img feature to produce variations of the photos. It explains how to adjust the Denoising strength parameter to refine the image quality and select the most satisfactory result. The process of generating high-resolution AI photos of the character Lucy, with detailed facial features and cyberpunk elements, is outlined. The paragraph concludes with a summary of the entire process and a teaser for the next video, which will explain how to train personal Lora models for stable production of specified character images.

Mindmap

Keywords

💡Stable Diffusion

Stable Diffusion是一种深度学习模型，用于生成图像。在视频中，它被用来创建AI网红照片和AI Coser。这个技术通过输入文本提示词，模型能够理解并生成相应的视觉内容。

💡Lora

Lora是一种用于生成图像的深度学习模型，特别是在创建具有特定特征的面部图像方面表现出色。在视频中，Lora被用来制作AI网红和Coser的面部特征。

💡AI网红

AI网红指的是通过人工智能技术生成的，具有吸引力和流行特质的虚拟形象。在视频中，通过结合Stable Diffusion和Lora模型，制作出具有网红特征的AI人物形象。

💡Civit AI

Civit AI是一个平台，提供各种深度学习模型的下载和使用。在视频中，用户通过Civit AI下载所需的Stable Diffusion模型和Lora模型来制作AI图像。

💡Chillout Mix-NI

Chillout Mix-NI是一个特定的Stable Diffusion模型，用于生成具有特定风格和特征的图像。然而，由于某些原因，该模型在Civit AI上被下架。

💡Additional Networks

Additional Networks是一个外掛插件，用于扩展Stable Diffusion的功能。在视频中，通过安装这个外掛，用户可以在Stable Diffusion中使用Lora模型来进一步定制化生成的图像。

💡Seed

Seed在生成图像的上下文中是指一个特定的数值，用于保持图像生成的一致性和可重复性。通过保留Seed值，用户可以生成具有相同基础特征的一系列图像。

💡DPM++ SDE Karras

DPM++ SDE Karras是一种采样模式，用于在生成图像时调整图像的质量和细节。这种模式可以帮助生成更加细腻和高质量的图像。

💡img2img

img2img是一种基于图像到图像转换的技术，允许用户以一张现有的图像为基础，生成新的图像。在视频中，这项技术被用来在已有的AI网红照片基础上生成更多类似的照片。

💡GFPGAN visibility

GFPGAN visibility是一个参数，用于控制在使用GFPGAN（一种图像增强算法）进行图像修复时的效果可见度。调整这个参数可以改变修复效果的显著程度。

💡Coser

Coser指的是通过服装和造型来模仿或扮演动漫、游戏或其他虚构角色的人。在视频中，AI技术被用来生成具有特定Coser特征的图像，如穿上特定角色服装的AI人物形象。

Highlights

使用Stable Diffusion和Lora功能制作AI网红照片和AI Coser

下载Stable Diffusion模型，如Chillout Mix-NI

Chillout Mix-NI模型因舆论问题在Civit AI下架

通过Google硬碟备份获取Chillout Mix-NI模型

搜寻并下载Lora模型，如Korean Doll Likeness

将模型复制到Stable Diffusion Webui的正确文件夹

安装Additional Networks外掛来扩展功能

使用Additional Networks外掛选择Lora模型

调整Lora模型的权重，总和不超过1

输入提示词和负面提示词，开始生成AI网红照片

使用Batch count进行多图生成，直至出现SSR

调整Seed以保持图像生成的一致性

使用img2img功能进行图像编辑和优化

修复霓虹灯不亮等小问题，提升图像质量

调整眼袋突出问题，使用Extras功能

制作AI Coser照片，下载特定角色的Lora模型

使用Trigger Words触发Lora模型生成特定角色特征

结合多个Lora模型和提示词调整，优化Coser的面部特征

通过img2img和Denoising strength参数生成更多类似照片

最终得到高解析度的AI网红和Coser照片