Stable Diffusion 零基礎新手入門!Part 2 - 提示詞技巧 & 算圖參數簡介

PAPAYA 電腦教室
20 Nov 202312:05

TLDR本视频介绍了Stable Diffusion 1.5版本和新模型Stable Diffusion XL (SDXL)的提示词技巧和重要算图参数。讲解了如何通过精确的提示词生成高质量图像,并探讨了Negative Prompt、Seed参数和权重调整在图像生成中的作用。同时,介绍了提高图像清晰度和色彩饱和度的Refiner和VAE模型,以及如何通过Upscaler和img2img功能放大图像。

Takeaways

  • 📝 提示詞是使用Stable Diffusion生成圖片的關鍵,類似於搜索引擎中的關鍵字。
  • 🖼️ SD 1.5版本建議生成圖片的尺寸接近訓練時使用的512 x 512像素,以保持品質。
  • 🚫 Negative Prompt用於指定圖片中不希望出現的元素,有助於控制生成內容。
  • 🆕 SDXL (Stable Diffusion XL) 是一個更新的模型,允許用更少的提示詞生成更高品質的圖片。
  • 🔍 Refiner和VAE是兩個用於優化圖像細節和清晰度的模型,可以根據需要選擇性使用。
  • 📌 使用SDXL時,推薦的圖片尺寸為1024 x 1024像素,以匹配模型訓練時的尺寸。
  • 🔢 Batch Count和Batch Size控制每次算圖時生成的圖片數量和一次計算的張數,需根據硬件資源合理設置。
  • 🎨 好的提示詞應該包含詳細的描述,SDXL對自然語言的理解能力更高,可以更精確地生成圖片。
  • 🌟 藝術家名和風格是影響生成圖片強大的因素,可以通過添加這些元素來改變圖片風格。
  • 🔄 Seed值控制圖片生成的初始狀態,通過固定Seed值可以保持圖片構圖的一致性。
  • ⚖️ 權重調整可以用圓括號和方括號來增加或減少關鍵詞對生成圖片的影響力。
  • 🔍 取樣方法和取樣步驟影響圖片的精確度、隨機性和生成速度,Euler a和DPM++ 2M Karras是常見的選擇。
  • 📈 CFG Scale控制AI繪圖時的創造力,低值增加創意但減少與提示詞的關聯性,高值則更遵循提示詞。

Q & A

  • Stable Diffusion 1.5版本在生成图片时推荐的尺寸是多少?

    -Stable Diffusion 1.5版本在生成图片时推荐的尺寸是512 x 512像素,因为它是使用这个尺寸的图片进行训练的。

  • 在使用Stable Diffusion时,如何告诉AI我们不希望在图片中出现的元素?

    -通过使用Negative Prompt(反向提示)功能,我们可以告诉Stable Diffusion在图片中不希望出现的元素,例如不希望出现车辆等。

  • Stable Diffusion XL(SDXL)模型相比于SD 1.5有什么改进?

    -SDXL模型使用更少的Prompt就能生成品质更好的图片,它是基于1024 x 1024像素的图形进行训练的,因此能产生更细腻且精致的细节。

  • Refiner模型和VAE模型分别有什么作用?

    -Refiner模型可以在生成的图片上加入更多的影像细节,而VAE模型则用来提升图片的清晰度和色彩饱和度。

  • 如何使用SDXL模型生成图片?

    -要使用SDXL模型生成图片,需要下载SDXL的模型文件和可能的Refiner与VAE文件,并将它们放置到Stable Diffusion安装目录下的相应文件夹中。

  • 在Prompt中,如何增加或减少某个元素的影响力?

    -可以通过在元素两侧添加圆括号来增加影响力,添加的圆括号越多,元素的影响力越大;使用方括号则可以减少元素的影响力。

  • Seed参数在Stable Diffusion中的作用是什么?

    -Seed参数决定了图片生成的初始状态。当Seed值为-1时,它会随机决定初始状态,即使使用相同的Prompt,生成的图片也会不一样。

  • 不同的Sampling Method(取样方法)对图片生成有什么影响?

    -不同的取样方法会影响图片的精确度和随机性,同时也会影响算图的速度。Euler a算图速度快但精确度较低,而DPM++ 2M Karras精确度高但速度慢。

  • CFG Scale参数是用来控制什么的?

    -CFG Scale参数用来控制AI绘图时的创造力。数值越低,生成的图像包含的创意和变化越多,但与输入的Prompt关联性也越少。

  • 如何生成高分辨率的图片?

    -可以通过使用Upscaler(放大器)或者通过img2img(图生图)功能进行二次绘制来放大图片。也可以启用Hires .fix(高解析修复)功能来一鍵生成高解析图片。

  • 在Stable Diffusion中,如何使用艺术家的名字和画作风格作为Prompt的一部分?

    -可以直接在Prompt中加入艺术家的名字或者特定的画作风格,如Comic Book Style或Flat Vector Illustration,这样AI就会生成相应风格的画作。

Outlines

00:00

🎨 Introduction to Prompt Techniques and Parameters in Stable Diffusion 1.5

This paragraph introduces the concept of prompts in Stable Diffusion 1.5 (SD 1.5), comparing it to using Google search by using a series of keywords separated by commas. It emphasizes the importance of maintaining the aspect ratio similar to the model's training size (512x512 pixels) for optimal image quality. The paragraph also discusses the use of Negative Prompt to exclude undesired elements from the generated images, such as vehicles in a street scene. It highlights the limitations of SD 1.5 compared to Midjourney in generating images with fewer keywords and the tendency of users to add many 'image quality' keywords in their prompts. The introduction of Stable Diffusion XL (SDXL) is mentioned, which allows for better image generation with fewer prompts. The paragraph provides instructions on downloading and installing SDXL and additional models like Refiner and VAE for further image enhancement.

05:04

🔍 Tips for Crafting Effective Prompts and Understanding the Impact of Artistic Styles

This paragraph delves into the art of crafting effective prompts for SDXL, emphasizing the need for specificity and clarity similar to storytelling. It notes the enhanced natural language understanding capability of SDXL compared to version 1.5. The influence of artist names and artistic styles on the generated images is discussed, with examples like 'Comic Book Style' and 'Flat Vector Illustration'. The concept of 'Seed' is introduced, explaining its role in the variability of images generated from the same prompt. Techniques for adjusting the 'weight' of keywords in prompts are also covered, including the use of parentheses and bracketed values or keyboard shortcuts for direct numerical adjustments.

10:05

🛠️ Exploring Advanced Parameters and Techniques for Image Upscaling

The final paragraph focuses on advanced parameters and techniques for enhancing and upscaling images generated by Stable Diffusion. It discusses the Sampling Method and its impact on precision, randomness, and computation speed, highlighting two methods: Euler a and DPM++ 2M Karras. The Sampling Steps slider and its effect on image quality and computation time are explained, with recommended settings for each sampling method. The CFG Scale parameter, which controls the AI's 'creativity' during image generation, is introduced, with a recommended range provided. The paragraph concludes with methods for upscaling images, including using an Upscaler or img2img (image-to-image) for secondary drawing, and introduces the Hires.fix feature for one-click high-resolution image generation.

Mindmap

Keywords

💡Stable Diffusion

Stable Diffusion(稳定扩散)是一种基于深度学习的图像生成模型,能够根据用户输入的提示词(Prompt)生成相应的图像。在视频中,Stable Diffusion 1.5 版本和新推出的 Stable Diffusion XL(SDXL)版本被提及,其中 SDXL 版本通过更少的提示词生成更高品质的图像。

💡提示词(Prompt)

提示词是用户在使用Stable Diffusion这类图像生成模型时输入的一系列关键词或短语,这些关键词决定了生成图像的内容和风格。在视频中,讲解了如何通过精确的提示词来指导模型生成用户期望的图像,并且介绍了如何通过调整提示词中的关键字权重来影响最终图像的细节。

💡算图参数

算图参数是指在使用图像生成模型时可以调整的各种设置,这些参数影响图像的生成质量、风格和细节等。视频中提到了如 Sampling Method(取样方法)、Sampling Steps(取样步驟)、CFG Scale 等算图参数,并解释了它们如何影响最终生成的图像。

💡Negative Prompt(反向提示)

Negative Prompt 是一种特殊的提示词技巧,用于告诉图像生成模型在生成图像时不希望出现的内容。通过使用 Negative Prompt,用户可以排除不想要的元素,从而获得更符合预期的图像结果。

💡Refiner 模型

Refiner 模型是Stable Diffusion的一个扩展,它能够在已经生成的图像基础上进一步增加细节和改善质量。通过Refiner,用户可以对初始图像进行二次处理,以达到更加精细和高质量的视觉效果。

💡VAE 模型

VAE(变分自编码器)是另一种用于优化图像的模型,它可以提升图像的清晰度和色彩饱和度。VAE 通过学习图像数据的分布,帮助生成更加逼真和生动的图像。

💡图像尺寸

图像尺寸指的是图像的宽度和高度,通常以像素为单位。在视频中,提到了Stable Diffusion模型是基于特定尺寸的图像进行训练的,因此在生成图像时,建议遵循训练时使用的尺寸,以获得最佳质量。

💡Seed(种子)

Seed(种子)是图像生成过程中的一个随机数,用于确定图像生成的初始状态。即使使用相同的提示词,不同的Seed值也会导致生成的图像有所不同。用户可以通过固定Seed值来保持图像的初始构图不变,以便在此基础上进行进一步的修改和优化。

💡权重调整

权重调整是指在使用图像生成模型时,用户可以通过修改提示词中关键字的权重来影响图像生成的结果。通过增加或减少关键字的权重,用户可以控制图像中特定元素的大小、数量和重要性。

💡Upscaler(放大器)

Upscaler(放大器)是一种用于提高图像分辨率的工具或算法。在视频中,提到了通过Upscaler可以将原始尺寸的图像放大,以生成高分辨率的图像。不同的Upscaler采用不同的算法,适用于不同类型的图像放大需求。

💡ControlNet

ControlNet 是视频中提及的一个强大的图形控制工具,它允许用户对生成的图像进行更精细的控制和编辑。虽然视频中没有详细介绍 ControlNet 的具体功能,但可以预见它将为用户提供更多的创作自由度和图像编辑选项。

Highlights

Stable Diffusion 1.5 (SD 1.5) 使用提示詞生成圖片,類似於使用 Google 搜索。

提示詞由關鍵字組成,關鍵字間以逗號分隔。

SD 1.5 模型訓練使用的是 512 x 512 像素圖片,建議生成圖片尺寸與此相近。

Stable Diffusion 需要較多的畫質關鍵字來生成精美圖片。

Negative Prompt 用於指定圖片中不希望出現的元素。

Stable Diffusion XL (SDXL) 模型允許用更少的提示詞生成更好的圖片品質。

SDXL 模型使用 1024 x 1024 像素的圖形進行訓練。

Refiner 模型用於在生成的圖片上加入影像細節。

VAE 用於提升圖片的清晰度和色彩飽和度。

使用 SDXL 生成圖片時,Refiner 和 VAE 檔案不是必須的,但可以提供更好的效果。

透過調整提示詞,可以影響生成圖片的風格,如 Comic Book Style 或 Flat Vector Illustration。

Seed 值控制圖片生成的初始狀態,相同 Seed 值下修改 Prompt 可產生畫風相近的圖片。

調整關鍵字的權重值可以影響其在圖片中的呈現程度。

不同的 Sampling Method 影響圖片的精確度、隨機性和算圖速度。

CFG Scale 用來控制 AI 繪圖時的創造力,值越低,創意越高。

使用 Upscaler 可以放大圖片,提高解析度。

圖生圖 (img2img) 功能可以用來二次繪製圖片,達到放大效果。

Hires .fix 功能可以一鍵生成高解析圖片。

下一期影片將介紹 SDXL 以外的特殊風格繪圖模型和 Automatic1111 的擴充功能。