利用Stable Diffusion打造AI电商模特图：操作分享

gravy
29 Apr 202313:19

TLDR本视频教程介绍了如何使用Stable Diffusion技术将服装照片上的衣物穿到AI模特身上。整个过程分为五个步骤：首先使用Photoshop调整图片尺寸并生成遮罩；接着用controlnet控制模特的姿势；然后使用inpainting技术进行细节调整；最后使用extra放大图片。视频中以一张特别火的照片为例，详细演示了每一步的操作，包括在Photoshop中创建遮罩、在Stable Diffusion中设置control net以及使用inpainting技术修复细节。视频还展示了如何通过调整参数，如denoising strength和mask mode，来优化生成的模特图。最终，通过多次迭代和细节调整，挑选出最佳效果的图片进行展示。

Takeaways

  • 🖼️ 使用Photoshop调整图片尺寸，为模特的脸和四肢留出空间。
  • 🎭 利用Photoshop生成图片遮罩，以100%保留衣服原图。
  • 📐 使用controlnet控制模特姿势，生成模特图。
  • 🖌️ 通过inpainting技术进行细节调整，重绘脸部和四肢。
  • 🔍 使用extra放大图片，以获得更高分辨率的输出。
  • 📈 在Photoshop中调整画布大小后，用画笔将背景涂成白色。
  • 👚 用智能套索工具选取衣服形状并创建遮罩，以提高准确性。
  • 🤳 在stable diffusion中使用chilloutmix模型，并通过controlnet调整姿势。
  • 🔄 在openpose中调整骨架以贴合照片背景，并发送至image to image进行编辑。
  • 🎨 通过调整resize mode、mask mode等参数，控制inpainting过程中的细节。
  • 📏 在image to image中同步调整图片的宽高，以匹配openpose中的设置。
  • 🔍 对于需要重绘的部分，选择latent noise作为masked content，以生成与原图差异较大的内容。
  • 👌 在生成图片后，选择效果好的图片进行细节调整，如腿部和脸部。
  • 🔍 对于手部的微调，结合controlnet控制手的姿势，进行更精细的调整。

Q & A

  • AI电商模特图是如何通过Stable Diffusion技术实现的？

    -AI电商模特图通过Stable Diffusion技术实现的过程包括五个步骤：使用Photoshop调整图片大小、生成图片遮罩、使用controlnet控制姿势生成模特图、使用inpainting进行细节调整，最后使用extra放大图片。

  • 为什么要在Photoshop中调整图片大小？

    -在Photoshop中调整图片大小是为了给模特的脸和四肢留出空间，因为原图可能没有足够的空白区域来容纳这些元素。

  • 如何使用Photoshop生成图片遮罩？

    -使用Photoshop生成图片遮罩的步骤包括：新建一个图层，使用智能套索工具选取衣服形状，复制后粘贴到新图层，然后使用黑色画笔涂抹，创建衣服的遮罩。

  • 在Stable Diffusion中使用controlnet的目的是什么？

    -在Stable Diffusion中使用controlnet的目的是为了控制模特的姿势，使其与原图的衣服更加贴合。

  • 为什么要在inpainting过程中使用latent noise？

    -在inpainting过程中使用latent noise是为了在遮盖的区域（白色区域）生成具体的模特人物，如脸部和四肢，因为这些区域与原图的差异较大。

  • 如何确保在inpainting过程中100%保留衣服的原型？

    -为了在inpainting过程中100%保留衣服的原型，可以选择'only mask'作为inpaint area，并且使用之前创建的准确遮罩。

  • 为什么需要在生成图片时勾选enable control net？

    -勾选enable control net是为了启用骨架图和轮廓图（canny），这有助于确保生成的模特姿势与衣服更加贴合。

  • 生成图片时，为什么denoising strength的设置对结果有重要影响？

    -Denoising strength的设置影响绘图的随机性。如果设置为0，生成的照片会与原图保持一致，但由于原图是空白的，需要生成人物，因此需要设置一个较高的值，如0.95，以增加随机性。

  • 在挑选生成的图片时，应该注意哪些细节？

    -在挑选生成的图片时，应该注意模特的姿势、脸部表情、四肢的形态以及衣服的贴合度等细节，选择效果最好的图片进行下一步操作。

  • 图片细节调整包括哪些方面？

    -图片细节调整包括重绘模特的腿部、脸部以及可能的手部姿势。使用inpainting技术进行局部重绘，并可能结合controlnet进行微调。

  • 如何使用extra放大图片尺寸？

    -使用extra放大图片尺寸是一个相对简单的过程，用户可以根据extra工具的指示进行操作，以达到所需的图片尺寸。

  • 为什么在实际操作中，可能需要多次生成和调整图片？

    -由于AI生成的图片可能存在不完美之处，如姿势不准确、脸部遮挡等，因此需要多次生成和调整，以挑选出最符合预期效果的图片。

Outlines

00:00

🖼️ Photoshop Image Adjustments and Mask Creation

The first paragraph introduces the process of using Photoshop for image size adjustment and mask creation. It details the steps to resize the canvas to accommodate the model's face and limbs, and then generate a mask for the clothing. The process involves using the Smart Lasso tool to select the clothing and create an accurate mask to preserve the original look of the clothes. The paragraph also explains the importance of saving the mask and original image layers separately for further processing.

05:02

🤖 Controlnet and Openpose for Model Posture and Clothing Fitting

The second paragraph explains how to use Controlnet and Openpose to adjust the model's posture and ensure the clothing fits well. It covers setting up multiple control nets in the stable diffusion model to control the model's pose and to make the clothing fit the model accurately. The paragraph also discusses the use of the 'image to image' feature to upload the original image and the mask, and provides a detailed guide on parameter settings for inpainting, including resize mode, mask mode, masked content, inpaint area, sampling method, and denoising strength. It concludes with the process of selecting a good image from the generated batch for further refinement.

10:02

🎨 Inpainting and Extra for Image Detail Adjustment and Upscaling

The third paragraph focuses on the final stages of image editing using inpainting and Extra for detail adjustment and image upscaling. It describes the process of sending the image to inpainting to correct the model's legs and face, adjusting parameters such as the control net, steps, mask content, and denoising strength to achieve a natural look. The paragraph also touches on the potential need to adjust the model's hand posture using a combination of inpainting and control net. Finally, it mentions the straightforward process of using Extra to upscale the image, completing the video tutorial.

Mindmap

Keywords

💡Stable Diffusion

Stable Diffusion是一种深度学习模型，用于生成高质量的图像。在视频中，它被用来创建AI电商模特图，通过控制姿势和细节调整，将服装照片逼真地穿到模特身上。

💡inpainting

inpainting是一种图像处理技术，用于填充图像中的缺失或损坏部分。在本视频中，它用于重绘模特的脸部和四肢，以及调整细节，以实现更自然的效果。

💡Photoshop

Photoshop是一款广泛使用的图像编辑软件。在视频中，它被用于调整图片大小、生成图片遮罩等前期准备工作，为后续的AI处理打下基础。

💡controlnet

controlnet在视频中指的是一个用于控制图像中特定元素（如模特姿势）的工具。通过controlnet，可以更精确地调整模特的姿势，使其与服装照片更好地融合。

💡extra

extra在视频中可能指的是一种图像放大技术或工具，用于在不损失质量的情况下增加图像的尺寸。这是最后一步，用于提升最终电商模特图的清晰度。

💡图像遮罩

图像遮罩是一种图像处理技术，用于隐藏或显示图像的特定部分。在视频中，通过Photoshop生成衣服的遮罩，以便在不影响衣服细节的情况下进行模特的重绘。

💡骨架控制

骨架控制是使用骨架模型来调整和控制图像中人物的姿势。在视频中，通过骨架控制来确保模特的姿势与原图服装的姿势相匹配，从而提高最终图像的真实感。

💡Candy模型

Candy模型在视频中可能指的是一种用于调整和优化图像的技术或工具，尽管具体细节未在脚本中详细说明，但它被用于使模特与原图的衣服更贴合。

💡latent noise

latent noise在视频中指的是在inpainting过程中用于生成新的图像内容的一种技术。它用于在遮盖区域创建新的图像细节，如模特的脸部和四肢。

💡denoising strength

denoising strength是控制图像生成过程中随机性的一个参数。在视频中，通过调整denoising strength的值，可以控制生成图像与原图的差异程度，以达到更自然的效果。

💡prompt

prompt在AI图像生成中指的是引导模型生成特定风格或内容的描述性文本。在视频中，使用特定的prompt来指导Stable Diffusion模型生成符合电商需求的模特图。

Highlights

利用Stable Diffusion技术打造AI电商模特图，操作分享

AI模特换脸技术实现简单，通过inpainting重绘脸部即可

将服装照片穿到模特身上的AI技术更为复杂

操作过程分为五个步骤：Photoshop调整图片大小、生成遮罩、controlnet控制姿势、inpainting细节调整、extra放大图片

使用Photoshop调整画布大小以容纳模特的脸和四肢

通过智能套索工具选取衣服形状并生成遮罩，以100%保留衣服原图

在Stable Diffusion中使用controlnet控制模特姿势，生成模特图

设置多个control net以贴合原图衣服，使用chilloutmix模型

使用openpose调整骨架大小和姿势，以贴合照片背景

上传照片和遮罩到image to image界面进行编辑

选择inpainting masked模式重绘除衣服外的所有部分

选择latent noise作为masked content以生成具体的模特人物

调整图片宽高和采样步数，设置denoising strength以增加绘图随机性

使用canny模型生成轮廓图，使人物姿势与衣服更贴合

编写专门的prompt以指导AI生成模特图

挑选效果良好的图片进行细节调整，如重绘腿部、脸部和手部

使用extra工具放大图片尺寸，完成最终的AI电商模特图

视频提供了详细的步骤和参数设置，适合AI图像编辑爱好者学习