스테이블 디퓨전에서 생성한 이미지가 조금 흐릿한 느낌을 받는다면 세밀한 이미지 보정할 수 있는 VAE를 설정해보시기 바랍니다. 설정 방법이 궁금하시다면 본문을 확인해보세요. 초보자도 쉽게 따라 할 수 있도록 안내 드리겠습니다.
스테이블 디퓨전에서 사용되는 VAE란?
VAE는 Variational Autoencoder 약자로 이미지를 저차원의 잠재 공간(latent space)으로 압축하는 역할을 수행하고 이를 통해 모델은 이미지를 효율적으로 생성하거나 변형할 수 있습니다. 스테이블 디퓨전의 VAE는 이미지를 잠재 벡터로 압축하고, 그 후에 이 벡터를 사용하여 텍스트나 다른 입력에 따라 이미지를 생성하는 디퓨저(diffuser) 과정으로 넘어갑니다. 이 과정에서 잠재 벡터는 디퓨저를 통해 점차 수정되며, 수정된 벡터를 다시 이미지로 변환하여 최종 출력을 생성합니다. VAE의 사용은 모델이 데이터의 복잡성을 효율적으로 다루면서도, 원하는 이미지를 세밀하게 조정할 수 있는 능력을 제공합니다. 쉽게 제목에서 안내 드린 것과 같이 이미지를 좀 더 이쁘게 보정해주는 역할하는 설정 값이라고 생각하시면 됩니다.
VAE 다운로드
Step 1. 스테이블 디퓨전에서 이용할 수 있는 VAE는 2D(만화체) VAE와 반실사 VAE가 있습니다.
Step 2. 위의 버튼을 이용해서 반실사와 2D 두 파일을 받아 주세요.
※ 아래 이미지는 반실사 VAE와 2D VAE 파일 받는 방법이 동일하니 download 합니다.
Step 3. 다운로드한 파일을 아래의 아래의 경로로 이동 시켜 줍니다.
스테이블 디퓨전 VAE 세팅
VAE를 이용하기 위해서는 간단한 설정이 필요합니다.
Step 1. ① Settings 선택 후 ② User Interface 옵션을 선택합니다. ③ ‘Quicksettings list (setting entries that appear at the top of page rather than in settings tab) (requires Reload UI)’에서 ‘vae’ 입력하면 ④ ‘sd_vae’가 나옵니다. 마우스로 선택하면 sd_model_checkpoint와 같이 등록된 모습을 볼 수 있습니다. ⑤ Apply settings 선택 후 ⑥ Reload UI을 클릭합니다.
Step 2. webui에 보면 이전에 배운 checkpoint 옆에 ‘SD VAE’가 보여집니다. 원하는 vae를 선택해주세요.
이미지 생성
1girl,Leggings,white background, Negative prompt: (worst quality:2),(low quality:2),(normal quality:2),lowres,watermark, Steps: 30 Sampler: DPM++ 2M Schedule type: Karras CFG scale: 12 Seed: 2228031010 Size: 512x768 Model hash: 7c819b6d13 Model: majicmixRealistic_v7 Variation seed: 3838486484 Variation seed strength: 0.12 Clip skip: 3 Downcast alphas_cumprod: True Version: v1.9.3
비교
비교 했을 때 큰 차이는 볼 수 없지만 확대 해보면 선명도가 조금 올라 갈 수 있습니다. 그리고 확실히 이미지 파일이 조금 올라 간 모습을 볼 수 있습니다.
마치며
이번 글은 VAE에 대해 알아보았습니다. VAE와 Negative 프롬프트, hires. fix, Sampling steps 와 같이 여러가지 옵션을 조합하면 화려하고, 선명하고, 이쁜 이미지를 생성할 수 있을 것이라 보여집니다. 감사합니다.