Shadow Generation Solution

솔루션 개요

원본 이미지 내 사물 또는 인물에 대하여 자연스러운 그림자를 반영한 새로운 이미지를 생성하는 모델

주요 특징

• ControlNet을 활용한 그림자 생성: ControlNet의 컨트롤 인코더로부터 Spatial Condition을 학습하여 그림자를 생성

• 기존 Diffusion 모델에서는 배경 그림자의 강도와 조화를 이루지 못하는 문제가 있는데, 이를 해결하기 위해 강도 조절 모듈을 도입

• 색상 변화, 배경 왜곡 문제를 해결하기 위한 후처리 네트워크 추가

핵심 원리

1. 그림자가 없는 합성 이미지와 전경 객체 마스크를 입력으로 받음.

2. 입력 이미지를 ControlNet에 입력하여 Spatial Condition 추출

3. Diffusion Model을 사용해 노이즈를 추가한 후, 점진적으로 복원하면서 그림자를 생성

4. 배경 그림자와 조화를 이루도록 강도를 조절하는 인코더를 적용

5. 디코더의 특징 맵을 활용해 전경 그림자 마스크를 예측

6. 예측된 그림자 마스크를 기반으로 그림자 강도를 조절한 후, 복원된 이미지를 생성

7. 색상 변화 및 배경 왜곡을 보정한 최종 이미지 출력