배경 이미지 생성 솔루션
Background Image Generation Solution
인물/사물 여부에 관계없이 이미지 내 피사체 유형을 자동으로 식별하여, 프롬프트에 기반한 적절한 배경 이미지를 생성합니다.
적용 산업 분야
Commerce
기반 모델
SI2
솔루션 개요
투명한 사물 또는 인물 이미지에 대하여 맥락에 맞는 적절한 배경 이미지를 합성하여 생성하는 인공지능 모델
주요 특징
기존 Stable Inpainting 2.0 모델(SI2)은 배경 생성 시 개체를 확장하여 변형하는 문제가 있었는데, 이를 측정할 수 있는 새로운 자동화된 지표를 개발
ContorlNet을 추가하여 개체 경계를 유지하면서 배경을 자연스럽게 확장하도록 개선
ImageNet, COCO 등 다양한 데이터셋을 사용하여 성능 교차 검증 수행, 더 낮은 개체 확장율을 달성하면서도 기존 품질 지표를 유지
핵심 원리
개체가 포함된 투명한 이미지를 입력하고, Salient Object 마스크를 생성하여 개체의 위치를 특정
ControlNet을 통해 개체 마스크를 새로운 입력 조건으로 추가하여 개체의 경계를 유지하면서 배경을 확장하는 역할을 수행
U-Net 기반 Diffusion Model을 활용하여 배경을 점진적으로 생성. 이때 개체 마스크를 사용하여 개체의 경계를 유지하면서 자연스러운 배경을 학습
SAM(Segment Anything Model)을 활용해 개체 마스크를 추출, 입력 이미지와 출력 이미지의 개체 크기를 비교하여 확장 여부를 측정
최종 배경 이미지 생성
FID
0.32
LPIPS
CLIP Score