확산 샘플링에서 순방향 확산의 점수 정확도가 수치적 안정성을 보장하지 않는다

핵심 요약

• 무엇을 · 확산 모델의 핵심인 '점수 일치(score matching)'가 순방향 확산 과정에서 평균 오차를 잘 제어하더라도, 역방향 샘플링 과정의 수치적 안정성을 보장하지 못한다는 점을 밝혀냈습니다.
• 어떻게 · 연구진은 순방향 마진(forward-marginal) L2 오차가 아무리 작아도, 오일러-마루야마(Euler-Maruyama) 이산화 방법으로 샘플링할 때 모든 양의 모멘트가 발산하는 현상을 보이는 점수 필드를 구성했습니다. 이는 약한 수렴은 가능하지만, 모든 워서스타인 거리(W_p)는 발산할 수 있음을 의미합니다. 또한, 특정 신경망 구조 내에서도 이러한 문제가 발생할 수 있음을 보였습니다. 하지만 데이터가 특정 범위 내에 있을 경우, 학습된 디노이저를 알려진 유계 닫힌 볼록 집합에 투영하면 수치적 안정성을 확보하고 워서스타인 수렴을 얻을 수 있음을 제시했습니다.
• 결과 · 순방향 확산의 점수 정확도가 역방향 샘플링의 수치적 안정성을 보장하지 않으며, 심지어 발산할 수 있음을 이론적으로 보였습니다. 하지만 디노이저 투영이라는 간단한 방법을 통해 이러한 수치적 불안정성을 억제하고 안정적인 샘플링 결과를 얻을 수 있음을 실험으로 확인했습니다.

왜 중요한가

확산 모델은 이미지 생성 등 다양한 분야에서 뛰어난 성능을 보이지만, 그 작동 원리 중 하나인 '점수 일치'의 한계를 지적하고 실제 샘플링 과정에서 발생할 수 있는 근본적인 수치적 불안정성 문제를 제기합니다. 이는 확산 모델의 신뢰성과 안정성을 높이는 데 중요한 기여를 할 수 있습니다.

실생활·산업 영향

확산 모델을 사용하는 인공지능 시스템(예: 이미지 생성 AI)에서 예측 불가능한 오류나 불안정한 결과가 나오는 원인을 이해하고, 이를 개선할 수 있는 실용적인 방법을 제시합니다. 예를 들어, 디노이저 투영 기법을 적용하면 더 안정적이고 신뢰할 수 있는 이미지나 데이터 생성이 가능해질 수 있습니다.

한계·주의

초록에 명시된 한계는 없으나, 제시된 해결책(디노이저 투영)이 모든 종류의 확산 모델이나 데이터에 보편적으로 적용될 수 있는지에 대한 추가 연구가 필요할 수 있습니다.