OrbitQuant: 이미지 및 비디오 확산 트랜스포머를 위한 데이터 불가지론적 양자화

OrbitQuant: Data-Agnostic Quantization for Image and Video Diffusion Transformers

💡 확산 트랜스포머의 느린 속도를 개선하기 위해, OrbitQuant는 데이터에 상관없이 작동하는 새로운 양자화 기술로, 이미지 및 비디오 생성 모델의 속도를 높이고 품질을 유지합니다.

핵심 요약

무엇을 · 이 논문은 확산 트랜스포머(DiT)의 추론 비용 문제를 해결하기 위한 'OrbitQuant'라는 새로운 양자화 방법을 제안합니다.
어떻게 · OrbitQuant는 활성화 값의 범위를 추정하는 대신, 정규화되고 회전된 기저에서 양자화를 수행합니다. 이 기저에서는 입력과 관계없이 각 좌표가 고정된 주변 분포에 집중되므로, 하나의 코드북으로 모든 시간 단계, 프롬프트, 레이어에 적용할 수 있습니다. 가중치에도 동일한 양자화 방식을 적용하여, 실행 시에는 활성화에 대한 순방향 회전만 남도록 합니다.
결과 · OrbitQuant는 FLUX.1, Z-Image-Turbo, Wan 2.1, CogVideoX와 같은 다양한 모델에서 최첨단 양자화 성능을 달성했으며, W2A4(가중치 2비트, 활성화 4비트) 설정에서도 사용 가능한 이미지 생성 품질을 제공합니다.

확산 트랜스포머는 최첨단 이미지 및 비디오 생성 능력을 보여주지만, 여러 단계의 샘플링과 증가하는 파라미터 수로 인해 추론 비용이 매우 높습니다. OrbitQuant는 이러한 문제를 해결하여 고품질 생성 모델을 더 빠르고 효율적으로 사용할 수 있게 합니다.

이 기술은 스마트폰이나 엣지 디바이스와 같이 컴퓨팅 자원이 제한된 환경에서도 고품질 이미지 및 비디오 생성 AI 모델을 실행할 수 있게 하여, AI 기반 콘텐츠 생성 및 편집 도구의 접근성을 크게 향상시킬 수 있습니다.

초록에는 OrbitQuant의 구체적인 한계점이 명시되어 있지 않습니다. 다만, W2A4 설정에서 '사용 가능한' 품질이라고 언급된 점을 미루어 볼 때, 더 낮은 비트 설정에서는 여전히 품질 저하가 발생할 가능성이 있습니다.

#확산 트랜스포머#양자화#이미지 생성

arXiv 원문 보기 → Donghyun Lee, Jitesh Chavan, Duy Nguyen 외 · 2026-07-02 · arXiv:2607.02461

이 요약이 유용했나요?

※ 이 요약은 AI 보조로 생성하고 사람이 검수했습니다. 난이도·실생활 영향·톤은 본 사이트의 편집 의견이며, 정확한 내용은 반드시 원문(arXiv)을 확인하세요. 번역은 AI 기반으로 오역 가능성이 있습니다. 출처: arXiv (2607.02461).