1975년 프로세서에서 구동되는 초소형 언어 모델: BBC 마이크로에서 텍스트 생성

핵심 요약

• 무엇을 · 오래된 6502 프로세서(BBC 마이크로)에서 구동되는 언어 모델의 구현 및 성능을 다룹니다.
• 어떻게 · 초소형 맘바(Mamba) 기반 언어 모델과 8비트 3진법(ternary) 추론 엔진을 활용하여 파라미터 저장 공간을 극도로 절약했습니다. 특히 BitNet의 3진법 양자화를 통해 각 파라미터를 1.58비트만 사용하며, 4개의 파라미터를 1바이트에 압축하여 추론 속도를 최적화했습니다. 학습 시에는 float32 정밀도를 유지하고 추론 시에만 3진법으로 양자화하는 방식을 사용했습니다.
• 결과 · 13KB의 저장 공간에 52,000개의 BitNet 파라미터를 저장할 수 있었으며, 이는 적은 고정밀 파라미터보다 더 많은 저정밀 파라미터가 효율적임을 보여줍니다. 이를 통해 1980년대 BBC 마이크로에서 텍스트를 생성하는 데 성공했습니다.

왜 중요한가

오래된 하드웨어에서도 최신 언어 모델 기술을 적용할 수 있음을 보여주며, 극단적인 자원 제약 환경에서의 효율적인 모델 경량화 및 배포 가능성을 제시합니다. 이는 임베디드 시스템, IoT 기기 등 저전력/저사양 환경에서의 AI 적용에 대한 새로운 시사점을 제공합니다.

실생활·산업 영향

자원 제약이 심한 환경(예: 구형 기기, 저전력 IoT 장치, 우주 탐사선 등)에서 AI 모델을 구동하는 데 필요한 기술적 기반을 제공합니다. 이는 기존에는 불가능하다고 여겨졌던 영역에서 AI 기능을 구현할 수 있게 하여, 새로운 서비스와 제품 개발의 문을 열 수 있습니다.

한계·주의

현재 모델은 26개 알파벳과 공백 문자만을 어휘로 사용하며, 더 큰 어휘를 사용하면 파라미터 예산이 초과될 수 있습니다. 텍스트 생성에 몇 분이 소요될 정도로 속도가 느리며, GRU와 같은 일부 아키텍처는 학습 안정성 문제가 있어 더 높은 정밀도의 가중치 저장이 필요할 수 있습니다.