컴퓨터 사용 기록으로부터 작업 모델 추론하기

핵심 요약

• 무엇을 · 이 연구는 사용자의 컴퓨터 사용 기록(스크린샷, 마우스/키보드 입력)을 분석하여, 숨겨진 작업들을 찾아내고 각 작업에 대한 구조화된 모델을 자동으로 생성하는 '작업 모델 추론(TMI)'이라는 새로운 방법을 제안합니다.
• 어떻게 · TMI는 동시 다발적으로 일어나는 여러 활동을 분리하여 숨겨진 작업을 발견하고, 각 작업에 대해 재귀적인 목표 분해를 포함하는 계층적 목표 모델과 실행 흐름을 나타내는 절차 모델을 함께 만듭니다.
• 결과 · 통제된 환경에서 TMI는 실제 작업 그룹과 0.974의 높은 일치도로 동시 작업을 복구하고, 관찰된 실행 단계의 74.9%를 재구성하여 기존 방법보다 훨씬 뛰어난 성능을 보였습니다. 또한, TMI로 얻은 작업 모델에서 파생된 기술은 다른 작업의 정확도를 30.0% 향상시켰습니다.

왜 중요한가

컴퓨터 사용 기록을 통해 실제 업무 방식을 이해하는 것은 AI 에이전트가 실제 환경에서 작업을 배우고 수행하는 데 필수적입니다. 또한, 조직이 업무 지식을 감사하고 재활용하는 데 중요한 역할을 합니다. 기존 방법들은 이러한 복잡한 실제 업무를 모델링하는 데 한계가 있었습니다.

실생활·산업 영향

이 기술은 AI 에이전트가 사람의 컴퓨터 사용 패턴을 학습하여 실제 업무를 자동화하거나 보조하는 데 활용될 수 있습니다. 기업에서는 직원들의 업무 프로세스를 자동으로 문서화하고 최적화하며, 새로운 직원을 교육하는 데도 도움을 줄 수 있습니다.

한계·주의

초록에는 구체적인 한계점이 명시되어 있지 않지만, '자연스러운 컴퓨터 사용 기록'이라는 점을 고려할 때, 매우 복잡하거나 비정형적인 작업, 혹은 기록되지 않는 외부 요인에 의한 작업은 모델링하기 어려울 수 있습니다.