Mano-P: Apple M4 Pro 기반 76 tokens/s 속도의 온디바이스 GUI 에이전트 구현

Context

클라우드 기반 AI 에이전트의 데이터 프라이버시 침해 및 시스템 API 의존성으로 인한 통합 비용 증가 문제 발생. 단순 코드 생성을 넘어 실제 인터페이스를 조작하는 GUI 자동화의 효율성과 보안성 확보가 요구되는 상황.

Technical Solution

• 시스템 API 접근 없이 화면 요소의 순수 시각적 상호작용만으로 동작하는 Pure Visual Interaction 설계
• Apple M4 Pro 칩셋 최적화를 통한 4B 파라미터 모델의 Quantization 적용으로 로컬 실행 환경 구축
• 모든 스크린샷과 조작 명령어를 로컬 디바이스 내에서 처리하는 On-device Processing 구조를 통한 데이터 보안 강화
• Mano-CUA Skills 프레임워크 및 Python SDK 제공을 통한 UI 자동화 테스트 및 데이터 추출 워크플로우 통합
• OSWorld 벤치마크 기반의 시각적 요소 인식 및 작업 수행 로직 최적화

Impact

• OSWorld 벤치마크 기준 58.2%의 Task Completion 달성
• Apple M4 Pro 칩셋에서 Prefill 476 tokens/s, Decode 76 tokens/s의 추론 속도 확보
• 피크 메모리 사용량 4.3GB 수준의 경량화 구현

Key Takeaway

AI 에이전트 설계 시 범용적인 코드 생성보다 특정 도메인의 인터페이스 조작 능력을 온디바이스 형태로 구현함으로써 보안성과 실용성을 동시에 확보한 사례.