EXO Labs: 온갖 기기를 묶어 하나의 AI클러스터로 만들어보자!
EXO Labs는 다양한 개인 기기를 하나의 AI 클러스터로 통합하는 오픈소스 프레임워크를 개발하고 있으며, 이를 통해 대규모 언어 모델을 효율적으로 실행할 수 있도록 지원합니다. 주요 기술로는 파이프라인 병렬 추론, 동적 모델 파티셔닝, P2P 구조 등이 있으며, Apple Silicon의 특성을 활용한 메모리 효율적인 옵티마이저도 개발되었습니다. EXO는 사용자 경험을 단순화하고, 다양한 모델을 지원하며, AI 민주화를 목표로 하고 있습니다. 현재 32,000개 이상의 GitHub 스타를 기록하며, 분산형 AI 생태계의 가능성을 보여주고 있습니다.