11일 오픈소스 커뮤니티 허깅페이스 통해 ‘A.X 3.1 라이트’ 모델 선봬
[SRT(에스알 타임스) 문재호 기자] SK텔레콤(이하 SKT)은 11일 오픈소스 커뮤니티 허깅페이스에 독자 구축 LLM인 ‘A.X(에이닷 엑스) 3.1 라이트’를 공개했다고 밝혔다.
이번에 공개한 ‘A.X 3.1 라이트’는 SKT가 프롬 스크래치(From Scratch) 방식으로 모델 구축과 데이터 학습 등 전 단계를 직접 진행했으며, 70억개(7B)의 매개변수를 기반으로 하는 경량 모델이다. 프롬 스크래치는 모델의 맨 처음 단계부터 모두 직접 구축하는 방식을 의미한다.
A.X 3.1 라이트는 기존 에이닷 전화 통화요약에 적용했던 A.X 3.0 라이트 모델의 업그레이드 버전으로, 전작의 강점인 경량화된 성능과 높은 효율성을 이어받았다는 게 회사 측 설명이다.
A.X 3.1 라이트는 같은 규모의 매개변수를 바탕으로 하는 자매 LLM인 ‘A.X 4.0 라이트’와 동등한 수준의 우수한 한국어 처리능력을 갖췄다.
대표적인 한국어 능력 평가 벤치마크인 KMMLU에서 ‘A.X 3.1 라이트’(61.70)는 ‘A.X 4.0 라이트’(64.15)대비 96% 수준의 성능을 나타냈고, 한국어 및 한국 문화 벤치마크인 CLIcK에서는 ‘A.X 3.1 라이트’(71.22)가 ‘A.X 4.0 라이트’(69.97) 대비 102% 수준의 성능을 기록했다.
SKT는 ‘A.X 3.1 라이트’ 후속인 A.X 3.1역시 이달 중 발표할 예정이다. A.X 3.1은 매개변수 340억개(34B)의 프롬 스크래치 모델이다.
◆ 자체개발 A.X 3 모델과 대규모 학습 기반 A.X 4 모델 ‘투 트랙 전략’
SKT는 프롬 스크래치 방식 개발 등 LLM 관련 기술 역량을 지속 고도화할 예정이다.
SKT는 2018년부터 AI 언어 모델을 개발해 2019년 KoBERT를 고객센터 챗봇 등에 활용하기 시작했고, 2020년 국내 최초로 GPT2를 한국어로 개발해 오픈소스로 공개한 바 있다.
2022년 선보인 A.(에이닷) 서비스에는 자체 개발한 A.X 모델을 적용해 자유 주제로 대화가 가능하게 했으며, 2024년 A.X 3.0 모델을 에이닷 전화 통화요약 기능에 적용하기도 했다.
앞으로도 SKT는 A.X 3 계열의 소버린 AI 모델로 자생력 있는 기술을 갖추는 동시에, 최적화된 성능·효율이 필요한 영역에는 대규모 학습(CPT, Continual Pre-Training)에 기반한 A.X 4 계열 모델을 활용할 예정이다.
이러한 투 트랙(Two Track) 전략을 통해 국내 기업들이 각자의 환경에서 AI 기술을 보다 쉽게 활용할 수 있는 다양한 선택지를 제공한다는 방침이다.
SKT는 그 동안 확보한 우수한 LLM 기술 역량을 바탕으로 향후 정부가 추진하는 ‘독자 AI 파운데이션 모델 개발사업’에 지원할 예정이다.
김태윤 SK텔레콤 파운데이션 모델 담당은 "꾸준히 쌓아 온 한국형 LLM 개발 역량을 바탕으로 AI 생태계 자립성을 높이고, 국가 AI 경쟁력 제고에 기여하도록 노력할 것”이라고 밝혔다.