【 청년일보 】 크래프톤이 한국어 성능 1위의 음성 AI 파운데이션 모델을 공개하며 게임 AI 기술 경쟁력 강화에 나섰다. 단순히 음성을 텍스트로 변환하는 수준을 넘어 이용자의 감정과 억양까지 이해하는 음성 언어 모델을 선보인 것으로, 향후 게임 속 AI 캐릭터(CPC, Co-Playable Character)의 자연스러운 음성 상호작용 구현에 활용될 전망이다.

크래프톤은 29일 음성 AI 파운데이션 모델 'A.X K2 Raon-Speech'를 글로벌 AI 플랫폼 허깅페이스(Hugging Face)에 오픈소스로 공개했다.

이번 모델은 과학기술정보통신부가 추진하는 '독자 AI 파운데이션 모델' 프로젝트의 2차 연구 성과 중 하나다. 크래프톤은 SK텔레콤 정예팀에 참여해 차세대 멀티모달 AI 연구를 수행하고 있으며, 게임에 특화된 AI 파운데이션 기술 확보에 집중하고 있다.

A.X K2 Raon-Speech는 210억(21B) 파라미터 규모의 음성 언어 모델(Speech Language Model)이다. 크래프톤에 따르면 300억(30B) 파라미터 이하 공개 음성 언어 모델 가운데 한국어 종합 성능 1위, 영어 종합 성능 3위를 기록했다.

평가는 음성 인식과 음성 합성, 음성 이해, 음성 질의응답, 텍스트 질의응답, 도구 호출 등 6개 영역에서 진행됐으며, 한국어 24개·영어 22개 등 총 46개 벤치마크를 활용했다.

이번 모델의 핵심은 사람의 음성에 담긴 감정과 억양 등 비언어적 정보까지 이해하고 이를 반영한 음성 응답을 생성할 수 있다는 점이다.

기존 음성 AI 서비스는 사용자의 음성을 텍스트로 변환(STT)한 뒤 언어모델이 답변을 생성하고 이를 다시 음성(TTS)으로 합성하는 구조가 일반적이다. 이 과정에서는 감정이나 말투, 억양 등 음성 정보가 상당 부분 사라질 수밖에 없다.

반면 A.X K2 Raon-Speech는 크래프톤이 자체 개발한 음성 인코더와 음성 코덱을 적용해 음성 자체를 이해하고 생성하는 방식을 채택했다. 음성을 AI가 이해할 수 있는 정보로 변환하는 인코더와 생성된 정보를 자연스러운 음성으로 복원하는 코덱을 자체 학습했으며, 언어 모델의 텍스트 처리 성능을 유지하면서 음성 입력과 출력을 안정적으로 연결하는 학습 기법도 적용했다.

이번 공개는 크래프톤이 AI 파운데이션 기술 내재화를 지속하고 있다는 점에서도 의미가 있다.

크래프톤은 지난 4월 AI 모델 브랜드 '라온(Raon)'을 공개하고 음성 언어 모델과 실시간 음성 대화 모델, 텍스트 음성 변환(TTS) 모델, 비전 인코더 등 4종을 오픈소스로 배포한 바 있다. 이번 모델은 당시 공개했던 Raon-Speech의 학습 방식을 기반으로 SK텔레콤의 소형 언어 모델과 크래프톤의 자체 음성 기술을 결합해 성능을 한층 끌어올린 후속 모델이다.

업계에서는 음성 AI가 게임 분야에서 가장 빠르게 상용화될 AI 기술 가운데 하나로 평가한다. 자연어뿐 아니라 감정과 말투를 이해하는 음성 AI가 구현될 경우 NPC를 넘어 이용자와 함께 플레이하는 AI 캐릭터인 CPC의 몰입감이 크게 향상될 수 있기 때문이다.

크래프톤도 이번 기술을 CPC(Co-Playable Character) 고도화에 적극 활용한다는 계획이다. 이용자의 목소리와 의도를 실시간으로 이해하고 게임 상황에 맞는 음성과 감정을 담아 반응하는 AI 캐릭터를 구현해 기존 NPC보다 한층 자연스러운 상호작용을 제공한다는 구상이다.

이강욱 크래프톤 최고AI책임자(CAIO)는 "A.X K2 Raon-Speech는 크래프톤이 AI 파운데이션 기술을 지속적으로 연구하고 고도화한 결과물"이라며 "앞으로도 게임에 필요한 AI 기반 기술을 꾸준히 발전시켜 새로운 게임 경험을 만들어 나가겠다"고 말했다.

【 청년일보=조성현 기자 】