【 청년일보 】 최근 생성형 AI를 둘러싼 열기는 식을 줄 모른다. 생성형 AI와 관련된 새로운 모델들이 쏟아지고 기업들은 LLM을 이용한 새로운 신제품을 만들어낸다. 이렇게 생성형 AI가 우리의 삶 깊숙이 자리잡고 있음에도 AI가 정말 진실을 말하고 있는 것인지 의문이다.

대형 언어 모델, 즉 GPT-4나 Claude 같은 모델들은 기본적으로 정적이다. 대부분의 경우 이들은 학습 시점 이후의 정보를 반영하지 못한다. 최신 뉴스? 오늘 발표된 정책? 어제 생긴 사건? 일반적인 LLM은 모른다. 특히, 신뢰할 수 없는 출처로부터 답변을 생성하기도 한다.

이렇게 사전 구축된 모델을 사용하는 경우 생성형 AI는 마치 아는 것처럼 보이지만 사실 틀린 정보를 진짜처럼 말할 수 있다. 이 현상이 바로 생성형 AI의 고질적인 문제로 알려진 환각 현상의 시작점이다.

이 문제를 해결하기 위해 등장한 것이 바로 RAG(Retrieval-Augmented Generation)다. 이름부터 낯설지만 개념은 생각보다 단순하다. 질문을 받으면 AI가 먼저 외부 문서를 검색하고 그걸 바탕으로 답변을 생성하는 방식이다.

RAG의 작동 방식을 조금 더 구체적으로 살펴보자. 먼저 사용자가 질문을 입력하면 RAG는 그 질문을 벡터로 변환한다. 이 벡터는 사전에 임베딩된 외부 문서들의 벡터들과 비교되며 이 과정에서 질문과 가장 유사한 문서들을 빠르게 찾아낸다.

이렇게 추출된 문서들은 생성형 AI가 참고하게 되고 이를 바탕으로 최종 답변이 만들어진다. 이 일련의 과정은 최근 들어 놀라울 만큼 빠르고 정교해졌다.

이 기술은 AI가 어디서 정보를 가져왔는지, 어떤 문서를 근거로 답했는지 출처를 밝힐 수 있게 해준다. 이제 AI는 막연히 그럴 듯하게 대답하는 대신 '여기서 찾았어'라고 출처를 말할 수 있게 되는 것이다.

실제로 여러 산업 분야에서 RAG가 도입되고 있다. 법률 분야에서는 Thomson Reuters와 LexisNexis가 RAG 기반의 법률 리서치 툴을 내놓았다. 이들은 단순 요약이 아니라 실제 판례를 검색하고 신뢰할 수 있는 출처를 제시하며 GPT-4 단독 모델보다 오답률을 크게 줄였다.

기업들도 RAG를 적극 도입하고 있다. Databricks, Vectara 같은 데이터 플랫폼 기업들은 사내 문서 검색, 고객 상담 시스템에 RAG를 붙여 고객 맞춤형 답변을 실시간으로 제공한다. 이로 인해 '회사 전용 ChatGPT'가 비로소 실무에서 쓸 만한 도구가 되었다.

이렇게 RAG는 검증 가능한 생성이 가능하게 함으로써 기존의 생성형 AI의 신뢰성을 회복할 수 있는 하나의 방법이 될 수 있다. 미래에는 RAG의 검색 정확성, 응답 속도, 최적화 기술을 더욱 발전시키기 위해 적극적인 투자가 필요할 것이다. 이를 통해 RAG는 AI를 믿을 수 있는 존재로 만들기 위한 필수 기술로 자리 잡게 될 것이다.
 

【 청년서포터즈 8기 유민 】