LLM의 선택적 예측: 인공지능의 신뢰성을 넓히는 새로운 방법

인공지능 기술, 특히 대규모 언어 모델(LLM)은 우리가 기계와 소통하는 방식을 근본적으로 변화시켰죠. 이러한 모델들은 복잡한 언어 이해와 생성을 가능하게 하여, 인간과 기계 간의 상호작용을 전례 없는 수준으로 끌어올렸어요. 그러나 이러한 발전에도 불구하고, 고위험 의사결정 애플리케이션으로의 확장은 여전히 도전적인 과제로 남아있습니다. 이는 주로 모델 예측의 본질적인 불확실성 때문인데요, 이러한 불확실성을 해결하기 위한 방법 중 하나로 '선택적 예측'이 주목받고 있습니다.

LLM과 선택적 예측의 필요성

대규모 언어 모델은 인상적인 답변을 생성할 수 있지만, 생성된 응답의 정확성에 대해 스스로 평가하는 내부 메커니즘을 갖추고 있지 않습니다. 이는 특히 고위험 의사결정 환경에서 큰 문제가 될 수 있어요. 

예를 들어, 의료 진단이나 법률 자문과 같은 분야에서 잘못된 정보는 심각한 결과를 초래할 수 있죠.

이에 대한 해결책으로, 모델이 스스로의 예측에 대한 신뢰도를 평가하고, 오직 확신이 있는 경우에만 응답을 제공하는 '선택적 예측' 방법이 제안되었습니다.

선택적 예측의 도전과 ASPIRE 프레임워크

소프트 프롬프트 튜닝을 통한 ASPIRE 프레임워크 구현.  먼저 첫 번째 소프트 프롬프트를 사용하여 질문에 대한 답변을 생성한 다음 두 번째 소프트 프롬프트를 사용하여 학습된 자체 평가 점수를 계산합니다.

 

전통적인 LLM은 답변을 생성할 때 시퀀스 내 개별 토큰의 확률을 합산하여 신뢰도 점수를 제공할 수 있지만, 이러한 점수는 정답과 오답을 확실하게 구별하는 데 충분하지 않았습니다. 이러한 문제를 해결하기 위해 'ASPIRE'라는 새로운 프레임워크가 개발되었습니다. ASPIRE는 LLM이 답변을 생성하는 것뿐만 아니라, 해당 답변에 대한 신뢰도 점수를 함께 제공하도록 합니다.

ASPIRE는 크게 세 단계로 이루어집니다:

1. 작업별 튜닝: 특정 작업에 맞게 LLM을 조정합니다. 이 과정에서 '소프트 프롬프트'와 같은 매개변수 효율적인 조정 기술을 사용하여, 사전 훈련된 LLM을 미세 조정합니다.
2. 답변 샘플링: 다양한 답변을 생성하고, 이를 통해 자체 평가 학습을 위한 데이터셋을 만듭니다. 이 단계에서 빔 검색과 같은 디코딩 알고리즘을 사용하여 가능성이 높은 출력 시퀀스를 생성합니다.
3. 자체 평가 학습: LLM이 생성된 답변의 정확성을 스스로 평가하도록 합니다. 이를 위해 적응 가능한 매개변수를 추가하고, 이 매개변수만을 미세 조정합니다.

ASPIRE의 실제 적용과 결과

ASPIRE 프레임워크의 적용을 통해, LLM은 자신의 예측에 대한 신뢰도 점수와 함께 답변을 제공할 수 있게 되었습니다. 이를 통해 사용자는 모델의 응답을 더 신뢰할 수 있게 되며, 필요한 경우 다른 정보원을 참조하도록 유도할 수 있습니다. 예를 들어, '혈액 응고 조절에 도움이 되는 비타민은?'이라는 질문에 대해, ASPIRE를 적용한 모델은 '비타민 K'라는 정확한 답변과 함께 높은 신뢰도 점수를 제공할 수 있습니다.

결론

ASPIRE 프레임워크는 LLM의 신뢰도를 대폭 향상시키는 중요한 발전입니다. 이를 통해 AI 기술은 고위험 의사 결정 분야에서도 더 넓게 활용될 수 있는 잠재력을 갖게 되었죠. 선택적 예측은 AI의 신뢰성과 사용자 경험을 개선하는 데 중요한 역할을 할 것으로 기대됩니다. ASPIRE와 같은 혁신적인 접근 방식은 앞으로 AI 기술의 발전 방향을 제시하며, 우리가 AI를 어떻게 더 효과적으로 활용할 수 있을지에 대한 통찰을 제공합니다.