챗GPT, 제미니(Gemini) 등 생성형 인공지능(AI) 서비스가 일상 깊숙이 자리 잡으면서 국방 분야에서도 AI 도입이 빠르게 확산되고 있다. 각종 보고서 작성, 정보 분석, 이미지·동영상 제작 등 다양한 업무에서 AI가 활용되는 시대다. 필자 역시 최신 기술 동향을 조사하는 과정에서 생성형 AI를 활용하다가 당혹스러운 경험을 했다. AI가 제시한 자료의 출처를 확인하려 했더니 해당 논문도, 저자도, 학술지도 세상에 존재하지 않았다. AI가 그럴듯한 내용을 스스로 지어낸 것이다. 바로 AI 할루시네이션(Hallucination), 즉 ‘AI 환각’이다.

AI 환각이란 생성형 AI가 사실이 아닌 내용을 마치 사실인 양 자신 있게 출력하는 현상이다. 단순한 오타나 계산 실수와는 다르다. 존재하지 않는 논문을 인용하고, 없는 법령 조항을 제시하며, 실재하지 않는 인물의 발언을 버젓이 만들어 낸다. 더 위험한 것은 이 오류가 매우 논리적이고 자신감 넘치는 형태로 나타난다는 점이다. 주의 깊게 살피지 않으면 쉽게 속아 넘어간다.

왜 이런 일이 생길까. 최근 관련 연구에 따르면 AI 환각은 우연한 오작동이 아니라 학습 구조에서 비롯된 필연적 결과다. 2가지 이유가 핵심이다. 첫째, AI는 학습 데이터의 양과 질에 절대적으로 의존한다. 데이터가 부족하거나 특정 사실이 드물게 등장할수록 AI는 그것을 정확하게 재현하지 못한다. 훈련 매뉴얼에 딱 한 번 나온 절차가 숙달되지 않는 것과 같은 이치다. AI는 그 빈자리를 그럴듯한 추측으로 채우고, 그 추측이 바로 환각으로 이어진다. 둘째, 현재 AI 성능 평가방식이 문제다. 대부분의 평가는 정답이면 점수를 주고 “모른다”고 답하면 점수를 주지 않는다. 이 구조에서 AI는 불확실할 때도 단정적으로 답하도록 훈련된다. 마치 시험에서 모르는 문제를 무조건 찍는 게 유리한 구조와 같다.

이런 AI 환각이 국방 분야에서 발생하면 어떻게 될까. 적 동향 분석보고서에 출처 불명의 정보가 섞이고, 작전계획에 활용되는 장비 제원에 오류가 포함되며, 교육자료에 존재하지 않는 규정이 인용될 수 있다. 일반적인 상황에선 단순한 실수로 끝날 수 있지만, 전장에서 잘못된 정보는 생존과 직결된다. AI의 자신감 있는 어조는 결코 정확성의 보증이 아니다.

우리 군은 어떻게 대응해야 할까? 핵심은 AI의 ‘지능’보다 ‘신뢰성’에 집중하는 것이다. 아무리 똑똑한 AI라도 학습 데이터가 부족한 영역에선 그럴듯한 오답을 내놓을 수 있다. 전장에서 가장 위험한 정보는 없는 정보가 아니라 틀린 줄 모르는 정보다. 우리 군이 AI를 도입하고 활용할 때는 AI가 모른다고 말할 수 있는 시스템으로 만드는 게 먼저다. 아울러 사용자는 AI의 답변을 최종 결론이 아닌 출발점으로 삼고, 중요한 내용일수록 반드시 출처와 원문을 확인하는 것이 중요하다.

훌륭한 참모는 모르는 것을 모른다고 말할 수 있어야 한다. AI 참모도 다르지 않다. 우리 군에 필요한 것은 그럴듯한 내용과 화려한 수식어를 쏟아내는 AI가 아니라 단 한 줄의 정보라도 근거가 확실한 정보를 제공하는 믿음직한 참모로서의 AI다. 그 신뢰를 만들기 위해 AI를 올바르게 이해하고 활용하려는 우리 군의 선택이 필요한 시점이다.