국방 군수분야 설명가능 인공지능 도입 방안
『국방논단』 1892호(한국국방연구원 발행)

이은아 ealee@kida.re.kr
김용민 ymkim@kida.re.kr
한국국방연구원 국방자원연구센터

인공지능 기술은 일반적으로 복잡한 알고리즘을 기반으로 하여 분석의 근거를 제시하기 어렵다는 한계로 인해, 중요한 의사결정을 다루는 국방 분야에 활용되기에 제한적이었다. 그러나 인공지능 분석 결과의 타당성을 사용자 수준에서 이해할 수 있도록 제시하는 설명가능 인공지능(XAI: Explainable Artificial Inteligence)의 등장으로, 국방 군수분야의 인공지능 활용 가능성이 증대되고 있다. 

본고에서는 XAI의 개념 및 필요성과 함께, XAI 모델을 국방 군수분야에 적용할 수 있는 예시를 소개하고, 우리 군이 이를 효율적으로 도입하기 위한 시사점 및 발전방향을 다음과 같이 제안하였다. 첫째, 우리 군도 적극적으로 XAI 기술을 도입해야 한다. 둘째, 인공지능 기술의 평가 기준으로 설명가능성을 고려하여야 한다. 셋째, 국방 분야에 특화된 XAI 플랫폼 개발이 필요하다.

인공지능(AI: Artificial Intelligence)은 시대적 흐름이다. 인공지능은 학습, 추론, 지각 능력 등 인간의 지능적인 행동을 컴퓨터가 수행하도록 구현하는 컴퓨터 공학 분야로, 이 시대의 가장 핫한 키워드가 인공지능이라는데 이의를 제기할 사람은 없을 것이다.

국방 군수분야는 가장 빠르게 인공지능의 활용성을 기대할 수 있는 분야이다. 최근 다양한 정보체계의 개발 및 무기체계 센서데이터 수집 확대 등으로 군수데이터의 양이 크게 증가하였으며, 활용할 수 있는 데이터는 더욱 확대될 전망이다. 이러한 방대한 양의 데이터로부터 적절한 특징을 추출하고 높은 정확도로 의사결정에 활용하기 위해 인공지능 기술 적용의 필요성은 더욱 증대되고 있다. 또한 보급, 정비 등의 군수분야는 상대적으로 윤리적 문제에서 자유로우며, 한정된 영역에서 명확하게 정의된 문제를 해결하는 낮은 단계의 AI 기술을 필요로 하기 때문이기도 하다.

한편, 인공지능 기술은 복잡한 알고리즘을 기반으로 사용자에게 의사결정, 추천, 예측 등의 정보를 제공하지만, 내부 의사결정과정이 불투명하여 “블랙박스”라 불리며 최종 의사결정 결과의 근거 및 도출과정의 타당성 등을 제공하지 못하는 한계가 존재한다. 국방 분야는 속도나 효율성보다 신뢰성이 더 중요시되기 때문에 인공지능 기술의 적용은 주저되고 있다.

이러한 인공지능 모델의 한계를 극복하기 위한 기술로 인공지능 시스템의 최종 결과를 이해하고 설명 가능하도록 정보를 제공하는 XAI(Explainable Artificial Intelligence)를 주목할 필요가 있다. 본고에서는 XAI의 개념과 연구동향을 간략히 소개하고, 어떤 이유들로 XAI를 활용하고 있는지 살펴본 다음, 국방 군수분야를 중심으로 활용 가능한 XAI 모델의 예시와 함께, 우리 군의 효율적 XAI 기술 도입을 위한 시사점 및 발전방향을 제시하고자 한다.

XAI는 사용자에게 시스템의 의사결정에 대한 설명을 제공하고, 사용자가 인공지능 시스템의 전반적인 강점 및 약점을 이해하도록 도와주는 기술이다. 인공지능 시스템 결과에 대한 사용자 및 사회의 수용과 신뢰가 우려되면서 XAI 기술이 주요 연구 분야로 주목받고 있다.

예를 들어, 여러 사진으로부터 고양이 이미지를 찾아내는 인공지능 시스템에서, 기존에는 단순히 고양이인지 아닌지 판별 결과만을 도출하지만, XAI 시스템은 그 근거까지 제시한다. 즉, 귀의 모양을 근거로 해당 이미지가 고양이라는 결론을 내렸다고 설명한다 (<그림 1 참조>).

XAI 기술개발 연구는 2017년부터 미 국방성 산하 방위고등연구계획국(DARPA: Defense Advanced Research Projects Agency)에서 관련 기술개발 프로젝트를 시작한 이후 구글, MIT 등 민간 영역에서도 활발히 추진 중이다. 국내에서는 과학기술정보통신부에서 설명 가능 인공지능 연구센터(XAIC: eXplainable Artificial Intelligence Center)를 설립하여 현 인공지능 시스템의 의사결정 이유를 설명할 수 있는 프레임워크 및 사용자 인터페이스를 개발하고 있다. 최종적으로 의료, 금융 등 전문 분야에 실제로 적용하는 것을 목표로 하고 있지만, 아직까지는 군사목적을 위한 프레임워크는 제공되지 않고 있다.

한편, 비교적 짧은 역사에도 불구하고 설명 가능한 AI를 위한 기법들이 많이 연구되었다. XAI기법은 <표1>과 같이 세 가지 관점에서 분류할 수 있다.

첫째, 인공지능 모델 자체의 설명력 보유 여부에 따라 사전(intrinsic) 설명모델과 사후(post-hoc) 설명모델로 구분된다. 선형모델, 의사결정나무 모델 등은 구조가 간단하여 그 자체로 해석력을 갖고 있지만, 딥러닝 등은 모델 자체로 설명력을 지니지 않기 때문에 해석을 위한 새로운 사후분석 모델을 사용하여 해석이 필요하다. 

둘째, 설명범위에 따라 하나의 샘플에 대한 예측결과만을 설명하는 방법인 국소적(local) 기법과 어떤 변수가 중요한지 등을 보여주며 모델 전반적인 부분을 이해하는데 중요한 해석을 제공하는 전역적(global) 기법이 있다. 

셋째, 사용목적에 따라 특정 머신러닝 모델에서만 사용가능한 특수목적용(model-specific) 설명기법과 모델에 상관없이 적용 가능한 범용적(model-agnostic) 설명 기법으로 분류할 수 있다. 후자의 경우 해당 모델의 구조적 정보를 이용하지 않고, 입력과 출력 값의 변화를 분석하여 해석한다.

다음으로는 현재 국방 군수분야에서 우리 군이 인공지능 기술을 어떻게 활용하고 있는지 <표2>에서 정리하였다.

우리 군은 스마트 정비 분야에서 센서데이터를 활용한 상태기반정비체계 구축과 스마트 수리부속 수요예측을 추진하고 있다. 「센서데이터 활용 상태기반정비체계」 구축 사업과 함께, 센서 데이터 분석 관련 전문인력 양성에 힘을 쓰고 있으며, 스마트 수리부속 수요예측에 대한 연구 또한 「빅데이터 기반 수리부속 수요예측」 사업이 국방부 주도로 진행되고 있다. 

종합정비창의 스마트공장 전환 사업의 경우, 「3D 정비공정을 위한 산업용 로봇 적용」, 「단순·반복 작업 공정 자동화구축」, 「IoT 기반 정비시스템 최적화」, 「무인기술 적용 안전 인프라 구축」이라는 4개의 핵심 분야를 중심으로 추진되고 있다. 스마트 물류창고는 자율주행차량과 자동 적송장비 등을 도입해 원활한 물류 흐름을 보장할 것으로 기대되며, 군수통합정보체계와 연동하여 모든 군수품을 통합·관리함으로써 신속하고 정확한 군수지원을 목표로 하고 있다.

다음으로는 수리부속 수요예측에서 인공지능 기술을 적용할 경우 발생할 수 있는 문제점과 제한점을 다양한 사례를 통해 살펴보고, 각 사례에서 발생하는 어려움을 해결하고 완화하는 수단으로 설명가능 인공지능의 필요성을 제안한다.

일반화 성능이 높은 모델 개발을 위해

수리부속 수요발생 유무를 판단하는 인공지능 기반 분류 모델이 있다고 하자. 학습데이터셋에서는 수요발생 유무를 잘 구별해내며 높은 성능을 보였으나, 모델이 실제 미래 예측 시 사용되는 과정에서 수요가 발생하지 않는 품목을 수요가 발생한다고 계속 잘못 판단하는 상황을 가정해보자.

설명가능 기술을 통해 작동 중인 인공지능 모델이 어떤 영향변수에 집중해서 수요발생 유무를 판단하는지 확인해 본 결과, 모델이 수요발생과 품목 단가를 강하게 연관 짓고 있다는 점을 파악하였다. 즉, 모델 훈련 시 사용한 단가 10만 원 미만의 품목에서 우연찮게도 고장발생 품목이 많았던 것이다. 인공지능 모델의 훈련 과정에서 이러한 요소를 파악할 수 있다면, 개발자는 이 모델이 다른 조건에서 일반화되기 어려울 것이라는 것을 예측할 수 있다.

인공지능 구현에 주로 사용되는 ‘기계학습(Machine Learning)’ 방식은 시스템이 데이터를 기반으로 스스로 학습하며 고도화하는 것이 특징이다. 그렇기에 인공지능은 학습 데이터에 따른 편향, 의도하지 않은 판단 등의 잠재 위험이 존재한다.

결과에 대한 책임 판단 근거로 활용

수리부속 예산 및 조달 소요판단 시, 통계적 예측기법에 의해 제공되는 전산 추천치에 각 군 품목관리관들의 경험적 판단에 의한 조정을 반영하여 최종소요를 결정한다. 그러나 인공지능 모델을 도입하게 되면 예측결과의 이유를 알 수 없으므로 품목관리관의 정성적 판단을 더하여 소요를 조정하기란 쉽지 않다.

한 예로, 전년도에 지휘관의 명령에 의한 일시적 라이트 교체 수요가 발생하였고, 해당품목의 차년도 전산 추천예측치가 과거 10년간의 연평균 소요량 대비 비교적 과다 산정되었다고 하자. 실제 전자의 이유에 의해 최근의 수요 증가추세가 반영되었다면, 다시 발생하지 않을 수요이므로 우선적으로 품목관리관의 수요조정을 통해 과다 예측에 의한 초과재고를 방지할 수 있다. 

그러나 모델 알고리즘이 타 장비의 품목 교체주기를 반영해 판단한 소요라면, 품목관리관의 소요삭제 시 고장발생 수요에 대처하지 못해 전투준비태세 영향을 줄 수도 있는 상황이 발생할 수도 있다. 어떤 입력변수가 주요인자인지 등 그 이유에 대한 설명이 가능하다면, 전산상 반영하지 못하는 부분이 존재하여 예측이 잘못된 경우 품목관리관의 수요조정 근거로 활용할 수 있으며 추후 원인을 규명하여 향후 동일한 문제가 발생하지 않도록 개선할 수 있다.

모델 수정 및 개선을 위해

인공지능 모델은 매우 강력한 분석 기능에도 불구하고 모델이 블랙박스 상태에 머무른다면, 모델을 개선하거나 오류를 찾는 과정에서 많은 어려움이 존재하고 오랜 시간이 소요될 수밖에 없다. 앞서 언급한 특정 카테고리(단가가 10만 원인 품목 데이터)의 데이터가 더 필요한지 등 모델이 설명되지 않는다면 실패사례에 대한 가설을 세운 뒤 수차례의 수정 및 재훈련이 필연적으로 요구된다.

머신러닝, 딥러닝 등 최신 인공지능 기술이 학습 과정에서 많은 시간이 걸리는 점을 감안하면 분석 실패와 수정의 반복 과정은 매우 비효율적인 작업이다. XAI를 통해 모델의 결과가 어떻게 왜곡되었는지 확인할 수 있다면, 모델 개발자는 보다 효율적으로 모델을 수정하거나 개선할 수 있을 것이다. 또한 XAI는 의사결정에 가장 큰 영향을 주는 샘플을 찾아내고, 데이터셋에 어떤 문제가 있는지 샘플 데이터를 바탕으로 확인할 수 있으며, 분석 결과가 바람직한 경우에도 추가적으로 필요한 데이터 및 개선 방향을 탐색할 때에도 큰 도움이 된다. 또한, 잘못된 영향변수가 높은 가중치를 가진다면 해당 변수를 제거하거나 중요도를 감소하는 조치를 취할 수 있다.

의사결정 지원을 위해

머신러닝을 의사결정에 활용할 때, 일반적으로 의사결정자가 모델의 원리를 이해하고 있어야 한다. 그러나 최근의 딥러닝 모델은 수많은 파라미터들을 가지고 있기 때문에 점점 이해하기 어려워지고 있다.

대표적인 XAI기법인 민감도분석을 사용하면 다양한 시나리오에 의한 사용자의 의사결정 지원이 가능하다. 인공지능 모델의 결과를 역추적하여 입력 값의 어떤 부분이 모델의 결과 도출에 큰 영향을 미쳤는지를 설명하고, 모델에서 선형적인 작용을 하는 변수가 증가 혹은 감소하면 예측결과가 어떻게 변하는지 정량화하여 시뮬레이션 가능하다는 장점이 있다,

수리부속 수요 발생에 영향을 미치는 주요 요소를 파악하고 장비 운용실적, 창정비 주기, 장비수명, 신규장비 도입 및 도태시점, 외주정비 확대 등 다양한 정책 시나리오에 따른 수리부속 소요 및 예산과의 상관관계를 모니터링 하면서 의사결정을 내리는 것이 바람직하다.

이번에는 현재 인공지능 모델 적용이 시도되고 있는 군수분야의 일부 문제를 중심으로, XAI기법에 대한 응용 사례를 소개하고자 한다.

모델 전체의 주요 영향변수에 대한 전역적 설명 기법

게임 이론에 기반을 두는 SHAP(SHapley Additive exPlanations)는 모델 결과에 대한 기여도를 의미하는 Shapely value를 활용하는 XAI기법으로, 새로운 입력에 대해 Shapely value를 비교함으로써 어떤 변수가 모델에서 중요한 역할을 하는지 전체적인 관점에서 모델의 예측 결과를 설명한다. <그림 2>는 SHAP을 이용하여 수리부속 수요예측 결과를 설명한 예시이다. 중요도 내림차순으로 변수를 세로로 정렬하여 시각화하고, 가로 위치는 해당 값의 효과가 더 높거나 낮은 예측과 관계되어 있는지를 보여준다. 즉, 이 예시에서는 T-1년 수요량이 높은 고장 가능성을 유발한다는 것을 알 수 있다.

개별 샘플 예측결과에 대한 이유를 설명해주는 국소적 설명 기법

CAM(Classification Activation Map)은 개별 샘플의 학습결과를 히트맵(heatmap) 형식으로 시각화해주는 XAI기법이다. A라는 수리부속의 수요예측을 위한 입력자료를 다음과 같이 연도별, 장비별, 영향변수별 3차원으로 구성했다고 가정하자. <그림 3>은 예측결과에 대한 설명을 CAM을 사용하여 시각화한 것으로, 해당 품목의 소요는 12~14년 사이 장비 A의 T-1년 수요량에 많은 영향을 받았음을 알 수 있다. 이러한 국소적 기법은 특정 샘플에 대한 설명을 제공하기 때문에 실용적이며, 특히 편성부대의 보급/정비담당관, 군수사의 품목관리관 등 실무자들에게 유용하다.


예측결과에 대한 일반적인 규칙을 설명하는 기법

예측정비(PM: Predictive Maintenance)는 장비의 상태 정보를 기반으로 정비시기를 예측하고, 고장으로 이어지기 전에 정비를 실시하여 잠재적인 문제를 해결하는 정비를 의미한다. 최근 이러한 정비수요 예측에 인공지능 모델이 활발히 적용되고 있다.

LIME(Local Interpretable Model-agnostic Explanations)은 실제 모델과 국소적으로 유사한 결과를 도출하면서 설명 가능한 대리 모형을 찾는 XAI기법으로, <그림 4>는 LIME을 이용한 함정 MTU엔진 정비수요 예측 모델의 해석 결과이다. 가장 상단은 최종 예측결과로 엔진 B에 대한 정비가 필요하다는 것을 나타내며, 하단의 그림은 엔진 B가 고장일 것이라고 말하는 이유는 무엇인지에 대한 답을 제공한다. 모델은 엔진 B가 후면부 진동센서 평균 진폭이 500 이상을 나타내어 정비대상으로 식별하였고, 반면 엔진 C는 평균 진폭이 100 이하로 나타났기 때문에 정상적인 패턴으로 인식하여 정비대상으로 식별하지 않았음을 알 수 있다.


의사결정자의 대안 선택을 위한 기법

자체적으로 설명력을 가지는 모델이라 하더라도, 실제 활용 변수가 3차원 이상이라면 시각적으로는 표현이 어렵고 직관적으로 다음 대안을 찾기도 쉽지 않다.

함정의 자산가 대비 유지비 비율 그룹분석 모델을 무지개박스로 생성해보자. 1단계는 자산가, 운용대수, 급수, 임무구분 등 정보를 고려하여 신규도입 함정과 가장 유사한 함정그룹을 두 가지만 남긴다. 다음으로 2단계에서는 여러 함정들 간에 공유되는 정보를 묶어서 상자를 생성하는데, 이 때 상자의 불연속 박스를 최소화하는 방향으로 함정 위치를 재정렬한다. 이렇게 시각적으로 표현하게 되면 함정 간 공통점을 식별하기 훨씬 더 쉬워지게 된다.

결론적으로 붉은색이 지배적이므로, 시스템은 함정 D와 함정 E를 유사 함정그룹으로 판단하여 신규도입함정의 자산가 대비 유지비 비율은 2%라고 추천하게 된다. 그러나 의사결정자는 시스템에서 산출한 유지비 비율에만 초점을 맞추지 않고, 무지개상자 결과를 통해 의사결정에 더 많은 도움을 얻을 수 있다. 시스템에서 추정한 신규도입 함정의 유지비 비율이 2%임에도 불구하고, 의사결정자는 정책적 결정의 변화를 고려하여 3%로 판단할 수 있다. 향후 도입되는 전투함 및 전투지원함이 모두 LTS 지원을 받을 예정이라면, “LTS 지원을 받는 함정들은 모두 유지비 비율이 3% 수준이므로, 신규도입 함정도 유지비가 3% 수준일 것”이라고 주장할 수 있기 때문이다.


우리 군의 효율적 XAI 기술 도입을 위한 시사점 및 발전방향

지금까지 XAI 도입의 필요성 및 군수분야 적용 가능 예시들을 살펴보았다. 미 국방부는 2017년부터 DARPA의 XAI 기술 및 사용자 인터페이스 개발에 연평균 2,000만 달러 내외의 예산을 투입하고 있으며, 우리 정부에서도 인공지능 모델의 설명력 부족에 대한 한계를 인지하고 2021년부터 과학기술정보통신부 주관으로 ‘신뢰할 수 있는 인공지능 실현 전략’을 발표하여 추진 중에 있다. 이러한 흐름을 바탕으로, 국방 군수분야에의 XAI 기술 도입을 위한 몇 가지 시사점 및 발전방향을 제시하고자 한다.

첫째, 우리 군도 적극적으로 XAI 기술을 도입해야 한다. 여전히 군은 현장에서 본인의 의사결정과 시스템에 의한 결과가 비교되는 것에 대해 거부감이 크다. 인공지능 기술 그 자체는 문제해결을 위한 하나의 도구에 불과하며, XAI는 군 관계자가 이해하고 신뢰할 수 있는 방식으로 모델이 내린 의사결정에 대한 설명력을 제공한다. XAI라는 영역에 더 많은 군 관계자가 관심을 가지고, 이를 통해 인공지능 기술을 더 잘 이해하여 우리의 문제해결을 위한 도구로 활용할 수 있어야 한다.

둘째, 인공지능 기술의 평가 기준으로 설명가능성을 고려하여야 한다. 금융 분야와 같이 강한 규제 안에 있는 산업의 경우, 인공지능 모델 기반 예측 결과에 대한 설명을 이미 의무 사항으로 지정하고 있다. 과정을 이해할 수 없다면 알고리즘에 오류가 있는지, 잘못된 의도가 있는지, 그리고 그 의도를 어떻게 조정할 수 있는지 알 수 없다. 우리 군이 인공지능 모델의 실무적용 확대를 검토 중인 이 시점에서, 어떤 데이터셋으로 훈련하였는지, 데이터의 편향성에 의해 예측정확도가 높았던 것은 아닌지, 일반화 모델로서 가능성이 있는지 등 기본적인 정보를 제공하게 하여 인공지능 모델에 대한 성과 및 품질관리에 중요한 기준으로 참고될 수 있도록 해야 한다. 이처럼 인공지능 모델의 설명 가능한 정보를 제공하도록 하고 이를 평가 기준으로 고려해야 한다. XAI 오픈소스 라이브러리를 활용한다면 소요비용이나 시간 측면에서 부담이 적을 것이다.

셋째, 국방 분야에 특화된 XAI 플랫폼 개발이 필요하다. 단기적으로는 인공지능 모델에 범용적으로 사용할 수 있도록 개발된 XAI 오픈소스 라이브러리를 통해 변수중요도, 의사결정 규칙 등 간략한 설명을 추가할 수 있을 것이다. 그러나 실제 현장에서 군 의사결정자가 인공지능 모델을 실용적으로 활용하기 위해서는 모델 설명에 포함되어야 하는 사항 등을 구체화하고 국방 각 분야에 특화된 XAI 플랫폼 개발이 필요하며, 이를 통해 모델은 지속적으로 평가되고 개선되어야 한다. XAI 기술을 국방 분야만의 차별화된 성과 달성의 도구로 인식하여, 인공지능 기술의 역량과 도메인의 지식을 결합한 연구개발이 필요하다.

지난 몇 년간 국방 여러 분야에 걸쳐 인공지능 기술을 이용한 프로세스 개선 시도가 있었으나, 모델 자체의 성능이 쓸 만한 수준에 도달하느냐에 초점을 맞춰왔다. 지금까지 연구해 온 인공지능 모델이 실무에서 운용할 수 있는 시스템으로 전력화하는 과정에서, 설명가능 인공지능 기술은 역할이 점차 확대될 것이다. 미군의 경우 2017년부터 XAI 기술을 적용하고 있는 것을 감안하면 우리 군의 XAI 기술 도입은 다소 늦은 감이 있다.