작년 우리나라서 열린 REAIM
인간의 의미 있는 통제 가능성 언급한
‘행동을 위한 청사진’ 발표
AI 활용 앞서 윤리적 원칙 검토 필수

21세기는 인공지능(AI)의 시대다. 고도로 발전하고 있는 AI를 군사 분야에 활용하는 것은 너무나 당연하다. AI를 활용한 무인전투체계는 인간을 대신해 전투에 참가하고, 체계를 운용할 최소한의 인력만 유지하면 전쟁 중 발생할 수 있는 불가피한 인명피해를 최소화할 수 있기 때문이다.

이외에도 비용 절약, 24시간 경계작전 수행 등의 장점이 있지만 AI를 어떠한 제약도 없이 군사 분야에 활용하는 것은 무리가 있다. 군사 분야에서 AI의 활용이 인간의 생명을 직접적인 대상으로 삼는 경우가 많아서다.

즉 AI를 활용한 ‘살상용 자율무기체계(LAWs·Lethal Autonomous Weapon system)’는 인간의 개입이 없거나 적은 상태에서 타인의 생명을 해칠 수 있는데, 여기서 발생하는 오류가 회복할 수 없는 치명적 결과를 낳을 수 있다는 것이다.

예를 들어 2023년 미 공군의 가상훈련 중 AI 드론이 인간 조종사를 공격한 사례가 있었다. ‘인간의 공격 금지 결정이 임무 수행을 방해한다’고 판단해서다. 또한 챗GPT 같은 생성형 AI가 인간을 적으로 인식해 제거해야겠다고 답변한 사례도 있다.

이처럼 우리가 예상하지 못한 곳에서 AI의 위험성을 확인할 수 있다. 따라서 AI를 활용한 무기체계는 반드시 일정한 윤리적 규칙과 가이드라인을 따라야 하고, 이것이 적절하게 이행되고 있는지 검토돼야 한다.

이런 측면에서 지난해 9월 전 세계에서 2번째로 대한민국에서 열린 ‘인공지능의 책임 있는 군사적 이용에 관한 고위급 회담(REAIM·REsponsible AI in the Military domain summit)’을 눈여겨볼 필요가 있다. REAIM이 기존의 포괄적 전쟁법·규칙 논의에서 나아가 AI의 책임 있는 군사 분야 활용을 구체적으로 다룬 최초의 다자적 논의의 장으로서 의미를 갖기 때문이다.

특히 2024년 회의 후 발표된 선언문 ‘행동을 위한 청사진(Blueprint for Action)’에서 ‘AI의 적용은 윤리적이고 인간 중심적이어야 한다. 무력 사용에 대한 인간의 판단과 통제…적절한 개입이 유지돼야 한다’를 포함한 6가지 조치사항을 제시했다. 이는 ‘인간의 의미 있는 통제 가능성(meaningful human control)’으로 대표되는 AI의 군사적 활용에 관한 일반적 준수사항을 더욱 구체적이고 현실적인 수준으로 향상시켰다는 평가를 받는다.

이상의 내용을 종합해 볼 때 AI를 군사적 영역에서 효과적으로 활용한다는 건 단순히 더욱 높은 지능을 갖고 스스로 고차원적인 문제를 해결할 수 있는 시스템을 개발하는 것뿐만이 아니다. 적절한 순간에 인간 지휘관이 정확하게 개입해 오류 가능성을 낮출 수 있는 책임감 있는 운용을 보장해야 한다.

역설적이게도 인간의 어떠한 개입도 필요 없는 완전히 자동화하고 고도화한 AI 시스템은 가장 무책임한 무기체계로 전락할 수 있다. AI를 활용해 국방개혁의 첫걸음을 내딛는 지금, 기술적 개발과 더불어 윤리적 원칙의 검토가 간절히 필요하다.