서울 ‘REAIM’ 회의서 채택된 원칙 국제법 준수·인간 통제 유지 명시 미 전쟁부와 공급 계약한 앤트로픽 완전자율무기에 자사 모델 금지시켜 우리 군, 표적 식별까지만 A I에 위임 전선 실제 운용 시 허점 메우기 과제
카메라가 본 영상을 인공지능(AI)이 ‘적군 자주포’라고 식별하는 것과 그 자주포를 향해 폭약을 떨어뜨리도록 명령하는 것. 둘은 기술적으로는 같은 신경망 안의 이어진 두 단계지만 법적·윤리적으로는 전혀 다른 문턱에 속한다. 앞서 드론과 AI의 결합이 전장의 문법을 바꾸고 있음을 살폈다면 이번 회는 그 끝점에 놓인 가장 무거운 질문을 다룬다. 표적 식별과 살상의 결심을 어디까지 알고리즘에 맡길 것인가. 그 문턱을 누가, 어떻게 지킬 것인가. 이는 자율무기 논의의 핵심이다.
이 문제를 가장 정연하게 분류한 문서는 미 전쟁부(국방부) 지침 DODD 3000.09다. 2012년 처음 발령돼 2023년 1월 개정된 이 지침은 무기의 기술 수준이 아니라 표적 선택과 교전 결정에서 인간이 어디에 위치하는가를 기준으로 자율무기를 셋으로 나눈다. 첫째, 인간이 결심 회로 안에 있는(human in the loop) 반자율 무기는 표적 하나하나를 사람이 직접 고른다. 둘째, 인간이 회로 위에 있는(human on the loop) 감독형 무기는 시스템이 스스로 표적을 골라 교전하되 운용자가 언제든 멈춰 세울 수 있어야 한다. 셋째, 인간이 회로 밖에 있는(human out of the loop) 완전 자율무기, 곧 자율살상무기체계(LAWS)는 일단 활성화되면 사람의 추가 개입 없이 스스로 표적을 선택해 교전한다. 국제사회가 가장 우려하는 단계가 이 셋째다.
우크라이나군이 운용하고 있는 세이커 스카우트 쿼드콥터. 출처=Twist Robotics 공식 홈페이지
문제는 전장이 이 셋째 문턱에 이미 발을 들였다는 데 있다. 2023년 10월 영국 매체 포브스는 우크라이나 세이커의 자폭드론 ‘스카우트’가 사람의 교전 명령 없이 러시아군을 자율 타격한 것을 처음 인정한 사례로 보도했다. 이 기체는 좌표만 받아오는 모드와 사전 등록된 표적 유형이 발견되면 자동으로 교전까지 수행하는 자율 모드를 함께 갖췄다. 그러나 세이커 측은 자율 모드가 사람이 회로 안에 있을 때보다 신뢰성이 떨어진다고 인정했고, 전문가들은 광고된 자율성이 실제로 어느 수준이었는지는 검증되지 않았다고 평가했다. 러시아의 자폭드론 ‘란셋’도 자율 표적 식별을 광고하지만 우크라이나 매체 디펜스 익스프레스는 사실상 시각 추적에 가깝고, 비행경로는 여전히 운용자 화면에서 계산되는 경우가 많다고 분석했다. 광고된 자율성과 실제 작동 사이에는 간극이 있다는 의미다.
이러한 회색지대를 메우기 위해 국제사회가 들고나온 원칙이 ‘의미 있는 인간 통제’ 또는 ‘적절한 수준의 인간 판단’이다. 2024년 9월 서울에서 채택된 ‘군사 분야 책임 있는 인공지능(REAIM)’ 고위급 회의의 ‘행동을 위한 청사진’은 군사 분야 AI가 국제법에 따라 사용돼야 하며, 중요한 결정에서 인간의 통제가 유지돼야 한다고 명시했다. 또 핵무기 사용 결정만큼은 인간이 쥐고 있어야 한다는 점을 별도 조항으로 못 박았다.
안토니우 구테흐스 유엔 사무총장도 인간의 통제 없이 작동하는 자율살상무기를 2026년까지 법적 구속력을 지닌 문서로 금지하자고 거듭 촉구해왔다. 다만 이 원칙들은 어느 수준이 ‘적절한지’ 명시하지 않는다는 한계를 함께 안고 있다.
이 원칙이 종이 위 선언에 그치지 않음을 보여준 일이 최근 있었다. 지난해 7월 미 전쟁부는 앤트로픽·구글·오픈AI 등과 각 2억 달러 규모의 계약을 맺어 첨단 AI를 정보분석·작전계획에 도입했다. 그런데 앤트로픽은 자사 모델의 사용 약관에서 자국민 대상 대규모 감시와 완전자율무기에서의 사용을 금지하고 있었다. 2026년 2월 전쟁부가 ‘모든 합법적 용도’로 제한 없이 쓰게 해달라며 이 조항을 풀 것을 요구했지만 앤트로픽은 응하지 않았다. 다리오 아모데이 앤트로픽 최고경영자(CEO)는 자율무기가 장차 국방에 중요할 수 있음을 인정하면서도 오늘의 첨단 AI는 완전자율무기를 맡길 만큼 신뢰할 수준에 이르지 못했다는 판단을 근거로 들었다. 기술을 만든 쪽이 스스로 그 사용의 문턱을 그은 셈이다.
미 전쟁부(국방부)는 지침을 통해 무기의 기술 수준이 아니라 표적 선택과 교전 결정에서 인간이 어디에 위치하는가를 기준으로 자율무기를 나눈다. 오픈AI와 앤트로픽 로고 이미지. 로이터·연합뉴스
그렇다면 공중 영역에서 이 원칙은 어떻게 구체화되는가. 첫째는 지오펜스다. 자율 교전이 허용되는 공간을 좌표로 묶어 민간 지역과 우군 진지를 회로상에서 원천 차단한다. 둘째는 표적 유형 제한으로 차량·화포·함정 같은 군사 장비로 학습을 좁히고, 사람의 형상이 잡히면 자동 잠금이 풀리도록 설계한다. 셋째는 시간 창 제한이며, 자율 모드 작동 시간을 잘게 끊어 표적이 나타나지 않으면 회수하거나 자폭하게 한다.
넷째는 정지 권한의 보장으로 통신이 살아 있는 한 운용자가 언제든 임무를 중단시킬 수 있어야 한다. 다섯째는 설명 가능성과 감사 추적이다. AI가 어떤 특징으로 표적을 골랐는지 사후에 사람이 들여다볼 수 있어야 책임 소재를 따질 수 있다. 미 의회도 국방수권법에서 자율살상무기의 승인·배치 현황을 매년 보고하도록 의무화해 이 원칙을 입법부의 감독으로까지 넓혔다.
문제는 전선의 실제 운용이 이 다섯 가지를 모두 충족하지 못한다는 데 있다. 통신이 끊기거나 재밍이 짙어지면 정지 권한이 사라지고, 학습 데이터 편향으로 민수용 차량이 군용으로 오인되기도 한다. 알고리즘이 표적을 ‘왜’ 골랐는지를 신경망 내부에서 사람이 곧장 읽어내는 일도 아직 어렵다. 이 빈틈을 어떻게 메울 것인가가 앞으로 10년 자율무기 규범 논의의 실질이며, 한국이 REAIM과 유엔 결의를 통해 관여하는 흐름의 본령이다.
우리 군도 유·무인 복합체계 사업에서 인간 통제를 핵심 설계 원칙으로 두고, 표적 식별까지는 AI에 위임하되 살상 결심에는 사람의 승인을 명시적으로 거치도록 하는 방향이 검토되고 있다.
결국 자율 교전의 문턱은 ‘기술이 무엇을 할 수 있는가’의 문제가 아니라 ‘사람이 무엇을 양보하지 않을 것인가’의 문제다. 카메라가 보고, 알고리즘이 분류하고, 모터가 회전하는 모든 단계가 자동화될 수 있어도 그 끝에서 방아쇠를 당기는 결심만큼은 사람의 책임으로 남겨두자는 합의가 의미 있는 인간 통제의 정수다.
필자 김형석 한성대학교 국방과학대학원 국방전력학과 교수는 한국대드론산업협회 드론센터장, 한국군사문제연구원 객원연구위원을 맡고 있다.
