따라서 본 연구에서는 개발시험평가의 신뢰성을 강화하기 위한 방안을 모색하고자 한다. 이를 위해 먼저 국내 개발시험평가 관련 실태를 진단하고 선진국의 개발시험평가 사례를 분석하여 시사점을 도출하였다. 그리고 이를 토대로 개발시험평가의 신뢰성 강화방안을 제시하였다.

우리나라의 개발시험평가 실태를 개념, 조직, 업무 연계성, 문서, 여건 등 핵심현안별로 진단하였다.

먼저 개념 측면에서는 시험평가에 대해 각종 법규에서 정의하고 있으나 시험과 평가를 명확하게 구분하지 않고 있다. 시험은 평가를 위한 기초자료를 획득하여 제공하는 역할을 하며 평가는 획득된 자료를 근거로 요구사항에 부합하는지를 판단하는 역할을 담당하고 있어 시험과 평가의 개념은 구분하여 적용할 필요성이 있으며 이를 통해 조직, 업무 등을 비롯한 다양한 발전방안이 도출될 수 있다.

조직 측면에서는 시험과 평가 각각에 대한 전문성과 독립성이 보장되지 못하고 있다. 개발시험평가는 연구개발기관이 주관하고 있으며 신뢰성 확보를 위해서는 연구개발기관 내에서도 시험과 평가의 주관기관을 구분해야 하나 조직상 구분하지 않고 있다. 또한, 개발시험평가에서 시험과 평가의 객관성 확보가 중요하나 정부나 제3의 기관의 역할이 미흡한 실정이다.

업무 연계성 측면에서는 개발시험평가 단계를 중심으로 전후의 군요구도와 운용시험평가간 연계가 미흡하다. 개발시험평가를 위해서는 군요구도로부터 평가기준을 개발하고 이에 필요한 데이터를 시험에 반영하는 일련의 체계적인 시스템이 요구되나 부재한 실정하다. 운용시험평가는 운용요구서(ORD)를 충족하고, 개발시험평가는 성능적인 부분을 충족하도록 설계되어야 하나 서로 상충되거나 시험평가항목이 모호한 사례가 발생하고 있다.

문서 측면에서는 정부가 주도하여 작성하는 시험평가기본계획(TEMP)에서 시험평가에 대한 전반적인 시험항목, 기준, 방법, 절차 등을 설정해야 하지만 실질적으로는 업체가 작성하는 사전시험평가기본계획(Pre-TEMP)에 많은 부분을 의존하고 있다.

외국에서는 개발시험평가의 신뢰성을 강화하기 위해 여러 가지 노력을 하고 있다.

먼저 개념 측면에서는 시험과 평가 개념을 명확하게 구분하고 있다. 시험은 개발 및 운용측면에서 무기체계의 객관적인 성능을 검증하고, 평가를 위한 자료를 제공하기 위해 고안된 절차이며 평가는 시험을 통하여 수집된 자료를 근거로 사전에 설정된 시험기준과 비교, 분석함으로써 사용자 요구에 일치하는지를 검증하고 운용목적에 부합하는지의 적합성을 판단하는 과정으로 본다.

조직 측면에서는 시험조직과 평가조직을 나누어 독립성을 보장하고 전문성을 제고하고 있다. 업무 측면에서는 개발시험평가를 중심으로 전후 연계성을 높이는 한편, 과학적 기법을 적극 활용하고 있다. 구체적으로는 개발시험평가와 운용시험평가를 연계하되 중복되지 않도록 계획함으로써 각각의 원활한 수행을 도모하고 있다. 군 요구도와 개발시험평가를 연계할 수 있도록 소요군과 개발주관기관과의 정보 교환 및 협력 체계를 유지하고 있다.

문서 측면에서도 시험평가계획 수립 시 과정분석, 설계 및 공학분석, 신경세포조직 분석, 매트릭스 분석 등의 다양한 과학적 기법을 활용함으로써 운용자 요구로부터 시험에 이르기까지 객관적이고 구체적인 항목으로 발전시키고 있다. 또한, 사업 착수 전부터 시험평가 전담기관에서 계획을 수립하고 단계적으로 발전시키고 있으며, 시험평가 항목에 대한 표준화 업무를 수행하고 있다. 개발주관기관(업체)도 시험평가 역량 강화 측면에서 체계적으로 전문인력을 양성하고 활용하며 시험 인프라도 효율적으로 활용하고 있다.

개발시험평가 관련 국내 실태 진단과 외국 사례 분석을 기초로 개발시험평가 신뢰성 강화방안을 크게 네 가지로 제안하였다.

첫째, 시험은 평가를 위한 기초자료를 제공하는 역할을 하고 평가는 획득된 자료를 바탕으로 판단하는 역할을 담당하는 것으로 개념을 재정립해야 한다. 이를 위해 시험평가 관련 규정에 시험과 평가의 개념 정의를 추가하는 것을 제안하였다.

둘째, 개발시험평가의 평가기능을 정부에서 주관할 수 있도록 조직을 신설해야 한다. 조직은 합참 중심의 조직 신설과 각군 중심의 조직 신설을 구분하여 제안하였다. 합참 중심의 평가조직 신설 방안은 합참의 기능을 시험평가에 대한 조정·통제와 평가로 구분하여 조직을 편성하고 시험평가 전략 및 계획수립, 개발 및 운용시험에 대한 평가기능은 평가 부서에서 수행하는 것을 제안하였다. 각 군 중심의 조직신설은 각 군의 시험평가 기능을 시험과 평가로 구분하여 조직을 편성하고 개발시험평가에 있어 업체는 시험 위주로 업무를 수행하도록 제안하였다. 특히, 기존의 운용시험평가 업무에 추가하여 개발시험평가의 평가업무를 각 군에서 수행함으로써 개발시험평가에 대한 정부의 역할을 강화하고자 하였다.

셋째, 개발시험평가 및 운용시험평가 내용의 중복성을 최대한 줄이기 위해 개발시험평가와 운용 시험평가 단계간 상호연계성을 고려하여 체계적이고 일관성 있게 수행해야 한다. 그리고 현재 시제품을 대상으로 수행하고 있는 운용 및 개발시험평가를 개발시험평가 위주로 반영할 수 있도록 절차와 방법론을 개선해야 한다. 이를 위해 야전운용시험(FT)을 운용시험평가로 대체하고 현재 운용시험 평가를 군의 운용 가능성을 잠정적으로 평가하는 운용성확인(OA)으로 대체하는 것을 제시하였다.

넷째, 시험평가기본계획서 작성의 주체는 정부(합참이나 전문기관)가 되어야 하며, 소요단계에서부터 시험평가에 대한 전략을 수립하고 이를 운용요구서에 반영시켜 점진적으로 완성시켜 나가야 한다. 그리고 소요군이 주도적으로 운용요구서의 시험평가 관련 분야를 작성할 수 있도록 시험평가 관련 부서의 지원을 받을 수 있는 체계를 갖추어야 하며, 운용요구서에 포함되어야 하는 시험평가관련 내용이 내실화될 수 있도록 정부뿐만 아니라 기타 지원기관, 업체 등이 시험평가 계획수립에 참여가 가능하도록 대책을 마련해야 한다. 업체 선정 이전 국방과학연구소, 국방기술품질원 등 기술지원기관에 대한 책임 및 권한을 강화하는 방안과 획득단계별로 작성하는 문서에 포함되는 시험평가관련 내용에 대한 체계적인 관리의 필요성을 제시하였다.

그 외에도 미국이나 나토와 같이 분야별 한국형 표준을 정립하는 것은 현실상 어려우나, 체계적으로 선진국의 표준을 조정(Tailoring)할 수 있는 체계를 갖추고 민간 기관을 효율적으로 활용해야 하는 필요성을 제시하였다.

본 연구에서는 개발시험평가 신뢰성 강화를 위한 여러 가지 정책적 발전방안을 제시하였다. 그러나 개발시험평가 신뢰성 확보에 있어 무엇보다도 중요한 것은 외국과 같이 시험평가의 독립성을 보장하는 것이다. 따라서 향후 시험평가 전문기관 설립 및 운용을 위한 장기적인 로드맵을 작성하고 이를 꾸준히 발전시켜 나가야 할 것이다.

※ 본 내용은 2020년 KIDA에서 수행한 『개발시험평가 신뢰성 강화방안 연구』 연구자(박홍석, 최공영, 김지수, 서정훈)의 의견이며, 한국국방연구원의 공식적 견해가 아님을 밝힙니다.