육군 2군단은 6·25전쟁 초기인 1950년 7월15일 경북 상주군 함창읍 함창고교에서 6사단과 8사단 예하 병력을 근간으로 창설됐다. 초대 군단장은 유재흥 소장.

군단은 창설 후 낙동강 방어 전선을 이루는 문경, 안동, 영천, 다부동 지구 전투에 참가해 적의 공세를 효과적으로 방어했다. 특히 인천상륙작전에 힘입어 국군이 수도 서울 수복과 38선 돌파에 이어 평양을 탈환 후에는 예하의 6사단이 국군 최초로 압록강 초산까지 진격하는 장거를 올렸다. 군단은 6·25 전쟁을 통해 36회의 전투에서 적 사살 11만 2000명, 포로 5000명, 적 장비 8만여 점을 노획하는 전공을 쌓았다.

휴전 후 1955년 4월에 현재의 위치에 주둔, 오늘에 이르고 있다. 군단의 책임지역은 험준하기로 유명해 해발 1468m의 화악산을 비롯 대성산(1174m) 백암산(1181m) 적근산(1073m) 등 60%가 산악지형으로 이뤄져 있다. 97회의 대침투작전을 성공적으로 수행하면서 57명의 무장공비를 사살하고 6명을 생포하는 전과를 올렸다.

군단의 마크는 붉은 색의 원형 바탕에 푸른 색 둘레를 하고 있다. 군단을 뜻하는 ‘2’는 로마숫자 Ⅱ로 표기하고 있다. 붉은 색은 정의와 정열을, 푸른색은 조국의 방패를 뜻한다. 군단기는 흰색과 푸른색을 바탕색으로 쓰고 있다. 위의 흰색은 단일 민족을, 아래 푸른 색은 민족의 자유와 평화를 뜻하며 가운데에 군단 마크를 넣고 있다.

부대 애칭은 '쌍용'이다. 조국을 수호하겠다는 결연한 의지와 변화무쌍하고 신출귀몰한 용의 강한 기상을 담고 있다.