Journal of Housing and Urban Finance
Korea Housing & Urban Guarantee Corporation
Article

도시정비사업 승소결정요인에 관한 계량법학적 연구 : 인공신경망과 의사결정나무 분석기법을 활용한*

김요한1, 정보선2, 이상엽3,****
Yohan Kim1, Boseon Jung2, Sangyoub Lee3,****
1법무법인 태한, 대표 변호사
2건국대학교 부동산학과 박사과정
3건국대학교 부동산학과 교수
1Representative Lawyer, Law Firm Taehan Co., Ltd.
2Ph.D. Student, Real Estate Studies Dept., Konkuk Univ.
3Professor, Real Estate Studies Dept., Konkuk Univ.

본 논문은 제1저자의 2018년도 박사학위논문을 기반으로 편집·정리하여 작성되었음

****Corresponding Author email : sangyoub@konkuk.ac.kr

© Copyright 2020 Korea Housing & Urban Guarantee Corporation. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Oct 23, 2019; Revised: Nov 19, 2019; Accepted: Dec 04, 2019

Published Online: Dec 31, 2019

요약

본 연구는 도시정비사업에서 조합설립과 관련된 소송의 승소결정요인을 데이터마이닝 기법을 활용하여 계량법학적 분석을 실행하였다. 이를 위해 조합설립인가 쟁송에 대한 전국의 제1심 행정법원 판결 441건을 분석대상으로 본안전항변 그룹과 본안쟁점 그룹으로 구분하여 의사결정나무와 인공신경망 분석을 수행하였다. 의사결정나무 분석결과, 본안전항변 그룹의 경우, CHAID 분석에서는 ‘과거법률관계’, ‘조합원지위 또는 소유권 없음’, ‘인가고유하자 아님’이 유의하였으며, CRT 분석에서는 ‘과거법률관계’, ‘조합원지위 또는 소유권 없음’이 유의한 것으로 나타났다. 본안쟁점 그룹 경우의 CRT 분석에서는 ‘정관관련하자’, ‘총회관련하자’가 유의한 것으로 나타났다. 인공신경망 분석에 의하면, 본안전항변 그룹의 경우 정규화중요도가 50% 이상인 변수는 ‘과거법률관계’, ‘조합원지위 또는 소유권 없음’으로 나타났다. 이러한 연구결과를 통해 도시 정비사업 참여자들이 해당 소송결과의 예측가능성에 대한 이해도를 높여 의사결정을 하는데 실무적 도움을 주고 나아가 소제기, 변론준비, 법률분쟁에 따른 사회적 비용을 낮추어 정비사업의 원활한 진행에 도움이 되고자 한다.

Abstract

This study analyzes the winning determinants for lawsuit cases in urban and housing redevelopment projects based on jurimetrics utilizing data mining methodologies of decision tree analysis and artificial neural networks. According to the decision tree analysis, for the prerequisite defensive process, it is noteworthy that ‘legal relation in the past’, ‘no cooperative membership or ownership’, and ‘no inherent authorization defect’ are significant in CHAID analysis, and ‘legal relation in the past’ and ‘no cooperative membership or ownership’ are significant in CRT analysis. The CRT analysis for the actual action shows that ‘defect in relation with articles of association’ and ‘no cooperative membership or ownership’ are substantial. The artificial neural network analysis shows that the variables of which importance of normalization is more than 50% are ‘legal relation in the past’, and ‘no cooperative membership status or ownership’ in the prerequisite defensive process. This study intends to help the urban and housing redevelopment projects participants predict the litigation results which can prevent unproductive legal disputes.

Keywords: 계량법학; 도시정비사업; 데이터마이닝; 의사결정나무; 인공신경망
Keywords: Jurimetrics; Urban and Housing Redevelopment Project; Data Mining; Decision Tree Analysis; Artificial Neural Networks

Ⅰ. 서론

1. 연구의 배경 및 목적

정보통신기술의 발달로 방대한 데이터를 분석하여 의사결정에 활용하는 데이터마이닝 기법이 다양한 산업 분야로 확대되고 있다. 법학 분야에서도 미국 등 외국에서는 데이터마이닝 기법을 활용하여 향후의 소송결과를 예측하고 변론전략을 수립하는 연구가 상당수 수행되었다1), 그러나 우리나라는 데이터마이닝 기법을 활용하여 법원의 실제 판결에 대한 계량법학2)적 연구가 매우 드문 실정이다. 이에 본 연구는 우리나라의 부동산 사업과 관련된 판결을 데이터마이닝 기법을 활용해 소송결과의 예측가능성을 분석하고자 한다. 이를 위해 개발사업과 관련된 대표적 소송인 도시 및 주거환경정비법에 의해 추진하는 주거환경정비사업 중 가장 법률분쟁의 빈도가 높은 조합설립과 관련된 소송3)의 승소결정요인을 의사결정나무와 인공신경망 분석방법을 활용하여 분석하였다. 이를 통해 실무적으로는 도시정비사업 관계자들이 소제기에 관한 결정이나 제기된 소송의 변론준비에서 소송결과의 예측가능성에 대한 이해도를 높이고자 하는 연구목적을 가진다.

2. 연구의 범위 및 방법

본 연구는 도시정비법의 절차에 따른 사업진행단계 중에서 초기단계4)의 쟁송판결을 대상으로 실무에서 쟁송이 가장 집중되는 정비구역지정을 포함한 추진위원회구성단계, 조합설립단계에 대한 행정소송의 실제 판결인 총 441건을 대상으로 분석하였다. 분석범위는 2009년도 하반기부터 2015년도 하반기까지의 약 6여 년 동안 우리나라에서 선고된 모든 지역의 소재 지방법원5) 또는 1심인 행정법원의 판결만을6) 분석대상으로 하였다7). 분석방법은 먼저 법률적으로 본안전항변사유와 본안쟁점사항은 법리판단의 위계나 소송의 심리과정에서 동질적으로 취급될 수 없으므로 실제 소송의 변론에서 부합할 수 있도록 본안전항변그룹과 본안쟁점그룹으로 구분하였다. 이어 계량법학적으로 분석한 선행연구(김요한 외, 2019)를 기반으로, 중요도 및 통계적 유의성을 고려하여 본안전항변사유와 본안쟁점사항을 독립변수로 선정하였다. 이를 이용하여 의사결정나무 분석을 통해 각 그룹별로 판결결과에 어느 승소요인이 영향을 미친 후 다음 단계에서 어느 승소요인 영향을 미치는지를 분석하였다. 또한 결과에 대한 높은 예측력을 제공한다고 알려진 머신러닝기법에 기반을 둔 인공신경망 분석방법을 통해 각 그룹별로 승소요인을 분석하였다.

Ⅱ. 선행연구 고찰

계량법학은 법학에 계량적 방법을 적용한 학문 영역으로서, 그 영역은 입법, 재판, 법률실무, 첨단과학기술 등의 활용까지 망라하는 학문 분야를 일컫는다(김요한 외, 2019). 통계적 방법 및 인공지능 방법론을 활용하여 판례를 분석함으로써 향후의 소송결과를 예측한 선행연구들을 검토하면 다음과 같다(김요한, 2018).

해외 연구로 Ashley Brüninghaus(2006)는 법률쟁송에 대한 결과를 예측하기 위해 새로운 예측방법으로 쟁점기반예측(Issue-Based Prediction, IBP)기법8)을 개발하여 권리구제를 청구하는 사건의 유형인 거래비밀법 위반 판례9)를 대상으로 분석하였다. IBP 기법은 가정설정과 검증과정이 법률적으로 이해가 용이한 점, 예측기능과 설명기능이 우수한 점에서 좋은 평가를 받고 있다. 또한 Kris Steckman(2009)은 법률문제에 있어 예측(값)을 유가증권 시장의 선물이나 주식처럼 정보시장에서 사고 팔아 정확성을 제고시키기 위해 정보시장에 기반한 예측이론을 연구하였다. 국내 연구로 김동욱(2011)은 감정평가의 과실과 관련된 손해배상을 청구한 총 48건 민사소송의 판결을 대상으로 감정평가사의 민사소송 피소에 따른 승·패소의 요인을 의사결정나무 분석방법을 활용하여 분석하였으며, 김요한·이상엽(2017)은 개발행위허가와 관련된 행정사건 총 319건의 판결을 대상으로 행정청의 불허가처분에 대해 행정법원에 소송을 제기한 경우 소송의 결과에 영향을 미치는 승소 요인을 의사결정나무 분석방법을 활용하여 분석하였다. 행정청의 불허가처분의 사유를 세분화하여 분석함으로써 실무적 타당성이 높은 점, 행정소송의 변론준비 과정에서 참고자료로 활용가능한 시사점을 제시하였다.

이에 본 연구도 향후의 소송결과를 예측하고 변론전략 등을 수립하기 위해 데이터마이닝 기법을 활용하여 의사결정나무 분석을 통해 종속변수에(소각하판결 또는 승소판결)에 어떤 승소요인이 주된 영향을 미치는지에 대해 단계적으로 영향력을 검증하고, 이어서 인공신경망 분석을 통해 종속변수(소각하판결 또는 승소판결)에 어느 정도의 영향을 미치는지에 대해 그 예측도를 검증하고자 한다.

Ⅲ. 분석자료

1. 모형설정 및 변수측정
1) 연구모형
(1) 의사결정나무

의사결정나무는 의사결정규칙을 나무구조로 도표화하여 관심대상의 정보나 자료에 관해 예측 또는 분류를 수행하는 분석방법으로, 하나의 나무구조를 이루는데 뿌리마디, 중간마디, 끝마디 등의 여러 종류의 마디라 불리는 구성요소로 이루진다(강현철 외, 2006). 의사결정나무를 성장시키는 알고리즘은 다양하지만, 대표적으로 나무구조를 다원 분류하면서 가지치기하지 않고 사전에 정한 정지규칙에 따라 최종의 나무구조를 완성하며, 독립변수는 범주형만 허용하므로 연속형은 사전에 범주형으로 변환하는 CHAID10)알고리즘과 각각의 독립변수를 이분화하는 과정의 반복을 통해 나무구조를 형성하여 종속변수가 범주형이면 분류하거나 연속형이면 회귀분석을 수행하여 독립변수는 연속형 또는 범주형 모두 적용할 수 있는 CRT11)알고리즘으로 구분할 수 있다(전치혁, 2012). 본 연구에서는 CHAID와 CRT 알고리즘을 각각 이용하여 본안전항변그룹의 종속변수인 뿌리마디는 소각하판결 여부와 본안쟁점그룹의 종속변수인 뿌리마디는 본안승소판결 여부로 독립변수는 중간마디 또는 끝마디로 분석하였다.

(2) 인공신경망

인공신경망 모형은 외적 자극을 받으면 이를 뉴런이 접수하여 여러 단계에 걸쳐 가공하여 뇌에 전달하고, 뇌는 여러 자극과 정보를 분석하고 처리하는 기능을 수행하는 생물체의 신경체계를 본 따 만든 기계학습의 한 방법으로 몇 개의 뉴런과 이것들이 배열된 계층12)으로 구성된다(허명회·이용구, 2008). 본 연구는 인공신경망 다층퍼셉트론 모형으로서 공변량의 조정은 정규화방식을 택하였고, 활성화함수는 시그모이드 함수를 통해 1개의 은닉층에 의한 학습과 분석을 수행하였다. 본안전항변그룹 분석의 경우 목표변수인 출력변수는 소각하판결 여부이다. 즉, 본안전항변그룹의 10개 변수가 소각하판결 여부에 미치는 영향을 분석하고자 하였다.

2) 변수의 구성 및 정의

본 연구의 분석모형은 본안전항변그룹과 본안쟁점그룹으로 구분하여 설정하고, 각 그룹의 독립변수가 종속변수에 미치는 영향력을 검증하였다. 제 1그룹인 본안전항변 그룹의 경우 피고가 제출한 본안전항변사유인 독립변수가 소각하판결인 종속변수에 영향을 미치는 결정요인을 분석하였다. 이를 위해 본안전항변그룹의 독립변수는 도시정비법과 관련된 실제 행정소송판결 총 441건의 전수를 대상으로 중요도 및 통계적 유의성을 고려하여13) 총 10개의 본안전항변사유를 선정하였다(<표 1> 참조). 제2그룹인 본안쟁점 그룹의 경우 원고가 본안 승소를 위해 청구원인으로 주장한 본안쟁점사항14)인 독립변수가 본안승소판결(청구인용)인 종속변수에 영향을 미치는 결정요인을 분석하도록 설정하였다. 이를 위해 본안쟁점그룹은 전체 441건의 판결 중 통계적 유의성의 왜곡을 피하기 위해15) 본안전항변을 인용한 소각하판결 81건을 제외하고 총 360건을 단계적으로 구분하였다.16) 독립변수는 중요도 및 통계적 유의성을 고려하여17) 12개의 본안쟁점사항을 선정하였다(<표 1> 참조).

표 1. 변수 정의
그룹 변수 상세내용 명목값 내용
본안전항변 독립변수 법률상이익 없음 0,1 소송을 통하여 얻게 되는 법률상 이익이 없다
원피고적격 없음 0,1 원고에게 원고적격 또는 피고에게 피고적격이 없다
조합원지위 또는 소유권 없음 0,1 원고가 조합원지위를 상실하였거나 더 이상 소유자가 아니다
과거법률관계 0,1 새로운 변경처분이 행해졌기에 원고가 다투는 내용은 이미 과거의 법률관계로 되어 다툴 이익이 없다
후행처분존재 0,1 원고가 다투는 처분이 행해진 이후에 새로이 후행 처분이 존재한다
인가고유하자 아님 0,1 당해 처분은 행정청의 인가인데, 원고가 다투는 내용은 행정청의 인가처분의 고유한 하자가 아니라 기본행위의 하자를 주장하는 것이다
제소기간도과 0,1 소송 제기의 기한을 도과하여 제소한 것이다
중복제소 0,1 소송이 중복으로 제기된 것이다
소권남용/소송신탁 0,1 원고의 소제기는 소권의 남용에 해당하거나 또는 소송행위만을 수탁받아 제기하는 것이다
기판력존재 0,1 원고가 다투는 내용에 관해서는 이미 확정판결이 존재한다
종속변수 소각하판결 여부 0,1 피고의 본안전 항변에 대하여 법원이 소각하판결(피고 승소)을 하였는지 여부
본안쟁점 독립변수 구역지정전 승인 0,1 행정청이 정비구역 지정 전에 추진위를 승인하였다
추진위원 대의원 임원구성 하자 0,1 추진위원, 대의원, 이사 등 임원의 구성에 위법사유가 존재한다
구역지정하자 0,1 정비구역 지정에 위법사유 존재한다/정비구역이 변경되었다
노후불량요건 안전진단 0,1 노후불량도 요건을 미충족하였다/안전진단을 거치지 않았다
정관관련하자 0,1 정관이 없다/정관의결절차 또는 정관의 내용에 위법이 존재한다
동의서관련하자 0,1 추진위가 동의서를 위조, 변조하였다/동의서 징구 과정에서 기망 또는 현혹을 하였다/동의서의 항목에 공란이 있거나 필수적 기재사항 누락이 있거나 추상적 기재만 있다/동의서에 정관, 추진위원명단 등을 첨부하지 않았다
동의율 산정 하자 0,1 동의율 산정에 하자가 존재한다
선행처분하자승계 0,1 선행처분의 하자가 후행처분에 승계되었으므로 후행처분도 위법하다
총회관련하자 0,1 총회의 소집절차, 의결절차 또는 직접현장출석 요건에 하자가 있다/결의가 부존재한다
대표자 조합장 자격하자 0,1 추진위원장, 조합장이 부적격자이다
사업내용변경 0,1 당초 동의서징구 당시의 사업내용이 총회결의 당시에 변경되었다
신청시 첨부 누락 0,1 조합설립인가신청시 첨부물이 누락되었다
종속변수 본안승소판결 여부 0,1 원고의 소송청구에 대하여 법원이 승소(전부/일부 인용)판결을 하였는지 여부
Download Excel Table
2. 기초통계량

본 연구의 분석대상인 총 441건의 판결에 대한 사업별, 지역별, 면적별, 행정청의 처분연도별, 법원의 선고연도별 등의 물리적 특성을 기준으로 분석한 기초통계량은 다음과 같다. 사업별로 보면, 주택재건축사업 관련 사건 수는 115건(26.1%), 주택재개발사업 관련 사건 수는 291건(66.0%), 도시환경정비 관련 사건 수는 35건(7.9%)이다.

사업지의 지역을 법원의 관할구역을 기준으로 구분하면18), 서울 지역의 사건 수가 225건(57.8%)으로 최대이며, 강릉과 제주 지역은 사건이 부존재하였다.19) 사업지의 면적별로 최대 면적구간인 160,000m2 이상의 사건 수는 51건(11.6%)이고, 최소 면적구간인 30,000m2 미만의 사건 수는 88건(20.0%)으로 나타났다.20) 행정청의 추진위원회구성승인 처분연도별로 살펴보면, 2008년도에 81건으로 가장 높게 나타났으며21), 조합설립인가 처분연도는 2010년도에 198건으로 가장 높게 나타났다22).

처분시기부터 선고시기23)까지 기간(개월 수)별로 보면24), 12개월 이하의 사건 수는 75건(17.0%), 13~24개월 사건 수는 102건(23.0%), 25~36개월은 82건(19.0%), 37~48개월은 75건(17.0%), 49~60개월은 47건(11.0%), 61개월 이상은 60건(14.0%)로 나타났다.

사업유형별 및 지역별로 처분시기와 선고시기의 기간(개월 수)의 최단기는 5개월로 서울(재건축)과 의정부(재건축)이고, 최장기는 135개월로 서울(재건축)이다. 그 기간(개월 수) 평균값의 최단기는 16.5개월로 의정부(도시환경정비)이고, 최장기는 67.5개월로 대구(재개발)로 나타났다.25)

법원에 소장이 접수된 제소시기부터 1심 판결의 선고시기까지의 사업유형별 및 지역별 최단기는 2개월로 창원(재개발)과 서울(재건축)이고, 최장기는 39개월로 창원(재개발)로 나타났다.26) 분석결과 사업유형별 및 지역별로 전체적으로 뚜렷한 차이를 발견하기 어려웠으며, 이 외의 사업유형, 사업진행단계, 소송청구유형 등의 객관적 특성별로 구분하여 살펴보았으나 유의한 결과는 나타나지 않았다(김요한, 2018).

Ⅳ. 분석결과

1. 의사결정나무 분석
1) 본안전항변그룹
(1) CHAID 분석

본안전항변 그룹에 대한 CHAID 분석결과, 뿌리 마디인 ‘소각하판결 여부’에서 분기된 첫 번째 가지에서는 ‘과거법률관계’가 유의하게 나타났다. 첫 번째 가지인 ‘과거법률관계’가 존재하는 자식 마디에서는 ‘주장 있음’의 경우 소각하판결의 가능성은 74.2%인 반면 ‘주장 없음’의 경우 소각하판결의 가능성은 9.2%로 나타났다. 이를 통해 소각하판결의 가능성은 과거법률관계의 주장이 있는 경우 매우 높은 것을 확인할 수 있다. ‘과거법률관계’에 대한 주장이 없는 사건의 자식 마디에서 분기된 두 번째 가지에서는 ‘조합원지위 또는 소유권 없음’이 유의하게 나타났다. ‘조합원지위 또는 소유권 없음’에 대한 ‘주장 없음’의 경우 소각하판결의 가능성은 6.7%에 불과한 반면 ‘주장 있음’의 경우 소각하판결의 가능성은 55.0%로 크게 차이를 보였다. 한편, ‘조합원지위 또는 소유권 없음’에 대한 주장이 없는 사건의 자식 마디에서 분기된 세 번째 가지에서는 ‘인가고유하자 아님’이 유의한 것으로 나타났다. ‘인가고유하자 아님’에 대한 ‘주장 있음’의 경우 소각하판결의 가능성은 27.3%인 반면 ‘주장 없음’의 경우 소각하판결의 가능성은 5.3%로 낮게 나타났다.

이상의 분석결과를 종합하면, 피고인 행정청 입장에서 해당 항변사유가 있음을 가정할 경우 본안 전 항변에서 먼저 ‘과거법률관계’ 항변사유를 제출하는 것이 소각하판결을 받을 가능성을 극대화시킬 수 있다. 만일 ‘과거법률관계’ 항변사유가 부존재하여 제출할 수 없는 경우에는 ‘조합원지위 또는 소유권 없음’ 항변사유를 제출하는 것이 소각하판결을 받을 가능성을 높일 수 있다. 만일 ‘조합원지위 또는 소유권 없음’ 항변사유가 부존재하여 제출할 수 없는 경우 ‘인가고유하자 아님’ 항변사유를 주장하는 것이 최선임을 알 수 있다.

(2) CRT 분석

본안전항변 그룹에 대한 CRT 분석결과, 뿌리 마디인 ‘소각하판결 여부’에서 분기된 첫 번째 가지에서는 ‘과거법률관계’가 유의하게 나타났다. 첫 번째 가지인 ‘과거법률관계’가 존재하는 자식 마디에서는 ‘주장 있음’의 경우 소각하판결의 가능성은 74.2%로 나타난 반면 ‘주장 없음’의 경우 소각하판결의 가능성은 9.2%로 나타나 ‘과거법률관계’의 주장이 있는 경우 소각하판결의 가능성은 매우 높은 것을 알 수 있다. ‘과거법률관계’에 대한 주장이 없는 사건의 자식 마디에서 분기된 두 번째 가지에서는 ‘조합원지위 또는 소유권 없음’이 유의하게 나타났다. ‘조합원지위 또는 소유권 없음’에 대한 ‘주장 없음’경우 소각하판결의 가능성은 6.7%에 불과하나, ‘주장 있음’경우 소각하판결의 가능성은 55.0%로 크게 차이가 났다. CHAID 분석과 달리, CRT 분석은 추가로 성장하지 않고 두 번째 가지에서 성장이 멈추었다.

jhuf-4-2-179-g1
그림 1. 본안전항변그룹 CHIAD 및 CRT 분석과정
Download Original Figure
2) 본안쟁점그룹
(1) CHAID 분석

본안쟁점 그룹에 대한 CHAID 분석결과, 뿌리마디인 ‘본안승소판결 여부’에서 더 이상 가지가 성장하지 못하고 멈추는 것으로 나타났다. 즉, CHAID 분석결과, 자식마디가 생성되지 않은 결과를 보였다27).

(2) CRT 분석

본안쟁점 그룹에 대한 CRT 분석결과, 뿌리 마디인 ‘본안승소판결 여부’에서 분기된 첫 번째 가지에서는 ‘정관관련하자’가 유의하게 나타났다. ‘정관관련하자’에 대한 ‘주장 없음’의 경우 원고 승소율은 15.2%로 나타난 반면 ‘주장 있음’의 경우 원고 승소율은 25.8%로 나타나 정관관련하자에 대한 주장이 있는 경우 승소율이 상대적으로 높은 것을 확인할 수 있다28). 첫 번째 가지인 ‘정관관련하자’의 주장이 없는 경우 두 번째 가지인 ‘총회관련하자’에 따라 분류되었다. ‘총회관련하자’의 자식 마디에서 ‘주장 있음’의 경우 승소가능성은 9.1%이고, 오히려 ‘주장 없음’의 경우 승소가능성은 16.4%로 높게 나타났다. 이는 비록 ‘정관관련하자’의 주장이 없는 경우에서 한정된 결과이더라도 원고가 조합설립에 관한 총회결의에 하자를 주장함에도 불구하고 승소가능성이 더 낮게 나타난 것은 특기할만한 사항이다. 이를 통해 현실에서 원고가 주장하는 ‘총회관련하자’ 사유는 법원에 대해 설득력이 낮음을 시사한다.

이상의 분석결과를 종합하면, 사업 추진을 반대하는 원고 입장에서는 해당 쟁점사항이 존재함을 가정할 경우 먼저 ‘정관관련하자’를 주장하는 것이 본안승소판결을 받을 가능성을 극대화할 수 있다. 그런데 만일 ‘정관관련하자’사유가 부존재하여 제출할 수 없는 경우 ‘총회관련하자’를 주장하는 경우에는 오히려 주장하지 않는 경우에 비해 승소율이 낮아짐을 고려하여 소송에 대응해야 할 것이다.

본안쟁점 그룹에 관한 CHAID 분석결과와 CRT 분석결과가 차이를 보인 이유는 범주형 변수만을 대상으로 분류기능만 수행하는 CHAID 분석과는 달리, CRT 분석은 범주형 변수뿐만 아니라 연속형 변수를 대상으로 분류기능 및 회귀기능을 이중적으로 수행하는 분석방법이므로 결과의 차이가 발생한 것으로 판단된다.29)

2. 인공신경망 분석결과
1) 본안전항변그룹

본안전항변 그룹에 관한 데이터의 구분은 전체 70%의 데이터를 훈련데이터로 설정하여 신경망이 학습하도록 하였으며, 나머지 30%의 데이터를 검정데이터로 설정하여 인공신경망이 검정할 수 있도록 모형을 구성하였다. 분석결과, 훈련데이터의 전체 정확도는 90.0%이며, 검정데이터의 전체 정확도는 87.1%로 나타났다. 훈련데이터를 이용한 훈련과정에서 ‘소각하 안됨’의 경우 신경망은 실제 ‘소각하 안됨’ 건수인 248건 중에서 233건을 ‘소각하 안됨’으로 예측하였고, 15건을 ‘소각하 됨’으로 예측하였다(정확도 94.0%). ‘소각하 됨’의 경우 신경망은 실제 ‘소각하 됨’ 건수인 53건 중에서 38건을 ‘소각하 됨’으로 예측하였고, 15건을 ‘소각하 안됨’으로 예측하였다(정확도 71.7%). 이러한 훈련과정을 거쳐 학습한 신경망은 나머지 검정데이터에 관해 2가지 경우를 통틀어 87.1%의 정확도를 가지고 예측하였다. 결국 훈련데이터에 의해 학습한 결과에 기해 검정데이터를 검정한 예측결과는 어느 정도 높은 수준으로 일치하는 결과값을 얻었으므로 모형의 적합성은 우수한 것으로 보인다.

jhuf-4-2-179-g2
그림 2. 본안쟁점그룹 CRT 분석과정
Download Original Figure
표 2. 본안전항변그룹 예측정확도
표본 감시됨 예측
소각하안됨 소각하됨 정확도
훈련 소각하안됨 233 15 94.0%
소각하됨 15 38 71.7%
전체 82.4% 17.6% 90.0%
분류 소각하안됨 102 10 91.1%
소각하됨 8 20 71.4%
전체 78.6% 21.4% 87.1%
Download Excel Table

독립변수가 종속변수에 영향을 미치는 중요도에 관해 살펴보면, 정규 화중요도30)가 50% 이상인 변수는 ‘과거법률관계’와 ‘조합원지위 또는 소유권 없음’이다. 정규화중요도가 70% 이상인 변수는 ‘과거법률관계’로 정규화된 중요도 값이 100%로 나타났다.

표 3. 본안전항변그룹 독립변수 중요도
구분 중요도 정규화중요도
법률상이익없음 0.084 21.9%
원피고적격없음 0.021 5.4%
조합원지위 또는 소유권없음 0.215 55.9%
과거법률관계 0.384 100.0%
후행처분존재 0.031 8.2%
인가고유하자아님 0.118 30.8%
제소기간도과 0.046 11.9%
중복제소 0.052 13.6%
소권남용 소송신탁 0.041 10.6%
기판력존재 0.010 2.5%
Download Excel Table
2) 본안쟁점그룹

본안쟁점 그룹의 데이터 구분은 전체의 70% 데이터를 훈련데이터로 설정하여 신경망이 학습하도록 하였으며, 나머지의 30% 데이터를 검정데이터로 설정하여 신경망이 검정할 수 있도록 모형을 구성하였다. 분석결과, 훈련데이터의 전체 정확도는 82.7%이며, 검정데이터의 전체 정확도는 86.3%로 나타났다. 그러나 신경망이 훈련 및 검정의 두 단계에서, 전체 사건에 대해 원고패소로 예측하고 원고승소로 예측하는 경우 단 1건도 없는 것으로 나타났다. 이는 예측 기능이 제대로 작동하지 않았음을 보여 준다31).

표 4. 본안쟁점그룹 예측정확도
표본 감시됨 예측
소각하안됨 소각하됨 정확도
훈련 원고패소 201 0 100.0%
원고승소 42 0 0%
전체 100.0% 0% 82.7%
분류 원고패소 101 0 100.0%
원고승소 16 0 0%
전체 100.0% 0% 86.3%
Download Excel Table

신경망의 예측 기능이 제대로 작동하지 않아 다음의 분석은 큰 의미가 없으나, 본안전항변 그룹과의 비교를 위한 참고 정도의 의미가 있다. 독 립변수가 종속변수에 영향을 미치는 중요도에 관해 살펴보면, 정규화중 요도가 50% 이상인 독립변수는 ‘구역지정전승인’, ‘정관관련하자’, ‘총회 관련하자’, ‘동의서관련하자’, ‘동의율산정하자’, ‘추진위원대의원임원구성 하자’, ‘신청시첨부누락’이다. 정규화중요도가 70% 이상인 변수는 ‘구역지 정전승인’, ‘정관관련하자’, ‘총회관련하자’, ‘동의서관련하자’, ‘동의율산정 하자’, ‘추진위원대의원임원구성하자’이다.

표 5. 본안쟁점그룹 중요도
구분 중요도 정규화중요도
법률상이익없음 0.084 21.9%
원피고적격없음 0.021 5.4%
조합원지위 또는 소유권없음 0.215 55.9%
과거법률관계 0.384 100.0%
후행처분존재 0.031 8.2%
인가고유하자아님 0.118 30.8%
제소기간도과 0.046 11.9%
중복제소 0.052 13.6%
소권남용 소송신탁 0.041 10.6%
기판력존재 0.010 2.5%
Download Excel Table
3) 이득도표 분석

본안전항변 그룹의 이득도표32)에서 ‘소각하됨’의 이득선(녹색선)은 ‘소각하안됨’의 이득선(청색선)보다 더 좌상방(북서쪽)에 위치하고 있다. 이득도표에서 X축의 30%에 해당하는 ‘소각하판결’에 대한 예측결과(값=1)의 이득퍼센트는 Y축에서 93%에 해당하는 이득선(녹색선)으로 나타났다. 이는 인공신경망 모형을 통해 연구 판결의 승소 여부를 예측하고 전체 판결을 순서대로 정렬할 경우 상위의 30%를 ‘소각하됨’으로 예측하면 전체 소각하판결의 경우 93%를 걸러낼 수 있다는 의미이다(허명회·이용구, 2008). 이와 반대로, X축의 30%에 대한 ‘소각하안됨’에 대한 예측결과의 이득퍼센트는 Y축에서 37%에 해당하는 이득선(청색선)으로 나타났다. 결국 ‘소각하됨’으로 예측할 경우 인공신경망 모형의 예측력은 매우 좋으며, ‘소각하안됨’으로 예측하는 경우 인공신공망의 예측력은 다소 낮은 중간 정도라고 할 수 있다33).

jhuf-4-2-179-g3
그림 3. 본안전항변그룹 및 본안쟁점그룹 변수의 이득도표
Download Original Figure

본안쟁점 그룹의 이득도표에서 X축의 30%에 해당하는 ‘원고승소판결’에 대한 예측결과(값=1)의 이득퍼센트는 Y축에서 42%에 해당하는 이득선(녹색선)으로 나타났다. 또한 X축의 40%에 대한 ‘승소예측결과’의 이득퍼센트는 Y축에서 41%에 해당하는 것을 알 수 있다. 결국 원고가 승소할 것으로 예측할 경우 모형의 예측력은 매우 낮은 정도라고 볼 수 있다. 이와 반대로, X축의 30%에 해당하는 ‘원고패소판결’에 대한 예측결과의 이득퍼센트는 Y축에서 31%에 해당하는 이득선(청색선)으로 나타났다. 따라서 원고가 패소할 것으로 예측할 경우 모형의 예측력은 전혀 없는 수준이라고 볼 수 있다.

V. 결론

1. 연구의 요약 및 시사점

본 연구는 도시정비사업의 조합설립인가 사건 소송의 전국 제1심 행정법원의 총 판결 441건을 대상으로 본안전항변그룹과 본안쟁점그룹으로 구분하여 소각하판결에 영향을 미치는 사유와 본안승소판결에 영향을 미치는 요인을 의사결정나무 및 인공신공망을 통해 분석하였다.

먼저, 의사결정나무 분석결과, 본안전항변 그룹의 CHAID 분석결과, 순차적으로 첫째 순위에서 ‘과거법률관계’, 다음 순위에서 ‘조합원지위 또는 소유권 없음’, 그 다음 순위에서 ‘인가고유하자 아님’이 유의도가 높은 것으로 나타났다. CRT 분석결과, 순차적으로 첫째 순위에서 ‘과거법률관계’, 다음 순위에서 ‘조합원지위 또는 소유권 없음’이 유의도가 높은 것으로 나타났다. 본안쟁점 그룹의 CHAID 분석은 의사결정나무가 성장하지 못하여 이루어지지 못하였다. 이는 본안승소를 위해 원고가 제출하는 본안쟁점 사항이 지나치게 복잡하고 다양하며, 어느 쟁점사항도 승소에 영향을 뚜렷하게 미치는 못한 한계를 보여준 것으로 판단된다. CRT 분석결과 순차적으로 첫째 순위에서 ‘정관관련하자’, 다음 순위에서 ‘총회관련하자’가 유의도가 높은 것으로 나타났으나, ‘총회관련하자’는 주장이 없는 경우 주장이 있는 경우에 비해 승소율이 상대적으로 높은 결과를 보였다. 이어서 인공신공망 분석결과, 본안전항변 그룹에 대한 정규화중요도는 과거법률관계, 조합원지위 또는 소유권없음 등은 50% 이상으로, 과거법률관계는 100%로 나타났다.

이와 같이 소각하판결에 영향을 미치는 사유와 본안승소판결에 영향을 미치는 요인의 영향정도를 파악하여 소유자, 행정기관 등의 관련 주체가 앞서 요인을 분석하고 어느 정도의 승소 또는 패소를 예측할 수 있을 것이다. 즉, 승소를 예측한다면 승소결과 후의 계획 및 준비할 수 있으며, 패소를 예측한다면 패소요인에 관한 사실상의 입증 및 법리상의 논증을 강화할 수 있다. 최종적으로는 소제기 전에 소송 외의 조정, 화해 등을 적극적으로 모색함으로써 과다한 비용과 시간이 소요되는 소송에 의한 분쟁의 빈도를 낮추어 사회갈등을 줄이는 효과를 도모할 수 있을 것이다.

2. 연구의 한계 및 후속연구

본 연구의 한계에 따른 후속 연구로는 장기간의 양적인 데이터 축적하거나 정성적인 데이터 변수에 대한 범주화의 재조정, 일부의 유의성이 높은 변수 혹은 상관성이 뚜렷한 변수만을 대상으로 한 재분석 등의 추가적 분석이나 연구를 기대할 수 있다.

참고문헌

1.

강현철·한상태·최종후·이성건·김은석·엄익현·김미경, 2006, 고객관계관리(CRM)를 위한 데이터마이닝 방법론 : Enterprise Miner 활용사례를 중심으로, 자유아카데미.

2.

김동욱, 2011, “감정평가 관련 민사소송의 원인분석에 관한 연구”, 건국대학교 대학원 석사학위 논문.

3.

김요한·이상엽, 2017, “의사결정나무 분석기법을 활용한 개발행위허가사건의 승소결정요인에 관한 연구”, 부동산연구 27권 2호, 한국부동산연구원, pp. 19-34.

4.

김요한, 2018, “도시정비사건 승소결정요인에 관한 계량법학적 분석”, 건국대학교 대학원 박사학위 논문.

5.

김요한·정보선·이상엽, 2019, “도시정비사건 소송의 본안전항변사유와 본안쟁점사항에 관한 분석 - 인용률 및 행렬표식 분석기법을 활용한”, 건설관리 20권 5호, 한국건설관리학회, pp. 104-114.

6.

김요한·정보선·이상엽, 2020, “건설사업의 소송판결에 영향을 미치는 요인에 관한 연구 - 도시정비사업 조합설립인가 사건을 중심으로”, 건설관리 21권 1호, 한국건설관리학회

7.

전치혁, 2012, 데이터마이닝 기법과 응용, 한나래.

8.

최종후·서두성, 1999, “데이터마이닝 의사결정나무의 응용”, 통계분석연구 4권 1호, 통계청.

9.

허명회·이용구, 2008, 데이터마이닝 모델링과 사례, 한나래.

10.

Ashley, Kevin D., Stefanie Brüninghaus, 2006, “Computer Models for Legal Prediction”, Jurimetrics 46(3), American Bar Association, pp. 309-352.

11.

Hans Wolfgang Baade, Jurimetrics, 1963, Basic Books.

12.

Kris Steckman, 2009, “Market-Based Prediction Models as an Aid to Litigation Strategy and Settlement Negotiations”, The Journal of Business, Entrepreneurship & the Law.

13.

Lee Loevinger, 1962, Jurimetrics ; Science and Prediction in the Field of Law, Minnesota Law Review.

14.

Michael J. Saks, Samantha L. Neufeld, 2012, Parallels in Law and Statistics : Decision Making under Uncertainty, Jurimetrics.

15.

R. Keown, 1980, Mathematical Models for Legal Prediction, The John Marshall Journal of Information Technology & Privacy Law.

Notes

대표적 논문들은 Lee Loevinger, “Jurimetrics : Science and Prediction in the Field of Law”, Minnesota Law Review, 1962; R. Keown, “Mathematical Models for Legal Prediction”, The John Marshall Journal of Information Technology & Privacy Law, 1980; Kris Steckman, “Market-Based Prediction Models as an Aid to Litigation Strategy and Settlement Negotiations”, The Journal of Business, Entrepreneurship & the Law, 2009; Michael J. Saks, Samantha L. Neufeld, “Parallels in Law and Statistics : Decision Making under Uncertainty”, Jurimetrics, 2012; 계량법학에 관한 대표적인 초기 단행본 저작물로는 Hans Wolfgang Baade, 『Jurimetrics』, Basic Books, 1963이 있다. (김요한, 2018 재인용)

계량법학’이라는 용어는 1949년도 리 뢰이빙거(Lee Loevinger)가 저술한 논문인 ‘Jurimetrics : The Next Step Forward’에서 처음으로 정의되어 사용되었으며, 미국변호사협회가 발간한 “Jurimetrics”를 통해 널리 알려졌으며, 최근 미국 등을 중심으로 급속한 연구가 이루어졌다(김요한 외, 2019)

조합설립 관련 소송은 부동산공법 관련 소송의 대표적인 유형 중 하나로서 조합사업에 반대하는 토지 등의 소유자가 원고가 되어 조합설립을 인가해 준 시장, 군수 또는 구청장 등을 행정주체를 피고로 삼아 제기하는 행정소송이다.

초기단계는 도시정비사업의 진행단계 중에서 분쟁이 가장 많은 단계로서 추진위원회의 구성 및 승인 단계와 조합설립에 관한 창립총회 및 인가 단계이다. 두 단계는 선행의 기초단계인 정비기본계획수립단계, 정비계획수립단계, 정비구역지정단계 등의 하자 유무에 따른 영향을 받는다.

서울행정법원, 인천지방법원, 의정부지방법원, 수원지방법원, 춘천지방법원, 춘천지방법원 강릉지원, 대전지방법원, 청주지방법원, 대구지방법원, 부산지방법원, 울산지방법원, 창원지방법원, 광주지방법원, 전주지방법원, 제주지방법원으로 총 15개 해당한다.

분석과정의 오류나 중복 등을 피하기 위해 2심인 고등법원 판결 및 3심인 대법원 판결은 분석의 대상에서 제외하였다.

통상적으로 행정사건의 심리는 지방법원의 본원에서 심리하나, 예외적으로 강원도의 경우에는 강릉, 속초 등 동부 지역의 행정사건은 춘천지방법원이 아닌 춘천지방법원 강릉지원에서 담당하고, 그 외의 사건은 본원인 춘천지방법원에서 담당한다.

IBP 기법은 유사한 유형의 사건을 모아 그 사건의 내용에서 각 당사자에게 유리한 정형적 요인을 각각 추출하여 이를 토대로 예측하는 모델인 CATO 프로그램에서 한 단계 더 발전된 것이나 양자의 방법은 본질에 있어 동일하다. 두 방법은 법률문제에 대한 예측방법이 기본적으로 예측기능과 설명기능을 모두 충족시켜야 한다는 요구에서 출발하였다. 이전까지의 법률문제에 대한 예측방법은 주로 컴퓨터를 이용하여 통계적 도구를 기반으로 통계전문가가 수행했기 때문에 실제 법률분쟁을 담당하는 법률가가 이해하기 어려운 점에서 설명기능이 매우 미약하였다. IBP 알고리즘이나 CATO 프로그램은 모두 사례의 내용에 근거하여 예측하는 이른바 ‘사례기반’ 예측방법의 일종으로서 법률가에게 쉽게 설명할 수 있어야 한다는 설명기능을 중시함. 이러한 점에서 ‘통계기반’의 예측방법인 로지스틱회귀분석과는 구분된다.

해당 유형의 사건내용을 분석하면, 27개의 요인을 선정하는데, 각 요인은 특정 사실을 표시한다. 첫째 요인은 거래협상의 과정에서 원고가 자신의 제품에 대한 정보를 공개했던 사실이며, 해당 사실이 있으면 첫째 요인이 존재하는 것이고, 이는 피고 측의 입장에 유리한 징표로 볼 수 있다. 둘째 요인은 원고 측의 피고용자에게 피고 측이 뇌물을 준 사실이며, 해당 사실이 있으면 둘째 요인이 존재하는 것이고, 이는 원고 측의 입장을 강화하는 징표로 볼 수 있다.

Chi-squared Automatic Interaction Detection

Classification and Regression Trees

계층은 보통 입력층, 은닉층, 출력층으로 구성되며, 각 계층에는 노드라고 불리는 몇 개의 뉴런이 포함되어 있다.

김요한(2018)의 소송사유를 참고하여 통계적 유의성 및 중요도를 고려하여 변수를 선정하였다.

본안쟁점사항은 원고가 통상 3개~5개 이상의 위법사유를 쟁점으로 주장하여 소송상 피고인 구청장 또는 시장, 군수의 추진위원회구성승인처분 또는 조합설립인가처분의 하자를 다툰다.

다수의 청구가 있는 경우 일부의 청구는 본안전항변에 의해 소각하되고, 일부의 청구는 본안판단에서 인용된 5건을 제외하여 360건을 분석대상으로 하였다.

소송에서 피고가 제출한 본안전항변사유와 원고가 제출한 본안쟁점사항은 본질적으로 차이가 있고, 소송의 심리과정 또는 판단의 위계에 있어 동질적으로 취급할 수 없는 특성이 존재하므로 제1그룹과 제2그룹으로 구분하여 분석하는 것이 도시정비사업 관계자의 이해와 판단에 도움이 될 것이다.

김요한(2018)의 쟁점사항을 참고하여 통계적 유의성 및 중요도를 고려하여 변수를 선정하였다.

도시정비사업의 사업지를 관할하는 법원은 해당 사업과 관련된 분쟁을 담당하므로 법원 관할지역의 사업지와 동일하다고 할 수 있다.

그 외 지역으로 인천은 52건(11.8%), 의정부는 16건(3.6%), 수원은 33건(7.5%), 춘천은 3건(0.7%), 대전은 10건(2.3%), 청주는 7건(1.6%), 대구는 4건(0.9%), 부산은 45건(10.2%), 울산은 1건(0.2%), 창원은 7건(1.6%), 광주는 6건(1.4%), 전주는 2건(0.5%)으로 나타났다.

88건 중 10,000m2 미만인 사건 수는 9건이며, 가장 넓은 면적은 626,232m2으로 서울시 강동구 둔촌주공아파트 재건축정비사업조합의 정비구역이다. 그 외 면적구간인 30,000m2 이상 60,000m2미만의 사건 수는 130건(29.5%), 60,000m2이상 90,000m2미만의 사건 수는 78건(17.7%), 90,000m2이상 120,000m2미만의 사건 수는 52건(11.8%), 120,000m2이상 160,000m2미만의 사건 수는 42건(9.5%)으로 나타났다.

가장 오래된 처분은 2002. 11. 4.에 의왕시장의 포일주공아파트 재건축정비사업조합에 대한 조합설립인가처분이며, 해당 처분에 대한 1심 판결 선고는 2010. 8. 12.에 행해졌다. 그 외 2002년도는 1건(0.2%), 2003년도는 15건(3.4%), 2004년도는 11건(2.5%), 2005년도는 22건(5.0%), 2006년도는 58건(13.2%), 2009년도는 78건(17.7%), 2010년도는 53건(12.0%), 2011년도는 40건(9.1%), 2012년도는 15건(3.4%), 2013년도는 6건(1.4%), 2014년도는 3건(0.7%)로 나타났다

2009년도는 198건(45.0%), 2011년도는 95건(22.0%), 2012년도는 46건(10.0%), 2013년도는 49건(11.0%), 2014년도는 21건(5.0%), 2015년도는 7건(2.0%)로 나타났다.

행정청의 처분이 행해진 후 해당 처분의 무효 또는 위법을 다투는 쟁송이 제기되어 1심 판결 선고까지의 기간을 말한다.

처분시기와 선고시기의 최장기 사건은 2003. 6. 12.에 서울특별시 송파구청장의 가락시영아파트주택재건축정비사업조합에 대한 조합설립인가 처분시기로부터 2014. 9. 19.에 1심 법원의 판결 선고시기까지의 기간이 135개월이다.

행정청의 처분시기부터 오랜 기간이 경과한 후 1심 판결이 선고된 이유는 미동의자 또는 사업반대자가 뒤늦게 조합사업에 이의를 제기하는 행정소송을 제기한 것이 큰 원인으로 간주된다. 이는 사업진행의 속도, 조합임원의 행태, 조합사업과 관련한 경제환경 및 시장상황 등을 고려하여 지켜보다 뒤늦게 소송을 제기한 경우가 많은 것에 기인한다.

제소시기와 선고시기의 기간(개월 수) 평균값의 최단기는 5.5개월로 대전(도시환경정비)이고, 최장기는 각 15개월로 울산(재개발)과 대구(재건축)로 나타났다.

이는 교차분석을 이용한 카이제곱 검정결과, 본안승소판결의 비율에 유의미한 차이를 보이는 변수가 존재하지 않는 것으로 나타난 연구결과(김요한 외, 2020)와 상응한다. CHAID 분석은 기본적으로 카이제곱 값에 대한 유의성을 바탕으로 진행하기 때문에 카이제곱 검정에 뿌리를 두고 있다. 이에 변수 간의 비율 차이를 주된 분석의 근거로 예측하므로 교차분석을 이용한 연구(김요한 외, 2020)의 결과와 일관되게 나타났다.

이는 로지스틱회귀분석을 이용한 연구(김요한 외, 2020)의 분석 결과에서 유의한 것으로 나타난 변수와 동일한 결과를 보였다.

이는 로지스틱회귀분석을 이용한 연구(김요한 외, 2020)에서 판결 전체의 표본에 대한 본안쟁점그룹 중 유일하게 정관관련하자 변수만 유의하게 나타난 것에 대응한다고 이해할 수 있다.

정규화중요도란, 독립변수를 영향 범주별 영향 정도의 단위를 동일하게 변환한 중요도이므로 정규화중요도가 50% 이상이면 변수들 간에 유의한 관계를 형성한다고 볼 수 있다.

이는 신경망이 제대로 학습되지 못하였거나 변수의 구성 등에 있어 문제가 있음을 보여준다. 첫째, 기술적 측면에서 정량적 데이터가 아니라 정성적 데이터를 범주화하는 과정에서 발생한 오류로 인해 신경망의 학습기능이 제대로 발휘하지 못한 것으로 이해할 수 있다. 둘째, 변수 특성적 측면에서 본안전항변그룹의 경우 신경망이 재대로 작동한 점에 착안하여 본안쟁점그룹 변수의 특성으로 인해 발생한 문제로 파악할 수 있다. 다른 분석방법을 이용한 연구(김요한 외, 2020)에서도 본안쟁점그룹 변수의 경우 유의한 결과가 없거나 매우 적은 것으로 나타났다. 본안쟁점그룹 변수들의 경우 절대적인 수량에서 많음에도 불구하고 전체적 인용률이 매우 낮을(김요한 외, 2020) 뿐만 아니라, 특정 변수가 승소에 두드러지게 영향을 미치지 않은 점에 비추어 보면, 신경망이 변수의 속성으로 인해 스스로 학습기능을 발휘하는 것이 곤란하다고 해석할 수 있다. 현재로서는 적어도 후자의 해석에 더 무게가 실린다고 할 수 있다. 따라서 이는 데이터의 양적인 축적, 변수 범주화의 재조정, 일부의 유의한 변수 또는 상관성이 뚜렷한 변수만을 대상으로 재분석 등의 추가적 연구와 분석이 필요하다.

이득도표는 사례의 수량 단위를 X축으로 하였을 때, 사례의 수에 해당하는 목표변수의 특정범주를 획득한 예측정확도를 누적백분율로 Y축에 기재한 그래프이다(최종후·서두성, 1999). 즉, X축은 전체 케이스이고, Y축은 예측이 정확하게 들어맞는 비율의 누적값이며, 이득도표는 그 각 점을 연결한 도표이다.

이득도표의 그래프가 45도 직선과 일치할수록 예측력이 없다고 할 수 있으며, 45도 직선에 비해 좌상방(북서쪽)으로 위치할수록 상위의 집단을 특정 범주로 분류하는 비율이 높아 모형의 예측력은 우수하다고 할 수 있다(전치혁, 2012)