▶ 서울시교육청이 발표한 『교육행정서비스 만족도 조사결과』 모두 통계법 위반 의혹
우리나라 통계법[법률 제14843호] 제1조(목적)에 의하면 "이 법은 통계의 작성·보급 및 이용과 그 기반구축 등에 관하여 필요한 사항을 정함으로써 통계의 신뢰성과 통계제도 운용의 효율성을 확보함을 목적으로 한다"고 정부부처, 공공기관이 실시하는 통계의 목적을 규정하고 있으며, 제2조(기본이념) ①항은 "통계는 각종 의사결정을 합리적으로 수행하기 위한 공공자원으로서 사회발전에 기여할 수 있도록 작성·보급 및 이용되어야 한다.", ②항은 "통계는 정확성·시의성·일관성 및 중립성을 확보할 수 있도록 과학적인 방법에 따라 작성되어야 한다."고 명시되어 있다. 또한 통계법 제39조 제1항 1호(통계조사에 영향력 행사) 5호(통계 조작)에서 조사를 의뢰한 자와 조사를 시행한 자 모두 형사 처벌을 받도록 법제화 되어 있다. (양벌규정)
통계전문가에 의하면 "통계조작"이란...
첫째, 고의로 조사 표본 대상을 다르게 한 시계열 또는 지표 조사(일관성 위반)
둘째, 표본구성을 년도마다 다르게 하는 것(일관성 위반),
셋째, 표본 크기를 매년 다르게 하는 것(일관성 위반)
넷째, 정당한 이유없이 조사 항목(설문문항)을 의도적으로 삭제하는 것(중립성 위반),
다섯째, 표본 크기를 마음대로 부풀리는 것(사기)
여섯째, 통계결과의 숫자를 고의로 변경시키는 것(사기),
일곱째, 의미없는 통계결과를 의미있게 숫자를 조작 또는 해석(설명) 하는 것(정확성 및 과학적 방법 위반),
여덟째, 의도적으로 비확률적 표본을 확률적 표본으로 보고 모집단을 추정하는 것(비과학성) 등이 있다고 한다.
현재 서울시교육청(교육감 조희연)은 매년 『교육행정서비스 만족도 조사』를 실시하고, 이 결과를 교육청 홈페이지에 공개하고 있다. 그러나 2014년도부터 2017년까지 조사결과를 보면 과연 4년간 '만족도지표 조사'가 과학적 방법으로 조사된 것인지 의문이어서 조사설계 단계부터 교육청 고위층의 영향력이 행사된 것은 아닌지 의혹이 제기되고 있다.
매년 실시하는 만족도조사는 지표조사로 표본 크기와 구성 그리고 표집방법이 다르면 안 된다.
2014년~2017년 4번의 조사 경우, 2014년에는 표본크기가 881명, 2015년에는 215명, 2016년에는 121명, 2017년에는 633명으로 변화무쌍하다. 또한 2014년, 2015년의 조사대상은 교육감 지지그룹인 『서울행교육모니터단』을 대상으로, 2016년 2017년은 서울시 홈페이지 설문방법(인터넷 조사)방법으로 실행하여 조사대상에 일관성이 없다. 성별, 연령별 표본 구성이 조사 시점마다 다르게 분포되어 일관성이 전혀 없다. 성별 분포를 보면, 2014년에는 남성과 여성의 비율이 20:80, 2015년 21:79, 2015년 55:45, 2017년 14:86이다.
연령별로 보면 더 심각하다. 2014년에는 20대 미만이 11%, 2015년 17%, 2016년 2%, 2017년 6%이고, 20대는 2014년 2%, 2015년 2%, 2016년 7%, 2017년 1%이며, 30대는 2014년 16%, 2015년 12%, 2016년 36%, 2017년 16%다. 40대는 2014년 47%, 2015년 48%, 2016년 39%, 2017년 65%로 2017년에 대폭 40대의 응답자가 증가하였다. 50대의 경우, 2014년 22%, 2015년 21%, 2016년 16%, 2017년 11%였다.
일반적으로 표본 구성의 오차는 3~5%내로 변동될 수 있으나, 상기와 같이 10%~20%까지 차이가 난 것은 비과학적 표집방법이어서 그 결과를 공표할 수 없다. 그외에 서울시교육청의 표본추출 방법(sampling)도 일관성이 없어 과학적 조사방법이 아니라, 조사결과에 따라 고의적으로 표본를 변경했다는 의심을 피할수 없다.
▶2015년 부정적 평가 대폭 감소... 그 이유는 ?
2014년 서울시교육감(조희연)이 야심차게 발표한 교육서비스헌장에 대한 인지도의 경우 매년 인지도가 감소하고 있으며, 2016년 조사대상을 바꾼 이후 인지도나 긍정평가가 다른 년도보다 윌등히 높게 나타났다.
조사회사 고문을 지내고 대학원에서 조사연구방법론과 통계학을 가르친 관련 K모(경영학 박사) 전문가에 의하면, "서비스 만족도와 같은 지표조사의 경우 이렇게 특정 년도에 급격하게 올라간 사례는 정부기관이나 공공기관에서 거의 없다"고 하면서, "특별한 대책이라 하더라도 국민들이 공감하도록 오랜기간 체험하던지, 아니면 수십억대의 홍보비를 쓰지 않는 한 5% 내에서 변동된다"고 지적하고 있다. 서울시교육청 발표내용처럼 인지도와 긍정 평가의 큰 변동은 어떤 지표조사에서도 볼 수 없는 희귀한 사례라고 지적하고 있다.
▶2015년 조사결과는 대한민국 어떤 정부부처·공공기관 고객만족도 지표에서도 볼 수 없는 희귀한 사례
2015년 조사대상자를 대폭 줄인 후(2014년 881명에서 215명으로 566명 대폭 축소) 공무원 서비스만족도인 '교육청 직원 친절도'가 전년대비 20%포인트가 증가하고 있으며, '업무처리 정확성 및 신속성'은 14%포인트, '공무원전문성'은 16%포인트, '공무원업무개선노력'은 18%포인트 대폭 상승하고 있다. 교육공무원 불만족( 부정적 평가)에 대한 통계값을 보면, 2015년은 전 항목에서 다른 년도에 비해 대폭 감소하였으며, 2017년에는 '교육공무원의 전문성'과 '업무개선 노력' 항목은 고의로 조사내용에서 삭제하였다.
▶2016년에만 조사항목으로 채택한 '민원처리 신뢰도'는 단 1년 만에 삭제. 2개 항목 고의 삭제
'민원창구 접근 용이성'은 2015년 대폭 만족도가 증가후(△12%) 2017년에는 49.4%로 19.6%포인트 대폭하락했으며, '정보공개처리안내'는 2015년 대비 2017년에는 21.7%포인트 대폭 하락, 그리고 '민원처리기간준수, '민원처리 형평성·공정성'은 2017년에는 아예 조사항목에서 삭제하였다.
특이할 만한 것은 조사항목의 고의 삭제뿐만 아니라 '민원처리 신뢰도'는 2016년에 새롭게 항목을 추가하였고 그 만족도 지표가 65.3%로 다른 항목과 비슷한 결과를 보이고 있으나 2017년에는 아예 항목을 삭제하였다. 이런 임의적 항목 삭제는 지표조사에서 절대 발생할 수 없는 사례라고 조사전문가들은 지적하고 있다.
▶전화응대 만족도가 하락하고 불만족도가 상승하자 2017년에는 조사항목 고의로 삭제(?)
전화응대 서비스의 경우, '전화응대 친절도'는 2015년에 대폭 상승(△16%)한 반면 2016년에는 10% 포인트 하락했고 2017년에는조사항목에서 아예 삭제하였다. '전화상담 만족도'는 2014년 59%, 2015년 70%(△11%)로 상승하다가 2016년 66.1%로 감소 추세에 들어가자 2017년에는 아예 조사문항에서 삭제하였다.
▶전체적인 서울시 교육청서비스 만족도 낙제점 수준인 44.7%
전반적인 만족도 조사의 경우 공무원 서비스 내용 전체 평가 항목이 2017년에 새롭게 추가되고 있으며, 전반적인 행정서비스 내용 만족도의 경우는 2014년 53%, 2015년 68%, 2016년 60.2%, 2017년 44.7%로 2017년에는 서울시교육청의 '전반적인 행정서비스 만족도'가 폭락하여 낙제점을 받은 것으로 나타났다.
서울시교육청은 조사 목적에서 이 시계열 지표조사를 정책수립 및 보완을 위해 자료를 제공한다고 하였다. 마지막 설문인 '전반적인 행정 서비스 만족도' 1문항은 종속변수(결과 변수)로 '교육서비스헌장' 문항 2항목, '공무원서비스 만족도' 4항목, '민원처리 내용' 4항목 그리고 '전화응대' 2항목 등 총 12개 항목을 독립변수(원인 변수)로 보고 통계분석(중다회귀분석)해야 한다. 이런 통계분석 기법을 사용해 총 12개 항목중 어떤 변수가 전체교육헌장서비스 만족도에 영향을 주는가를 파악할 수 있다는 것이다.
전문적 용어로 가장 영향력(설명력)이 높은 변수부터 예산과 프로그램을 투입해야 전체 만족도 증가에 연관되는 최적의 솔루션을 개발할 수 있기 때문이다. 만약, 12개 문항(변수)중 전체만족도에 영향을 주는변수가 나온다면 그 변수들에 대한 솔루션은 필요없다. 교육청 담당자들이나 주무관들은 이러한 조사의 기본 원리나 톤계분석방법도 모르고 그냥 %만으로 결과만 수박 겉핡기 식으로 작성·공표하였다. 이러한 분석방법은 서울시교육청의 대시민정책 수립이나 정책 보완의 조사목적이나 목표를 달성할 수 없다.
▶ 만족도 조사 담당자, 담당관 또는 조사설계자는 통계법에 의한 과학적 조사방법을 모르는 비전문가로 추정.... 대학생 수준의 장난삼아 하는 앙케이트 조사 수준에도 못 미쳐.
조사의 신뢰도를 측정이라 함은 각 설문항목의 신뢰도와 직결된다. 설문 문항의 신뢰도에 따라 조사 타당도는 물론 조사 신뢰도가 보장된다. 그러나 지난 4년 간의 서울시교육청이 실시한 교육서비스 만족도 조사는 통계법에 명시한 과학적 연구방법론의 원칙을 완전히 무시한 비과학적 조사에 불과한 것으로 볼 수밖에 없다.
예를 들어 설문문항 중, "업무처리 정확성과 신속성", "민원처리 형평성, 공정성"을 한 질문으로 측정하였다. 설문지 작성기법의 대원칙은"한 질문에 한 개념난 측정하라"는 것이다. 두가지 개념을 한 질문으로 할 수 없다는 것이다. 따라서 "업무처리 정확성·신속성" 은 "업무처리 정확성"과 "업무처리 신속성"의 두 문항으로 분리되어야 한다. 그 이유는 정확성(내용타당도)과 신속성(시간) 두 개념이 완전히 다른 개념이기 때문이다.
또한 "민원처리 형평성·공정성"도 "민원처리 형평성", "민원처리 공정성"의 두 문항으로 측정하여야 한다. 형평성과 공정성 역시 완전히 다른개념이기 때문에 한문항으로 측정할 수 없다. 매년 실시하는 지표조사(교육만족도조사) 역시 표본특성, 표본크기, 표본구성, 조사항목이 매년 똑 같아야 하며, 그 누구도 항목을 변경하거나 임의로 삭제할 수 없다. 이를 위반하면 통계조작이라는 굴레를 벗어 날 수 없다.왜냐하면 공공기관, 정부부처가 실시하는 모든 조사는 우리나라 통계법에 저촉되며, 법적 규정이고 강행규정이기 때문이다.
