한국어교육능력검정시험 개선 연구

 

  본 연구는 현행 한국어교육능력검정시험의 문제점을 탐색하고, 이를 해결하기 위한 방안을 제안함으로써 한국어교육능력검정시험 제도 개선안을 마련하는 것을 목표로 한다. 검정시험 선진화 방안의 일환으로 한국어교육능력검정시험의 컴퓨터화 구축 전략을 탐색하고자 하였다. 구체적으로는 한국어교육능력검정시험의 문제점을 확인하기 위해, 시험 요소를 문항제작, 선제, 문항 내용, 시험구성, 시험 시행, 면접 측면으로 구분하였으며, 각 요소별 문제점을 탐색하였다. 또한, 한국어교육능력검정시험의 컴퓨터화 구축 전략을 마련하기 위해 문항 확보 방안, 문제은행 시스템 구성 방안, 검사지 구축 방안 및 시험 시행의 단계별 전략 방안을 마련하고자 하였다. 마지막으로 유사 교육능력검정시험들에 대한 사례분석을 실시하였으며, 그 결과를 한국어교육능력검정시험 개선을 위한 기초자료로 활용하고자 하였다.

 

  본 연구의 목적을 달성하기 위해 활용된 주요 연구 방법은 문헌연구, 심층면담 및 델파이 설문법이었으며, 문항 난이도와 변별도와 같은 문항 특성 분석을 위해 2모수 문항반응이론이 활용되었다. 아울러 델파이 설문 자료, 문항 특성 자료를 추가 분석하기 위해 빈도분석, 기술통계분석 및 카이제곱분석 등의 통계분석방법이 적용되었으며, 모든 질적데이터는 코딩되어 주제분석이 이루어졌다. 구체적인 연구 결과를 소개하면 다음과 같다.

   - 첫째, 한국어교육능력검정시험의 주요 문제점 중 하나는 명시적인 목표가 확인되지 않는다는 점이다. 이에 본 연구는 전문가들의 의견을 수렴하여, 한국어교육능력검정시험의 주요 목표를 설정하였다.

   - 둘째, 문항출제과정에 있어 시간 관리의 어려움, 출제 중간 관리 미비, 출제자 전문성 미흡, 출제자의 책임감 부재, 문항 출제지침 미흡의 문제점이 확인되었으며, 문항선제과정에서는 출제자 전문성 미흡, 위촉자에 대한 낮은 대우, 관리 과정의 비표준화 및 선제 지침 미흡 등의 문제가 확인되었다. 이렇게 문항 출제 및 선제 과정에서의 문제점을 해결하기 위해, 본 연구에서 문항 출제 및 선제 시스템을 개편하였다.

   - 셋째, 한국어교육능력검정시험의 문항 내용에서 다양한 문제가 확인되었다. 예를 들어, 지나치게 어렵거나 쉬운 문항과 같이 이상 문항이 높은 비율로 확인되었으며, 전문가 의견 수렴 결과, 불필요한 내용 영역 및 과목이 다수 확인되었다. 아울러, 출제 내용 역시 특정 내용으로 치우침이 발생하고 있어, 중요한 내용이 골고루 출제되고 있지 않는 현상이 관찰되었다. 이러한 문제점을 해결하기 위해, 본 연구는 과목 수 축소, 출제 내용 영역 축소 등을 제안하였다.

   - 넷째, 시험 구성에 있어 주요 문제점은 과도한 과목 수와 과도한 문항 수로 확인되었다. 한편, 시험 시행의 주요 문제점은 교안 작성에 대한 과락 제도 부재로 나타났다. 이를 개선하기 위해, 과목 수 및 문항 수를 합리적으로 축소하였으며, 교안 작성에 대한 과락 제도를 새롭게 설치하였다.

   - 다섯째, 면접에서 역시 다양한 문제점이 확인되었다. 예를 들어, 면접관 자격 기준과 선정 과정의 투명성 미비, 면접관 훈련 미비, 면접관 채점 전문성 부족, 면접관 피로, 평가 지침 미비, 면접 문항 타당성 미비 및 면접 질문의 불공정성은 주요 면접 시행에서의 문제점으로 확인되었다. 특히, 한국어교육능력검정시험의 기존 평가 방식으로 교육능력에 대한 직접 평가가 이루어지지 못한다는 한계를 극복하기 위해, 면접 방식은 구술 평가, 교안 작성과 수업 시연을 모두 포함할 수 있도록 대대적으로 개선되었다. 최종적으로 본 연구에서는 앞서 제시한 문제점 및 개선방안을 종합하여, 한국어교육능력검정시험 제도 개선안을 마련하였다.

 

  한편, 본 연구에서 마련된 한국어교육능력검정시험 컴퓨터화 구축 전략을 간략히 소개하면 다음과 같다.

   - 첫째, 문제은행 구축을 위해 문항 공모 방식이 유리하며, 관리자, 출제자 및 검토자간 유기적인 협력 과정 속에서 문항을 제작하도록 한다. 문항 질 제고를 하기 위한 하나의 방편으로 문항의 질 수준에 따른 단가 차등 지급을 적용하고, 문제은행 입고를 위한 문항 질 판정 단계 역시 단계별 차등 적용한다.

   - 둘째, 문제은행 시스템 구축을 위한 메타데이터 체계에는 시험 구성, 문항의 일반적 특성, 문항의 측정학적 정보, 저작권 정보, 문항 히스토리 등이 포함될 수 있다.

   - 셋째, 문제은행을 통한 검사지 구축 방안은 현실적으로 자동 검사지 구축이 어려우므로, 수작업을 통한 문항 조합 방식을 채택한 뒤 점차 전산프로그램을 이용한 검사 구축 방안을 모색한다.

   - 넷째, 한국어교육능력검정시험의 컴퓨터화 시행을 위해 국내에서는 한국산업인력공단과 긴밀히 협력을 하고, 해외에서는 정부 산하 기관에서 설립한 한국어 교육 기관과 연계하는 방안을 모색해본다.

 

 

ㅇ 연구기간 : 2021년03월18일 ~ 2021년10월08일

 

ㅇ 참여인력

  - 연구책임자 : 황명환

  - 공동연구원 : 이진수, 김제겸

 

ㅇ 분량 : 331p

 

 

< 목 차 >

 

I. 연구 배경 1

1. 연구의 필요성 1

2. 연구의 목적 6

3. 연구 절차 7

 

Ⅱ. 유사 교육능력검정시험 사례 분석 9

1. 한국어교육능력검정시험 개관 9

 1) 한국어교육능력검정시험의 목적 9

 2) 한국어교육능력검정시험의 변천사 9

 3) 한국어교육능력인증시험 개요 10

2. 유사 교육능력검정시험 사례분석 목적 및 방법 13

3. 시험별 상세 분석 결과 14

 1) 중등 영어 임용고시 14

 2) Teaching Knowledge Test 23

 3) 일본어교육능력검정시험 28

 4) 국제중국어교사인증시험 41

4. 시험 간 비교 분석 결과 48

 1) 시험 개요 비교 분석 결과 48

 2) 시험관련 기초 통계 분석 결과 51

 3) 시험 구성 분석 결과 53

 4) 시험 평가 영역 분석 결과 56

5. 소결 58

 

Ⅲ. 한국어교육능력검정시험 문제점 및 개선안 60

1. 조사 방법 60

 1) 심층면담 60

 2) 문항반응이론을 통한 문항 특성 분석 62

 3) 문항 내용 비중 조사 분석 64

 4) 전문가 델파이 설문 조사 분석 68

 5) 과목 및 문항 내용의 적절성 조사 분석 70

2. 문항 출제 과정에서의 문제점 72

 1) 재택출제의 문제점 72

 2) (합숙) 선제 과정에서의 문제점 73

 3) 문항 출제 과정 문제점에 대한 전문가 의견 74

3. 검정시험의 문제점 75

 1) 시험 목적의 문제점 75

 2) 시험 내용의 문제점 78

 3) 시험 구성의 문제점 113

 4) 시험 시행의 문제점 117

 5) 면접의 문제점 119

4. 검정시험 개선안 124

 1) 시험 목적 개선안 124

 2) 시험 출제 과정 개선안 125

 3) 시험 내용 개선안 125

 4) 시험 구성 개선안 127

 5) 시험 시행 개선안 131

 6) 면접 개선안 132

5. 한국어교육능력검정시험 제도 개선안 마련 138

 

Ⅳ. 컴퓨터 기반 한국어교육능력검정시험 구축 방안 145

1. 조사 방법 145

2. CBT 시험 개요 146

 1) CBT 정의 및 유형 146

 2) CBT 시행의 장점 147

 3) 문제은행 구축 148

3. CBT 시험 구축 사례 조사 결과 152

 1) 문항 확보 방안 152

 2) 문제은행 시스템 구성 155

 3) 검사지 구축 156

 4) 검사 시행 157

4. 한국어교육능력검정시험 CBT 구축 전문가 인식 조사 결과 163

5. 한국어교육능력검정시험 CBT 구축 방안 166

 1) 문항 확보 166

 2) 문제은행 시스템 구축 170

 3) 검사지 구축안 171

 4) 검사 시행 방안 171

 

Ⅴ. 한국어교육능력검정시험 관련 법령 개선안 176

1. 수정 법령안 예시 176

2. 국어기본법시행령의 개정사항 관련 검토 177

2. 한국어교육능력검정시험 CBT 해외 시행 관련 법률 검토 178

 

Ⅵ. 결론 179

참고문헌 182

부록 184