.jpeg)
A Study on the Improvement of Test Items in the Korean NAEA －Using Data from the 2008～2010 NAEA Korean Tests－
Kim, Youngran Kim In-suk
한국교육과정평가원
Korea Business Review 44No. pp.67-110 (2012)
Abstract
This study examines the reliability and the validity of the Korean National Assessment of Educational Achievement (NAEA) tests since they began to be administered nationwide. In addition, it suggests some improvements to item development by analyzing those characteristics of the items that lower the reliability and the validity of the test. Using the data from 2008～2010 elementary, middle, and high school Korean NAEA tests, the reliability coefficient (Cronbach's alpha), Cronbach's alpha if item deleted, item discrimination, and factor loadings by factor analysis were examined. The results showed that the internal consistency of all the Korean NAEA tests was high：eight items from six of the nine tests lower the Cronbach's alpha. Also, fourteen items from the nine tests had low factor loadings; that is, the correlation coefficients between the items and the factor (Korean ability). These items had both relatively low item discrimination in common and factors which distracted students from answering correctly. These items can be categorized into four types：first, they have limited information；second, they have imprecise statements and ambiguous content；third, they have inappropriate difficulty levels for the students to whom they are administered；and fourth, they have improper factors for the language style；any and all of these may mislead students into answering incorrectly.
Keywords
국어과 국가수준 학업성취도 평가타당도신뢰도구인타당도요인분석
References
- [1] [보고서] 2010년 국가수준 학업성취도 평가 결과 분석 －국어－/김도남/한국교육과정평가원/2011/~/연구보고 RRE 2011-3-2
- [2] [보고서] CURRV 모형에 기초한 국어과 국가수준 학업성취도 평가 고찰/김영란/한국교육과정평가원/2011/~/연구보고 RRE 2011-14
- [3] [학술지(정기간행물)] 김창원/국가 수준 학업성취도 평가의 본질과 제 문제/국어교육/2011/134(134)/1~33/한국어교육학회/
- [4] [학술지(정기간행물)] 김혜정/국가 수준 학업 성취도 평가 개선을 위한 ‘읽기’ 평가의 비판적 검토/국어교육/2011/134(134)/61~86/한국어교육학회/
- [5] [학술지(정기간행물)] 남민우/초등학생들의 시적 능력과 시교육 평가의 개선 방안 －국어과 학업성취도 평가 결과를 바탕으로－/국어교육학연구/2011/37(41)/379~412/국어교육학회/
- [6] [보고서] 2008년 국가수준 학업성취도 평가 연구－국어－/남민우/한국교육과정평가원/2009/~/연구보고 RRE 2009-9-1
- [7] [학술지(정기간행물)] 남민우/국가 수준 국어과 학업성취도 평가의 시행 체제 개선 방안/국어교육/2011/134(134)/113~130/한국어교육학회/
- [8] [보고서] 2009년 국가수준 학업성취도 평가 연구－국어－/남민우/한국교육과정평가원/2010/~/연구보고 RRE 2010-6-2
- [9] [학술지(정기간행물)] 박영민/국가 수준 학업성취도 평가 개선을 위한 ‘쓰기’ 평가 이론의 정립/국어교육/2011/134(134)/87~112/한국어교육학회/
- [10] [단행본] 타당도와 신뢰도/성태제/양서원/2002/~///
- [11] [학술지(정기간행물)] 이순묵/요인분석의 관행과 문제점/한국심리학회지：산업 및 조직/1994/7(1)/1~27//
- [12] [학술지(정기간행물)] 이은희/문법 평가의 현황과 과제 - 국가 수준 학업 성취도 평가를 중심으로 -/문법 교육/2011/15(15)/1~29/한국문법교육학회/
- [13] [학술지(정기간행물)] 임칠성/국가 수준 학업성취도 평가 개선을 위한 ‘듣기’ 평가 이론의 정립/국어교육/2011/134(134)/35~60/한국어교육학회/
- [14] [보고서] 2003년 국가수준 학업성취도 평가 연구－총론－/정구향/한국교육과정평가원/2004/~/연구보고 RRE 2004-1-1
- [15] [보고서] 국가수준 학업성취도 평가의 교과별 평가 틀 개발 연구/정은영/한국교육과정평가원/2010/~/연구보고 CRE 2010-7
- [16] [학술지(정기간행물)] 조재윤/국가수준 국어과 학업성취도 평가의적합성 검토 연구：국어과 평가의 적합성 검토 VRUT 모형을 사용하여/한국초등국어교육/2011/34(46)/349~377/한국초등국어교육학회/
- [17] [학술지(정기간행물)] 주세형/국가 수준 학업 성취도 평가에서의 소위 ‘텍스트 중심 원리’에 대한 비판 －2005~2008년 문법 영역을 중심으로－/국어교육학연구/2009/48(35)/481~506/국어교육학회/
- [18] [학술지(정기간행물)] 주세형/국어과 문법 평가 이론의 발전 방향/국어교육/2011/135(135)/39~66/한국어교육학회/
- [19] [학술지(정기간행물)] 천경록/국어과 평가의 정합성 분석의 기초/국어교육/2009/129(129)/113~142/한국어교육학회/
- [20] [학술지(정기간행물)] 천경록/초6 국어과 성취도 평가의 정합성 판정/한국초등국어교육/2010/3(43)/35~61/한국초등국어교육학회/
- [21] [학술지(정기간행물)] 천경록/국가수준 국어과 평가의 정합성 분석 - 중3, 고1 학업성취도 평가를 중심으로 -/국어교육/2011/(136)/297~324/한국어교육학회/
- [22] [학술지(정기간행물)] 최지현/국가 수준 학업 성취도 평가 개선을 위한 ‘문학’ 평가 이론의 정립/국어교육/2011/135(135)/1~37/한국어교육학회/
- [23] [단행본] 독서 평가의 이해와 사용/서수현/한국문화사/2010/~///