국어과 서술형 평가 문항 개발 및 채점 방법 사례 연구
이영진
한국교원대학교
Korea Business Review 45호 413-449 (2012)
초록
이 연구는 국어과 서술형 평가 도입과 관련하여 학교 현장에서 교사들이어떻게 문항을 개발하고 채점을 하는지 사례를 통해 소개하였다. 평가에서 타당도와 신뢰도를 어떻게 확보하고 있으며 서술형 평가에 관한 교사들의 견해가 무엇인지를 살펴봄으로써 필요성 및 개선 방안에 관해 고찰하였다. 국어과 서술형 평가와 관련하여 평가 유형 및 평가 문항의 특성, 국어과서술형 평가의 문항 개발 및 채점 방법의 절차를 살펴보았다. 연구 대상은 경기 부천여고 자연계 4개 반 140명으로 2011년 11월 15일 실시한 2학기 독서 과목 지필평가를 통해 학교 현장에서의 3학년 독서과4명의 국어과 교사들이 실제로 국어과 서술형 문항 개발과 채점 과정의 절차를 사례에 주목하였다. 국어과 서술형 평가의 타당도 및 문항 변별도, 신뢰도를 파악하였다. 타당도와 관련하여 내용 타당도에서는 대체로 일반적인 문항 개발 절차에 따라 서술형 평가를 개발하면서 교과협의를 통한 문항 검토 및 수정・보완의과정을 수행함으로써 확보하고 있다고 판단할 수 있다. 문항 변별도와 관련하여 선택형 및 서술형 문항의 정오답표를 분석하였다. 그 결과 선택형에 비하여 서술형 문항에서는 난이도를 조절하지 못한 문항은 발견되지 않아 문항의 변별력을 갖추고 있음을 확인할 수 있었다. 이와 함께 선택형 및 서술형 평가 결과 간의 상관분석 및 평가 결과를바탕으로 하여 상・하위 집단의 서술형 및 선택형 평가 결과의 차이를 분석하였다. 상관분석 결과는 .561로 상관이 있는 것으로 나타났다. 이는 선택형 및 서술형 문항이 공통적인 평가 요소를 공유한다는 점에서 상관이 나타난다고 할 수 있지만, 한편으로 각각의 문항 유형들이 지필평가의 틀 안에서독립적인 역할을 수행하고 있음을 파악할 수 있었다. 이에 대한 근거로서 선택형 및 서술형 문항의 평가 결과가 상・하위 집단 간에 각각 유의한 차이를보이고 있는 것을 제시할 수 있다. 이를 통해 평가의 구인타당도를 확보하고있다고 할 수 있다. 평가의 신뢰도와 관련하여 교사들은 각자 출제한 문항에 대해 기본 답안 및 인정 답안을 작성하고 문항별로 1차 채점을 수행하였으며, 2차 채점을통해 학생들의 다양한 답안 반응에 대해 정답 여부를 확인하는 협의 과정,최종적으로 완료된 채점 결과를 학생들에게 설명하여 확인하는 절차를 통해평가의 신뢰도를 확보하고 있다고 할 수 있다. 국어과 서술형 평가에 관한 교사들의 견해를 파악하기 위해 교과협의회과정에서 면담을 실시하였다. 학교 현장에서는 평가의 타당성 및 필요성에대해 공감하고 있지만 평가를 시행하는 단계에서 어려움을 겪는 것이 사실이다. 문항 개발 및 채점 방법에 대한 체계적인 이론화와 평가 업무 부담을경감하는 방법에 대한 연구가 지속적으로 이루어질 필요가 있다.
키워드
국어과 서술형 평가문항 개발채점 방법타당도문항 변별도신뢰도
참고문헌
- [1] [보고서] 고등학교 서술형・논술형 평가 길라잡이/경기도 교육청//2007/~/장학자료 2007 - 11
- [2] [보고서] 평가 결과 활용의 길잡이/경기도 교육청//2009/~/장학자료 2009 - 10
- [3] [보고서] 서술형 평가 문항의 실제/경기도 교육청//2010/~/장학자료 2010 - 7
- [4] [단행본] 일반화가능도 이론/김성숙/교육과학사/2001/~///
- [5] [단행본] 서술형 평가 ROAD VIEW/김주환/박이정/2010/~///
- [6] [단행본] 국어교육론/노명완/한샘/1988/~///
- [7] [단행본] 서술형 평가 ROAD VIEW—국어교과/박순석/박이정/2011/~///
- [8] [단행본] 국어교육학 원론/박영목/박이정/2003/~///
- [9] [단행본] 교육과정과 교육평가/박도순/문음사/1999/~///
- [10] [단행본] 문항작성방법론/박도순/교육과학사/2000/~///
- [11] [학위논문] 박혜상/국어과 평가 문항 유형에 따른 학생 반응 비교 : 선택형 문항과 서술형 문항을 중심으로/석사/고려대학교 교육대학원//2008
- [12] [기타자료] 서울특별시 교육청/고등학교 서술형 평가 장학자료집/서울특별시 교육청/2010/~//
- [13] [기타자료] 서울특별시 교육청/2011학년도 중등 평가 시행 계획/서울특별시 교육청/2011/~//
- [14] [학위논문] 윤지원/중학교 국어과 서술형 평가의 현황 분석과 개선 방안 연구/석사/한양대학교 교육대학원//2008
- [15] [단행본] 언어교육평가 연구를 위한 FACETS 프로그램./장소영/글로벌콘텐츠/2009/~///
- [16] [학위논문] 조수현/중학교 국어과 지필고사의 서술형 문항 분석과 개선방안 연구/석사/한양대학교 교육대학원//2011
- [17] [단행본] 국어교육학 개론/최현섭/삼지원/1996/~///
- [18] [인터넷자원] An Analysis of some unintended and negativeconsequences of high - stakes Testing/http://www.greatlakescenter.org/Amrein, A. L./2002//
- [19] [학술지(정기간행물)] Amrein, A. L/The effects of high-stakes testing on studentmotivation and learning/Educational Leadership/2003/60(5)/32~38//
- [20] [학술지(정기간행물)] Nichols, S. L./High-stakes testing and studentachievement : Does Accountability pressure Increase student learning/Educationpolicy analysis archives/2006/14(1)/~//
- [21] [학술대회논문] Shepard, L. A/Effects of High- strakes Testing on Instruction/symposium presented at the annual meeting of the AmericanEducational Research Association and the National Council on MeasurementEducation, Chicago/1991//~/
