.jpeg)
Application of an Automatic Scoring Program for Short Answer of Korean Items in NAEA
Eunhee Noh
한국교육과정평가원
Korea Business Review 49Vol. 2No. pp.83-111 (2014)
Abstract
The purpose of this study is to improve the automatic scoring program of Korean supply-type items and to increase application of the program for effectiveness of scoring and reliable scoring. For the trial application of the automatic scoring program, I scored 17 supply-type Korean items of the 2012 NAEA(National Assessments of Educational Achievement). The numbers of answer were 3,010 of each Korean item. The results of the 2012 NAEA items demonstrated that the scoring rate was quite high, 97~100%, and Kappa coefficients were high (at over .97). The rate of scoring errors was 0~0.5%. The error rate of most items was very small (under 1%). The sources of scoring errors were either spelling errors or the non-recognition of analogous terms, and symbols. The ability to use automatic scoring program in operational scoring environments, such as the NAEA, reduces the time and cost associated with having multiple human scorers score answers of supply-type items. Therefore, an automatic scoring would appear to be a favorable solution with respect of both the introduction of more supply-type items on high-stakes standardized tests and on the lower stakes classroom-instruction environment.
Keywords
자동채점한국어 자동채점 프로그램서답형 문항학업성취도 평가
References
- [1] [학술지(정기간행물)] 강원석/질의문 유형 분석을 통한 서답형 자동 채점 시스템/한국콘텐츠학회 논문지/2011/11(2)/13~21/한국콘텐츠학회/
- [2] [기타자료] 교육과학기술부/2009 개정 교육과정 총론/교육과학기술부 고시 제 2009-41호/2009/~//
- [3] [기타자료] 교육과학기술부/창의성과 인성 함양을 위한 교육내용・방법・평가체제 혁신 방안 VIP 보고/대통령 주재 제3차 교육개혁 대책회의(2010년 5월 19일)/2010/~//
- [4] [기타자료] 교육과학기술부/2011 창의・인성 교육 기본 계획/보도자료(2011년 3월 11일)/2011/~//
- [5] [기타자료] 교육과학기술부/스마트교육 추진 전략(안)/보도자료(2011년 6월 29일)/2011/~//
- [6] [기타자료] 교육과학기술부/창의・인성교육 강화를 위한 중등학교 학사관리 선진화 방안 발표—고교 석차 9등급제 평가를 성취평가제로 전환—/보도자료(2011년 12월 14일)/2011/~//
- [7] [학위논문] 권오영/웹 기반 주관식 평가문항 채점 알고리즘 설계 및 구현/석사/한서대학교 교육대학원/전자계산교육/2004
- [8] [보고서] 2012년 국가수준 학업성취도 평가 채점 표준화 방안 연구/김경성/한국교육과정평가원/2011/~/교육과학기술부 수탁과제 2011-1
- [9] [보고서] 컴퓨터 기반 국가수준 학업성취도 평가 도입 방안/김경희/한국교육과정평가원/2013/~/연구보고 CRE 2013-5
- [10] [보고서] 2012년 국가수준 학업성취도 평가 출제 연구/김미경/한국교육과정평가원/2012/~/연구보고 RRE 2012-2-1
- [11] [보고서] 대규모 평가를 위한 서답형 문항 자동채점 프로그램 정교화 및 시범 적용/노은희/한국교육과정평가원/2013/~/연구보고 RRE 2013-5
- [12] [보고서] 대규모 평가를 위한 서답형 문항 자동채점 방안 연구/노은희/한국교육과정평가원/2012/~/연구보고 RRE 2012-6
- [13] [학술지(정기간행물)] 박희정/유의어 사전을 이용한 주관식 문제 채점 시스템 설계 및 구현/컴퓨터교육학회 논문지/2003/6(3)/207~216/한국컴퓨터교육학회/
- [14] [단행본] 현대교육평가/성태제/학지사/2002/~///
- [15] [보고서] 학업성취도 평가 서답형 문항 컴퓨터 채점화 방안 연구/성태제/한국교육과정평가원/2010/~/연구보고 CRE 2010-1
- [16] [단행본] 2020 한국 초・중등교육의 향방과 과제—교육과정, 교수・학습, 교육평가—/성태제/학지사/2013/26~50///행복교육, 창의인재 양성을 위한 교육과정, 교수・학습, 교육평가 패러다임 전환
- [17] [보고서] 21세기 역량 평가를 위한 OECD PISA의 변화 방향과 대응 방안/송미영/한국교육과정평가원/2013/~/연구자료 ORM 2013-57-13
- [18] [학위논문] 정동경/벡터유사도와 시소러스를 이용한 주관식 답안의 채점방법/석사/동국대학교 교육대학원/컴퓨터교육/2002
- [19] [학위논문] 조우진/의미커널과 한글 워드넷에 기반한 지능형 채점 시스템/석사/한림대학교 대학원/컴퓨터공학/2006
- [20] [단행본] 교육평가용어사전/한국교육평가학회/학지사/2004/~///
- [21] [인터넷자원] Marking short free text responses in e-assessment/http://www.heacademy.ac.uk/assets/ocuments/subjects/ics/eteaching_marking_short_free_text_responses.pdf/Dube, T.///2010
- [22] [학술지(정기간행물)] Nehm, R. H./Transforming biology assessment with machine learning : Automated scoring of written evolutionary explanations/Journal of Science Education and Technology/2012/21(1)/183~196//