.jpeg)
국가수준 학업성취도 평가 국어 서답형 문항의 자동채점 결과 분석
노은희
한국교육과정평가원
Korea Business Review 49권 2호 83-111 (2014)
초록
이 연구는 2013년 개발된 한국어 서답형 문항 자동채점 프로그램 KASS(Korean Automatic Scoring System)을 활용하여 2012년 학업성취도 평가의 초・중・고 국어 총 17문항 각 3,010개 답안을 대상으로 자동채점 결과를 분석하여 향후 국어 서답형 문항의 자동채점 가능성을 탐색하였다. 자동채점 결과, P1~P3에 해당하는 단어・구 수준 서답형 문항의 Kappa계수는 최소 0.97 이상이며 절반 이상의 문항이 1.00으로 채점 신뢰도가 매우 높게 나타났다. 또한 인간채점과 채점 불일치율도 0~0.5% 사이로 매우 낮게 나타났다. 다만, 요구하는 답안이 길고 복잡해질수록 인간채점과 자동채점 결과의 일치도가 떨어지고 불일치율이 증가한다는 점은 확인할 수 있다. 한국어 처리 기술 및 지식베이스의 여건이 충분하지 않은 상황에서, 자동채점이 용이한 단답형 문항부터 자동채점 시스템을 구축하는 본 연구는 출발점으로서의 의미가 크다. 현재 대규모 평가의 서답형 문항에서 다수를 차지하고 있는 단답형 문항을 우선 처리할 수 있을 뿐 아니라, 이를 바탕으로 좀 더 장기적으로 내용 기반의 서답형 문항에 대한 자동채점 연구도 지속적으로 발전시킬 수 있는 기반을 마련할 수 있기 때문이다.
키워드
자동채점한국어 자동채점 프로그램서답형 문항학업성취도 평가
참고문헌
- [1] [학술지(정기간행물)] 강원석/질의문 유형 분석을 통한 서답형 자동 채점 시스템/한국콘텐츠학회 논문지/2011/11(2)/13~21/한국콘텐츠학회/
- [2] [기타자료] 교육과학기술부/2009 개정 교육과정 총론/교육과학기술부 고시 제 2009-41호/2009/~//
- [3] [기타자료] 교육과학기술부/창의성과 인성 함양을 위한 교육내용・방법・평가체제 혁신 방안 VIP 보고/대통령 주재 제3차 교육개혁 대책회의(2010년 5월 19일)/2010/~//
- [4] [기타자료] 교육과학기술부/2011 창의・인성 교육 기본 계획/보도자료(2011년 3월 11일)/2011/~//
- [5] [기타자료] 교육과학기술부/스마트교육 추진 전략(안)/보도자료(2011년 6월 29일)/2011/~//
- [6] [기타자료] 교육과학기술부/창의・인성교육 강화를 위한 중등학교 학사관리 선진화 방안 발표—고교 석차 9등급제 평가를 성취평가제로 전환—/보도자료(2011년 12월 14일)/2011/~//
- [7] [학위논문] 권오영/웹 기반 주관식 평가문항 채점 알고리즘 설계 및 구현/석사/한서대학교 교육대학원/전자계산교육/2004
- [8] [보고서] 2012년 국가수준 학업성취도 평가 채점 표준화 방안 연구/김경성/한국교육과정평가원/2011/~/교육과학기술부 수탁과제 2011-1
- [9] [보고서] 컴퓨터 기반 국가수준 학업성취도 평가 도입 방안/김경희/한국교육과정평가원/2013/~/연구보고 CRE 2013-5
- [10] [보고서] 2012년 국가수준 학업성취도 평가 출제 연구/김미경/한국교육과정평가원/2012/~/연구보고 RRE 2012-2-1
- [11] [보고서] 대규모 평가를 위한 서답형 문항 자동채점 프로그램 정교화 및 시범 적용/노은희/한국교육과정평가원/2013/~/연구보고 RRE 2013-5
- [12] [보고서] 대규모 평가를 위한 서답형 문항 자동채점 방안 연구/노은희/한국교육과정평가원/2012/~/연구보고 RRE 2012-6
- [13] [학술지(정기간행물)] 박희정/유의어 사전을 이용한 주관식 문제 채점 시스템 설계 및 구현/컴퓨터교육학회 논문지/2003/6(3)/207~216/한국컴퓨터교육학회/
- [14] [단행본] 현대교육평가/성태제/학지사/2002/~///
- [15] [보고서] 학업성취도 평가 서답형 문항 컴퓨터 채점화 방안 연구/성태제/한국교육과정평가원/2010/~/연구보고 CRE 2010-1
- [16] [단행본] 2020 한국 초・중등교육의 향방과 과제—교육과정, 교수・학습, 교육평가—/성태제/학지사/2013/26~50///행복교육, 창의인재 양성을 위한 교육과정, 교수・학습, 교육평가 패러다임 전환
- [17] [보고서] 21세기 역량 평가를 위한 OECD PISA의 변화 방향과 대응 방안/송미영/한국교육과정평가원/2013/~/연구자료 ORM 2013-57-13
- [18] [학위논문] 정동경/벡터유사도와 시소러스를 이용한 주관식 답안의 채점방법/석사/동국대학교 교육대학원/컴퓨터교육/2002
- [19] [학위논문] 조우진/의미커널과 한글 워드넷에 기반한 지능형 채점 시스템/석사/한림대학교 대학원/컴퓨터공학/2006
- [20] [단행본] 교육평가용어사전/한국교육평가학회/학지사/2004/~///
- [21] [인터넷자원] Marking short free text responses in e-assessment/http://www.heacademy.ac.uk/assets/ocuments/subjects/ics/eteaching_marking_short_free_text_responses.pdf/Dube, T.///2010
- [22] [학술지(정기간행물)] Nehm, R. H./Transforming biology assessment with machine learning : Automated scoring of written evolutionary explanations/Journal of Science Education and Technology/2012/21(1)/183~196//