Korea Business Review

Korea Business Review

편집인: Hyoung-Goo Kang Print ISSN: 2951-3596 Online ISSN: 2951-360X © 한국경영학회 발행주기: 연4회 (02월 28일, 05월 31일, 08월 31일, 11월 30일)
Cover
최신호 60권 5호 2025

논문 정보

국어교사의 쓰기평가 일관성 유형에 따른 채점-재채점 신뢰도 분석

윤금준 박영민

청명고등학교 한국교원대학교

Korea Business Review 56권 1호 151-183 (2021)

DOI: 10.20880/kler.2021.56.1.151

초록

이 연구의 목적은 국어교사의 쓰기평가 일관성 유형에 따라 채점-재채점 신뢰도를 분석하는 데 있다. 이를 위해 국어교사 36명을 대상으로 학생 글 20편에 대해 채점-재채점을 실시하였으며, 다국면 Rasch 분석 결과에 따라 일관성의 유형을 기준으로 평가자를 집단별로 범주화하였다. 그 결과 평가자의 일관성이 적합한 경우는 25.00%였으며, 한 번만 적합한 것으로 나타난 경우는 52.78%, 채점-재채점 모두 과적합이나 부적합인 경우는 22.22%로 나타났다. 일관성 유형에 따른 채점-재채점의 신뢰도를 분석한 결과 일관성이 적합한 경우에는 채점-재채점 신뢰도가 높게 나타나는 경향을 보였다. 또한 과적합일 때 채점-재채점의 신뢰도가 높게 나타나는 경우가 있었으나 이 경우에는 채점과 재채점 간의 엄격성이 상이하여 평균 차이가 크게 나타났다. 마지막으로 부적합인 경우에는 채점-재채점의 신뢰도가 가장 낮게 나타났다. 이는 평가자에 따라 평가 결과가 상이할 수 있음을 보여 주는 것으로, 쓰기평가의 신뢰도를 확보하기 위한 다양한 방안이 모색되어야 함을 시사한다.

키워드

국어교사쓰기평가평가자 일관성채점-재채점 신뢰도다국면 Rasch 모형

참고문헌

  1. [1] [학위논문] 가은아/쓰기 발달의 양상과 특성 연구/박사/한국교원대학교 대학원/국어교육/2011
  2. [2] [단행본] 신뢰도/강승호/교육과학사/2004/~///
  3. [3] [단행본] 교육평가/권대훈/학지사/2008/~///
  4. [4] [학위논문] 권태현/쓰기 성취기준에 따른 학생 예시문 선정에 관한 연구/박사/한국교원대학교 대학원/국어교육전공/2014
  5. [5] [단행본] 교육평 : 이해와 적용/박도순/교육과학사/2012/~///
  6. [6] [단행본] 작문교육론/박영민/역락/2016/~///
  7. [7] [학술지(정기간행물)] 서수현/쓰기 평가 협의 과정에 나타난 쓰기 평가자의 인식 연구/국어교육학연구/2012/(44)/335~367/국어교육학회/10.20880/kler.2012..44.335
  8. [8] [단행본] 국어학과 국어교육학/성낙수/채륜/2015/~///
  9. [9] [단행본] 타당도와 신뢰도/성태제/학지사/2002/~///
  10. [10] [학술지(정기간행물)] 이재창/조현병 환자가 시행한 주의력 네트워크 검사 점수의 검사-재검사 신뢰도/정신신체의학/2017/25(2)/210~217/한국정신신체의학회/
  11. [11] [학술지(정기간행물)] 이혜원/학령전기용 어음청각검사 어표의 검사-재검사 신뢰도/Audiology and Speech Research/2014/10(1)/25~34/한국청각언어재활학회/
  12. [12] [단행본] 언어교육평가 연구를 위한 FACETS 프로그램/장소영/글로벌콘텐츠/2009/~///
  13. [13] [학위논문] 장은주/채점의 일관성 유형에 따른 국어교사의 쓰기 평가 특성 분석/박사/한국교원대학교//2015
  14. [14] [학위논문] 허소희/한국어 이명주요기능설문지의 검사-재검사 신뢰도 검증 및 간소화 버전 제안/석사/한림대학교//2019
  15. [15] [학술지(정기간행물)] Barrett, S./The impact of training on rater variability/International Education Journal/2001/2/49~58//
  16. [16] [학술지(정기간행물)] Eckes, T./Rater types in writing performance assessments : A classification approach to rater variability/Language Testing/2008/25(2)/155~185//
  17. [17] [단행본] Handbook of Inter-Rater Reliability/Gwet, K. L./Advanced Analytics, LLC/2012/~///
  18. [18] [단행본] Many-facet Rasch Measurement/Linacre, J. M./MESA Press/1989/~///
  19. [19] [학술지(정기간행물)] Linacre, J. M./Rating, judges, and fairness/Rasch Measurement Transactions/1998/12(2)/630~631//
  20. [20] [단행본] FACETS/Linacre, J. M./MESA Press/1990/~///
  21. [21] [학술지(정기간행물)] Lumley, T./Rater characteristics and rater bias : Implications for training/Language Testing/1995/12(1)/54~71//
  22. [22] [단행본] Measuring Second Language Performance/McNamara, T. F./Longman/1996/~///
  23. [23] [학술지(정기간행물)] Mukaka, M. M./A guide to appropriate use of correlation coefficient in medical research/Malawi Medical Journal/2012/24(3)/69~71//
  24. [24] [학술지(정기간행물)] Myford, C. M./Detecting and Measuring Rater Effects Using Many-Facet Rasch Measurement : Part Ⅰ/Journal of Applied Measurement/2003/4(4)/386~422//
  25. [25] [단행본] Designing writing tasks for the assessment of writing/Ruth, L./Ablex Publishing Corporation/1988/~///
  26. [26] [학술지(정기간행물)] White, E. M./Holisticism/College Composition and Communication/1984/35(4)/400~409//

Korea Business Review · 한국경영학회

Print ISSN 2951-3596 · Online ISSN 2951-360X

Privacy PolicyTerms of UseContact UsKMA Homepage

TEL : 010-2672-3919 EMAIL : kbr2editor@gmail.com 계좌번호 : 신한 140-009-175743 예금주 : (사)한국경영학회 COPYRIGHT ⓒ 2023 THE KOREAN ACADEMIC SOCIETY OF BUSINESS ADMINISTRATION. All rights reserved