Korea Business Review

Korea Business Review

편집인: Hyoung-Goo Kang Print ISSN: 2951-3596 Online ISSN: 2951-360X © 한국경영학회 발행주기: 연4회 (02월 28일, 05월 31일, 08월 31일, 11월 30일)
Cover
최신호 60권 5호 2025

논문 정보

예비국어교사의 중학생 논설문 평가에서 발견되는 엄격성 및 일관성의 특성

박영민

한국교원대학교

Korea Business Review 43호 253-283 (2012)

DOI: 10.20880/kler.2012..43.253

초록

이 연구에서는 예비국어교사 32명을 중학생 논설문 평가자로 삼아 엄격성 및 일관성을 분석하였다. 이 연구에서 얻은 결과는 다음과 같다. 첫째, 엄격한 평가자와 관대한 평가자는 각각 16명씩이었으며, 일관성이 적합한 평가자가 32명 중 16명(50%), 부적합을 보인 평가자가 4명(12.5%), 과적합을 보인 평가자가 12명(37.5%)이었다. 둘째, 예비국어교사들의 성별에 따른 엄격성은 통계적으로 유의한 차이가 발견되지 않았다. 셋째, 예비국어교사들을 성별로 집단을 구분하였을 때, 일관성은 적합한 수준을 유지하는 것으로 분석되었다. 남자 예비국어교사들은 내적합 지수가 0.96, 여자 예비국어교사들은 1.03을 보였다. 넷째, 예비국어교사들이 중학생 논설문을 평가할 때 활용한 평가 요인을 분석한 결과, ‘형식 및 어법’에서 가장 엄격한 것으로 나타났다. 가장 관대한 평가 요인은 ‘표현’이었다. 다섯째, 예비국어교사들의 평가 척도 활용을 분석하였는데, ‘2점’ 및 ‘3점’을 준 비율이 60%였으며, 명목적으로는 동간인 평가 척도를 실제적으로는 동간으로 평가하지 않았다. 이러한 결과를 통해 볼 때, 예비국어교사들의 평가 전문성을 높이기 위한 교육도 병행해서 이루어져야 할 것으로 판단된다.

키워드

예비국어교사쓰기 평가엄격성일관성Rasch 분석

참고문헌

  1. [1] [학술지(정기간행물)] 김성숙/논술 문항 채점의 변동 요인 분석과 일반화 가능도 계수의 최적화 조건/교육평가연구/1995/8(1)/35~57//
  2. [2] [학술지(정기간행물)] 김성숙/채점의 변동 요인 분석 방법에 대한 고찰：일반화 가능도 이론과 다국면 라쉬 모형의 적용과 재해석/교육평가연구/2001/14(1)/303~325//
  3. [3] [학술지(정기간행물)] 박영민/현직 국어교사와 예비 국어교사의 쓰기 평가 비교 연구/교육과정평가연구/2009/12(1)/123~143/한국교육과정평가원/
  4. [4] [학술지(정기간행물)] 박영민/Rasch 모형을 활용한 국어교사의 쓰기 평가 특성 분석－중학생 설명문 쓰기 평가를 중심으로－/국어교육학연구/2010/37(37)/367~391/국어교육학회/
  5. [5] [학술지(정기간행물)] 박종임/Rasch 모형을 활용한 국어교사의 채점 일관성 변화 양상 및 원인 분석 -중학생 서사문 채점을 중심으로-/우리어문연구/2011/39(39)/301~335/우리어문학회/
  6. [6] [학술지(정기간행물)] 박종임/평가자 일관성에 따른 설명문 평가 예시문 선정의 차이 연구/작문연구/2012/14(14)/301~338/한국작문학회/
  7. [7] [학술지(정기간행물)] 이현숙/다국면 라쉬모형을 적용한 논술 채점 상황에서 채점 설계 및 채점자 특성이 채점의 정확성에 미치는 효과/교육평가연구/2008/21(4)/129~152/한국교육평가학회/
  8. [8] [단행본] 언어교육평가 연구를 위한 FACETS: 기초과정편/신동일/글로벌콘텐츠/2009/~///
  9. [9] [단행본] RASCH 모형의 이론과 실제/지은림/교육과학사/2000/~///
  10. [10] [학술지(정기간행물)] 최숙기/논설문 평가에 나타난 국어교사의 평가 특성 및 편향 분석/교육과정평가연구/2011/14(1)/201~228/한국교육과정평가원/
  11. [11] [단행본] Gender bias in teachers’ written comments, In Gender in the classroom：Power and pedagogy/Barnes, L. L./University of Illinois Press/1990/140~159///
  12. [12] [학술지(정기간행물)] Barrett, S./The impact of training on rater variability/International Education Journal/2001/2(1)/49~58//
  13. [13] [학술지(정기간행물)] Barritt, L./Researching practice：evaluating student essays/College Composition and Communication/1986/7/315~327//
  14. [14] [단행본] Applying the Rasch Model：Fundamental Measurement in the Human Sciences(2nd ed.)/Bond, T. G/Lawrence Erlbaum Associates, Inc/2007/~///
  15. [15] [학술대회논문] Cantor, N. K./The reliability and validity of writing assessment：An investigation of rater, prompt within mode, and prompt between mode sources of error/Paper presented at the annual meeting of the American Educational Research Association, San Francisco, CA/1986//~/
  16. [16] [학술지(정기간행물)] Cason G. J./A deterministic theory of clinical performance rating/Evaluation and the Health Professions/1984/7/221~247//
  17. [17] [단행본] Essential of Psychological Testing(5th ed. )/Cronbach, L. J./Harper Collins/1990/~///
  18. [18] [단행본] Monitoring faculty consultant performance in the advanced placement English literature and composition program with a many-faceted Rasch model/Engelhard, G./College Enterance Examination Board/2003/~///
  19. [19] [학술지(정기간행물)] Engelhard, G., Jr/The measurement of writing ability with a many-faceted Rasch model/Applied Measurement in Education/1992/5/171~191//
  20. [20] [학술지(정기간행물)] Engelhard, G., Jr/Examining rater errors in the assessment of written composition with a many-faceted Rasch model/Journal of Educational Measurement/1994/31/93~112//
  21. [21] [학술지(정기간행물)] Engelhard, G., Jr./The influences of mode of discourse, experiential demand, and gender on the quality of student writing/Research into the Teaching of English/1991/26/315~336//
  22. [22] [학술지(정기간행물)] Etaugh, C. B./Evaluating competence of women and men：Effects of experimenter gender and group gender composition/Psychology of Women Quarterly/1988/12/191~200//
  23. [23] [학술지(정기간행물)] Gabrielson, S./The effects of task choice on the quality of writing obtained in a statewide assessment/Applied Measurement in Education/1995/8/273~290//
  24. [24] [학술지(정기간행물)] Haswell, J/Gendership and the miswriting of students/College Composition & Communication/1995/46(2)/223~254//
  25. [25] [학술지(정기간행물)] Haswell, R. H./Gender bias and critique of student writing/Assessing Writing/1996/3/31~83//
  26. [26] [학술지(정기간행물)] Hayes, J. R/Understanding and reducing the knowledge effect : Implication for writers/Written Communication/2008/25(1)/104~118//
  27. [27] [학술지(정기간행물)] Huot, B./The literature of direct writing assessment：Major concerns and prevailing trends/Review of Educational Research/1990/60(2)/237~263//
  28. [28] [학술지(정기간행물)] Huot, B./Toward a new theory of writing assessment/College Composition & Communication/1996/47(4)/549~566//
  29. [29] [단행본] Many-facet Rasch measurement/Linacre, J. M/MESA Press/1993/~///
  30. [30] [학술지(정기간행물)] Lumley, T./Rater characteristics and rater bias：Implications for training/Language Testing/1995/12(1)/54~57//
  31. [31] [학술지(정기간행물)] Lumley, T./Rater characteristics and rater bias：Implications for training/Language Testing/1995/12(1)/54~71//
  32. [32] [학술지(정기간행물)] Lunz, M. E./Judge consistency and severity across grading periods/Evaluation and the Health Professions/1990/13/425~444//
  33. [33] [학술지(정기간행물)] Lunz, M. E./Inter judge reliability and decision reproducibility/Educational and Psychological Measurement/1994/54/913~925//
  34. [34] [단행본] The invariance of judge severity calibrations, In Objective Measurement Theory into Practice/Lunz, M. E./Ablex/1996/3~112///
  35. [35] [단행본] Measuring second language performance/McNamara, T. F./Addison Wesley Longman Ltd/1996/~///
  36. [36] [학술대회논문] Myford, C. M./Judging acting ability：The transition from notice to expert/Paper presented at the American Educational Research Association, Chicago IL/1991//~/
  37. [37] [학술지(정기간행물)] Penny, J./The effect of rating augmentation on inter-rater reliability：An empirical study of a holistic rubric/Assessing Writing/2000/7/143~164//
  38. [38] [학술지(정기간행물)] Peterson, S. S/Sixth-grade teachers’ written comments on student writing : genre and gender influences/Written Communication/2006/23(1)/36~62//
  39. [39] [학술지(정기간행물)] Peterson, S./Evaluation and teachers’ perceptions of gender in sixth-grade student writing/Research in the Teaching of English/1998/33(2)/181~208//
  40. [40] [학술지(정기간행물)] Rich, J./Effects of children’s physical attractiveness on teachers' evaluations/Journal of Educational Psychology/1975/67/599~609//
  41. [41] [단행본] Gendered voice in composing, gendered voice in evaluating：Gender and the assessment of writing quality, In Composing social identity in written language/Roulis, E./Lawrence Erlbaum Associates/1995/151~183///
  42. [42] [학술지(정기간행물)] Runder, L. M./Reducing errors due to the use of judges, Practical Assessment/Research & Evaluation/1992/3(3)/~//
  43. [43] [단행본] Designing writing tasks for the assessment of writing, orwood/Ruth, L./Ablex Publishing/1988/~///
  44. [44] [단행본] Writing Assessment, In A Handbook for Student Performance Assessment in an Era of Restructuring/Spandel, V/ASCD/1996/~///
  45. [45] [학술지(정기간행물)] Weigle, S. C./Using FACETS to model rater training effects/Language Testing/1998/15(2)/263~287//
  46. [46] [학술지(정기간행물)] White, M. J/Implicit writing beliefs and their relation to writing quality/Contemporary Educational Psychology/2005/30(2)/166~189//
  47. [47] [학술지(정기간행물)] Wright, B. D/Measuring the impact of judge severity on examination scores/Applied Measurement in Education/1990/3/331~345//
  48. [48] [단행본] Rating Scale Analysis/Wright, B. D./MESA Press/1982/~///

Korea Business Review · 한국경영학회

Print ISSN 2951-3596 · Online ISSN 2951-360X

Privacy PolicyTerms of UseContact UsKMA Homepage

TEL : 010-2672-3919 EMAIL : kbr2editor@gmail.com 계좌번호 : 신한 140-009-175743 예금주 : (사)한국경영학회 COPYRIGHT ⓒ 2023 THE KOREAN ACADEMIC SOCIETY OF BUSINESS ADMINISTRATION. All rights reserved