Korea Business Review

Korea Business Review

편집인: Hyoung-Goo Kang Print ISSN: 2951-3596 Online ISSN: 2951-360X © 한국경영학회 발행주기: 연4회 (02월 28일, 05월 31일, 08월 31일, 11월 30일)
Cover
최신호 60권 5호 2025

논문 정보

채점 수 누적에 따른 쓰기 평가 과정의 눈동자 움직임 연구

이지원 박영민

한국교원대학교 한국교원대학교

Korea Business Review 50권 4호 395-424 (2015)

DOI: 10.20880/kler.2015.50.4.395

초록

이 연구는 눈동자 움직임 추적을 통해 쓰기 평가에서 평가 기준표와 글을 AOI로 설정하고 평가 기준표의 채점 수 누적에 따른 고정 빈도와 시간의 소거 과정을 탐색하였다. 첫째, 평가자들은 전체 채점 과정에서 고정 빈도 약 25%, 고정 시간 약 28%의 비율로 평가 기준표에 눈동자를 고정하였으며, 글에는 41.4초, 평가 기준표에는 16.2초의 고정 시간의 분포를 보였다. 둘째, 채점 수 누적에 따른 30편의 글 채점 과정에서 평가자들은 평가 기준표의 고정 빈도와 고정 시간의 지속적인 하향 추세를 보였으며, 특히 채점 초반부인 10번째 글까지의 급격한 하락 이후 완만하게 감소하는 경향을 보였다. 셋째, 채점 수 누적에 따른 고정 빈도와 고정 시간의 상댓값의 데이터를 바탕으로 회귀 모형을 작성한 결과, 로그 함수 모형이 가장 높은 설명력을 갖는 것으로 나타났으며, 예측값에 따른 평가 기준표의 고정 비율이 0이 되는 시점은 88번째 글인 것으로 추정했다. 다만 평가 시행의 효율성, 목적과 상황을 고려하여 채점 수 누적에 따른 연습 효과가 감소되는 시점인 고정 빈도의 20%에 해당하는 채점 수 25편을 최소한의 채점 연습량으로 설정할 수 있을 것이다.

키워드

안구운동시선추적시계열작문 평가루브릭쓰기 채점평가자채점자예시문

참고문헌

  1. [1] [단행본] 작문교육론/박영목/역락/2008/~///
  2. [2] [단행본] 국어학과 국어교육학/박영민/채륜/2015/~///작문 평가의 평가자 신뢰도
  3. [3] [학술지(정기간행물)] 박영민/‘손글씨 설명문’과 ‘워드 설명문’ 평가 과정에서 나타나는 국어교사 눈동자 움직임의 차이/국어교육학연구/2014/49(2)/193~224/국어교육학회/
  4. [4] [학술지(정기간행물)] 박영민/쓰기 효능감 및 성별 차이가 중학생의 쓰기 수행에 미치는 효과/국어교육학연구/2007/32(28)/327~360/국어교육학회/
  5. [5] [단행본] 인지심리학/이정모/학지사/2002/~///
  6. [6] [단행본] Cognitive psychology and its implications/Anderson, J. R./WH Freeman/Times Books/Henry Holt & Co/1990/~///
  7. [7] [학술지(정기간행물)] Andrade, H. G./Understanding rubrics/Educational Leadership/1997/54(4)/14~17//
  8. [8] [단행본] Researching practice:Evaluating assessment essays/Barritt, L./College Composition and Communication/1986/315~327///
  9. [9] [학술대회논문] Boyd, P./Grading student work: Using think aloud to investigate the assessment practices of university lecturers/British Educational Research Association conference, Manchester, UK/2009//~/
  10. [10] [보고서] Reliability issues with performance assessments: A collection of papers/Colton, D. A.//1997/~/ACT Research Report Series, 97-3
  11. [11] [학술지(정기간행물)] Cumming, A./Decision making while rating ESL/EFL writing tasks : A descriptive framework/The Modern Language Journal/2002/86(1)/67~96//
  12. [12] [학술지(정기간행물)] DeRemer, M. L./Writing assessment : Raters' elaboration of the rating task/Assessing Writing/1998/5(1)/7~29//
  13. [13] [학술지(정기간행물)] Ericsson, K. A./Verbal reports as data/Psychological Review/1980/87(3)/215~//
  14. [14] [단행본] Holistic assessment of writing:Experimental design and cognitive theory/Freedman, S. W./Research on Writing: Principles and Methods/1983/75~98///
  15. [15] [학술지(정기간행물)] Hamp-Lyons, L./Communicative writing profiles : An investigation of the transferability of a Multiple-Trait scoring instrument across ESL writing assessment contexts/Language Learning/1991/41(3)/337~373//
  16. [16] [단행본] Reliability, validity, and holistic scoring: What we know and what we need to know/Huot, B./College Composition and Communication/1990/201~213///
  17. [17] [단행본] Assessing second language writing : The rater’s perspective Vol. 3/Lumley, T./Peter Lang/2005/~///
  18. [18] [학술지(정기간행물)] Lunz, M. E./Measuring the impact of judge severity on examination scores/Applied Measurement in Education/1990/3(4)/331~345//
  19. [19] [단행본] A study of the decision-making behaviour of composition markers/Milanovic, M./Performance Testing, Cognition and Assessment/1996/92~114///
  20. [20] [학술지(정기간행물)] Moskal, B. M./Scoring rubric development : Validity and reliability. Practical Assessment/Research &Evaluation/2000/7(10)/71~81//
  21. [21] [단행본] Insight from the eyes/Paulson, E. J./Heinemann Educational Books/2003/~///
  22. [22] [단행본] The Oxford handbook of eye movements/Peterson/Oxford University Press/2011/~///Eye movement and memory
  23. [23] [학술대회논문] Sakyi, A. A./Validation of holistic scoring for ESL writing assessment: How raters evaluate compositions/Fairness and validation in language assessment: selected papers from the 19th language testing research colloquium, Orlando, Florida/2000//129~152/Cambridge University Press
  24. [24] [학술지(정기간행물)] Stahl, J. A./Answering the Call for a New Psychometrics/Rasch Measurement Transactions/1991/5(1)/127~//
  25. [25] [학술대회논문] Stahl, J. A./Equating examinations that include judges (multiple facets)/annual meeting of the National Council of Measurement in Education, Chicago/1991//~/
  26. [26] [학술지(정기간행물)] Weigle, S. C./Using FACETS to model rater training effects/Language Testing/1998/15(2)/263~287//
  27. [27] [학술지(정기간행물)] White, E. M./Holisticism/College Composition and Communication/1984/35/400~409//
  28. [28] [학술지(정기간행물)] Winke, P./ESL essay raters’ cognitive processes in applying the Jacobs et al. rubric : An eye-movement study/Assessing Writing/2015/25/37~53//
  29. [29] [학술지(정기간행물)] Wolfe, E. W./The relationship between essay reading style and scoring proficiency in a psychometric scoring system/Assessing Writing/1997/4(1)/83~106//
  30. [30] [단행본] Identifying rater effects in performance ratings/Wolfe, E. W./Performance appraisals: A critical view/2005/91~103///
  31. [31] [학술지(정기간행물)] Wolfe, E. W./Cognitive differences in proficient and nonproficient essay scorers/Written Communication/1998/15(4)/465~492//

Korea Business Review · 한국경영학회

Print ISSN 2951-3596 · Online ISSN 2951-360X

Privacy PolicyTerms of UseContact UsKMA Homepage

TEL : 010-2672-3919 EMAIL : kbr2editor@gmail.com 계좌번호 : 신한 140-009-175743 예금주 : (사)한국경영학회 COPYRIGHT ⓒ 2023 THE KOREAN ACADEMIC SOCIETY OF BUSINESS ADMINISTRATION. All rights reserved