Research Article

한국어 구술 숙달도에 대한 원어민 평가자와 비원어민 평가자의 평가 비교: FACETS 분석

김현아

University of Toronto

발행: 2016년 1월 · 51권 5호 · pp. 83-113

DOI: https://doi.org/10.20880/kler.2016.51.5.83

초록

본 연구는 한국어 구술 숙달도에 대한 원어민 평가자와 비원어민 평가자의 평가를 FACETS 분석을 통해 비교하였다. 원어민 평가자와 비원어민 평가자 간의 평가 경향성 차이, 평가의 엄격성과 관대성, 평가 기준별 차이 등을 다국면 라쉬 모형(FACETS)을 활용하여 분석하였다. 연구 결과 원어민 평가자와 비원어민 평가자 사이에 평가 경향의 유의미한 차이가 나타났으며, 이러한 결과는 한국어 구술 숙달도 평가에서 평가자 변인의 통제 필요성을 시사한다.

키워드: Korean speaking assessmentrater variablesrating patternsnative and non-native speakersNS and NNSmany-facet Rasch measurement

REFERENCES (23)

[1]
[1] [학술지(정기간행물)] 백현영/중학교 영어교사의 말하기평가 채점경향 분석/언어과학/2011/18(4)/77~99/한국언어과학회/ Google Scholar ›
[2]
[2] [학술지(정기간행물)] Brown, A/The effect of rater variables in the development of an occupation-specific language performance test/Language Testing/1995/12/1~15// Google Scholar ›
[3]
[3] [학술지(정기간행물)] Fayer, J. M/Native and nonnative judgments of intelligibility and irritation/Language Learning/1987/37/313~326// Google Scholar ›
[4]
[4] [단행본] FACETS program for language education assessment research : basic/Jang, S. Y/Global Contents/2009/~/// Google Scholar ›
[5]
[5] [학술지(정기간행물)] 강석한/외국인 한국어 말하기 시험의 평가자 요소가 채점에 미치는 영향/이중언어학/2014/(55)/1~29/이중언어학회/ Google Scholar ›
[6]
[6] [학술지(정기간행물)] Kim, Hyun-Ju/Rater Reliability in L2 Oral Proficiency Tests/영어교육/2006/61(3)/105~118/한국영어교육학회/ Google Scholar ›
[7]
[7] [학술지(정기간행물)] Kim, Y. H/An investigation into native and non-native teachers’ judgments of oral English performance : A mixed methods approach/Language Testing/2009/26/187~217// Google Scholar ›
[8]
[8] [학술지(정기간행물)] 이향/한국어 말하기 평가의 발음 영역 채점에서의 채점자 특성에 따른 채점 경향 연구 -한국어 교육 경험과 전공을 중심으로-/외국어로서의 한국어교육/2013/39/213~245/언어연구교육원 한국어학당/ Google Scholar ›
[9]
[9] [학술지(정기간행물)] 이향/한국어 학습자의 발화에 대한 한국어 교사와 비교사 원어민 간의 평가 차이 연구/한국어교육/2014/25(4)/163~188/국제한국어교육학회/ Google Scholar ›
[10]
[10] [단행본] A guide to English language testing/Lee, W/Moonjin Media/2012/~/// Google Scholar ›
[11]
[11] [단행본] Understanding language assessment/Lee, Y. S/Seoul National University Press/2003/~/// Google Scholar ›
[12]
[12] [학술지(정기간행물)] 이영식/다국면 Rasch 측정의 Facets 프로그램을 활용한 영어 작문 평가의 원어민 채점 검증/영어어문교육/2014/20(1)/475~496/한국영어어문교육학회/ Google Scholar ›
[13]
[13] [학술지(정기간행물)] 이영식/한국어 작문 평가 채점의 타당도 검증: 다국면 Rasch 측정 모형 활용/Foreign Languages Education/2014/21(3)/355~375/한국외국어교육학회/http://dx.doi.org/10.15334/FLE.2014.21.3.355 Google Scholar ›
[14]
[14] [학술지(정기간행물)] Lunz, M. E/Judge consistency and severity across grading periods/Evaluation & the Health Professions/1990/13/425~444// Google Scholar ›
[15]
[15] [단행본] Assessing speaking/Luoma, S/Cambridge University Press/2004/~/// Google Scholar ›
[16]
[16] [단행본] Measuring second language performance/McNamara, T. F/Longman/1996/~/// Google Scholar ›
[17]
[17] [학술지(정기간행물)] Park, D. H/Question type development for CBT/IBT-based Korean proficiency test/National Institute for International Education/2012//~// Google Scholar ›
[18]
[18] [학술지(정기간행물)] Shin, D. I/Exploring rating patters with Rasch measurement techniques: Implications for training/Foreign Language Education/2001/8/249~272// Google Scholar ›
[19]
[19] [단행본] English language testing in Korea II: Speaking test/Shin, D. I/Hankook Munhwasa/2006/~/// Google Scholar ›
[20]
[20] [학술지(정기간행물)] Stassenko, I/Investigating cultural variability in rater judgements of oral proficiency interviews/Eesti Rakenduslingvistika Ühingu aastaraamat/2014/10/269~281// Google Scholar ›
[21]
[21] [학술지(정기간행물)] Wei, J/Investigating Differences Between American and Indian Raters in Assessing TOEFL iBT Speaking Tasks/Language Assessment Quarterly/2015/12/283~304// Google Scholar ›
[22]
[22] [학위논문] Yu, K. A/Effects of nonnative English-speaking raters’ oral proficiency levels on English speaking test ratings and rating processes/Ph. D/Ewha Woman’s University//2011 Google Scholar ›
[23]
[23] [학술지(정기간행물)] Zhang, Y/Judgments of oral proficiency by non-native and native English speaking teacher raters: Competing or complementary constructs/Language Testing/2010/28/31~50// Google Scholar ›

Publication History

발행일 2016-01-01

Metrics

인용수 3