Argument-based Validation for the Korean Speaking Test for Academic Purposes — Examining the Extrapolation Inference
Lee, Sungjun Eunsil Hong Oh, Yelim Lee Seungwon Su-Jin Cho Min, Byeonggon
성균관대학교 성균관대학교 서울대학교 서울대학교 서강대학교 서울대학교
Korea Business Review 56Vol. 1No. pp.231-264 (2021)
Abstract
This article investigates the extrapolation inference for the Korean Speaking Test for Academic Purposes(KoSTAP) in relation to providing information on the performance of international students in academic speaking tasks in practical contexts. The Argument schemes of extrapolation inference and validation study were designed based on the argument-based approach. Evidence of extrapolation inference was collected by comparing the KoSTAP scores with learners’ performance in the real-world target domain. International students who participated in this study, listened to a lecture in a simulated class and performed related speaking tasks. The extrapolation inference was verified by analyzing the correlation between the result of the speaking task evaluation and the KoSTAP score. This study shows that KoSTAP functions as a tool to evaluate the practical academic speaking skills required by universities in relation to the lecture context. It also presents the future usefulness of KoSTAP.
Keywords
학문 목적 말하기 평가타당도논증 기반 타당화외삽 추론실험 연구
References
- [1] [학술지(정기간행물)] 강석한/온라인 방식 한국어 학문 목적 말하기 평가에서 변인 연구/한국언어문화학/2020/17(1)/35~62/국제한국언어문화학회/
- [2] [학술지(정기간행물)] 강석한/외국어로서의 한국어 발음과 유창성 연구/이중언어학/2017/(67)/1~29/이중언어학회/10.17296/korbil.2017..67.1
- [3] [학위논문] 권순용/학문 목적 한국어 학습자의 말하기 평가 도구 개발 연구/석사/부경대학교//2015
- [4] [학술지(정기간행물)] 김상경/학문 목적 한국어 말하기 평가 과제 유형 개발 연구 - 다국면 라쉬 모형과 일반화가능도 이론 적용을 중심으로 -/새국어교육/2014/(100)/115~141/한국국어교육학회/10.15734/koed..100.201409.115
- [5] [학위논문] 김상경/학문 목적 한국어 학습자의 말하기 능력 평가 방안 연구/박사/경희대학교//2015
- [6] [단행본] 한국어교육학개론/민병곤/태학사/2020/~///
- [7] [학술지(정기간행물)] 민병곤/학문 목적 한국어 말하기 평가 도구 개발의 쟁점과 과제/국어교육연구/2016/(38)/67~110/국어교육연구소/10.17313/jkorle.2016..38.67
- [8] [학술지(정기간행물)] 민병곤/학문 목적 한국어 말하기 평가 도구 개발 연구/국어교육/2017/(157)/309~340/한국어교육학회/
- [9] [학위논문] 박광진/학문 목적 한국어 학습자 대상 교실 말하기 평가 방안 연구/석사/배재대학교 대학원/외국어로서의한국어교육/2010
- [10] [학위논문] 박선윤/학문 목적 한국어 말하기 평가 도구 개발 방안/석사/중앙대학교//2015
- [11] [학술지(정기간행물)] 박현정/문항반응이론을 활용한 학문 목적 한국어 말하기 평가 문항 및 채점자 특성 분석/이중언어학/2018/(73)/177~203/이중언어학회/10.17296/korbil.2018..73.177
- [12] [학위논문] 서동선/외국인 유학생을 위한 대학 수학 목적 한국어능력 평가 방안 연구/석사/경희사이버대학교//2015
- [13] [학술지(정기간행물)] 이성준/학문 목적 한국어 말하기 평가의 기준 설정 연구/한국어교육/2020/31(4)/217~249/국제한국어교육학회/10.18209/iakle.2020.31.4.217
- [14] [학술지(정기간행물)] 이성준/한국어 말하기 평가 타당화를 위한 논거 기반 접근법의 이해와 적용/화법연구/2018/(41)/85~116/한국화법학회/10.18625/jsc.2018..41.85
- [15] [학술지(정기간행물)] 이승원/학문 목적 한국어 말하기 평가의 구인 선정 연구-일반 목적 평가와의 비교를 중심으로-/새국어교육/2020/(123)/315~350/한국국어교육학회/10.15734/koed..123.202006.315
- [16] [학술지(정기간행물)] 이승원/학문 목적 말하기 평가에서 읽기 통합형 과제 응답의 담화적 특성 -읽기 자료 사용을 중심으로-/화법연구/2019/(44)/81~119/한국화법학회/10.18625/jsc.2019..44.81
- [17] [학술지(정기간행물)] 한상미/학문 목적 한국어 말하기 평가 연구 -대학 입학 전 과정을 중심으로-/한국어교육/2009/20(1)/207~238/국제한국어교육학회/10.18209/iakle.2009.20.1.207
- [18] [학술지(정기간행물)] 홍은실/학문 목적 한국어 말하기 능력 평가 도구 개발을 위한 요구 분석/한국어교육/2016/27(4)/243~268/국제한국어교육학회/10.18209/iakle.2016.27.4.243
- [19] [학술지(정기간행물)] 홍은실/한국어 말하기 평가의 채점 타당도 연구-워크숍 기반의 채점자 훈련을 중심으로-/국제어문/2020/(84)/513~544/국제어문학회/10.31147/IALL.84.18
- [20] [단행본] Language assessment in practice: Developing language assessments and justifying their use in the real world/Bachman, L. F./Oxford University Press/2010/~///
- [21] [단행본] Building a validity argument for the test of English as a foreign language/Chapelle, C. A./Routledge/2008/~///
- [22] [학술지(정기간행물)] Chapelle, C. A./Validation of a web-based ESL test/Language Testing/2003/20(4)/409~439//
- [23] [학술지(정기간행물)] Cook, D. A./Current concepts in validity and reliability for psychometric instruments: theory and application/The American Journal of Medicine/2006/119(2)/166.e7~166.e16//
- [24] [단행본] Educational measurement/Cronbach, L. J./American Council on Education/1971/~///Test validation
- [25] [단행본] Test Validity/Cronbach, L. J./Lawrence Erlbaum/1988/~///Five perspectives on validity argument
- [26] [단행본] Social studies assessment results 2001/Flockton, L./Educational Assessment Research Unit, University of Otago/2002/~///
- [27] [학술지(정기간행물)] Kane, M./An argument-based approach to validity/Psychological Bulletin/1992/112(3)/527~535//
- [28] [단행본] Educational Measurement/Kane, M./American Council on Education and Praeger/2006/~///
- [29] [학술지(정기간행물)] Kane, M./Validating score interpretations and uses/Language Testing/2012/29(1)/3~17//
- [30] [학술지(정기간행물)] Kane, M./The argument-based approach to validation/School Psychology Review/2013/42(4)/448~457//
- [31] [단행본] Language testing: The construction and use of foreign language tests/Lado, R./McGraw Hill/1961/~///
- [32] [단행본] Educational Measurement/Messick, S./American Council on Education and Macmillan/1989/~///Validity
- [33] [학술지(정기간행물)] Messick, S./Meaning and values in test validation : The science and ethics of assessment/Educational Researcher/1989/18(2)/5~11//
- [34] [학술지(정기간행물)] Mislevy, R. J./On the structure of educational assessments/Measurement : Interdisciplinary Research and Perspectives/2003/1(1)/3~62//
- [35] [단행본] The uses of argument/Toulmin, S./Cambridge University Press/2003/~///
- [36] [단행본] Language testing and validation: An evidence-based approach/Weir, C. J./Palgrave Macmillan/2005/~///
