본문 바로가기
KCI 등재

리듬체조경기의 난도(D) 및 실시(E)에 대한 평가결과의 오차원 분석

Analysis of Error Sources in Results of Evaluation of Difficulty(D) and Execution(E) by Judges of Rhythmic Gymnastics Competition

한국체육측정평가학회지
약어 : KSME
2015 vol.17, no.3, pp.13 - 22
DOI : 10.21797/ksme.2015.17.3.002
발행기관 : 한국체육측정평가학회
연구분야 : 체육
Copyright © 한국체육측정평가학회
112 회 열람

본 연구는 일반화가능도이론을 이용하여 리듬체조경기의 심사자간 평가결과의 신뢰도를 추정하기 위해 경기일 수, 심사자 수를 중다오차원으로 선정하고 이들 변인간의 상호작용으로 인한 오차변량의 상대적 크기를 산출하였다. 이러한 G-연구결과를 바탕으로 D-연구를 수행하여 최적의 측정조건을 결정하는 데 목적이 있다. 연구목적을 위해 2015년9월 21~23일에 개최된 KBS배 전국리듬체조 대회에 출전한 선수들 중・고등부(n=20), 대학부(n=6) 총 26명의 원자료(raw data)를 수집하였으며, 선수 26명의 원자료는 난도심판(n=4), 실시심판(n=4) 총 8명의 심판에 의해 채점된 자료이다. 자료분석은 Crick & Brennan(2001)이 개발한 GENOVA a FORTRAN program(GENeralized analysis Of VAriance) 3.1 ver program을 이용하여 G-study와 D-study의 분산성분추정치와 G-계수를 산출하였다. 결과를 요약하면 다음과 같다. 일반화가능도 이론을 적용하여 리듬체조경기종목에 대해 분산성분 추정치를 추정한 결과, 후프종목난도 및 실시에 대한 오차의 영향력은 전집 분산인 피험자 분산(p)국면 즉, 선수에서 가장 크게 나타났으며, 각 설계에 따른 상호효과(피험자 내), 심사자간 순서로 나타났다. 또한 리본종목의 난도 및 실시에 대한 오차 영향력 역시 후프종목과 동일하게 피험자 분산(p)국면이 가장 크게 나타났으며, 상호작용 분산, 심사자 간 순서로 오차 분산의 크기가 산출되었다. G-연구를 통해 추정된 오차원의 분산성분추정치(EVC)를 바탕으로 오차원의 분산성분을 최소화하여적정수준의 신뢰도를 확보할 수 있는 오차국면의 크기, 최적의 측정조건을 제시하기 위해 D-연구를 수행한 결과 후프와 리본종목 두 종목에서 심사자 수에 따른 최적의 측정조건은 난도와 실시 평가를 위한 심사자수는 1명 이상일 때안정적인 신뢰도를 나타내는 것으로 확인되었다.

This study selects the number of days of competition and the number of judges as multiple error sources in order to estimate the reliability of evaluation scores between the judges of the rhythmic gymnastics event using generalization theory and analyzes the error sources by the relative magnitude of error variance because of the interaction between these variables and aims to decide the optimum measurement condition, conducting a D-study based on the result of a G-study. For the purpose, this study randomly collected raw data on a total of 26 persons, 20 in high school teams and 6 in college teams, who attended the national KBS cup rhythm gymnastics competition, held from September 21 through 23, 2015, and the raw data were data evaluated by four judges of difficulty(D) and four judges of execution(E). For data analysis, using GENOVA a FORTRAN program (GENeralized analysis Of VAriance) 3.1 ver. program developed by Crick & Brennan(2001), estimates of variance component and G-coefficient of the G-study and D-study were calculated. The results can be summarized as follows: As a result of estimation of the estimates of the variance component in the rhythmic gymnastics event applying the generalization theory, there were the greatest impacts of errors in difficulty and execution of the hoop event in universe variance, subject variance phase(p), that is, gymnast, followed by mutual effect(between subjects) by design and the variance between judges. In addition, like the hoop event, there were the greatest impacts of errors in difficulty and execution of ribbon event in subject variance phase(p), followed by interaction variance and variance between judges for the calculated size of the error variance. As a result of the D-study in order to suggest the size of error phase and the optimum measurement condition that could secure an appropriate level of reliability by minimizing the variance, based on the estimated variance component( EVC) of the error sources estimated through the G-study, as the optimum measurement condition, according to the number of judges in two events of hoop and ribbon, it was found that there was stable reliability when there was more than one judge for the evaluation of difficulty and execution.

다중오차원, 리듬체조, 일반화가능도이론, 일반화가능도계수
Generalizability theory, G-coefficient, Multiple source error, Reliability, Variance component

  • 1. [학술지] 강상조 / 1999 / 체조 연기력 판정의 객관성 : Rasch모형의 적용 / 한국체육학회지 / 38 (2) : 641 ~ 2
  • 2. [학술지] 고병구 / 1997 / 초등학교 기계운동 실기 평가의 일반화 가능도 / 체육연구소집 / 18 (2) : 111 ~ 2
  • 3. [학술지] 김도연 / 2002 / 일반화가능도이론을 적용한 주관적 배구기능검사의 신뢰도 추정 / 한국체육측정평가학회지 / 4 (2) : 15 ~ 2
  • 4. [학술지] 김미예 / 2003 / 피겨 스케이팅 경기력 판정의 객관성 / 한국체육학회지 / 42 (3) : 745 ~ 3 kci
  • 5. [학술지] 김미예 / 2003 / 다국면 Rasch 모형에 의한 운동수행 평가의 평정오차 분석 / 한국체육학회지 / 42 (6) : 1019 ~ 6 kci
  • 6. [학술지] 김성숙 / 1993 / 관찰을 통한 교수 평가 체계에 대한 측정의 일반화 가능도 연구 / 교육학연구 : 23 ~
  • 7. [단행본] 김양분 / 2001 / 일반화가능도 이론 / 교육과학사
  • 8. [단행본] 대한체조협회 / 2015 / 리듬체조규정집 / 대한체조협회
  • 9. [학위논문] 안애정 / 1997 / 일반화가능도 이론에 의한 체조심판판정 오차원 분석
  • 10. [학위논문] 양지영 / 1999 / 논술문항 유형에 따른 채점방법과 채점자 수의 일반화가능도 계수 최적화 조건에 관한 연구
  • 11. [학술지] 엄한주 / 2000 / ANOVA의 가정 위반이 일반화가능도 계수의 추정에 미치는 영향: 이원국면 내재설계 / 한국체육측정평가학회지 / 2 (1) : 67 ~ 1
  • 12. [학술대회] 조정환 / 1990 / 일반화가능도 이론에 의한 속도검사의 신뢰도 추정에 관한 연구 / 제28회 하계학술발표회 초록집 : 210 ~
  • 13. [학위논문] 조정환 / 1991 / 일반화 가능도 이론에 의한 피하지방검사, 농구기능검사의 신뢰도 추정
  • 14. [단행본] 조정환 / 2001 / 체육측정 : 이론과 적용 / 한국체육측정평가학회
  • 15. [학술지] 조정환 / 2005 / 스피드 스케이트 100년 기록변화의 경향 / 한국체육측정평가학회지 / 7 (2) : 15 ~ 2 kci
  • 16. [학위논문] 허종관 / 2003 / 일반화가능도이론을 적용한 주관적 배구기능검사의 신뢰도 추정
  • 17. [단행본] Brennan, R. L. / 1983 / Elements of generalizability theory / ACT Publication
  • 18. [학술지] Brennan, R. L. / 1992 / Generalizability theory / Educational measurement : Issues and Practice / 11 (4) : 27 ~ 4
  • 19. [단행본] Brennan, R. L. / 1991 / Generalizability theory / Sage publication
  • 20. [학술지] Burt, C. / 1955 / Test reliability estimated by analysis of variance / British Journal of Statistical Psychology / 8 : 103 ~
  • 21. [보고서] Crick, J. E. / 2001 / GENOVA a FORTRAN Program(GENeralized anlaysis Of VAriance) System
  • 22. [단행본] Cronbach, L. J. / 1972 / The dependability of behavioral measurements: Theory of generalization for scores and profiles / Wiley
  • 23. [학술지] Cronbach, L. J. / 1963 / The theory of generalizability : A liberalization of reliability theory / The British Journal of Statistical Psychology / 16 : 137 ~
  • 24. [학술지] Ebel, R. L. / 1951 / Estimation of the reliability of ratings / Psychometrica / 16 : 407 ~
  • 25. [단행본] Gruenfeld, E, F. / 1981 / Performance Appraisal: Promise and Peril / Springer
  • 26. [학술지] Hagtvet, Knut A. / 1997 / The function of indicators and errors in construct measures : an application of generalizability theory / Journal of Vocational Education Research / 22 : 247 ~
  • 27. [학술지] Hoyt, C. J. / 1941 / Test reliability estimated by analysis of variance / Psychometrica / 6 : 153 ~
  • 28. [단행본] Linacre, J. M. / 1994 / Many-faceted Rasch measurement / MESA Press
  • 29. [학술지] Looney, M. / 1997 / Objectivity measurement of figure skating performance / Journal of outcome measurement / 1 : 143 ~
  • 30. [학술지] MacMillan, Peter D. / 2000 / Classical, generalizability, and multifaceted rasch detection of interrater variability in large, sparse data sets / The Journal of Experimental Education / 68 : 167 ~
  • 31. [단행본] Mehrens, W. A. / 1973 / Measurement and evaluation in education and psychology / Holt, Rinehart, & Winston
  • 32. [단행본] Nunally, J. C. / 1978 / Psychometric theory / McGraw-Hill
  • 33. [단행본] Safrit, M. J. / 1976 / Reliability theory, American Alliance for Health, Physical Education and Recreation
  • 34. [학술지] Shavelson, R. J. / 1981 / Generalizability Theory : 1973-1980 / British Journal of Mathematical and Statistical Psychology / 34 : 133 ~
  • 35. [학술지] Shavelson, R. J. / 1976 / Self-Concept : Validation of construct interpretation / Review of Educational Research / 46 : 407 ~
  • 36. [학술지] Sun, Anji / 1997 / Using generalizability theory to assess the reliability of student ratings of academic advising / The Journal of Experimental Education / 65 : 367 ~
  • 37. [학술지] Zhu, W. / 1998 / Many faceted rasch modeling expert judgement in test development / Measurement in physical education and exercise science / 2 : 21 ~