스키 기술선수권대회 심사자 객관도 및 오차원 분석
Analysis of objective and error source of ski technical championship
Article information
Abstract
목적
본 연구는 대한스키지도자연맹(Korea Ski instructor Association : KSIA)에서 주최, 주관하는 스키기술선수권대회의 객관도를 분석하고 심사 점수에 영향을 주는 오차원을 확인하기 위하여 수행되었다.
방법
대한스키지도자연맹(KSIA)에서 실시한 25회(2009년)부터 33회(2017년) 스키기술선수권대회의 심사자료를 제공받아 연구에 활용하였다. 제공받은 자료는 Win Excel 2010을 활용하여 중도 포기 같은 결측치를 제외하고 자료처리 방식에 맞게 정리하였다. 정리된 자료는 Win SPSS 22.0을 활용하여 시즌별, 종목별, 심사자별 기술통계를 통해 평균과 표준편차를 산출하고, 유목내상관계수(Intraclass Correlation coefficient : ICC)를 산출하여 심사의 객관도를 확인하였다. 또한 일반화가능도 이론의 단일국면 교차설계(sigle facet crossed design)을 활용하여 대상자(p)와 심사자(j)에 대한 분산성분 추정치를 산출하고, 상대적 크기의 비교를 통해 심사자의 오차원으로서의 영향력(%)을 확인하였다.
결과
25회부터 33회까지의 모든 시즌별, 종목별 심사 결과는 객관도 인정 수준인 .80이상보다 높은 .845~.986으로 나타나 심사 결과는 매우 일관성 있게 진행된 것을 확인할 수 있었다. 또한 분산성분 추정치를 통한 오차원 분석결과 심사자가 심사점수의 오차요인으로 작용하는 상대적 비율은 매우 낮은 것을 연구 결과를 통해 확인할 수 있었다.
결론
종합적으로 살펴볼 때 대한스키지도자연맹(KSIA)의 심사결과는 매우 높은 객관도를 가지는 평가자료 이며 심사자가 오차요인으로 작용하는 영향력도 매우 낮게 나타났다.
Trans Abstract
Purpose
The purpose of this study is conducted to analyze the objectivity of the ski technical championships hosted by Korea Ski Instructor Association (KSIA) and to identify the error sources that affect the score of the competition.
Methods
To this end, we used the data from the 25th(2009) to 33rd(2017) ski technical championships held by the Korea Ski Instructor Association (KSIA). The data provided by Win Excel 2010 was used to sort out the missing data, such as abandonment, according to the data processing method. The collected data were analyzed by using SPSS 22.0 to calculate the mean and standard deviation of each season, event, and judges, and the Intraclass Correlation Coefficient (ICC). In addition, by using the single facet crossed design(p*j) of the generalizability theory’s G study, the variance component estimates for the participant(p) and the judges (j) are calculated, and the influence (%).
Results
As a result of the research, it was confirmed that the results of all the seasons and events from the 25th to the 33th events were very consistent, with the objective of .845~.986 higher than the recognition level of .80. In addition, the results show that the relative ratio of the judges to the error of the judging score is very low as a result of the error analysis through the dispersion component estimates.
Conclusion
In summary, the results of the KSIA evaluation are highly evaluated objectivity and have very low impact on the judges' errors.
서론
스키 지도자들이 자신의 기량과 최신기술을 겨루는 스키기술선수권대회는 대한스키지도자연맹(Korea Ski Instructor Association : KSIA)에서 매년 개최하고 있는 대회로 스키계의 가장 큰 행사이며 축제의 장이다. 대회의 운영목적은 스키지도자(레벨Ⅰ이상)에게 발전된 최신의 스키기술을 선보이는 기회를 제공하여 새로운 스키기술에 대한 도전과 지속적인 연구에 동기를 부여하는데 있다. 또한 스키 레벨Ⅲ와 데몬스트레이터(demonstrator)선발전에 참가하는 대상을 선별하기 위함과 동시에 시험의 성격을 갖춘 특이성을 가지고 있다.
스키 기술선수권대회는 1년에 1회 실시되며 경기는 이틀에 걸쳐 진행된다. 참가자는 각 종목별로 정해진 사면에서 자신의 스키기술을 선보이게 되며 2017년 현재 예선 4종목, 준결승 2종목, 결승 2종목으로 운영되고 있다. 모든 참가자는 90점을 기준으로 스키 기술의 완성도와 표현도에 대한 심사기준에 대하여 감점 및 가산점이 발생하게 된다. 이때 발생한 유효점수로 순위를 결정하는데 예선전에서 준결승전에 진출하기 위해서는 남자250위, 여자 30위내에 진입하여야 하며 결승에 진출하기 위해서는 남자 150위, 여자 20위 이내의 성적을 거두어야 한다. 결승전까지의 최종 유효점수의 합을 통하여 최종순위를 결정하게 된다. 준결승에 진출한 참가자 중 레벨 Ⅲ 테스트에 희망하는 사람은 결승전에 진출하지 않고 별도의 스키지도능력 평가와 심층 구술 면접을 진행하여 최종 합격자는 대한스키지도자연맹 레벨 Ⅲ의 자격을 부여 받게 되며, 남자 50위, 여자 10위 이내의 대상자는 대한스키지도자연맹 스키데몬스트레이터(Ski demonstrator)선발전에 진출하며 추가적인 스키능력 평가 및 면접을 통하여 임기 1년의 매년 새로운 데몬스트레이터 선발을 실시하게 된다(KSIA, 2017).
심사는 대한스키지도자연맹(KSIA)에서 자체 개발한 채점 시스템을 이용하게 되는데, 5명의 심사자가 각각 입력한 점수의 최고점수와 최저점수를 제외한 유효점수 값이 현장에 마련된 전광판에 나타나게 되며 최종적으로 종목별로 채점된 유효점수의 합으로 순위를 결정하게 된다. 이때 심사자는 타 심사자의 점수를 볼 수 없으며 모든 채점 자료는 서버와 심사자가 사용한 노트북에 이중으로 보관되며, 수기기록을 동시에 진행하여 심사결과를 세 가지 방법으로 기록한다. 대회의 종료 후 심사결과를 확인하고 최종적으로 경기위원장의 승인을 받은 결과와 순위를 공개하고 있다(KSIA, 2017).
대한스키지도자연맹(KSIA)에서는 종목의 수와 경기운영방식의 변화를 통하여 심사결과의 객관성을 높일 수 있는 노력을 진행하고 있는데 25회(2009년) 6종목, 26회(2010년) 5종목에 대한 전체 합산 점수로 순위를 결정하던 경기운영방식을 27회(2011년)부터 예선 4종목, 준결승 2종목, 결승 2종목으로 변경하여 가장 최근 대회인 33회(2017년)까지 총 8종목으로 운영하고 있다. 경기운영방식의 변경 이외에 종목의 변화도 진행하고 있는데29회(2013년)부터 국제스키지도자협회(International SKi Instructor Association : ISIA)의 회원국으로 국제규준에 근거하여 기록경기인 대회전(Giant Slalom : Gate)을 결승종목으로 추가하여 다양한 평가 방법의 적용과 심사의 객관성 확보를 위한 지속적인 노력을 기울이고 있다(KSIA, 2017).
스키기술선수권대회는 정해진 기문(gate)을 통과하는 시간으로 순위를 결정하는 회전(slalom), 대회전(giant slalom), 슈퍼대회전(Super giant slalom), 활강(downhill)과 같은 일반 알파인(alpine) 스키경기와 다르게 기록경기인 대회전(gate)을 제외한 모든 종목에 대하여 참가자의 스키기술을 5명의 심사자가 주관적인 판정으로 심사를 진행하여 그 결과를 통해 순위를 결정하게 된다. 따라서 심사자들이 일관성 있고 공정한 판정을 하는 것은 매우 중요하다.
심동적 영역의 질적, 양적 관찰에서 전문가들의 주관적인 판정에 의한 심사결과에 대한 객관도는 많은 체육 분야 연구의 주제이자 문제점으로 대두되어 왔다. 선수들의 수행결과와 연기력, 경기력 등을 판정 할 때 경기결과에서 발생하는 선수들의 점수 차이는 심판 간의 차이에서 비롯될 수 있기 때문이다. 또한 심사자의 전문성과 심사경력에 따른 차이와 주관적 편견이 개입될 가능성 역시 있기 때문에 주관적 평가에 의하여 경기결과가 결정되는 종목에서 여러 심사자가 동일한 심사기준을 가지고 심사를 진행하고, 종합적인 심사결과를 통한 경기결과의 결정이 필요하다(Oh & Lee, 2002; Kim, 2007; Kim et al., 2011; Shin et al., 2015).
심사자의 객관성 문제는 무용, 다이빙, 에어로빅, 피겨스케이팅, 태권도 품새 경기 등 선수의 운동수행능력을 다수의 심사자가 주관적으로 평가하여 성적 및 순위를 결정하는 여러 종목에서 중요한 문제이며 주관적심사의 문제점과 심사결과의 객관성은 체육 및 스포츠 분야에서 다양한 형태의 연구 주제로 받아들여지고 있다. 선행연구 동향을 살펴보면 주관적 심사결과의 객관성과 관련된 연구는 유목내상관계수를 활용한 무용 수행평가 도구의 객관도 평가연구(Oh et al., 2001)와 무용연기력 평가에서 심사결과의 객관도를 향상시키기 위하여 사용하고 있는 최고점과 최저점을 제외한 양극배제평균방법의 적절성 확인을 위하여 다국면 Rasch모형(Bae, 2004)과 내적합치도와 효과 크기를 이용(Ann, 2007)한 연구가 수행 되었다. 또한 여자 기계체조 경기 시 부여되는 완성도에 따른 심판판정의 일관성을 확인(Kim & Kim, 2005)하기 위한 연구도 수행되었으며, 동아무용콩쿠르에서 실시된 현대무용수 실기능력 평가(Choi, 2010; Choi, 2011)를 위하여 Rasch모형을 적용한 연구도 진행되었다.
심사결과의 객관도와 오차원(error source)을 확인하고, 이를 조정하여 심사의 신뢰도 향상을 위한 일반화가능도 이론을 적용 연구는 선발과 평가, 경기 점수 영역에 걸쳐 폭 넓게 진행되어 왔는데 주관적 배구기능검사의 신뢰도 추정(Kim & Heo, 2002), 볼링국가대표선수 선발전의 오차요인 탐색과 신뢰도 평가(Cho, 2006), 리듬체조경기 평가결과의 오차원 분석(Cho & Choi, 2015), 태권도 품새 경기의 오차원 분석(Cho, 2016), 피겨스케이팅 심사의 오차원(Lee et al., 2016)분석 등의 연구를 통해 심사결과의 객관도와 대상에 대하여 수행되는 심사상황의 다양한 요인들을 국면(facet)으로 설정하여 오차요인으로서 작용하는 상대적 크기와 영향력을 확인하고, 수준 조절을 통해 최적의 심사조건을 제시하는 연구들이 수행되고 있다.
스키기술선수권대회는 스키 레벨 Ⅲ 응시자 선발과 국가를 대표하는 스키 데몬스트레이터를 결정하는 중요한 대회로 국내 모든 스키지도자들과 스키동호인의 관심의 대상이기 때문에 심사결과의 객관성 역시 많은 관심을 받을 수밖에 없다. 이러한 대회 결과의 중요성 때문에 대한스키지도자연맹에서는 객관성 있는 심사를 위하여 통합점수로 운영하던 경기방식을 예선, 준결승, 결승으로 변경하여 운영하고, 경기 종목 역시 기록경기를 포함하는 8종목으로 확대하여 심사의 객관성 확보를 위하여 노력하고 있다. 또한 매년 심판강습회를 통하여 심사자의 전문성을 확대하고, 심사기준에 대한 의견 조율을 위하여 가채점연수를 실시하여 매년 채점 포인트에 대한 의견을 심사자들 간에 교류할 수 있도록 하며, 최종적으로 심판위원회 이사회의 엄격한 심사를 통해 전문성과 자격을 갖춘 심판위원을 선정하고 현장에 배정하여 심사를 진행하고 있다(KSIA, 2017).
하지만 5명의 심사자가 주관적으로 대상자의 수행능력을 평가하는 현재의 심사제도 상에서 연맹차원의 객관성 확보와 향상을 위한 자체적인 노력 이외에 실제 진행된 심사결과를 활용한 정량적인 객관성 확인 작업 및 학문적인 검증은 Seok et al.(2016)가 진행한 연구로 한정되어 있다. 따라서 많은 스키지도자와 스키동호인의 관심과 참가의 대상인 대한스키지도자연맹 스키기술선수권대회 심사결과의 객관도와 주요 오차원을 확인할 필요성이 있다.
연구목적
본 연구는 대한스키지도자연맹 스키기술선수권 대회 심사 결과에 대한 심사의 일관성을 상관계수를 이용한 객관도 추정 방법을 통하여 확인하고 일반화가능도 이론의 일반화가능도 연구(generalizability study : G연구)를 통해 심사 점수에 영향을 주는 오차원(error source)을 분석하여 보다 객관성 있는 심사를 위한 기초자료를 제공하는데 그 목적이 있다.
연구방법
연구자료
대한스키지도자연맹 스키기술선수권대회의 심사 객관도를 확인하고 국면(facet)설정을 통한 오차원을 알아보기 위하여 2009년부터 2017년 까지 시행된 기술선수권대회 심사결과를 분석 자료로 선정하였다. 시즌별 종목 수와 참가자 수는 <Table 1>과 같다.
Seasonal participants
자료의 구성 및 특징
스키기술선수권대회 심사의 객관도를 확인하고 심사결과에 영향을 주는 오차원을 알아보기 위하여 대한스키지도자연맹에 연구의 목적과 절차 및 방법을 설명한 후 스키기술선수권대회의 채점결과에 대한 원자료를 제공받았다. 제공받은 자료는 2009년부터 2017년 까지 진행된 심사 결과로 2009년 제 1회 스노우보드 기술선수권 대회가 함께 개최됨에 따라 운영제도의 변화로 인해 현재와 같은 전산을 활용한 채점 자료의 산출 및 저장 방식이 적용되어 현재 대한스키지도자연맹에서 보유 중인 채점 자료의 전체를 제공받았다.
경기방식과 종목의 구성
대회는 각 종목에 대하여 정해진 사면에서 실시되며 이때 대한스키지도자연맹의 5명의 심사자가 평가한 점수 중 최고점수과 최소점수를 제외한 유효점수의 합을 이용하여 순위를 정하게 된다. 자료 형태의 예시는 <Fig. 1>과 같다.
example for scoring
시즌별 경기방식과 종목의 구성은 <Table 2>와 같다. 25회(2009년) 6종목, 26회(2010년) 5종목으로 예선, 결선의 구분 없이 통합하여 경기를 진행하던 것이 27회(2011년)부터 예선 4종목, 준결승 2종목, 결승 2종목으로 경기 진행방식이 변경되었다. 29회(2013년)부터는 심사의 객관성을 높이고 국제스키지도자협회(ISIA)의 세계선수권대회 종목에 맞추어 기록경기인 대회전(Giant Slalom : Gate)이 추가되어 대회가 진행되고 있다. 경기운영방식은 예선전에 참가하여 전 종목에 출전한 대상 중 여자상위 30위, 남자 상위250위까지 준결승에 진출하게 되고, 예선전과 준결승 결과의 누적점수로 여자상위 20위, 남자 상위 150위까지 결승전에 진출하게 된다. 최종결과는 결승전에 진출한 대상자의 예선전, 준결승전, 결승전의 누적 점수로 최종 순위를 결정하게 된다. 동점일 경우 준결승, 결승 진출에는 동점자 모두 진출하게 되나 결승전 최종순위 결정의 경우 종합활강, 롱턴, 미들턴, 숏턴 순을 우선으로 한다(KSIA, 2017).
events for season and competition method
심사자 특성
스키기술선수권대회의 심사는 각 종목별로 총 5명의 심사자가 실시한다. 심사자는 모두 대한스키지도자연맹 레벨Ⅲ이상의 자격을 갖춘 심판위원으로 매년 2회 실시하는 심판강습회 전체 일정에 참석하여 교육을 받아야 한다. 심판강습회에 참석 이후 심판위원회 이사회의 승인을 얻은 심사자가 최종적으로 심사에 참여할 수 있는 자격을 얻게 된다. 심사자는 심사의 공정성을 위하여 매년 심사경력, 전문성, 자격 여부 등에 대하여 종합적으로 고려하여 선정한다. 심사자는 경기당일 공개하고 심사과정에서 타 심판의 점수를 확인 할 수 없다.
심사결과는 대한스키지도자연맹에서 자체 개발한 채점시스템을 이용하게 되는데 대상자의 수행능력에 대하여 심사결과를 입력하면 5명의 심사결과가 즉시 전광판에 나타나고 최고점수와 최소점수를 제외한 유효점수를 통해 순위를 결정하게 된다. 이 과정에서 모든 채점 자료는 서버와 심판의 노트북에 이중으로 저장되며, 수기기록을 병행하여 정확한 심사 및 결과의 기록이 이루어 질 수 있도록 하고 있다. 또한 모든 심사 일정이 끝나면 최종적으로 심사결과를 확인하고 경기위원장의 최종승인을 받은 뒤 공식적인 결과로 게재된다(KSIA, 2017).
심사기준
스키기술선수권대회의 심사는 운동의 질적 요소에서 전체적인 균형과 스키의 리듬감, 그리고 턴의 타이밍을 평가 한다. 또한 운동 요령의 적응도에서 종목에 맞는 속도와 회전 호를 조절 할 수 있는 가를 평가한다. 그리고 턴 운동의 구성에서 전체적인 자세와 올바른 엣지(edge)를 사용하고 있는 지를 종합적으로 평가하여 최종적인 심사를 한다. 판단 기준은 주요 관점과 대비 관점으로 구분한다. 턴에서 이루어지는 엣징(edging)의 질과 호를 그리는 운동요소를 주요관점으로 하고 대비 관점에서 턴의 전환 시에 보여 지는 포지션의 교환과 스키와 신체중심의 교차방식을 평가한다. 그리고 전체적인 자세와 엣징을 평가하는데 자세평가는 적절한 자세를 만들고 유지하는 방법과 교차하는 방법, 엣징 평가는 적절하고 정확한 엣징을 사용하고 유지하며 다음 턴을 위하여 교차시키는 방법을 주요 관점으로 평가한다.
참가자는 하중의 크기와 속도에 맞는 스키 조작을 통하여 전체적인 턴의 포지션을 만들고 적절한 엣징을 사용하며 종목에 맞는 호를 만들고 유지 할 수 있어야 한다. 또한 각각의 종목과 기술에 맞는 속도를 조절하여 정확한 자세와 리듬감 있는 스킹을 하여야 하며 이때 스키딩(skidding) 요소와 카빙(carving)요소를 종목과 스키기술에 맞게 적절하게 사용하여 스키를 조작할 수 있어야 한다.
레벨 2 테스트의 검정시험과 같이 기초에 충실해야하는 성격과 다르게 기술선수권대회는 종목 별로 표현할 수 있는 최고의 퍼포먼스와 전체적인 연출, 세부기술의 표현력, 종목에 맞는 적절한 스피드에 준하는 상대적인 평가를 하고 있다. 이에 대하여 대한스키지도자 연맹은 매년 심판연수회의 종료 후 대회의 종목별 기술 조건을 무게중심 형식, 적절한 스탠스의 넓이, 폴 체킹 타이밍, 턴에 의해 만들어지는 호의 조건, 속도, 하체의 움직임 등의 세부 기술 조건과 감점 요인에 대하여 홈페이지(www.ksia.co.kr)내에 공지사항 및 자료실에 게시하고, 검정 포인트를 확인할 수 있는 영상자료를 함께 게시하여 참가자로 하여금 대회 전 각 세부 종목별 주요 검정 요소와 심사의 주안점을 확인 할 수 있도록 하고 있다. 대한스키지도자연맹에서 공개하는 배점기준은 <Fig 2>와 같다(KSIA, 2017).
standard for scoring(KSIA, 2017)
자료 분석
본 연구는 스키기술선수권대회 심사의 객관도를 확인하고 오차원을 알아보기 위하여 대한스키지도자연맹에 심사원자료를 제공 받았다. 수집 된 총 9시즌의 심사결과를 Win Excel 2010을 이용하여 정리하였다. 전체 자료를 시즌별, 경기방식별, 종목별로 구분하고 불참가, 중도포기 등의 결측값을 제외하여 최종적으로 통계분석방법에 맞게 정리하였다.
정리된 자료는 Win SPSS 22.0 program을 이용하여 자료처리를 진행하였다. 먼저 기술통계를 통하여 시즌과 종목에 따른 심사자별 심사 점수의 평균과 표준편차를 산출하였다. 심사의 객관도를 확인하기 위하여 ‘2원혼합모형(2-way mixed effect model)’과 유형 ‘일치(consistency)’를 사용하여 유목내상관계수(Intra class correlation : ICC)를 산출하였다. 사용한 분석 모형은 유목내상관계수를 이용한 객관도 확인 방법 중 무선적으로 선정된 대상자가 특정 심사자에게 평가 받는 경우로 이 사례는 선정된 심사자들의 판정에 대해서만 관심이 있는 경우 사용한다. 피험자는 무선적으로 선정된 무선효과 모형인 반면, 심사자는 무선 표집된 것이 아니기 때문에 고정효과모형에 해당될 때 사용하는 분석 모형으로 본 연구의 목적에 가장 적합한 것으로 판단하여 ‘2원 혼합모형’과 유형 ‘일치’를 사용하여 분석하였다. 산출 된 ICC는 여러 심사자의 평균에 대한 객관도를 ‘평균측도(Average measure Intra class correlation)’로 제시하였다. 이때 객관도의 인정 수준은 Baumgarther & Jackson(2006), Oh et al.(2002)가 제시한 .80을 기준으로 객관도를 확인하였다.
또한 일반화가능도 이론 모형을 이용하여 심사결과에 나타나 있는 각각의 오차원(error source)을 규명하고, 상대적 크기를 추정(Cho, 2016; Brennan, 2001)하기 위하여 일반화가능도 연구(G연구)를 활용하였다. 대상자(p), 심사자(j)를 국면(facet)으로 설정하고, 대상자(p) x 심사자(j)의 단일국면교차설계(single facet crossed design)를 통하여 각 종목별 심사결과에 대한 분산성분추정치(σ2)를 산출하였다. 이때 전체 분산에 대한 각 심사자(j)국면의 오차원으로서 상대적 크기(%)를 산출하여 시즌별, 종목별로 비교하였다.
연구결과
연구결과는 심사의 객관도 경향을 확인하고 오차원의 상대적 크기를 제시하기 위하여 각각의 시즌과 종목 별로 구성하였다. 시즌에 따라 심사결과의 종목별 5명 심사자 각각의 평균과 표준편차를 및 심사결과의 일관성인 유목내상관계수(ICC)를 통해 심사의 객관도를 제시하였다. 표의 오른쪽에 구분하여 대상자(p)와 심사자(j)에 따른 분산성분 추정치(σ2)와 상대적 크기(%)를 통하여 심사자의 오차원으로서 영향력을 제시하였다.
25회(2009년)기술선수권 대회의 분석결과는 <Table 3>과 같다. 실시된 6종목 ICC와 상대적 영향력은 숏턴 .948, 1.32%, 프리숏턴 .946, 0.02%, 롱턴 .931, 2.81%, 카빙숏턴 .931, 6,46%, 종합활강 .930, 2.23%, 미들턴 .928, .1.05% 순이며, 모두 객관도 인정수준인 .80이상으로 심사결과의 객관도는 매우 높았으며 심사자의 오차원으로서의 영향력도 낮게 나타났다.
analysis results 25th season
26회(2010년)분석결과는 <Table 4>와 같다. 25회(2009년)와 달리 종목 수(5개)와 종목 내용이 부분 변경되어 실시되었다. 종목별 심사자의 ICC와 오차원의 상대적 영향력은 모글 .961, 1.93%, 종합활강 .954, 1.34%, 미들턴 .944, 4.04%, 숏턴 .939, 6.65%, 롱턴 .936, 2.25% 순서로 나타났다. 26회 분석결과 종목 수의 변화가 있었음에도 심사는 매우 일관성 있게 진행되어 높은 객관도를 보였으며 심사자가 오차원으로서 작용하는 상대적 영향력도 낮은 것을 확인 할 수 있었다. 분석결과 예선, 결선의 구분 없이 진행된 25회와 26회의 심사결과는 매우 객관성 있는 결과를 나타내었다.
analysis results 26th season
27회(2011년) 부터는 대회의 운영방식과 종목이 변경되었다. 기존에 예선과 결선의 구분 없이 진행되던 경기운영방식이 예선, 준결승, 결승으로 구분되어 졌으며, 대회 종목은 예선 4종목, 준결승 2종목, 결승 2종목에 대하여 5명의 심사자가 평가하여 진행하였다. 27회 기술선수권 대회의 분석결과는 <Table 5>와 같다.
analysis results 27th season
ICC와 오차원의 상대적 크기의 분석결과 예선에서 미들턴 .930, 3.06%, 롱턴 .929, 3.48%, 숏턴 .926, 5.24%, 종합활강 .919, 3.73%, 순으로 나타났다.
준결승에서 모글 .974, 1.94%, 롱턴 .953, 0.35%순으로 나타났으며, 결승에서 숏턴 .948, 3.03%, 종합활강은 .937, 7.9%순으로 분석되었다.
28회 심사의 객관도 분석결과는 <Table 6>와 같다. ICC와 오차원의 상대적 크기의 분석결과 예선에서 롱턴 .949, 1.06%, 종합활강 .948, 1.8%, 미들턴 .939, 0.55%, 숏턴 .934, 0.72% 순으로 분석 되었다. 준결승의 경우 모글 .977, 0.53%, 롱턴 .899, 0.29% 순으로 나타났고, 롱턴의 ICC가 타 종목에 비해 상대적으로 낮은 결과를 보였으나 객관도 인정 수준 이상으로 나타났다. 결승에서 종합활강.936, 1.67%, 숏턴 .875, 1.2% 순으로 나타났고, 숏턴의 ICC가 타 종목에 비해 상대적으로 낮게 분석되었다. 28회의 대부분 종목의 심사 결과는 객관도 인정 수준인 .80보다 높았고, 오차원으로서의 영향력도 낮은 것으로 분석되었다.
analysis results 28th season
29회(2013년)부터 운영방식의 경우 예선, 준결승, 결승으로 동일하게 진행되었으나, 결승 종목에 종합활강이 제외되고, 기록경기인 대회전(gate)이 추가 변경 되었다. 결승에서 대회전(gate)을 제외한 7종목을 5명의 심사자가 이전과 동일한 방식으로 채점하여 7종목에 대한 ICC와 분산성분 추정치를 산출하였다.
29회 분석결과는 <Table 7>과 같다. 예선 미들턴 .952, 1.58%, 종합활강 .949, 4.21%, 숏턴 .931, 0.58%, 롱턴 .931, 5.69% 순으로 나타났고, 준결승 모글 .970, 0.89%, 롱턴.922, 1.33% 이었으며 결승 숏턴 .937, 4.03%로 분석결과 7종목 모두 매우 높은 ICC를 나타내어 종목의 변화가 있었음에도 주관적인 심사는 매우 안정적으로 진행된 것을 확인하였다.
analysis results 29th season
30회(2014년)기술선수권 대회 심사의 ICC와 오차원의 분석결과는 <Table 8>과 같다. 분석결과 예선 숏턴 .928, 1.31%, 롱턴 .924, 0.25%, 종합활강 .923, 1.69%, 미들턴 .919, 1.75%순으로 나타났다. 준결승은 모글 .969, 0.5%, 롱턴 .923, 2.97%순 이었으며, 결승에서 숏턴 .941, 1.35%로 나타났다. 5명 심사자의 일관성을 통해 객관도를 나타내는 ICC는 모두 심동적 영역의 객관도 인정 수준인 .80보다 높은 것으로 나타났는데 이는 심사자 결과의 객관도가 매우 높은 것임을 의미한다. 또한 심사자가 점수의 오차원으로서 작용하는 상대적 크기와 비율은 낮은 것으로 분석되어 심사점수에 영향을 주는 심사자의 오차 영향력은 낮은 것으로 연구 결과를 통하여 확인 하였다.
analysis results 30th season
31회(2015년) 기술선수권 대회의 객관도 및 분산성분추정치 결과표는 <Table 9>과 같다. 종목별 객관도 및 오차원의 분석결과를 살펴보면 예선에서 롱턴 .942, 3.36%, 종합활강 .937, 1.68%, 숏턴 .920, 0.17%, 미들턴 .854, 0.75% 순으로 분석되었고, 미들턴의 ICC가 예선의 다른 종목들에 비해 다소 낮게 분석되었다. 준결승의 경우 모글 .967, 0.52%, 롱턴 .921, 1.23% 순으로 나타났고, 결승에서 숏턴 .966, 0.86%로 분석되었다. 분석결과를 종합하여 살펴보았을 때 심사자의 분산성분 추정치는 모두 낮은 크기로 분석되어 심사결과에 심사자가 오차원으로서 영향력을 주는 상대적인 크기와 비율은 낮았으며 심사결과는 매우 높은 객관도 경향을 나타내었다.
analysis results 31st season
32회(2016년) 기술선수권대회의분석결과는 <Table 10>과 같다. 결승 종목의 대회전(gate)을 제외한 예선, 준결승, 결승 총 7종목에 대하여 평가된 심사결과는 예선에서 롱턴 .950, 3.13%, 미들턴 .947, 1.68%, 종합활강 .943, 5.53%, 숏턴 .922 ,0.2% 순으로 나타났고, 준결승에선 모글 .979, 0.62%, 롱턴 .945, 1.94% 순으로 나타났으며, 결승에서 숏턴 .949, 2.53% 로 분석되었다.
analysis results 32nd season
분석결과 예선, 준결승, 결승에서 실시된 모든 종목에서 매우 높은 일관성을 나타내는 심사가 진행된 것을 확인 할 수 있었으며, 심사자의 오차원으로서 상대적인 영향력도 매우 낮은 경향을 나타내어 심사 결과는 일관성 있고, 심사자의 오차 비율도 낮은 것을 확인 하였다.
33회(2017년) 기술선수권 대회의 분석결과는 <Table 11>과 같다. 분석결과 종목 별 ICC와 오차원 영향력은 예선에서 숏턴 .941, 2.14%, 미들턴 .935, 0.85%, 롱턴 .935, 5.53%, 종합활강 .933, 0.27% 순으로 나타났고, 준결승의 경우 모글 .986, 0.32%, 롱턴 .917, 3.51 순으로 나타났고, 결승에서 숏턴 .958, 0.73%로 나타났다.
analysis results 33rd season
25회(2009년)부터 33회(2017년)까지 대회 종목과 경기 운영방식에 변화가 있었음에도 불구하고, ICC는 .90대의 높은 수준을 나타내어 심사는 매우 일관성 있게 진행되었고 높은 객관도를 보이고 있으며, 오차요인으로 심사자가 작용하는 영향력도 낮아 심사는 일관성 있고 안정적으로 진행 된 것으로 분석되었다.
논의
본 연구는 대한스키지도자연맹(KSIA) 스키기술선수권대회의 심사결과의 객관도를 확인하고 오차원을 알아보고자 하는데 그 목적이 있다. 25회(2009년)부터 가장 최근인 33회(2017년)까지 수행된 전체 심사점수의 원자료를 대한스키지도자연맹에서 제공받아 종목과 심사자에 따른 평균과 표준편차를 산출하고, 유목내상관계수(ICC)와 일반화가능도 이론의 단일국면 교차설계(single facet crossed design)를 통해 심사점수의 객관도와 오차원으로서의 상대적 크기를 확인하였다.
분석결과 심사결과의 일치도를 나타내는 유목내상관계수(ICC)는 전 시즌, 전 종목에서 심동적영역(psychomotor)의 객관도 인정 수준인 .80이상(Oh et al., 2002; Baumgarther et al., 2006)으로 높게 나타났다. 대부분의 시즌과 종목에서 .90이상으로 객관도가 매우 높게 나타났는데 28회(2012년) 롱턴(.899)과 결승 숏턴(.875), 2015년 미들턴(.854)이 다소 낮게 나타났다. 28회 롱턴의 경우 턴과 턴을 연결하는 뉴트럴(neutral)구간에서 무게 중심의 이동 방법 중 빠른 중심이동이 가능하고 그루밍(grooming)이 잘 되어 있는 슬로프에 적합한 낮은 포지션(under cross)과 비교적 느린 무게중심 이동이지만 정확한 중심이동을 통해 불규칙한 슬로프에 대응할 수 있는 높은 포지션(over cross)을 택일하여 사용한 선수들의 표현 방법과 완성도에 따른 점수가 다소 이원화 되어 나타난 결과로 사료 된다. 28회 결승 숏턴의 경우 탑 앤 테일 컨트롤을 이용한 스키딩(skidding)성 숏턴과 탑 컨트롤을 이용한 카빙(carving)성 턴을 선보이는 대상에 대한 부분에서 스키딩을 표현하거나, 카빙을 표현한 대상자의 완성도에 따른 배점 구분이 심사결과에 영향을 미쳤던 것으로 보여 진다.
31회(2015년) 미들턴의 심사 객관도가 다소 낮게 나타난 이유는 경기가 열린 슬로프와 모글 코스가 함께 구성되어 있어서 선수들이 기술을 선보이기 힘든 구조적인 슬로프 조건이 선수의 경기결과에 영향을 미친 것으로 보여 진다. 또한 30회(2014년), 31회(2015년) 동일한 슬로프에서 경기가 진행되었음에도 불구하고, 31회의 경우 통제할 수 없는 환경적인 요인인 슬로프 컨디션이 심사결과에 영향을 미친 것으로 사료된다.
심사자가 오차원으로서 작용하는 상대적 비율이 낮은 이유는 대상자 또는 선수의 분산성분이 가장 크고 상대적 영향력이 높게 나타난 배구기능검사의 오차원 분석(Kim et al, 2002), 리듬체조 평가결과의 오차원(Cho et al., 2015), 태권도 품새 평가의 객관도와 오차원 분석(Cho, 2016), 피겨스케이팅 심판 판정의 분석(Lee et al., 2016)의 연구 결과와 유사하게 나타났다. 선행연구에서 심사에 영향력을 주는 요인은 대상의 개별 특성과 기술, 수행능력의 정도에 따라서 차이가 나타나며 이로 인하여 대상자(p : people, participants) 또는 선수(a : athletics)의 상대적 영향력이 크고, 그 다음으로 대상자 또는 선수와 심사자(j : judged)의 상호작용 효과가 오차원으로서 크게 작용한다고 보고하고 있다. 본 연구 결과 역시 25회부터 33회까지 실시 된 기술선수권 대회의 분석결과에서 심사자가 오차원으로 차지하는 비율은 상대적으로 매우 낮게 나타나 심사 결과에 영향을 주는 주요 오차 요인은 참가자(p)에 의한 것으로 분석되었다. 이는 참가자가 모두 대한스키지도자연맹 스키레벨Ⅱ이상의 자격을 갖추어 기초 스키기술에 대한 이해도와 수행능력이 높은 상태에서 종목별로 자신의 스타일과 장점을 담아 표현하기 때문으로 볼 수 있다. 이러한 대상자의 다양한 개별특성이 종목별 스키기술의 심사과정에 영향을 주게 되고 결과적으로 심사결과의 오차원으로 작용하는 영향력이 높게 나타난 것으로 사료 된다.
연구결과를 사전에 Seok et al.(2016)이 진행한 대한스키지도자연맹 레벨Ⅱ테스트 객관도 분석결과와 비교하여 살펴보면 심사의 일관성을 나타내는 ICC가 .733~.960이었던 반면 기술선수권대회의 ICC는 .845~.986으로 나타나 상대적으로 매우 높은 객관도를 가지는 것으로 나타났다. 이와 같은 결과는 레벨Ⅱ는 정확한 기술과 그 기술의 이해도를 평가하고, 스키 지도 대상에게 정확한 기술을 보여주고 설명할 수 있는 지도자 선발의 성향이 강한 반면, 기술선수권대회는 레벨Ⅱ 심사에서 이해된 기술을 숙달하여 확연히 완성된 기술로 어느 정도 표현하고, 스키기술을 적용하여 선보일 수 있느냐를 평가하는 대회의 성격이 강하기 때문에 이러한 평가 상황의 차이에서 나타난 결과로 사료 된다. 또한 레벨 II 심사의 경우 참가자의 수준 편차가 크므로 심사위원 간의 평가의 차이가 상대적으로 크게 나타난 것으로 보여 진다.
대한스키지도자연맹(KSIA)의 스키기술선수권 대회는 매년 열리는 스키지도자에게 가장 의미 있는 대회로 가장 우수한 스키 실력을 갖춘 지도자를 선발하는 대회의 성격과 레벨Ⅲ 심사 대상자를 선발하는 시험의 성격을 동시에 갖추고 있는 특이성을 가지고 있다. 이러한 특이성과 대회 결과가 가지는 중요함 때문에 대한스키지도자연맹에서는 레벨Ⅱ 테스트 보다 스키 경력과 평가 경력, 엄격한 심판위원회의 승인을 거친 심판위원을 평가자로 선정하여 배정하고 있다. 또한 매년 국제스키지도자협회(ISIA)와의 지속적인 교류와 연 2회에 걸친 국내 지도자 심판강습회 및 연수를 통하여 지속적으로 선진 스키기술의 보급과 일관성 있는 평가를 위한 노력을 기울이고 있다. 심사자의 능력을 향상시키는 노력 이외에 대회의 운영방식을 변경하고, 지속적으로 대회 종목에 변화를 주는 제도적인 노력을 수행하고 있다. 대회방식이 예선, 준결승, 결승으로 구분되고, 대회 종목과 수가 변경되었지만 일정한 수준 이상의 스키기술선수권대회 심사결과의 일관성이 높은 이유는 이러한 노력의 결과로 인한 결과로 볼 수 있다.
하지만 현재 진행되는 심사 방식은 심사자의 전문적 판단에 의존하는 개관적(槪觀的 : holistic) 방법(Ann, 2007; Choi, 2010)과 최고점과 최저점을 제외한 중간 값을 유효점수로 사용하는 양극배제평균법(Ann, 2007; Moon, 2006)을 기반으로 하고 있어 심사의 기준과 엄격성 여부에 따라서 심사결과에 영향을 줄 수 있다(Kim, 2003). 지속적으로 현재 수준의 일관성을 갖춘 심사를 유지하고 더욱 발전시키기 위하여 다양한 대회 종목에 대하여 기술적 측면, 표현력의 측면, 완성도의 측면 등 세분화 된 심사 기준에 대하여 심사 점수 척도를 정량적으로 정립하고 제시할 필요성이 있을 것으로 사료 된다. 또한 매년 진행 하는 심판연수회의 연수 프로그램과 방식을 체계적으로 정립하고, 연수회 내용을 공개하여 검정 및 대회에 참가하는 모든 대상자가 대한스키지도자연맹의 심사 기준과 방식에 대한 정보 공유의 노력 역시 필요할 것으로 보여지며, 매년 검정 및 대회의 종료 후 진행된 심사 자료의 공개에 추가적으로 신뢰도 계수를 활용한 객관도 지표를 제공함으로 현재 객관성 있게 진행되고 있는 심사결과의 정략적인 정보제공의 노력도 필요할 것으로 사료된다.
결론 및 제언
본 연구는 대한스키지도자연맹(KSIA)에서 매년 주최·주관하는 스키기술선수권대회의 실제 평가 자료에 대한 객관도를 확인하고, 심사 결과에 영향을 주는 오차원을 알아보기 위하여 수행되었다. 연구결과 종목별로 5명의 심사자가 대상자의 스키기술을 주관적인 평가를 통해 진행하는 스키기술선수권대회 심사결과의 객관도는 지속적인 대회운영방식과 종목의 변화가 있었음에도 불구하고 심동적영역의 객관도 인정 수준인 .80을 넘는 높은 수준(.845~.986)에서 유지되고 있었다. 또한 심사자의 오차원으로서의 상대적 영향력 역시 매우 낮은 것으로 나타났다. 연구 결과를 통하여 대한스키지도자연맹 스키기술선수권대회의 심사결과는 매우 일관성있게 진행되고 있으며 높은 객관도를 가지는 것으로 분석되었으며, 심사자의 오차원으로서의 영향력도 낮은 것을 확인 할 수 있었다.
본 연구를 통한 후속연구에 대한 제언은 다음과 같다. 본 연구는 심사의 일관성을 확인하고 일반화 가능도 이론의 단일 국면(single facet)설계를 통한 일반화가능도 이론(generalizability theory)의 G연구만을 활용하여 분석되었다. 후속연구를 통해 일반화가능도 이론의 연구 모형 중 다국면(multi facet) 설계를 활용한 오차원의 규명과(G연구) 최적의 심사 조건(D연구)을 위한 연구를 종합적으로 진행 할 필요성이 있다. 현재 수행 중인 심사방식은 심사자의 전문성에 의존하는 개관적 방법(holistic)으로 평가 방법의 한계점을 극복하기 위한 심사 기준의 세분화와 심사 척도에 대한 정립 및 심사 준거를 활용한 분석적 방법(analytic)의 개발 및 현장 적용이 필요할 것으로 사료되며, 이를 위한 심사 기준의 상대적 가중치와 우선순위 세분화 연구와 심사 기준의 정량적인 척도 개발을 위한 연구가 필요하다. 또한 유효점수 선정을 위하여 사용 중인 양극배제평균법의 적절성 여부의 확인을 위한 연구도 필요할 것으로 보여 진다.
References
Ann. K. S.(2007). Appropriateness of Dance Performance Assessment by Trimmed Mean Method. Journal of Korea Sport Research, 18(5), 709-718.
Ann. K. S.. 2007;Appropriateness of Dance Performance Assessment by Trimmed Mean Method. Journal of Korea Sport Research 18(5):709–718.Brennan, R. L.(2001). Generalizability theory. NY: Springer-Verlag.
Brennan R. L.. 2001. Generalizability theory NY: Springer-Verlag. 10.1007/978-1-4757-3456-0.Bae. J. K.(2004)Fairness of Trimmed Mean Method for Assessing a Dance Performance. Korea sport research, 15(2), 275-288.
Bae. J. K.. 2004;Fairness of Trimmed Mean Method for Assessing a Dance Performance. Korea sport research 15(2):275–288.Baumgartner, T. A., & Jackson, A. S.(2006). Measurement for evaluation in physical education and exercise science (8th). Dubuque, IA : WCB McGraw-Hill.
Baumgartner T. A., et al, Jackson A. S.. 2006. Measurement for evaluation in physical education and exercise science 8thth ed. Dubuque, IA: WCB McGraw-Hill.Cho. J. H.(2006). An analysis of sources of error and optimal condition of generalizability coefficient in the Korean national bowling player selective match. Korea journal of physical edcuation. 45(6), 157-167.
Cho. J. H.. 2006;An analysis of sources of error and optimal condition of generalizability coefficient in the Korean national bowling player selective match. Korea journal of physical edcuation 45(6):157–167.Choi. Y. S.(2010). Performance Assessment for Modern Dance Competitors of Dong-A Concours (2002∼2009). The Korean Journal of Measurement and Evaluation in Physical Education and Sport Science, 12(2). 1-11.
Choi. Y. S.. 2010;Performance Assessment for Modern Dance Competitors of Dong-A Concours (2002∼2009). The Korean Journal of Measurement and Evaluation in Physical Education and Sport Science 12(2):1–11.Choi. Y. S.(2011). Analyzing the Judges’ rating in Modern Dance Competitors of Dong-A Concours through Many-Faceted Rasch Model. The Korean Journal of Measurement and Evaluation in Physical Education and Sport Science, 13(2). 53-62.
Choi. Y. S.. 2011;Analyzing the Judges’ rating in Modern Dance Competitors of Dong-A Concours through Many-Faceted Rasch Model. The Korean Journal of Measurement and Evaluation in Physical Education and Sport Science 13(2):53–62.Cho. E. H. & Choi. Y. L.(2015). Analysis of Error Sources in Results of Evaluation of Difficulty(D) and Execution(E) by Judges of Rhythmic Gymnastics Competition. The Korean Journal of Measurement and Evaluation in Physical Education and Sport Science, 17(3), 13-22.
Cho. E. H. & Choi. Y. L.. 2015;Analysis of Error Sources in Results of Evaluation of Difficulty(D) and Execution(E) by Judges of Rhythmic Gymnastics Competition. The Korean Journal of Measurement and Evaluation in Physical Education and Sport Science 17(3):13–22.Cho. E. H.(2016). Analysis of error source in subjective evaluation results on Taekwondo Poomsae: Application of generalizability theory. Journal of the Korean data & information science society. 27(2), 359-407.
Cho. E. H.. 2016;Analysis of error source in subjective evaluation results on Taekwondo Poomsae: Application of generalizability theory. Journal of the Korean data & information science society 27(2):359–407.Kim. D. Y. & Heo. J. G.(2002). Generalizability Coefficient Estimation of Subjectively Volleyball Test. The Korean Journal of Measurement and Evaluation in Physical Education and Sport Science. 4(2), 15-28.
Kim. D. Y. & Heo. J. G.. 2002;Generalizability Coefficient Estimation of Subjectively Volleyball Test. The Korean Journal of Measurement and Evaluation in Physical Education and Sport Science 4(2):15–28.Kim. M. Y.(2003). Objectivity in the Judgement of Figure Skating Performance. Korea journal of physical education. 45(2), 745-755.
Kim. M. Y.. 2003;Objectivity in the Judgement of Figure Skating Performance. Korea journal of physical education 45(2):745–755.Kim. Y. J. & Kim. E. J.(2005)A Study on the Degree of Perfection and the Objectivity of Judges' Scores for Women's Gymnastics. Korea Sport Research, 16(5), 1087-1096.
Kim. Y. J., et al, Kim. E. J.. 2005;A Study on the Degree of Perfection and the Objectivity of Judges' Scores for Women's Gymnastics. Korea Sport Research 16(5):1087–1096.Kim. W. K.(2007)Interjudge Objectivity of Taekwondo Poomsae Competition. Journal of Korea Sport Research, 18(4), 823-830.
Kim. W. K.. 2007;Interjudge Objectivity of Taekwondo Poomsae Competition. Journal of Korea Sport Research 18(4):823–830.Kim. H. D., Woo. D. I. & Kim. E. J.(2011)Objectivity of International Aerobics Referee decision. The Korean Journal of Measurement and Evaluation in Physical Education and Sport Science, 13(2), 63-73.
Kim. H. D., Woo. D. I. & Kim. E. J.. 2011;Objectivity of International Aerobics Referee decision. The Korean Journal of Measurement and Evaluation in Physical Education and Sport Science 13(2):63–73.Korea Ski Instructor Association(2017) http://www.ksia.co.kr
. Korea Ski Instructor Association. 2017. http://www.ksia.co.kr.Lee. T. K., Lee. H. J., Chung. J. E. & Yang. H. W.(2016). Analysis of Judges’ Judging in Figure Skating. Korean Journal of Sport Science, 27(4), 756-769.
Lee. T. K., Lee. H. J., Chung. J. E. & Yang. H. W.. 2016;Analysis of Judges’ Judging in Figure Skating. Korean Journal of Sport Science 27(4):756–769.Moon. C. Y.(2006). Evaluation of Holistic Methods in Judgment of Sports Performance. The Korean Journal of Measurement and Evaluation in Physical Education and Sport Science, 8(2), 59-74.
Moon. C. Y.. 2006;Evaluation of Holistic Methods in Judgment of Sports Performance. The Korean Journal of Measurement and Evaluation in Physical Education and Sport Science 8(2):59–74.Oh. S. H., Kim. S. J. & Lee. Y. K.(2001). An Objectivity of a Performance Assessment Instrument in Dance. The Korean Journal Of Measurement and Evaluation in Physical Education and Sports Science, 3(1), 81-87.
Oh. S. H., Kim. S. J. & Lee. Y. K.. 2001;An Objectivity of a Performance Assessment Instrument in Dance. The Korean Journal Of Measurement and Evaluation in Physical Education and Sports Science 3(1):81–87.Oh, S. H. & Lee. B. Y.(2002)Introduction to Objectivity and its Usage. The Korean Journal of Measurement and Evaluation in Physical Education and Sport Science, 4(1), 1-12.
Oh S. H. & Lee. B. Y.. 2002;Introduction to Objectivity and its Usage. The Korean Journal of Measurement and Evaluation in Physical Education and Sport Science 4(1):1–12.Shin. J. Y., Cho. E. H. & Eom. H. J.(2015). An Objective Index for Subjective Judgements of Experts: Comparison of Inter-rater Agreement Coefficients. The Korean Journal of Physical Education, 54(6), 601-616.
Shin. J. Y., Cho. E. H., et al, Cho. H. J.. 2015;An Objective Index for Subjective Judgements of Experts: Comparison of Inter-rater Agreement Coefficients. The Korean Journal of Physical Education 54(6):601–616.Seok. J. S., Kang. S. K. & Lee. J. H.(2016). Objectivity Evaluation of the Ski Level II Test. The Korean Journal of Measurement and Evaluation in Physical Education and Sport Science, 18(2), 63-76.
Seok. J. S., Kang. S. K., et al, Lee. J. H.. 2016;Objectivity Evaluation of the Ski Level II Test. The Korean Journal of Measurement and Evaluation in Physical Education and Sport Science 18(2):63–76.