일반화가능도이론

동료평가는 다양한 장점도 있지만, 전통적인 선택형 중심 지필평가와 달리 평가 과정에서 여러 가지 요소들의 영향을 받는다. 평가 대상에 매겨지는 점수에는 평가 대상이 어떠한 것인지, 평가 대상이 몇 가지인지, 어떠한 하위 요인들을 평가하는지 뿐만 아니라 동료평가에 참여하는 학생들의 특성 및 학생 수, 평가 시기와 평가 절차 등 다양한 요소들과 학생들과 평가 대상의 관련성과 같은 요소들 간의 상호작용 효과 등이 영향을 준다(Lee & Shin, 2004). 따라서 동료평가의 신뢰성을 평가하기 위해서는, 전통적 평가에서 고려되지 않은 새로운 측정 국면을 측정 모형에 포함해야 하는데, 이때 측정 상황에서 발생하여 측정 결과에 영향을 줄 수 있는 여러 요소를 고려하고, 측정의 과정 및 결과를 일반화시키기 위한 개념적 틀을 제공하는 것이 일반화가능도 이론(Generalizability theory)이다.

일반화가능도 이론은 단일 오차원(sources of error)만을 고려하는 고전검사이론을 확대하여, 중다 오차원들을 동시에 고려하는 측정모형에 분산분석(ANOVA) 체계를 적용한 이론이다. 이를 통해 일반화가능도 이론은 측정상황에서 가능한 모든 오차요인을 포함하여 그 영향력을 분해한다. 결과 활용의 측면에서도 고전검사이론은 평가 점수의 표준오차와 신뢰도 계수에 초점을 맞추는 반면, 일반화가능도 이론은 평가 시기‧평가자‧평가 내용 등 오차 국면의 측정조건을 결정하고 각 오차요인(국면)의 영향력에 따라 그 수를 다르게 조정함으로써 신뢰도 계수 향상 방법을 다면화할 수 있다(Brennan, 2001a).

일반화가능도 이론은 크게 일반화 연구(G연구)와 결정연구(D연구)로 나뉜다. 일반화가능도 이론을 적용한 연구들은 일반적으로 G연구 설계에 따라 연구자가 설정한 각 국면에 대한 분산성분 추정값을 산출하여 오차요인의 수준의 신뢰도를 확보하기 위한 효율적인 측정조건을 제시하는 과정으로 분석을 수행한다. 구체적으로 G-연구 설계에서는 측정 상황에 따라 수집된 자료 형태가 교차(crossed)모형인지 내재(nested)모형인지를 고려한 국면을 설정하고, 각 국면이 무선효과(random effect)인지 고정효과(fixed effect)인지를 결정한다. 무선효과란 국면의 조건이 무한 전집에서 표집된 경우를, 고정효과란 유한 전집에서 표집된 경우를 의미한다. 여기에서 전집(universe)이란, 측정대상의 측정조건들에 일반화과정을 포함한다는 의미에서 기존의 모집단(population)의 의미와는 약간의 차이를 가진다(Lee et al., 2015; Brennan, 2001a). D연구 설계에서는 G연구 결과를 바탕으로 일반화하고자 하는 전집을 규정하며, 오차점수에 영향을 주는 국면의 조건 수에 따른 변화를 살펴본다(Brennan, 2001a).

일반화가능도 이론은 측정상황에서 발생하는 복합적인 오차요인을 동시에 분석하여 검사의 유용성(usefulness)을 높일 수 있다는 점에서 일반적인 지필검사(Kim et al., 2012)부터 수행평가(Kang & Lee, 2006; Kim et al., 2010), 심리검사(Lee et al., 2015)에 이르기까지 다양한 검사상황에 적용되어 왔다. 선행연구들에서는 일반화가능도 이론 적용을 통해 다양한 검사들에서 검사 점수에 가장 큰 영향을 주는 요인과 효율적인 측정조건을 밝히고, 그에 따라 평가의 신뢰도를 높이기 위한 타당한 방안을 제시하였다. 선행연구들(Kang & Lee, 2006; Kim et al., 2010; Lee et al., 2015)에서 일반화가능도 이론을 적용한 의미를 본 연구의 주제인 동료평가적인 측면에서 전체적으로 요약하면, 첫째, 교사가 단독으로 평가하여 낮은 신뢰도를 보이는 수행평가에서 학생들의 동료평가는 평가의 신뢰도 제고를 위한 현실적인 방법이 될 수 있다. 둘째, 동료평가에서 일반화가능도 이론 적용을 통해 일정 수준의 신뢰도를 확보할 수 있는 평가 과제 유형 또는 평가요소 및 채점자 수 조정을 위한 근거 자료를 제시하여 학교 상황이나 그 외 상황에서 동료평가가 더욱 신뢰롭게 적용될 수 있는 검사 조건을 알 수 있다.

그러나 전통적 평가와 달리 채점자의 영향을 포함하고 있는 수행평가에서 일반화가능도 이론을 이용한 연구가 필수적인 요소로 인정되고 있음에도 불구하고(Kang & Lee, 2006), 학교 현장에서 적용되고 있는 수업방법과 관련한 수행평가에서 적용할 수 있는 동료평가에 대한 일반화가능도 적용 연구는 아직 충분히 이루어지지 않고 있으며, 최근에 동료평가 방법이 적용되고 있는 스포츠모의중계방법에서도 일반화가능도 이론을 적용한 연구는 실천되지 않고 있다. 결국 동료평가를 실시하기 위한 신뢰롭고 타당한 측정 조건들이 밝혀지지 않고 있는 가운데, 동료평가가 교사의 경험적인 판단에 의해 실시되고 있는 것이다.

따라서 이 연구의 목적은 학교현장의 교수학습 및 평가방법으로 활용되고 있는 강제결합-스포츠모의중계수업에서 학생들에 의한 동료평가 결과를 활용하기 위하여, 동료평가를 효과적으로 개선할 수 있는 방안을 일반화가능도 이론을 적용하여 탐색하는 것이다. 이 연구의 구체적인 연구문제는 다음과 같다.

첫째, 강제결합-스포츠모의중계수업에서 학생들의 동료평가 결과, 일반화가능도에 영향을 주는 요소들의 상대적인 크기는 어느 정도인가?

둘째, 강제결합-스포츠모의중계수업에서 학생들의 동료평가를 활용할 경우, 적정 수준의 일반화가능도를 확보할 수 있는 효율적인 측정 조건은 어떠한가?

셋째, 강제결합-스포츠모의중계에서 동료평가 시, 전통적인 신뢰도 추정방법과 비교하여 일반화가능도 이론에 의한 일반화가능도 계수가 적절한가?

연구 대상

이 연구의 연구대상은 Lee & Kim(2015a)이 연구대상으로 한 경기도 행복고등학교(가명) 1학년 8개 학급, 216명(남:115, 여:101) 이었다. 연구대상은 컬링을 수업내용으로 한 체육수업²⁾에서 학생들이 강제결합-스포츠모의중계영상을 보면서 동료평가를 실천하고 평가서를 제출하였다.

학생들이 사용한 강제결합-스포츠모의중계 발표 평가용 루브릭은 <부록>과 같이 개발하였다. 루브릭은 Jonassen et al.(2003)이 제시한 좋은 루브릭이 될 수 있는 기준을 참고하여 개발되었다. Jonassen et al.은 좋은 루브릭의 조건으로 첫째, 중요한 모든 요소를 포함할 것. 둘째, 각 요소는 1차원적일 것. 셋째, 등급이 뚜렷하고 포괄적이며 기술적(descriptive)일 것. 넷째, 학습자와 명확히 소통할 것 등을 제시하였다. 평가요소는 준비성, 연기성, 결합소재, 종목반영과 효과적 중계의 다섯 가지로 스포츠모의중계관련 선행연구들(Cha et al. 2014; Lee et al., 2011; Lee et al., 2015)에서 사용한 평가요소들을 참고하여 개발하였다. 평가요소의 등급은 3단계에서 7단계로 구성하는 것이 추천되는데(Jonassen, 2004), 본 연구에서는 학생들이 동료평가로 사용될 것을 고려하여 4단계로 설정하였다. 예를 들어, 준비성 평가요소에서 학생들은 0∼3점을 득점할 수 있는데, 3점은 ‘스포츠중계에 어울리는 무대, 의상, 소품을 적절히 준비하였고, 아나운서와 해설자의 역할도 잘 알고 있다.’이며, 부분적으로 준비가 되지 못하면 낮은 점수가 부여되도록 평가기준이 개발되었다.

연구대상 학생들은 동료평가 전에 다음과 같이 3단계의 채점자 훈련을 받았다. 첫째, 연구대상 전체학생들을 대상으로 평가 루브릭과 그에 따른 평가요소에 대한 상세한 교육이 실시되었다. 둘째, 선행연구(Lee & Lee, 2015a)에서 제시되었던 양궁 프랑스요리사버전 중계영상을 대상으로 개발된 루브릭을 적용한 예비 동료평가를 실시하였으며, 이때 교사도 같이 평가하고 그 결과를 비교하였다. 셋째, 교사의 평가점수와 상이한 결과를 나타낸 학생들의 경우에는 평가기준에 대한 설명이 포함된 토의 및 질의응답을 반복적으로 실시하여 동료평가에 적용되는 루브릭을 통한 평가방법을 재교육하고 평가의 신뢰성를 높이고자 하였다.

루브릭에 기초한 평가요소별 학생들이 동료평가한 결과, 평가요소별 평균과 각 중계영상별 점수는 다음 <Table 1>과 같다.

자료 수집 방법

연구 대상인 학생들은 각 반별로 네 개의 모둠으로 구성되었으며, 모둠들은 제비뽑기를 통해 네 종류의 강제결합-스포츠모의중계방법 중에 하나를 선택하여 실천하였다. 강제결합 주제는 사투리, 남북한 중계, 편들기중계, 우리말이 어설픈 외국인이다. 따라서 연구자가 지도한 8개 학급은 네 가지 주제에 따라 각각 한 개씩의 강제결합-스포츠모의중계를 실천하였으며, 지도 학년에서 주제별로 8개씩의 중계영상이 제작·제출되었다. 학생들이 영상을 제출한 후, 연구자인 체육교사는 강제결합-스포츠모의중계 영상들을 동일한 강제결합 주제별로 구분하여 한 번에 네 개 영상씩 평가하도록 재분류하였다. 학생들은 컬링 단원 후반부에 8개 반 32개 모둠에서 제출한 강제결합-스포츠모의중계 영상들을 루브릭에 따라 평가하였다. 평가 장소는 과학실을 활용하였는데, 과학실은 전면에 큰 스크린이 있고, 학생들이 넓게 혼자 앉을 수 있는 공간이 확보될 수 있어, 스크린의 화면 크기가 작은 교실보다 평가 장소로 적합하다고 판단하였기 때문이다. 학생들은 평가 후에 루브릭 평가서를 연구자에게 제출하였다. 본 연구에서는 학생들이 평가한 루브릭 평가서 중에 1차로 진행된 네 개의 사투리버전 강제결합-스포츠모의중계 영상에 대한 동료평가 결과가 분석대상으로 수집되었다.

자료 분석 방법

연구대상 216명 학생의 사투리버전 강제결합-스포츠모의중계 루브릭 평가서 중에, 1차 평가서가 분석대상이 되었다. 1차 평가서들 중에, 일부만 평가하였거나 성실하게 응답하지 않은 것으로 판단되는 총 31부의 평가서를 제외하고 모두 185부의 루브릭 평가서가 분석대상이 되었다.

자료 분석은 단변량 일반화가능도 분석과 다변량 일반화가능도 분석이 순차적으로 실시되었다. 여러 선행연구에서는 수행평가 또는 동료평가 결과를 일반화가능도 이론을 적용할 때 성별집단을 구별하지 않는 설계를 사용하여 왔다(Kim et al., 2010; Lee et al., 2015). 그러나 본 연구의 대상인 체육교과에서는 일반적으로 동료평가 상황에서 성별의 차이가 평가 결과에 영향을 주는 것으로 보고하고 있다(Hong & Lee, 2007; Oh et al., 2001). 따라서 본 연구에서는 선행연구에 따라 성별집단을 구별하지 않은 설계를 적용하는 단변량 일반화가능도 이론과 성별집단을 구별하는 다변량 일반화가능도 이론을 모두 수행하였다. 구체적으로 성별집단의 구분을 무시하는 $p\times (c:\upsilon )$ 설계와, 성별집단을 구분하는 $p^{°}\times (c^{\bullet }:{\upsilon }^{\bullet })$ 설계가 해당된다.

이 연구는 연구대상인 학생들이 중계영상을 루브릭에 따라 평가하였으므로, 이를 일반화가능도 분석 체계로 표현하면 $p\times (c:\upsilon )$ 설계에 해당한다. 이 모형은 각기 다른 다섯 개의 평가요소( $c$)에 따라 평가되는 네 개의 중계영상( $v$)이 있고, 이를 모든 평가자( $p$)가 평가하는 구조이다. 이 중 중계영상( $v$)울 측정 대상(object of measurement)으로, 평가요소( $c$)와 평가자( $p$)를 임의효과 국면(random facet)으로 설정하였다. 이를 도식화하면 <Fig. 1>과 같다.

View original

Fig. 1.

Venn diagram for $p\times (c:\upsilon )$ design

단변량 일반화가능도 이론을 적용하여 G연구를 통해 분산성분을 추정하였고, D연구를 통해 효율적인 측정구조를 탐색하였다. D연구는 G연구와 동일한 설계인 $P\times (C:\upsilon )$ 의 설계를 적용하였고, 오차국면의 표집 수를 조절하여 학교현장에서 적정 수준의 일반화가능도를 유지하기 위한 효율적인 측정구조가 무엇인지 탐색하고자 하였다.

평가자( $p$)가 두 가지 성별집단 중 한 가지에 포함되는 다변량 일반화가능도 분석 체계는 $p^{°}\times (c^{\bullet }:{\upsilon }^{\bullet })$ 설계에 해당한다. 성별 국면( $g$)은 남자와 여자 두 가지로, 측정 절차를 반복해도 변하지 않으므로 고정효과(fixed effect)로 정의하며, 고정효과인 국면에 내재된 평가자 국면( $p$)은 열린 원(∘)으로, 무한 전집에서 표집하는 것으로 가정하는 무선효과인 나머지 국면들은 닫힌 원(∙)으로 표시한다. 이를 도식화하면 <Fig. 2>와 같이 표현된다.

View original

Fig. 2.

Venn diagram for $P^{\circ }\times (C^{\bullet }:{\upsilon }^{\bullet })$ design

D연구는 $P^{\circ }\times (C^{\bullet }:{\upsilon }^{\bullet })$ 의 설계를 적용하였다.

단변량 일반화가능도 설계의 분산성분, 다변량 일반화가능도 설계의 분산성분과 공분산성분을 추정하기 위한 G연구 분석을 위해서는 mGENOVA(Brennan, 2001b) 컴퓨터 프로그램을 사용하였고, 이를 바탕으로 오차 국면의 수를 조정함으로써 효율적인 측정 구조를 탐색하기 위한 D연구 분석을 위해서는 엑셀의 매크로를 활용하였다. D연구 결과 산출되는 일반화가능도 계수와 비교하기 위한 Cronbach α 계수 산출은 SPSS 프로그램을 사용하였다.

단변량 $p\times (c:\upsilon )$ 설계

G-연구 결과 전집점수(universe score) 분산과 오차점수 분산 성분의 크기를 상대적으로 비교하여 각 요인이 관찰점수(observed score) 분산에 미치는 영향력을 나타내는 분산성분 추정치는 다음 <Table 2>와 같다.

측정대상인 중계영상 분산성분( ${\widehat{\sigma }}^2\left(v\right)$ )이 가장 크게 나타났고(0.8173), 다음으로 큰 분산성분은 잔차( ${\widehat{\sigma }}^2(cp:v)$ )였다(0.3126). 평가요소( ${\widehat{\sigma }}^2(c:v)$ ) 및 평가자( ${\widehat{\sigma }}^2\left(p\right)$ )의 분산성분은 비교적 작았다(0.0572, 0.0866). 잔차의 분산성분이 전체 점수 분산의 21.4%의 비율을 보이는데, 이것은 일반화가능도 이론 연구에서 일반적인 현상으로, 잔차 분산성분에는 모형에서 구성된 요인들로 설명되지 않은 분산성분 부분이 모두 포함되기 때문이다(Kang & Lee, 2006).

다음으로 중계영상의 수를 고정시키고 중계영상을 평가하는 평가요소와 평가자 수를 변화시켜 일반화가능도에 미치는 영향을 알아보는 D-연구를 수행하였다.

평가자 수 및 평가요소 수는 선행연구 및 학교의 현장성을 고려하여 그 범위를 선정하였다. 이 연구의 연구대상인 평가자 수는 총 185명이었으나, 동료평가를 실시한 일부 체육교과 선행연구들(Bai et al., 2011; Hong et al., 2007; Oh et al., 2001)에서는 평가자 수가 2∼4명이었다. 그리고 실제 학교 현장에서 학급에 적용할 상황 및 그룹별로 평가할 상황을 염두에 두어 평가자 수를 최소 1명에서 최대 30명으로 변화시켰다. 이 연구에서 루브릭의 평가요소는 5개였고, 선행연구들(Bai et al., 2011; Hong et al., 2007; Oh et al.,2001)에서는 각 평가영역별로 최대 5개 이하였다. 이는 선행연구자들이 학교 현장에서 중등학생들의 인지수준을 고려하여 5개를 초과하는 루브릭을 사용하는 것이 어려울 것으로 판단한 것으로 추측된다. 체육교과 대학생들을 대상으로 한 동료평가(Cho et al., 2010)에서도 평가요소의 수는 4개였다. 따라서 본 연구에서는 평가요소의 수를 최소 2개에서 최대 5개로 변화시키고, 이에 따라 일반화가능도 계수를 적정 수준으로 유지할 수 있는지 살펴보았다. 각 조건에서의 D-연구 표집수 및 분석 결과는 다음 <Table 3>에 제시하였다. 이 연구의 자료수집에 사용한 조건인, 평가요소 5개 및 평가자 185명일 때의 일반화가능도 계수는 0.9846으로 매우 높게 나타났다.

D-연구 결과, 평가요소 수 및 평가자 수가 많을수록 일반화가능도 계수가 높아지는 것을 확인하였다. 이를 그림으로 나타내면 다음 <Fig. 3>과 같다.

View original

Fig. 3.

Plot of Generalizabiliy Coefficient Using Univariate Generalizability Theory

평가의 적절한 일반화가능도의 수준은 연구자가 판단하며(Kang & Lee, 2006), 이 연구의 자료수집에 사용된 조건에서의 일반화가능도 계수가 0.9 이상으로 나타났으므로 0.9 이상의 일반화가능도 계수를 유지하기 위한 동료평가 상황을 확인하였다. 그 결과 영상마다 2개의 평가요소를 사용한다면 평가자는 최소 10명이 투입되어야 함을 확인할 수 있다. 평가요소가 3개인 경우에는 최소 5명, 평가요소가 4개인 경우에는 최소 4명이 필요하다. 그리고 평가요소가 5개인 경우에도 최소 4명이 필요하다. 즉, 평가요소가 많아질수록 일반화가능도를 0.90 수준으로 유지하기 위한 최소한의 동료평가자 수는 줄어드는 경향을 보인다.

다변량 $p^{°}\times (c^{\bullet }:{\upsilon }^{\bullet })$ 설계

다변량 $p^{°}\times (c^{\bullet }:{\upsilon }^{\bullet })$ 설계의 각 분산과 공분산성분에 해당하는 추정치, 해당 분산성분이 전체 분산에서 차지하는 비율, 그리고 성별 간 측정오차를 고려한 상관계수는 <Table 4>와 같다. 괄호(())는 성별 분산성분이 전체분산에서 차지하는 비율을 나타낸다. 분석 결과 남학생과 여학생의 분산성분 추정치에 차이가 있었다. 잔차( ${\widehat{\sigma }}^2(cp:v)$)를 제외하고 남학생의 경우 측정대상인 중계영상 분산성분( ${\widehat{\sigma }}^2\left(v\right)$)이 가장 큰 값(0.1173)을 나타냈으나, 여학생은 중계영상과 평가자의 상호작용( ${\widehat{\sigma }}^2\left(vp\right)$)이 가장 큰 값(0.0802)을 나타냈다. 꺾은 괄호(< >)안의 숫자는 성별 측정오차를 고려한 상관계수로, 높은 값을 보였다. 이는 남학생으로부터 높은 점수를 받은 중계영상은 여학생에게도 높은 점수를 받았음을 의미한다. 본 연구에서는 Brennan(2001a)과 Lee et al.(2015)이 제안한 방법에 따라, 분산성분 추정치의 값이 음의 값으로 산출된 경우 0으로, 측정오차를 고려한 상관계수가 1보다 큰 경우 1.0000으로 표시하였다.

G-연구 결과를 바탕으로 수행한 D-연구 결과는 다음 <Table 5>와 같다. G-연구와 동일한 국면의 조건 수로 분석한 결과 남학생과 여학생 집단의 합성점수에 대한 일반화가능도 계수는 0.9833으로 매우 높게 나타났으며, 이 값은 성별을 고려하지 않은 단변량 일반화가능도 계수(0.9846)보다 약간 작은 수치이다. 남학생 점수와 여학생 점수 각각의 일반화가능도 계수를 비교하면, 남학생이 0.9681, 여학생이 0.9550으로 남학생의 일반화가능도 계수가 조금 더 높다. 두 집단 모두 0.9 이상의 일반화가능도 계수를 보이지만, 남학생의 일반화가능도 계수가 조금 더 높은 것은 이 연구에 사용된 중계영상의 동료평가의 신뢰도가 남학생에게 좀 더 높다는 것을 의미한다.

이 결과를 바탕으로 평가요소와 평가자 수를 다양하게 변화시킨 D-연구 결과는 <Table 6>과 같다.

D-연구 결과, 평가요소 수 및 평가자 수가 많을수록 일반화가능도 계수가 높아지는 것을 확인하였다. 이를 그림으로 나타내면 <Fig. 4>와 같다.

View original

Fig. 4.

Plot of Generalizabiliy Coefficient Using Multivariate Generalizability Theory

단변량 일반화가능도 연구에서와 같이 동료평가에서 유지하고자 하는 일반화가능도의 수준이 0.9 정도인 경우(Kang & Lee, 2006), 영상마다 2개의 평가요소를 사용한다면 평가자는 최소 30명이 투입되어야 함을 확인할 수 있다. 평가요소가 3개 이상인 경우에는 최소 10명이 필요하다. 평가요소가 많아질수록 일반화가능도를 0.90 수준으로 유지하기 위한 최소한의 동료평가자 수가 줄어드는 결과는 단변량 일반화가능도 분석 결과와 동일하지만, 다변량 일반화가능도 모형에 의한 분석 결과 더 많은 평가자 수를 요구하였다.

신뢰도 추정방법의 적절성

전통적인 신뢰도 추정방법인 Cronbach α와, 여러 오차요인을 고려하는 일반화가능도 이론을 통해 추정되는 신뢰도의 적절성을 비교하여 살펴보았다. 이를 위하여 일반화가능도 분석에 사용한 동료평가 자료로 Cronbach α를 산출해, 일반화가능도 계수와 비교하였다. 같은 검사 조건에서 Cronbach α와 일반화가능도 계수를 비교하면 다음 <Table 7>과 같다.

이 결과는 평가요소가 평가과제(중계영상)에 내재되어 있지 않은 측정 구조를 반영하지 않는 Cronbach α가 신뢰도를 과대 추정함을 보여준다. Cronbach α가 신뢰도를 과대 추정할 수 있다는 것은 많은 선행연구에서 지적된 것이다(Wainer & Wang, 2000; Lee et al., 2000; Yang & Lee, 2007). 이와 같이 전통적인 신뢰도 측정 도구인 Cronbach α는 평가요소가 내재되어 있는 것과 같은 측정구조에서는 신뢰도를 과대 추정할 수 있기 때문에, 일반화가능도 모형을 적용하여 일반화가능도 계수를 산출하는 것이 더 정확한 신뢰도 정보를 얻을 수 있다.

또한 평가자가 성별 집단에 내재되어 있는 측정 구조를 반영하지 않는 단변량 일반화가능도 계수가 다변량 일반화가능도 계수보다 신뢰도를 과대 추정함도 확인할 수 있다. 즉, 다양한 일반화가능도 설계를 적용하여 측정의 정확도를 높일 수 있음(Lee et al., 2015)을 확인하였다.