연구의 필요성 및 목적

“체육지도자”란 학교나 직장, 지역사회, 체육단체 등에서 체육을 지도하는 자이다(Sport Promotion Act 제1장 제2조). 생활체육지도자는 생활체육의 관심증가와 동호인 확대에 따른 양성 필요성으로 인해 1987년부터 시행되었다(Ministry of Culture, Sports and Tourism, 2015a). 스포츠지도사의 양성은 1986년 ‘생활체육지도자’라는 명칭으로 시작되어, 2015년에 이르러 ‘스포츠지도사’로 변경되었다(Ministry of Culture, Sports and Tourism, 2013a, 2013b). 이와 같은 명칭의 변경과 더불어 자격의 검정제도 역시 변화하였는데 이는 수요자 중심의 자격양성을 주된 목적으로 두기 때문이다(Ministry of Culture, Sports and Tourism, 2015b, 2015c).

변경의 주요내용은 ‘연령과 대상에 따른 세분화’ 및 ‘자격취득 절차’이다. 먼저, 연령과 대상에 따른 자격제도의 세분화다. 기존 제도는 경기지도자 1, 2급과 생활체육지도자 1~3 급으로 운영되었다. 변경된 제도에서 경기지도자는 전문스포츠지도사 1, 2급으로 명칭의 변경이 있었으며, 생활체육지도자는 생활스포츠지도사 1, 2급, 건강운동관리사, 장애인스포츠지도사 1, 2급, 유소년스포츠지도사, 노인스포츠지도사 등으로 대상별 세분화가 실시되었다. 주목할 점은 경기지도자의 경우 1급과 2급이 그대로 전문스포츠지도사로 이어지는 반면, 생활체육지도자는 생활체육지도자 2급과 3급이 생활스포츠지도사 1급과 2급으로 변경되며, 1급의 경우 건강운동관리사로 명칭이 변경된 점이다.

다음으로 자격취득절차의 변화는 기존에 구술·실기, 연수, 필기고사 순으로 진행되었던 자격취득절차가 현재 필기고사, 구술·실기, 연수, 현장실습 순으로 변경되었다. 특히 기존에 포함되지 않았던 현장실습단계는 스포츠지도사 자격증 응시자들의 연수를 통해 학습한 이론을 실무에 적용하는 최종단계라고 할 수 있다.

이를 종합하면 건강운동관리사와 노인, 유소년, 장애인 등의 자격명칭 변경은 수요자 중심의 자격양성에 초점을 두고, 스포츠를 지도받으려는 수요자들이 대상과 자신들의 목적에 맞게 선택하도록 명칭을 구체화 하였음을 알 수 있다. 또한, 최초 취득자들로 하여금 현장실습을 이수하게 함으로써 현장에 대한 적응력과 대상의 특성에 맞는 전문화에 기여하였다.

스포츠지도사와 관련된 선행연구들은 주로 전문성 강화를 목적으로 하는 연구(Yoo, 2003; Jin et al., 2003; Cho, 2008)와 제도 개선을 위한 연구(Kim et al., 2001; Park et al., 2013; Lee, 2014; Oak, 2005; Choi et al., 2013) 등이 주를 이루었다. 세부적으로 살펴보면, 전문성 제고에 관한 연구들은 자격제도의 목적을 공고히 하고, 제도개편에 관한 연구들은 현장의 문제점을 개선하기 위한 실질적 사안들을 제시하였다는 점에서 그 의의가 크다고 할 수 있다. 하지만 이상의 선행연구들은 제도를 운영하는 운영자의 입장에서만 서술되었다는 제한점을 가지고 있어 스포츠지도사 교육프로그램 질적 향상을 위한 균형 있는 시각을 제공하기 어렵다는 한계를 가지고 있다.

이에 본 연구는 수요자 관점의 연수과정을 평가하기 위한 척도개발의 필요성에서 출발하였다. 교육프로그램에 대한 평가는 교육의 효과를 확인하고 성과향상을 위한 수정이나 보완, 중단을 선택하는데 매우 효과적인 수단이다(Kaufman et al., 1995). Pershing(2006)은 공급자 중심의 프로그램 평가보다는 학습자의 만족도 확인을 통한 수요자 관점의 평가가 요구됨을 주장하였다. 이는 교육서비스의 공급자 혹은 전문가들이 교육제도를 운영함에 있어 수요자의 욕구와 요구에 중점을 두어야 함을 의미한다(Cha & Chae, 1999).

한편, Sport Promotion Act <제11조 3항-지정기관에 대한 평가>를 살펴보면 문화체육관광부장관은 연수기관을 평가할 수 있으며, <제11조의 4항>에 근거하여 지정을 취소 할 수 도 있다. 이렇게 연수기관의 지정과 취소에 관련되어 연수생들의 연수기관에 대한 질적, 양적평가는 해당 연수원을 평가하는 중요한 지표가 된다. 하지만 현재 연수생들의 연수과정에 대한 평가는 특정한 척도나 지침 없이 연수원에서 개별적으로 이뤄지고 있다. 이러한 현실 속에서 단순하게 “연수과정에 대해서 얼마나 만족하십니까?” 와 같은 타당성과 신뢰성이 증명되지 않은 질문을 통해 연수과정을 평가한다면, 제대로 된 연수과정에 대한 평가가 이루어 질 수 없으며, 나아가 ‘수요자 중심의 자격양성’이라는 본질적 취지에서 위배될 수도 있다. 따라서 교육프로그램에 대한 서비스 만족도 척도가 교육의 질을 제대로 평가하고 그 결과를 통해 수요자가 만족하지 못하는 부분을 개선시킬 수 있는 적절한 도구로 개발되어야 할 것이다.

만족도 측정은 제공된 서비스에 대한 사용자의 생각을 직접적으로 확인하는 가장 좋은 방법으로서 사용자 중심의 서비스를 개발하기 위한 필수 요소이다(Kapp & Propp, 2002). 즉, 만족도를 측정하는 과정에서 이용자는 서비스로부터 받은 영향과 서비스 과정에서 맺었던 관계자들과의 상호작용 등의 정보를 얻게 되며, 이를 통해 서비스 제동자들은 보다 개선된 서비스를 개발하고 제공하는 것이 가능해진다(Kim, 2009). Harvey(2001)에 따르면 교육기관의 프로그램 만족도 조사에 포함되어야 할 세부내용으로 ‘교육환경’, ‘생활’, ‘교육결과’, ‘행정서비스’를 제시하였으며, 이를 통해 교육프로그램 관리를 위한 자료를 제공할 수 있다고 하였다. 또한 Kirkpatrick(1996)는 인적자원관리 프로그램의 평가를 4가지 수준(반응, 학습, 행동, 결과)에서 접근해야 한다고 주장하였다.

Kirkpatrick 교육평가모형은 교육이 진행되는 동안 반응과 학습 수준의 평가가 이뤄진다. 반응은 교육내용과 강사에 대한 평가가 중점이 되며, 학습은 교육목표 달성도를 측정하게 된다. 행동 단계의 측정은 학습자가 새로운 학습내용의 실행이 가능한 시간적 여유를 가진 후에 측정되며, 학습내용에 따른 현업 적응도 및 활용도를 측정하게 된다. 마지막 결과 단계의 평가는 모든 수준의 평가가 완료되어 교육의 결과가 나타나기에 충분한 시간이 지난 후에 이뤄지며, 학습을 통해 조직이 얻는 이익을 평가하게 된다.

따라서 본 연구는 교육생 관점의 연수원 평가에 주목하여, 연수현장을 평가할 수 있도록 신뢰성과 타당성이 확보된 교육서비스만족도 척도를 개발하는데 그 근본적인 목적이 있다. 이를 통해 객관적인 연수교육서비스만족도 척도를 제공함으로써 향후 스포츠지도사 연수원 및 자격제도 시행에 관련된 실증분석의 토대를 제공하고자 하였다.

예비문항의 구성

체육지도자 자격검정·연수원에서 제공하는 연수프로그램에 대한 품질 척도를 개발하기 위해서 5명의 석, 박사 보조 연구자와 더불어 관련 선행연구를 검토하였다. 본 연구는 Kirkpatrick(1996)의 4가지 수준의 프로그램 평가 중에서 반응(reaction) 평가를 적용하여 진행하였다. 반응평가는 학습자 관점의 교육프로그램 평가로서, 학습자의 프로그램 전반에 대한 느낌이나 태도, 의견 등을 수렴한다. 이때 학습자의 만족도를 평가하는 하위범주는 ‘프로그램 목적’과 ‘내용’, ‘자료’, ‘교육방법’, ‘강사수준’, ‘교수·학습활동’, ‘프로그램 기간’, ‘교육환경’, ‘프로그램에 대한 학습자의 기대와 전이’, ‘행정지원사항’, ‘종합평가’, ‘개선에 관한 건의사항’으로 구성된다. 이상의 11가지 영역을 기초로 하여 각 교육 프로그램분야의 근본적 목적과 취지에 맞게 학습자만족도 평가를 설계한다(Lee, 2005; Jung & Lee, 2010). 이러한 반응평가는 교육이 진행되는 동안 실시되어야 하며, 설문지와 인터뷰를 통해 평가자료를 수집하게 된다. 따라서 교육대상자들의 현장감 있는 피드백을 획득할 수 있다.

본 연구에서는 Kirkpatrick(1996)이 제시한 교육프로그램 반응평가 사항 4가지를 고려하였다. 그 세부내용은 향후 프로그램 개선을 위한 평가 피드백, 연수생에게 프로그램 평가의 피드백 필요성을 인지시키는지의 여부, 교육프로그램 실행에 관한 이해당사자들에게 양적정보를 제공 가능성, 교육프로그램 담당자에게 프로그램 수행 표준을 수립할 수 있는 양적 정보 제공여부이다. 이상의 4가지 사항을 기초로 선행연구들을 검토하였다. 그 중 본 연구의 목적과 취지에 적절히 부합되며, 측정도구의 타당성과 신뢰성이 높다고 판단되는 연구인 Kim & Hwang(2005), Park & Kim(2012), Hawes & Gilsan(1983), Parasuraman et al.(1988)의 연구를 기초로 하여 본 연구에서 사용될 문항을 선정한 후 실정에 맞도록 수정, 보완하여 설문지 초안을 작성하였다. 이러한 과정에서 중복된 의미를 가진 문항들은 제거하고 실질적인 의미를 가장 잘 드러내고 있는 문항을 선정하고 다시 수정하는 절차를 여러 차례 반복하여 총 28개의 문항을 선정하였다.

예비조사

1차 조사를 수행하기 전, 2명의 현직 스포츠 강사 및 실제 연수를 받고 있는 5명의 연수생에게 문항의 적절성, 문항의 난이도, 용어의 적절성 등에 대한 예비조사를 표적 집단 면접법(Focus Group Interview: FGI)실시하였다. 이 과정에서 다소 이해하기 어려운 전문용어가 설문지에 포함되어 있는 경우에는 본 연구의 연구대상자가 다양한 연령층으로 구성되어 있다는 점을 감안하여 상식적 수준에서 충분히 이해할 수 있는 용어로 대체하였으며, 최초문항에 포함되지 않았으나 FGI를 통해 중요한 의미를 가진다고 판단되는 요인에 대해서는 연구자간 합의를 거쳐 문항에 포함시켰다.

연구대상

본 연구에서는 스포츠지도사 연수프로그램의 교육서비스만족도를 측정하기 위한 척도를 개발하기 위해 총 3차에 걸쳐 연구가 수행되었다.

첫째, 1차 연구는 예비조사 및 내용타당도 비율검사를 통해 최초 선정된 문항의 정제(refinement) 및 구성타당도 검증을 위해 설계되었다. 1차 연구의 대상자는 스포츠지도사 연수 대상자 중 2015년 8월 서울 소재의 한 대학교에서 연수에 참여한 연수생이며, 이들에게 총 300부의 설문지가 배포되었다. 이 중 회수된 설문지는 274부였으며, 응답내용이 불성실하다고 판단되는 33부의 설문지를 제외한 총 241부의 설문지가 1차 연구에 사용되었다.

둘째, 탐색적 요인분석을 통해 정제된 문항들에 대한 확인적 요인분석 실시한 2차 연구는 1차 연구와 동일한 장소이지만 다른 시기, 다른 프로그램에 참여한 연수생들에게 설문지를 배포하였다. 배포된 설문지는 총 400부이며, 이 중 회수된 설문지는 343부였다. 역시 응답내용이 불성실한 설문지 25부를 제외하여 총 318부의 설문지가 최종적으로 2차 연구에 사용되었다.

셋째, 3차 연구는 확인적 요인분석을 통해 확정된 스포츠지도사 연수 프로그램의 품질 척도의 예측타당성을 검증하기 위해 구조방정식 모형 분석을 실시하였다. 설문지는 스포츠지도사 연수기관을 운영하고 있는 서울지역의 2개 대학과 경기지역의 1개 대학교에서 이루어 졌으며 300부의 설문지를 배포하여 회수된 280부의 설문지 중에서 응답내용이 불성실한 설문지 9부를 제외하여 실제 3차 연구에 활용된 설문지는 271부였다. 연구대상의 일반적인 특성은 <Table 1>과 같다.

Table 1.

Demographic characteristics of the participants

내용타당도의 비율 검사

Lawshe(1975)의 연구에서는 내용타당도(content validity)의 양적 평가를 위해 CVR(content validity ratio)과 CVI(content validity index)를 산출할 것을 권장하고 있다. 특히 척도개발 연구에서는 문항의 적절성에 대한 전문가의 합의가 상당히 중요한 절차이므로 본 연구에서는 개별문항에 대한 CVR 값과 전체문항에 대한 CVI 값을 8명의 전문가로부터 도출하여 내용타당도를 검증하였다. 분석결과, 2문항을 제외한 개별문항들의 CVR 값은 .82~.99, 전체문항의 CVI 값은 .92로 나타나 Lawshe(1975)가 제시한 기준에 의거해 충분한 타당성이 있는 것으로 판단 할 수 있다. CVR 값이 낮게 나타난 2개의 문항(사무요원들의 옷차림과 용모가 단정하다, 주변 식당이용이 편리하다)에 대해서는 전문가들의 합의를 통해 최종적으로 설문문항에서 제외하였다. 즉, 예비조사, FGI, 내용타당도 비율검사의 3단계를 통해 여러 차례 정제된 26개의 문항을 활용하여 1차 연구를 시작하였다.

자료 분석

1차, 2차, 3차에 걸쳐 수집된 자료의 분석에 있어 통계적 유의수준(significant level: α)은 .05로 설정하였으며, 평행선 분석을 위한 Factor 8.1을 비롯하여 SPSS 21.0, Mplus 6.0를 통해 다음의 분석을 순차적으로 수행하였다.

첫째, 스포츠 지도사 연수 프로그램의 만족도 척도개발의 내용타당도(content validity)를 검증하기 위하여 Lawshe(1975)의 연구에서 나타난 내용타당도 검증 도구인 CVI(content validity Index)를 산출하였다.

둘째, 척도의 구성타당도 검증을 위하여 평행선 분석(parallel analysis) 및 탐색적 요인분석(exploratory factor analysis)을 실시하였다.

셋째, 척도의 수렴타당성(convergent validity) 및 판별타당성(discriminant validity)을 검증하기 위하여 확인적 요인분석(confirmatory factor analysis)를 실시하였다.

넷째, 척도의 예측타당성(predictive validity) 검토를 위해 전반적 만족도를 종속변수로 설정한 구조방정식 모형 분석(structural equation model)을 실시하였다. 이와 같은 절차를 도식화하면 다음의 <Fig. 1>과 같다.

Fig. 1.

process of the study

총 3차에 걸친 데이터 수집과정에서 발생한 결측치(missing value)는 각 차수 당 전체관측치의 5% 이내였으며, 이러한 결측치가 무선적(random)으로 발생하였는지의 여부를 판단하기 위해 Little(1988)이 제시한 MCAR 검정을 각 차수별로 실시하였다. 그 결과는 다음의 <Table 2>와 같이 각 차수에 발생한 결측치가 무선적으로 발생하였다고 판단할 수 있으므로, 완전정보최대우도법(full-information maximum likelihood)을 통해 모수(parameter)를 추정하였다.

Table 2.

MCAR test

예비문항에 대한 문항분석 및 기술통계

체육지도자 자격검정·연수원에서 제공하는 연수프로그램의 서비스 만족도 측정문항의 적절성을 판단하기 위해서 문항별로 평균, 표준편차, 첨도, 왜도를 분석하였다. 분석결과 개별문항의 평균은 2.558~3.410사이에서 분포하였으며, 표준편차는 .835~1.196에서 분포하였다. Tak(1996), Song & Lee(2010)의 연구에서는 평균이 지나치게 극단의 값을 갖거나, 표준편차가 지나치게 작을 경우에는 삭제 또는 문항을 수정하는 것을 권고하였으며, 그 기준으로 평균은 1.7이하 또는 4.3초과, 표준편차는 .09이하를 제시하였다. 본 연구에서는 이 기준을 초과하는 문항은 존재하지 않았다. 첨도와 왜도와 관련해서도 Curran et al.(1996)가 제시한 기준에 의거하여 왜도 ±2 이하, 첨도 ±7이하를 기준으로 하여 판단한 결과 모든 문항이 적절한 왜도와 첨도를 가지고 있는 것으로 나타났다.

평행선 분석

탐색적 요인분석을 수행하기에 앞서 스포츠지도사 연수 프로그램 만족도를 구성하는 타당한 하위 요인의 수를 결정하기 위해 Factor 8.1를 활용한 평행선 분석(parallel analysis)을 실시하였다. 평행선 분석은 실제자료와 동일한 관측치의 수와 변수의 수를 가진 무선자료를 반복적으로 추출한 후 이를 바탕으로 한 상관행렬(correlation matrix)을 도출하고 이로부터 추출되는 고유값(eigen-value)을 실제자료의 고유값과 비교하는 방법으로 기존의 요인 수 결정방법보다 정확한 요인의 수를 결정할 수 있다는 장점을 가지고 있다(Horn, 1965; Hayton et al., 2004). 이와 같은 과정에서 무선자료의 상관행렬로부터 추출된 여러 개의 고유값의 평균은 결과적으로 요인의 수를 과도하게 추출하는 경향이 있으므로(Timmerman & Lorenzo–Seva, 2011), 일반적으로 95% 백분위 고유치를 사용한다. 최종적으로 실제자료의 고유값이 무선자료의 고유값보다 작아지는 점을 기준으로 요인수를 결정한다. 평행선 분석 결과, 4번째 요인부터 무선자료의 95% 백분위 고유값이 실제 고유값보다 크게 나타났으므로 본 연구에서는 요인의 수를 3로 고정하여 탐색적 요인분석을 수행하였다. 평행선 분석 결과는 다음의 <Table 3>, <Fig. 2>과 같다.

Table 3.

Parallel Analysis

Fig. 2.

Parallel analysis

탐색적 요인분석

측정하고자 하는 개념이 측정도구에 의해 적절하게 계량화 되었는지 알아보기 위해 1차 조사를 통해 수집된 344부의 설문지를 통해 탐색적 요인분석(EFA)을 실시하였다. 요인추출 방법은 주축요인추출(principle axis factoring), 회전방법은 사각회전(oblique)방법 중의 하나의 직접 오블리민(direct oblimin)방법을 사용하였다. 그 결과는 다음의 <Table 4>와 같다. 분석결과, 총 26개의 문항 중 4개의 문항에서 낮은 요인 부하량(factor loading)이 발견되었으며, 2개의 문항에서는 다수의 요인에 높은 요인 부하량(double loading)이 발견되었다. 이에 6개의 문항을 제거한 후 나머지 20개의 문항을 사용해 요인 분석하여 3개의 요인을 추출하였다. 추출된 요인은 전체 변량의 약 70%를 설명하는 것으로 나타났으며, 각각 ‘행정지원’ 요인, ‘교과내용’ 요인, ‘교육환경’ 요인으로 명명하였다. 또한 각 요인의 신뢰도 역시 .7을 상회하여 문항의 내적일관성 역시 확보되었다(Nunnally, 1978).

Table 4.

Exploratory factor analysis (pattern matrix)

확인적 요인분석

탐색적 요인분석을 통해 정제된 20개의 항목으로 구성된 3개의 구성차원에 대해 새로운 표본 집단에 설문지를 배포하여 코딩한 후 Mplus 6.0을 활용해 확인적 요인분석을 실시하였다. 설정된 확인적 요인분석 모형의 적합도를 판단하기 위해 CFI, TLI, RMSEA, SRMR 지수를 산출하였다. 분석결과 개별요인들의 RMSEA값이 Hu & Bentler(1999)가 제시한 기준(.08 이하)에 비해 다소 높은 것으로 나타났다. 하지만 이러한 기준은 Hu & Bentler(1999)의 논문에서 직접 밝히고 있듯 절대적 기준이 아니다. 따라서 전반적인 적합도 지수를 동시에 고려해 판단해야 한다.

확인적 요인분석 과정에서 행정지원 요인 중 20번 문항의 경우, 지나치게 낮은 요인 부하량을 보이고 있으므로 삭제하였다. 다음으로 문항들을 다시 확인하여 문항 간 상관성이 높다고 판단되는 문항끼리 오차공분산을 허용하는 방법을 사용하였다. 이에 교과내용에서 3개, 행정지원 요인에서 3개의 오차공분산을 허용하였다. 확인적 요인분석 결과는 다음의 <Table 5>과 같다.

Table 5.

Confirmatory Factor Analysis

타당도와 신뢰도

개별단위의 확인적 요인분석 후, 다음으로 요인에 대한 수렴타당성(convergent validity)과 판별타당성(discriminant validity)을 검정하였다. 수렴타당성은 개념신뢰도(C.R) 값이 .7이상 평균분산추출(AVE) 값이 .5이상일 때 적절하며, 판별타당성은 평균분산추출 값이 상관계수의 제곱보다 클 때 적절하다(Fornell & Lacker, 1981). 분석 결과, 앞서 제시한 기준을 모두 충족하고 있어 수렴타당성과 판별타당성이 확보되었음을 알 수 있다. 이상의 분석 결과들은 다음의 <Table 6>, <Table 7>로 요약하여 정리하였으며, 확인적 요인분석 결과 도출된 요인구조는 다음의 <Fig. 3>와 같다.

Table 6.

Convergent Validity and Discriminant Validity

Table 7.

Correlation analysis

Fig. 3.

confirmatory factor analysis

예측타당성 검토

2차 연구를 통해 완성된 척도에 대한 예측타당성을 검정하기 위해 본 연구에서는 서비스 및 만족 관련 선행연구에서 가장 빈번하게 사용되는 종속변수인 전반적 만족도를 활용하였다(Kim, 2010; Park & Kim, 2012). 즉, 본 연구에서는 척도의 예측타당성 여부를 검정하기 위해 전반적 만족도를 종속변수로 설정하고 개발된 스포츠 지도사 연수 프로그램 만족의 하위변인을 독립변수로 설정한 구조방정식 모형분석을 실시하였다. 전반적 만족도는 Park & Kim(2012) 및 Yi & La(2003)의 연구에서 사용된 문항을 사용하였다. 그 결과 <Table 8>, <Table 9>와 같이 설정된 인과관계 모형이 적절한 것으로 나타났으며, 교육프로그램이 전반적 만족도에 영향을 미치는 경로에서만 경로계수가 낮게 도출되었으며, 95% 신뢰구간에서 통계적으로 유의하지 않은 것으로 나타났다. 하지만, 이 경로의 검정통계량 값과 p-value를 살펴보았을 때, 영향력이 전혀 없다는 영가설 역시 지지하기 어렵다는 점과 전체 설명력이 약 60.4%정도 되는 점을 동시에 감안한다면, 본 연구에서 제시하는 스포츠지도사 연수프로그램 서비스 만족도 평가를 위한 척도의 예측타당성이 일정부분 입증되었다고 판단할 수 있다.

Table 8.

The Results of Model Fit

Table 9.

The Results of Path Analysis