스포츠 지도사 연수 프로그램의 교육서비스 만족도 측정 도구에 관한 연구

Abstract

The purpose of this study was to develop an instrument that measures participantsʼ satisfaction in sports instructor training programs. The instrument development process includes focus group interviews, parallel analysis, and validity and reliability tests. Data were collected from 897 participants from three regular training sessions and were analyzed primarily using SPSS and MPlus software. The results indicated that the service satisfaction of sport instructor programs has an underlying three sub-factors, including ʻadministrative supportʼ, ʻcurriculum contentsʼ, and ʻlearning environmentʼ. This study can provide helpful information to managers in improving their respective sport instructor training programs.

keyword
sports instructorservice satisfactiondevelopment scales of evaluation

초록

본 연구는 스포츠 지도사 연수 프로그램 서비스 만족도에는 어떠한 요인들로 구성되는지 파악하고, 이를 측정할 수 있는 타당성과 신뢰성을 갖춘 척도를 개발하는데 그 목적이 있다. 총 3차에 걸쳐 1000부의 설문지가 배포되었고, 회수된 설문지는 총 897부였으며, 각 차수별로 241부, 318부, 271부가 분석에 사용되었다. 척도 개발절차에 따라 Factor 8.1, SPSS 21.0, Mplus 6.0을 활용하여 표적 집단 면접법, 내용타당도 비율 검사, 평행선 분석, 탐색적 요인분석, 확인적 요인분석, 예측타당성 검정의 순으로 분석이 진행되었다. 연구결과, 스포츠 지도사 연수프로그램의 서비스 만족도요인은 총 3개요인(행정지원, 교과내용, 교육환경)의 19개 문항으로 개발되었다. 본 연구는 더욱 활성화되고 국민적 관심을 가지게 될 스포츠 지도사 연수 프로그램의 질적 개선 및 평가를 위한 기초자료를 제공할 수 있다는 측면에서 그 학문적, 실무적 의의가 있다.

주요 용어
스포츠지도사서비스 만족도척도개발

서 론

연구의 필요성 및 목적

“체육지도자”란 학교나 직장, 지역사회, 체육단체 등에서 체육을 지도하는 자이다(Sport Promotion Act 제1장 제2조). 생활체육지도자는 생활체육의 관심증가와 동호인 확대에 따른 양성 필요성으로 인해 1987년부터 시행되었다(Ministry of Culture, Sports and Tourism, 2015a). 스포츠지도사의 양성은 1986년 ‘생활체육지도자’라는 명칭으로 시작되어, 2015년에 이르러 ‘스포츠지도사’로 변경되었다(Ministry of Culture, Sports and Tourism, 2013a, 2013b). 이와 같은 명칭의 변경과 더불어 자격의 검정제도 역시 변화하였는데 이는 수요자 중심의 자격양성을 주된 목적으로 두기 때문이다(Ministry of Culture, Sports and Tourism, 2015b, 2015c).

변경의 주요내용은 ‘연령과 대상에 따른 세분화’ 및 ‘자격취득 절차’이다. 먼저, 연령과 대상에 따른 자격제도의 세분화다. 기존 제도는 경기지도자 1, 2급과 생활체육지도자 1~3 급으로 운영되었다. 변경된 제도에서 경기지도자는 전문스포츠지도사 1, 2급으로 명칭의 변경이 있었으며, 생활체육지도자는 생활스포츠지도사 1, 2급, 건강운동관리사, 장애인스포츠지도사 1, 2급, 유소년스포츠지도사, 노인스포츠지도사 등으로 대상별 세분화가 실시되었다. 주목할 점은 경기지도자의 경우 1급과 2급이 그대로 전문스포츠지도사로 이어지는 반면, 생활체육지도자는 생활체육지도자 2급과 3급이 생활스포츠지도사 1급과 2급으로 변경되며, 1급의 경우 건강운동관리사로 명칭이 변경된 점이다.

다음으로 자격취득절차의 변화는 기존에 구술·실기, 연수, 필기고사 순으로 진행되었던 자격취득절차가 현재 필기고사, 구술·실기, 연수, 현장실습 순으로 변경되었다. 특히 기존에 포함되지 않았던 현장실습단계는 스포츠지도사 자격증 응시자들의 연수를 통해 학습한 이론을 실무에 적용하는 최종단계라고 할 수 있다.

이를 종합하면 건강운동관리사와 노인, 유소년, 장애인 등의 자격명칭 변경은 수요자 중심의 자격양성에 초점을 두고, 스포츠를 지도받으려는 수요자들이 대상과 자신들의 목적에 맞게 선택하도록 명칭을 구체화 하였음을 알 수 있다. 또한, 최초 취득자들로 하여금 현장실습을 이수하게 함으로써 현장에 대한 적응력과 대상의 특성에 맞는 전문화에 기여하였다.

스포츠지도사와 관련된 선행연구들은 주로 전문성 강화를 목적으로 하는 연구(Yoo, 2003; Jin et al., 2003; Cho, 2008)와 제도 개선을 위한 연구(Kim et al., 2001; Park et al., 2013; Lee, 2014; Oak, 2005; Choi et al., 2013) 등이 주를 이루었다. 세부적으로 살펴보면, 전문성 제고에 관한 연구들은 자격제도의 목적을 공고히 하고, 제도개편에 관한 연구들은 현장의 문제점을 개선하기 위한 실질적 사안들을 제시하였다는 점에서 그 의의가 크다고 할 수 있다. 하지만 이상의 선행연구들은 제도를 운영하는 운영자의 입장에서만 서술되었다는 제한점을 가지고 있어 스포츠지도사 교육프로그램 질적 향상을 위한 균형 있는 시각을 제공하기 어렵다는 한계를 가지고 있다.

이에 본 연구는 수요자 관점의 연수과정을 평가하기 위한 척도개발의 필요성에서 출발하였다. 교육프로그램에 대한 평가는 교육의 효과를 확인하고 성과향상을 위한 수정이나 보완, 중단을 선택하는데 매우 효과적인 수단이다(Kaufman et al., 1995). Pershing(2006)은 공급자 중심의 프로그램 평가보다는 학습자의 만족도 확인을 통한 수요자 관점의 평가가 요구됨을 주장하였다. 이는 교육서비스의 공급자 혹은 전문가들이 교육제도를 운영함에 있어 수요자의 욕구와 요구에 중점을 두어야 함을 의미한다(Cha & Chae, 1999).

한편, Sport Promotion Act <제11조 3항-지정기관에 대한 평가>를 살펴보면 문화체육관광부장관은 연수기관을 평가할 수 있으며, <제11조의 4항>에 근거하여 지정을 취소 할 수 도 있다. 이렇게 연수기관의 지정과 취소에 관련되어 연수생들의 연수기관에 대한 질적, 양적평가는 해당 연수원을 평가하는 중요한 지표가 된다. 하지만 현재 연수생들의 연수과정에 대한 평가는 특정한 척도나 지침 없이 연수원에서 개별적으로 이뤄지고 있다. 이러한 현실 속에서 단순하게 “연수과정에 대해서 얼마나 만족하십니까?” 와 같은 타당성과 신뢰성이 증명되지 않은 질문을 통해 연수과정을 평가한다면, 제대로 된 연수과정에 대한 평가가 이루어 질 수 없으며, 나아가 ‘수요자 중심의 자격양성’이라는 본질적 취지에서 위배될 수도 있다. 따라서 교육프로그램에 대한 서비스 만족도 척도가 교육의 질을 제대로 평가하고 그 결과를 통해 수요자가 만족하지 못하는 부분을 개선시킬 수 있는 적절한 도구로 개발되어야 할 것이다.

만족도 측정은 제공된 서비스에 대한 사용자의 생각을 직접적으로 확인하는 가장 좋은 방법으로서 사용자 중심의 서비스를 개발하기 위한 필수 요소이다(Kapp & Propp, 2002). 즉, 만족도를 측정하는 과정에서 이용자는 서비스로부터 받은 영향과 서비스 과정에서 맺었던 관계자들과의 상호작용 등의 정보를 얻게 되며, 이를 통해 서비스 제동자들은 보다 개선된 서비스를 개발하고 제공하는 것이 가능해진다(Kim, 2009). Harvey(2001)에 따르면 교육기관의 프로그램 만족도 조사에 포함되어야 할 세부내용으로 ‘교육환경’, ‘생활’, ‘교육결과’, ‘행정서비스’를 제시하였으며, 이를 통해 교육프로그램 관리를 위한 자료를 제공할 수 있다고 하였다. 또한 Kirkpatrick(1996)는 인적자원관리 프로그램의 평가를 4가지 수준(반응, 학습, 행동, 결과)에서 접근해야 한다고 주장하였다.

Kirkpatrick 교육평가모형은 교육이 진행되는 동안 반응과 학습 수준의 평가가 이뤄진다. 반응은 교육내용과 강사에 대한 평가가 중점이 되며, 학습은 교육목표 달성도를 측정하게 된다. 행동 단계의 측정은 학습자가 새로운 학습내용의 실행이 가능한 시간적 여유를 가진 후에 측정되며, 학습내용에 따른 현업 적응도 및 활용도를 측정하게 된다. 마지막 결과 단계의 평가는 모든 수준의 평가가 완료되어 교육의 결과가 나타나기에 충분한 시간이 지난 후에 이뤄지며, 학습을 통해 조직이 얻는 이익을 평가하게 된다.

따라서 본 연구는 교육생 관점의 연수원 평가에 주목하여, 연수현장을 평가할 수 있도록 신뢰성과 타당성이 확보된 교육서비스만족도 척도를 개발하는데 그 근본적인 목적이 있다. 이를 통해 객관적인 연수교육서비스만족도 척도를 제공함으로써 향후 스포츠지도사 연수원 및 자격제도 시행에 관련된 실증분석의 토대를 제공하고자 하였다.

연구방법

예비문항의 구성

체육지도자 자격검정·연수원에서 제공하는 연수프로그램에 대한 품질 척도를 개발하기 위해서 5명의 석, 박사 보조 연구자와 더불어 관련 선행연구를 검토하였다. 본 연구는 Kirkpatrick(1996)의 4가지 수준의 프로그램 평가 중에서 반응(reaction) 평가를 적용하여 진행하였다. 반응평가는 학습자 관점의 교육프로그램 평가로서, 학습자의 프로그램 전반에 대한 느낌이나 태도, 의견 등을 수렴한다. 이때 학습자의 만족도를 평가하는 하위범주는 ‘프로그램 목적’과 ‘내용’, ‘자료’, ‘교육방법’, ‘강사수준’, ‘교수·학습활동’, ‘프로그램 기간’, ‘교육환경’, ‘프로그램에 대한 학습자의 기대와 전이’, ‘행정지원사항’, ‘종합평가’, ‘개선에 관한 건의사항’으로 구성된다. 이상의 11가지 영역을 기초로 하여 각 교육 프로그램분야의 근본적 목적과 취지에 맞게 학습자만족도 평가를 설계한다(Lee, 2005; Jung & Lee, 2010). 이러한 반응평가는 교육이 진행되는 동안 실시되어야 하며, 설문지와 인터뷰를 통해 평가자료를 수집하게 된다. 따라서 교육대상자들의 현장감 있는 피드백을 획득할 수 있다.

본 연구에서는 Kirkpatrick(1996)이 제시한 교육프로그램 반응평가 사항 4가지를 고려하였다. 그 세부내용은 향후 프로그램 개선을 위한 평가 피드백, 연수생에게 프로그램 평가의 피드백 필요성을 인지시키는지의 여부, 교육프로그램 실행에 관한 이해당사자들에게 양적정보를 제공 가능성, 교육프로그램 담당자에게 프로그램 수행 표준을 수립할 수 있는 양적 정보 제공여부이다. 이상의 4가지 사항을 기초로 선행연구들을 검토하였다. 그 중 본 연구의 목적과 취지에 적절히 부합되며, 측정도구의 타당성과 신뢰성이 높다고 판단되는 연구인 Kim & Hwang(2005), Park & Kim(2012), Hawes & Gilsan(1983), Parasuraman et al.(1988)의 연구를 기초로 하여 본 연구에서 사용될 문항을 선정한 후 실정에 맞도록 수정, 보완하여 설문지 초안을 작성하였다. 이러한 과정에서 중복된 의미를 가진 문항들은 제거하고 실질적인 의미를 가장 잘 드러내고 있는 문항을 선정하고 다시 수정하는 절차를 여러 차례 반복하여 총 28개의 문항을 선정하였다.

예비조사

1차 조사를 수행하기 전, 2명의 현직 스포츠 강사 및 실제 연수를 받고 있는 5명의 연수생에게 문항의 적절성, 문항의 난이도, 용어의 적절성 등에 대한 예비조사를 표적 집단 면접법(Focus Group Interview: FGI)실시하였다. 이 과정에서 다소 이해하기 어려운 전문용어가 설문지에 포함되어 있는 경우에는 본 연구의 연구대상자가 다양한 연령층으로 구성되어 있다는 점을 감안하여 상식적 수준에서 충분히 이해할 수 있는 용어로 대체하였으며, 최초문항에 포함되지 않았으나 FGI를 통해 중요한 의미를 가진다고 판단되는 요인에 대해서는 연구자간 합의를 거쳐 문항에 포함시켰다.

연구대상

본 연구에서는 스포츠지도사 연수프로그램의 교육서비스만족도를 측정하기 위한 척도를 개발하기 위해 총 3차에 걸쳐 연구가 수행되었다.

첫째, 1차 연구는 예비조사 및 내용타당도 비율검사를 통해 최초 선정된 문항의 정제(refinement) 및 구성타당도 검증을 위해 설계되었다. 1차 연구의 대상자는 스포츠지도사 연수 대상자 중 2015년 8월 서울 소재의 한 대학교에서 연수에 참여한 연수생이며, 이들에게 총 300부의 설문지가 배포되었다. 이 중 회수된 설문지는 274부였으며, 응답내용이 불성실하다고 판단되는 33부의 설문지를 제외한 총 241부의 설문지가 1차 연구에 사용되었다.

둘째, 탐색적 요인분석을 통해 정제된 문항들에 대한 확인적 요인분석 실시한 2차 연구는 1차 연구와 동일한 장소이지만 다른 시기, 다른 프로그램에 참여한 연수생들에게 설문지를 배포하였다. 배포된 설문지는 총 400부이며, 이 중 회수된 설문지는 343부였다. 역시 응답내용이 불성실한 설문지 25부를 제외하여 총 318부의 설문지가 최종적으로 2차 연구에 사용되었다.

셋째, 3차 연구는 확인적 요인분석을 통해 확정된 스포츠지도사 연수 프로그램의 품질 척도의 예측타당성을 검증하기 위해 구조방정식 모형 분석을 실시하였다. 설문지는 스포츠지도사 연수기관을 운영하고 있는 서울지역의 2개 대학과 경기지역의 1개 대학교에서 이루어 졌으며 300부의 설문지를 배포하여 회수된 280부의 설문지 중에서 응답내용이 불성실한 설문지 9부를 제외하여 실제 3차 연구에 활용된 설문지는 271부였다. 연구대상의 일반적인 특성은 <Table 1>과 같다.

View original
Table 1.
Demographic characteristics of the participants
Devision Characteristic First Second Third
n % n % n %
Gender Male 62 25.7 86 27.0 73 26.9
Female 161 66.8 214 67.3 180 66.4
No response 18 7.5 18 5.7 18 6.7
Age 20's 78 32.3 68 21.4 67 24.7
30's 56 23.2 66 20.8 61 22.5
40's 60 24.8 114 35.8 76 28.0
50's 18 7.5 37 11.6 36 13.2
Above 60's 8 3.4 10 3.2 9 3.4
No response 21 8.8 23 7.2 22 8.2
Income per Month below 100m 15 6.2 9 2.8 13 4.7
100m~300m 106 43.9 148 46.5 121 44.6
300m~600m 25 10.3 58 18.2 32 11.9
600m~1000m 1 0.5 2 0.7 7 2.6
Above 1000m 1 0.5 0 0 0 0
No response 93 38.6 101 31.8 98 36.2
Total 241 100 318 100 271 100

내용타당도의 비율 검사

Lawshe(1975)의 연구에서는 내용타당도(content validity)의 양적 평가를 위해 CVR(content validity ratio)과 CVI(content validity index)를 산출할 것을 권장하고 있다. 특히 척도개발 연구에서는 문항의 적절성에 대한 전문가의 합의가 상당히 중요한 절차이므로 본 연구에서는 개별문항에 대한 CVR 값과 전체문항에 대한 CVI 값을 8명의 전문가로부터 도출하여 내용타당도를 검증하였다. 분석결과, 2문항을 제외한 개별문항들의 CVR 값은 .82~.99, 전체문항의 CVI 값은 .92로 나타나 Lawshe(1975)가 제시한 기준에 의거해 충분한 타당성이 있는 것으로 판단 할 수 있다. CVR 값이 낮게 나타난 2개의 문항(사무요원들의 옷차림과 용모가 단정하다, 주변 식당이용이 편리하다)에 대해서는 전문가들의 합의를 통해 최종적으로 설문문항에서 제외하였다. 즉, 예비조사, FGI, 내용타당도 비율검사의 3단계를 통해 여러 차례 정제된 26개의 문항을 활용하여 1차 연구를 시작하였다.

자료 분석

1차, 2차, 3차에 걸쳐 수집된 자료의 분석에 있어 통계적 유의수준(significant level: α)은 .05로 설정하였으며, 평행선 분석을 위한 Factor 8.1을 비롯하여 SPSS 21.0, Mplus 6.0를 통해 다음의 분석을 순차적으로 수행하였다.

첫째, 스포츠 지도사 연수 프로그램의 만족도 척도개발의 내용타당도(content validity)를 검증하기 위하여 Lawshe(1975)의 연구에서 나타난 내용타당도 검증 도구인 CVI(content validity Index)를 산출하였다.

둘째, 척도의 구성타당도 검증을 위하여 평행선 분석(parallel analysis) 및 탐색적 요인분석(exploratory factor analysis)을 실시하였다.

셋째, 척도의 수렴타당성(convergent validity) 및 판별타당성(discriminant validity)을 검증하기 위하여 확인적 요인분석(confirmatory factor analysis)를 실시하였다.

넷째, 척도의 예측타당성(predictive validity) 검토를 위해 전반적 만족도를 종속변수로 설정한 구조방정식 모형 분석(structural equation model)을 실시하였다. 이와 같은 절차를 도식화하면 다음의 <Fig. 1>과 같다.

View original
Fig. 1.
process of the study
KISS_2016_v27n2_281_f001.jpg

총 3차에 걸친 데이터 수집과정에서 발생한 결측치(missing value)는 각 차수 당 전체관측치의 5% 이내였으며, 이러한 결측치가 무선적(random)으로 발생하였는지의 여부를 판단하기 위해 Little(1988)이 제시한 MCAR 검정을 각 차수별로 실시하였다. 그 결과는 다음의 <Table 2>와 같이 각 차수에 발생한 결측치가 무선적으로 발생하였다고 판단할 수 있으므로, 완전정보최대우도법(full-information maximum likelihood)을 통해 모수(parameter)를 추정하였다.

View original
Table 2.
MCAR test
χ² df p
First 715.940 699 .320
Second 183.349 170 .229
Third 128.550 108 .086

연구결과

예비문항에 대한 문항분석 및 기술통계

체육지도자 자격검정·연수원에서 제공하는 연수프로그램의 서비스 만족도 측정문항의 적절성을 판단하기 위해서 문항별로 평균, 표준편차, 첨도, 왜도를 분석하였다. 분석결과 개별문항의 평균은 2.558~3.410사이에서 분포하였으며, 표준편차는 .835~1.196에서 분포하였다. Tak(1996), Song & Lee(2010)의 연구에서는 평균이 지나치게 극단의 값을 갖거나, 표준편차가 지나치게 작을 경우에는 삭제 또는 문항을 수정하는 것을 권고하였으며, 그 기준으로 평균은 1.7이하 또는 4.3초과, 표준편차는 .09이하를 제시하였다. 본 연구에서는 이 기준을 초과하는 문항은 존재하지 않았다. 첨도와 왜도와 관련해서도 Curran et al.(1996)가 제시한 기준에 의거하여 왜도 ±2 이하, 첨도 ±7이하를 기준으로 하여 판단한 결과 모든 문항이 적절한 왜도와 첨도를 가지고 있는 것으로 나타났다.

평행선 분석

탐색적 요인분석을 수행하기에 앞서 스포츠지도사 연수 프로그램 만족도를 구성하는 타당한 하위 요인의 수를 결정하기 위해 Factor 8.1를 활용한 평행선 분석(parallel analysis)을 실시하였다. 평행선 분석은 실제자료와 동일한 관측치의 수와 변수의 수를 가진 무선자료를 반복적으로 추출한 후 이를 바탕으로 한 상관행렬(correlation matrix)을 도출하고 이로부터 추출되는 고유값(eigen-value)을 실제자료의 고유값과 비교하는 방법으로 기존의 요인 수 결정방법보다 정확한 요인의 수를 결정할 수 있다는 장점을 가지고 있다(Horn, 1965; Hayton et al., 2004). 이와 같은 과정에서 무선자료의 상관행렬로부터 추출된 여러 개의 고유값의 평균은 결과적으로 요인의 수를 과도하게 추출하는 경향이 있으므로(Timmerman & Lorenzo–Seva, 2011), 일반적으로 95% 백분위 고유치를 사용한다. 최종적으로 실제자료의 고유값이 무선자료의 고유값보다 작아지는 점을 기준으로 요인수를 결정한다. 평행선 분석 결과, 4번째 요인부터 무선자료의 95% 백분위 고유값이 실제 고유값보다 크게 나타났으므로 본 연구에서는 요인의 수를 3로 고정하여 탐색적 요인분석을 수행하였다. 평행선 분석 결과는 다음의 <Table 3>, <Fig. 2>과 같다.

View original
Table 3.
Parallel Analysis
Factor number 95% Eigen-value of Random Data Real Eigen-value Decision
1 1.829 15.922
2 1.697 2.510
3 1.608 1.622 Accept
4* 1.529 1.273
View original
Fig. 2.
Parallel analysis
KISS_2016_v27n2_281_f002.jpg

탐색적 요인분석

측정하고자 하는 개념이 측정도구에 의해 적절하게 계량화 되었는지 알아보기 위해 1차 조사를 통해 수집된 344부의 설문지를 통해 탐색적 요인분석(EFA)을 실시하였다. 요인추출 방법은 주축요인추출(principle axis factoring), 회전방법은 사각회전(oblique)방법 중의 하나의 직접 오블리민(direct oblimin)방법을 사용하였다. 그 결과는 다음의 <Table 4>와 같다. 분석결과, 총 26개의 문항 중 4개의 문항에서 낮은 요인 부하량(factor loading)이 발견되었으며, 2개의 문항에서는 다수의 요인에 높은 요인 부하량(double loading)이 발견되었다. 이에 6개의 문항을 제거한 후 나머지 20개의 문항을 사용해 요인 분석하여 3개의 요인을 추출하였다. 추출된 요인은 전체 변량의 약 70%를 설명하는 것으로 나타났으며, 각각 ‘행정지원’ 요인, ‘교과내용’ 요인, ‘교육환경’ 요인으로 명명하였다. 또한 각 요인의 신뢰도 역시 .7을 상회하여 문항의 내적일관성 역시 확보되었다(Nunnally, 1978).

View original
Table 4.
Exploratory factor analysis (pattern matrix)
Administrative
Support
Educational Contents Educational
Environment
communality
Office staffs will endeavor to assist the trainees on a voluntary basis. .952 -.029 -.029 .837
Office staffs were response to busy trainees' demands. .897 .099 -.070 .845
Office staffs provide immediate services to trainees. .889 -.028 -.001 .753
Office staffs show interest in the problems of the trainees. .844 -.089 .040 .666
Office staffs have professional working knowledge on issues. .840 .023 -.082 .646
Office staffs can rely to believe. .785 .042 .060 .727
Office staffs were seeking the convenience of trainees. .659 .035 .088 .551
Office staffs show personal interest in trainees .514 .106 .166 .503
Lecturer of the training was adequate. -.050 .975 -.074 .817
The instructor suggested appropriate training. -.013 .901 -.044 .754
Training programs have been helpful to understand the sports leaders. .010 .842 .049 .770
I chatted with the instructor sufficient communications about the lecturers. .041 .820 -.050 .668
Educational programs have helped to foster a knowledge for sports leaders. .045 .795 .067 .749
Instructors was teaching student-oriented education. -.023 .792 -.009 .597
Training programs have been helpful in career exploration. .044 .616 .143 .547
Training programs were conducted prior notice. .103 .544 .149 .514
Training institution holds a state-of-the-art equipment. -.032 -.056 .940 .790
Training institution is visually good to see. .003 .016 .887 .807
Classroom equipment and facility level was excellent. .038 .183 .672 .671
Facilities and atmosphere was suitable for the study. .223 .071 .560 .595
Eigen Value 10.879 1.838 1.097
Variance% 54.396 9.191 5.485
Cumulative% 54.396 63.587 69.072
Cronbach's α .796 .811 .896

KMO=.946 Bartlett’s χ²=4171.320, df=190, p=.000

확인적 요인분석

탐색적 요인분석을 통해 정제된 20개의 항목으로 구성된 3개의 구성차원에 대해 새로운 표본 집단에 설문지를 배포하여 코딩한 후 Mplus 6.0을 활용해 확인적 요인분석을 실시하였다. 설정된 확인적 요인분석 모형의 적합도를 판단하기 위해 CFI, TLI, RMSEA, SRMR 지수를 산출하였다. 분석결과 개별요인들의 RMSEA값이 Hu & Bentler(1999)가 제시한 기준(.08 이하)에 비해 다소 높은 것으로 나타났다. 하지만 이러한 기준은 Hu & Bentler(1999)의 논문에서 직접 밝히고 있듯 절대적 기준이 아니다. 따라서 전반적인 적합도 지수를 동시에 고려해 판단해야 한다.

확인적 요인분석 과정에서 행정지원 요인 중 20번 문항의 경우, 지나치게 낮은 요인 부하량을 보이고 있으므로 삭제하였다. 다음으로 문항들을 다시 확인하여 문항 간 상관성이 높다고 판단되는 문항끼리 오차공분산을 허용하는 방법을 사용하였다. 이에 교과내용에서 3개, 행정지원 요인에서 3개의 오차공분산을 허용하였다. 확인적 요인분석 결과는 다음의 <Table 5>과 같다.

View original
Table 5.
Confirmatory Factor Analysis
χ² df p RMSEA(90%CI) CFI TLI SRMR
Educational Environments 7.632 2 .022 .094(.031~.169) .992 .975 .016
Educational Contents 45.679 17 .000 .073(.048~.099) .987 .979 .019
Administrative Support 41.331 11 .000 .093(.064~.125) .982 .965 .024
Total 396.424 149 .000 .072(.064~.081) .948 .941 .048

타당도와 신뢰도

개별단위의 확인적 요인분석 후, 다음으로 요인에 대한 수렴타당성(convergent validity)과 판별타당성(discriminant validity)을 검정하였다. 수렴타당성은 개념신뢰도(C.R) 값이 .7이상 평균분산추출(AVE) 값이 .5이상일 때 적절하며, 판별타당성은 평균분산추출 값이 상관계수의 제곱보다 클 때 적절하다(Fornell & Lacker, 1981). 분석 결과, 앞서 제시한 기준을 모두 충족하고 있어 수렴타당성과 판별타당성이 확보되었음을 알 수 있다. 이상의 분석 결과들은 다음의 <Table 6>, <Table 7>로 요약하여 정리하였으며, 확인적 요인분석 결과 도출된 요인구조는 다음의 <Fig. 3>와 같다.

View original
Table 6.
Convergent Validity and Discriminant Validity
Contents Estimate se C.R AVE
Training institution holds a state-of-the-art equipment. .843 .021 .884 .636
Training institution is visually good to see. .870 .019
Classroom equipment and facility level was excellent. .861 .020
Facilities and atmosphere was suitable for the study. .582 .041
Lecturer of the training was adequate. .787 .023 .966 .785
The instructor suggested appropriate training. .868 .016
Training programs have been helpful to understand the sports leaders. .864 .016
I chatted with the instructor sufficient communications about the lecturers. .866 .016
Educational programs have helped to foster a knowledge for sports leaders. .877 .015
Instructors was teaching student-oriented education. .801 .022
Training programs have been helpful in career exploration. .803 .022
Training programs were conducted prior notice. .857 .017
Office staffs will endeavor to assist the trainees on a voluntary basis. .835 .020 .945 .713
Office staffs were response to busy trainees' demands. .897 .014
Office staffs provide immediate services to trainees. .742 .027
Office staffs show interest in the problems of the trainees. .816 .021
Office staffs have professional working knowledge on issues. .808 .022
Office staffs can rely to believe. .737 .028
Office staffs were seeking the convenience of trainees. .822 .021
View original
Table 7.
Correlation analysis
administrative support educational contents educational environments
1 1
2 .357*** 1
3 .371*** .524*** 1

***p<.000

View original
Fig. 3.
confirmatory factor analysis
KISS_2016_v27n2_281_f003.jpg

예측타당성 검토

2차 연구를 통해 완성된 척도에 대한 예측타당성을 검정하기 위해 본 연구에서는 서비스 및 만족 관련 선행연구에서 가장 빈번하게 사용되는 종속변수인 전반적 만족도를 활용하였다(Kim, 2010; Park & Kim, 2012). 즉, 본 연구에서는 척도의 예측타당성 여부를 검정하기 위해 전반적 만족도를 종속변수로 설정하고 개발된 스포츠 지도사 연수 프로그램 만족의 하위변인을 독립변수로 설정한 구조방정식 모형분석을 실시하였다. 전반적 만족도는 Park & Kim(2012)Yi & La(2003)의 연구에서 사용된 문항을 사용하였다. 그 결과 <Table 8>, <Table 9>와 같이 설정된 인과관계 모형이 적절한 것으로 나타났으며, 교육프로그램이 전반적 만족도에 영향을 미치는 경로에서만 경로계수가 낮게 도출되었으며, 95% 신뢰구간에서 통계적으로 유의하지 않은 것으로 나타났다. 하지만, 이 경로의 검정통계량 값과 p-value를 살펴보았을 때, 영향력이 전혀 없다는 영가설 역시 지지하기 어렵다는 점과 전체 설명력이 약 60.4%정도 되는 점을 동시에 감안한다면, 본 연구에서 제시하는 스포츠지도사 연수프로그램 서비스 만족도 평가를 위한 척도의 예측타당성이 일정부분 입증되었다고 판단할 수 있다.

View original
Table 8.
The Results of Model Fit
χ² df p RMSEA(90%CI) CFI TLI SRMR
Suitable index 424.764 165 .000 .078(.068~.087) .937 .927 .060
View original
Table 9.
The Results of Path Analysis
b se β t p
Administrative support→ Overall satisfaction .307 .075 .230 4.094 .000
Educational contents → Overall satisfaction .147 .077 .113 1.908 .056
Educational environments → Overall satisfaction .747 .091 .539 8.177 .000

R2=.604

결론 및 제언

2015년은 변경·시행된 스포츠지도사 연수과정의 첫 출발점이다. 자격제도 취득절차의 변경과 더불어 연수교과과정이 과정별, 수준별, 대상별로 다원화되었다. 이에 변경된 제도에서 연수교육의 교육적 효과성과 연수원 운영의 효율성을 제고해야 함이 절실한 과제가 되었다. 따라서 스포츠지도사 연수과정의 프로그램 평가는 반드시 필요한 부분이다. 하지만 그동안 객관적인 측정도구가 제시되지 못하여 명확한 성과 개선을 위한 관리가 어려웠던 것이 사실이다. 이에 본 연구에서 개발된 ‘학습자 관점’의 교육서비스 만족도 평가척도는 스포츠지도사 연수기관의 프로그램 개선과 질적 발전을 위한 기초자료를 제공하게 도와준다는 점에서 그 의의가 있다.

본 연구의 시사점은 다음과 같다. 첫째, 본 논문에서 제시한 스포츠지도사 연수과정의 교육 서비스 만족도 척도는 자격제도의 질적 향상을 위한 실증자료를 제공할 수 있다는 점이다. 스포츠지도사 자격 제도의 문제점을 진단하고 이에 대한 개선책을 제시한 선행연구들은 대부분이론에 대하 개념적 연구와 사례연구에 국한되어 있다(Kim et al., 2001; Park et al., 2013; Park & Park, 2014; Oak, 2005). 하지만, 연수교육프로그램의 객관적 평가로부터 파생되는 프로그램의 질적 향상을 위해서는 실증적 데이터를 활용한 연구가 반드시 필요하므로(Garvin, 1994), 본 연구에서 개발된 이러한 현실적 필요성에 부합한다고 할 수 있다.

둘째, 본 연구는 교육프로그램의 수요자인 연수생 관점에서 척도개발이 이루어 졌다. 즉, 기존에 운영자 중심의 제도 운영에서 벗어나 연수생이 직접 지각하는 교육서비스 만족도 평가 요인을 도출해 낸 것이다. 이는 연수생의 요구와 욕구 반영을 통해 교육프로그램의 질적 향상과 개발과 운영에 도움을 줄 수 있으며, 연수원의 주기적 성과 측정 및 피드백 제공에 기여할 수 있을 것이다(Park & Kim, 2012).

이상의 시사점에도 불구하고 본 연구는 내재된 한계점이 존재한다. 첫째, 본 연구는 서울과 경기지역의 연수원을 대상을 대상으로 연구가 진행되었으므로 전체 연수과정 및 프로그램을 측정하는 척도로 일반화하기에는 다소 무리가 있다. 실제로, 연수프로그램의 개별 특성에 따라서 연수생들의 평가의 기준이 달라질 수 있기 때문이다. 따라서 후속연구에서는 각 스포츠지도사의 종류(전문, 생활, 건강운동관리사, 노인, 유소년, 장애인)와 수준(1급/2급, 일반과정, 특별과정) 등과 같이 세부적인 과정의 특징이 포함된 문항을 개발하는 연구가 필요할 것이다.

둘째, 본 연구는 Kirkpatrick(1996)의 학습자 관점의 반응평가에 제한되어 있다. 후속 연구에서는 다른 3가지 수준의 평가 즉, 학습평가(수행평가), 행동평가(직무수행), 결과평가(사회적 공헌도) 등을 모두 포함하는 프로그램 평가가 요구된다. 이는 연수프로그램만이 아니라 자격제도 전반에 관한 다각적 접근과 평가를 가능하게 할 것이다.

References

1 

Cha, S. R., et al., & Chae, Y. S. (1999) A study on the measurement of educational service quality Korean Journal of Economics and Management , 17(2), 81-110 .

2 

Cho, M. H. (2008) A review of the national coaching certification for the professionalization of sport coaches Journal of Sport and Leisure Studies , 33(1), 51-61 .

3 

Choi, M. J., Ku, J. Y., et al., & Kim, B. S. (2013) Proposal for development of sport for all policy in the Park Geun-hye Government Journal of Sport and Leisure Studies , 54(1), 467-482 .

4 

Curran, P. J., West, S. G., et al., & Finch, J. F. (1996) The robustness of test statistics to nonnormality and specification error in confirmatory factor analysis Psychological methods , 1(1), 16 .

5 

Fornell, C., et al., & Larcker, D. F. (1981) Structural equation models with unobservable variables and measurement error: Algebra and statistics Journal of marketing research , 382-388 .

6 

BUSINESS CREDIT-NEW YORK- (Garvin, D. A., Vol. 96) (1994) Garvin, D. A. (1994). Building a learning organization. BUSINESS CREDIT-NEW YORK-, 96, 19-19. , Building a learning organization, p. 19

7 

Harvey, L. (2001) Student feedback: a report to the higher education funding council for England Centre for Research and Quality Birmingham: the University of Central England .

8 

, Hawes, J. M., & Glisan, G. (1983). A marketing approach to student evaluation of a department of marketing. In AMA Educators' Proceedings (pp. 159-163). , American Marketing Association, , Chicago., , 1983, A marketing approach to student evaluation of a department of marketing, In, AMA Educators' Proceedings, 159, 163, American Marketing Association, Chicago

9 

Hayton, J. C., Allen, D. G., et al., & Scarpello, V. (2004) Factor retention decisions in exploratory factor analysis: A tutorial on parallel analysis Organizational research methods , 7(2), 191-205 .

10 

Horn, J. L. (1965) A rationale and test for the number of factors in factor analysis Psychometrika , 30(2), 179-185 .

11 

Hu, L. T., et al., & Bentler, P. M. (1999) Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives Structural equation modeling: a multidisciplinary journal , 6(1), 1-55 .

12 

Jin, Y. S., Cho, M. H., et al., & An, J. K. (2003) A review of the professionalization of community sport coaches Journal of Sport and Leisure Studies , 20(1), 203-213 .

13 

Jung, E. J., et al., & Lee, S. H. (2010) Designing evaluation questionnaire for validating learners' satisfaction of education programs: A case of the ‘K Institute for health and welfare’ in Korea The Korean Journal of Educational Methodology Studies , 22(3), 1-24 .

14 

Kapp, S. A., et al., & Propp, J. (2002) Client satisfaction methods: Input from parents with children in foster care Child and Adolescent Social Work Journal , 19(3), 227-245 .

15 

Kaufman, R., Keller, J., et al., & Watkins, R. (1996) What works and what doesn't: Evaluation beyond Kirkpatrick Performance+ Instruction , 35(2), 8-12 .

16 

Kim, D. J., Jung, C. H., Na, Y. I., et al., & Cho, S. H. (2001) The study about reformation of the training program of sports for all leaders The research institute of physical edcation , 22(1), 1-12 .

17 

Kim, K. O. (2010) Consumption life well-being, how can we measure it? Journal of Consumer Studies , 21(3), 167-194 .

18 

Kim, M. R., et al., & Hwang, D. S. (2005) Development of consumer satisfaction scale for the national university educational services Journal of Consumer Studies , 16(3), 25-43 .

19 

Kim, Y. S. (2009) Development and evaluation of the client satisfaction scale Journal of Korean Social Welfare Administration , 11(3), 127-160 .

20 

Kirkpatrick, D. (1996) Revisiting Kirkpatrick's four-level model Training & Development , 50(1), 54-57 .

21 

Lawshe, C. H. (1975) A quantitative approach to content validity1 Personnel psychology , 28(4), 563-575 .

22 

Lee, S. H. (2005) Dimension classification and questionnaire design criteria for reaction evaluation of educational/training programs Journal of Educational Technology , 21(3), 187-214 .

23 

(2014) The Graduate School of Yonsei University Lee, S. Y. (2014). Review of qualification system (2015) on ‘Sports Instructor for Senior’. Master. Dissertation, The Graduate School of Yonsei University. , LeeS. Y., Review of qualification system (2015) on ‘Sports Instructor for Senior’, Master. Dissertation

24 

Little, R. J. (1988) A test of missing completely at random for multivariate data with missing values Journal of the American Statistical Association , 83(404), 1198-1202 .

25 

Ministry of Culture, Sports and Tourism (2013a) National life sports promotion master plan Seoul: Ministry of Culture, Sports and Tourism .

26 

Ministry of Culture, Sports and Tourism (2013b) Sports Vision 2018 Seoul: Ministry of Culture, Sports and Tourism .

27 

Ministry of Culture, Sports and Tourism (2015a) Current state of physical education leader(1947~2014) .

28 

Ministry of Culture, Sports and Tourism, Korea Sports Promotion Foundation (2015b) 2015 Operation guideline of physical education leader training .

29 

Ministry of Culture, Sports and Tourism, Korea Sports Promotion Foundation (2015c) 2015 operation briefing session brochure of physical education leader training institution .

30 

Psychometric theory (Nunnally, J. C., (2nd ed.)) (1978) New York: McGraw-Hill Nunnally, J. C. (1978). Psychometric theory (2nd ed.). New York: McGraw-Hill.

31 

Oak, J. S. (2005) Study of the development of new policies and strategies to improve educational preparation, training, and certification systems for the exercise specialist in Korea Exercise Science , 14(1), 87-104 .

32 

Parasuraman, A., Zeithaml, V. A., et al., & Berry, L. L. (1988) Servqual Journal of retailing , 64(1), 12-40 .

33 

Park, B. D., Baek, S. Y., et al., & Kim, K. I. (2013) The exploring for cultivating possibility to adapted physical educator by reorganization on national sports instructor Korean Journal of Adapted Physical Activity , 21(4), 27-39 .

34 

Park, J. H., et al., & Park, S. J. (2014) A study in improving the qualification policy for sports instructors Journal of Korean Society of Sport Policy , 12(1), 77-85 .

35 

Park, K. Y., et al., & Kim, H. S. (2012) EEPERF(Experiential Education Performance): An instrument for measuring service quality in experiential education Journal of Distribution Science , 10(2), 43-52 .

36 

Handbook of human performance technology: Principles, practices, and potential. Pfeiffer (Pershing, J. A.) (2006) Pershing, J. A. (2006). Handbook of human performance technology: Principles, practices, and potential. Pfeiffer.

37 

Song, B. R., et al., & Lee, K. H. (2010) The development and validation of the Korean career beliefs inventory(K-CBI) The Journal of Career Education Research , 23(2), 1-22 .

38 

Psychological testing (Tak, J.) (1996) Seoul: Hakjisa Tak, J. (1996). Psychological testing . Hakjisa. Seoul.

39 

Timmerman, M. E., et al., & Lorenzo-Seva, U. (2011) Dimensionality assessment of ordered polytomous items with parallel analysis Psychological methods , 16(2), 209 .

40 

Yi, Y. J., et al., & La, S. A. (2003) The relative effects of three dimesions of service quality on CS -A comparative study of existing vs. potential customers- Korea Marketing Review , 18(4), 67-97 .

41 

Yoo, S. S. (2003) Strengthening of sport educator's competitiveness through enhancement of teaching expertise Journal of Sport and Leisure Studies , 20(1), 153-166 .

Appendices

〔Appendix〕

View original
Factor Number Items
Administrative Support 1 Staff members assisted the trainees on a voluntary basis.
2 Staff members actively responded to the clients' requests.
3 Staff members provided timely service to the trainees.
4 Staff members showed their genuine interest in issues faced by the trainees.
5 Staff members had professional working knowledge.
6 Staff members were reliable and trustworthy during the training session.
7 Staff members tried to provide better service convenience to trainees.
Educational Contents 8 The content of the training program was relevant for trainees.
9 The instructors covered the relevant topics for trainees.
10 The training program was helpful to understand in becoming a sport leader.
11 The instructors were more than willing to discuss the relevant issues with trainees.
12 The training program was helpful in fostering my knowledge as a sport leader.
13 The instructors adopted a student-centered teaching style.
14 The training helped me to understand more about a sport leader as a career option.
15 The training program was conducted as announced.
Educational
Environment
16 The training institution had a state-of-the-art teaching-related equipment.
17 The visual aspects of the training institution was satisfactory.
18 The quality of classroom facility and teaching equipment was excellent.
19 The educational environment and facilities at the training institution was suitable for trainees.

Scale: 5-point LIkert scales(1 = strongly disagree, 2 = disagree, 3 = neutral, 4 = agree, 5 = strongly agree)

Submission Date
2016-02-12
Revised Date
2016-04-04
Accepted Date
2016-04-12

logo