스마트폰 단안카메라를 활용한 3D 동작 분석 시스템 정확성 검증
Accuracy Verification of 3D Motion Analysis System Using Smart-phone Monocular Camera
Article information
Abstract
[목적]
본 연구는 스마트폰 단안카메라로 촬영된 영상으로 인공지능에 기반한 사용자 동작 인식 기술을 통해 산출된 3차원 동작 데이터의 정확성을 검증하여 신체활동 수행 동작의 측정과 피드백 제공의 신뢰도를 제고할 수 있는 애플리케이션 개발 가능성을 탐색하는 데 목적을 두고 있다.
[방법]
준지도 학습(Semi-supervised learning) 방식으로 학습된 인공지능 기반 3D 동작 분석 시스템의 정확성을 확인하기 위해 상용화된 3차원 적외선 동작분석 시스템을 활용하여 3개 운동면상의 동작, 관절 움직임이 제한된 동작, 이동 범위가 넓고 빠른 동작을 측정하고 비교하였다.
[결과]
3D 동작 분석 애플리케이션을 통해 산출된 관성면상의 동작과 시상면상의 동작은 매우 높은 측정 정확성 보였지만 카메라로 직접 촬영을 하지 못한 수평면 상의 동작 측정 정확성은 관상면, 시상면 상의 동작에 비해 상대적으로 낮게 나타났다. 이동 동작에서 3D 동작 측정 정확도는 보통 수준으로 나타났으며, 관절 움직임이 제한 된 동작의 경우 3D 동작 측정 정확성이 낮게 나타났다.
[결론]
움직임이 제한된 동작과 이동 동작의 감지율을 높일 수 있는 알고리즘 개선이 필요하지만, 스마트폰 단안카메라를 활용한 3D 동작 분석 시스템의 정확성이 매우 높다는 것을 확인할 수 있었다. 개발된 3D 동작 분석 시스템이 온라인 체육수업 현장에 활용되기 위해서는 체육과 교육과정의 내용 체계와 신체활동의 내용 분석을 통해 프로그램에 포함되는 신체활동 유형을 포괄적으로 구성하는 노력이 추가되어야 할 것이다.
Trans Abstract
PURPOSE
This study aimed to verify the accuracy of three-dimensional (3D) motion data produced through artificial intelligence-based user motion recognition technology with images obtained using a smartphone monocular camera. This was done to explore the possibility of developing an application that can improve the reliability of the measurement of physical activity performing motions and feedback provision.
METHODS
To check the accuracy of the artificial intelligence-based 3D motion analysis system that utilized a semi-supervised learning method, a commercialized 3D infrared motion analysis system measured and compared motions on three movement planes, motions with limited joint movement, and fast motions in a wide moving range.
RESULTS
The motions on the coronal and sagittal planes produced through the 3D motion analysis application showed very high measurement accuracy; however, the accuracy of the measurement of motions on the horizontal plane, which could not be measured directly with a camera, was relatively lower than that of the coronal and sagittal planes. Accuracy in measuring 3D motion was moderate in moving motions and low in motions with limited joint movement.
CONCLUSIONS
For the developed 3D motion analysis system to be used in online physical education, the types of physical activities included in the program should be comprehensively composed through the analysis of the content system of the physical education curriculum and the resultant physical activities.
서론
미래 사회에 유·청소년의 삶에서 테크놀로지가 차지하는 비중은 더욱 커지고, 학습을 위한 미디어와 다양한 디지털 도구도 증가할 전망이다. 미래 사회의 디지털화, 인공지능, 로봇, 정보 통신 기술의 발달은 스포츠 체험을 확대할 수 있고, 학교에서 접하지 못하는 스포츠를 다양한 테크놀로지를 활용해 학습할 수 있다는 측면에서 긍정적으로 평가받고 있다(Park & Yu, 2017).
그러나 코로나 19로 인해 원격 체육수업이 증가하면서 다양한 온라인 학습 도구에 대한 의존도가 높아지고 테크놀로지 활용에 대한 기대는 컸지만, 실제 원격 체육수업은 기대를 충족하지 못하는 것으로 나타났다(Son & Lee, 2020). Choi와 Cho (2021)의 연구에 따르면, 원격 체육수업 진행 방식의 79%가 콘텐츠 활용 중심수업이고, 과제 수행중심은 14.8%, 실시간 쌍방향 중심 수업은 6.2%로 조사되었다. 또한 온라인 체육수업의 형태는 홈트레이닝 형태가 47.6%, 이론수업형이 26.2%, 신체활동을 하는 체육수업의 형태가 14.3%인 것으로 나타났다. 이처럼 원격 체육수업이 콘텐츠 활용 중심이고, 홈트레이닝수업 비중이 상대적으로 높지만, 원격 체육수업의 단점으로 신체활동 부족(34.8%), 한정적인 체육수업 내용(31.9%), 학생들의 참여도 하락(28.6%) 등이 지적되고 있다.
물론 많은 체육교사들이 학생들의 적극적인 신체활동 참여를 유도하기 위해 기본 강의에 다양한 영상과 자료를 활용하여 영상을 제작하거나 학습한 내용에 대한 O, X문제, 댓글 달기, 토론하기 등을 적용하였으며, 직접 촬영한 영상, 유명 유튜버의 영상, 학교체육진흥회에서 안내한 영상 등을 활용하여 학생이 흥미를 가지고 수업에 참여할 수 있도록 과제를 제시하기도 하였다. 그러나 다인수의 학생을 온라인상에서 만나야 하기 때문에 학생이 학습할 때 직면하는 학습 곤란의 이유를 파악하는 데 어려움을 겪고 있다. 특히 학생들이 적극적인 댓글과 반응을 보이지 않아 체육교사 자신의 수업에 대한 반성과 개선은 여의치 않았고, 학생 신체활동에 대한 구체적인 확인이 매우 복잡하고 어려워 학생이 실천한 내용을 파악하는 데 많은 노력을 기울여야 했다. 따라서 과제를 제시하고, 채팅방에서 학생과 상호 적극적인 활동을 중심으로 피드백 제공하며, 과제에 대한 구체적인 피드백을 제시하는 데 많은 노력과 시간을 투자하기 때문에 유형에 따른 적절한 대처가 필요한 상황이다(Jeong & Youn, 2020).
한편, 테크놀로지를 활용해 학생들의 신체활동 활성화를 위한 노력은 다양한 분야에서 이루어지고 있다. 대표적으로 초등학교에 보급되어 운영되고 있는 ‘가상현실 스포츠실’은 직접 몸을 움직이거나 화면의 동작을 따라 하는 ‘체감형 게임’을 통해 시·공간의 제약에서 벗어나 언제, 어디서나 스포츠를 즐길 수 있게 해주었다. 하지만 ‘가상현실 스포츠실’은 단순 오락실 형태의 용도로 활용될 가능성이 높다는 문제점을 갖고 있으며, 좁은 공간으로 인한 이용자수의 제약, 객체 중심 플랫폼으로 인한 지도의 한정성, 교육과정에 맞는 평가의 어려움 등이 한계로 지적되고 있다(Park, Kim, & Bae., 2020). 아울러 ‘가상현실 스포츠실’은 신체활동 기회 보장, 체육소외학생들의 수업 참여 동기부여, 수업준비 및 운영 지원에 효과적이지만, 프로그램의 낮은 전이 수준과 기술력, 장비 유지 및 관리, 교육과정과의 낮은 연계성, 실제학습시간 부족은 문제점으로 나타나고 있다(Park & Youn, 2020).
코로나 19와 미세먼지 등 외부 환경으로 인해 학교 체육에 테크놀로지를 접목하려는 시도는 다양하게 이루어지고 있지만, 적용되는 테크놀로지 기술 수준은 학생들의 흥미를 유발하고, 학습내용을 전달하며, 학습 과정을 전반적으로 지원하는 수준에 머물러 있다. 즉 학생 개개인에게 신체활동 수행 과정 및 결과에 대해 효율적이고 효과적인 피드백을 제공할 수 있고, 학습자 중심의 플랫폼으로 역할을 하며, 교육과정과 연계된 평가의 기능을 수행하는 데는 한계를 보이고 있다. 이러한 기존 기술의 한계를 극복하기 위해서 학생들의 수행을 정확하고 동시다발적으로 측정하고 데이터화 할 수 있는 대중적인 ‘동작 분석 시스템’의 필요성이 대두되고 있다. 현재 스포츠과학 분야에서는 2대 이상의 카메라를 이용하거나 2대 이상의 관성 센서를 이용한 3차원 동작 분석 시스템이 사용되고 있다. 이 시스템은 구입과 운영에 많은 예산이 소요되며, 무엇보다 동작 분석을 위한 준비와 데이터 산출에 많은 노력과 시간이 필요하다. 기존 3차원 동작 분석시스템은 정확한 동작 측정이 가능하여 과학적인 데이터로서 활용 가능하지만, 체육수업처럼 다인수의 학생들의 동작을 분석하여 개인별 수행 정도를 평가하고, 피드백을 제공하기에는 적합하지 않다.
최근 3차원 동작분석 시스템의 단점인 가격과 활용을 개선한 스마트폰 동작 분석 애플리케이션이 개발되어 사용되고 있다. Eom 등(2014)과 Charltona 등(2015)의 연구에서는 스마트폰의 관성센서를 이용하여 인체 움직임을 분석하는 시도를 하였다. 이러한 방식은 일부 관절의 움직임만을 측정하는 한계를 지녔으며, 특정 동작에 한해서면 활용이 가능하였다. Aroojis 등(2021)과 Mousavi 등(2020)의 연구에서는 스마트폰 카메라와 애플리케이션을 이용해 동작 분석을 시도하였으나 실시간으로 측정이 안되거나, 하지에만 한정된 분석이 되었다. 현재 개발되어 사용되고 있는 다양한 애플리케이션은 스마트폰의 단일 카메라를 활용하여 특정 동작을 2차원 또는 3차원으로 분석할 수 있다. 그러나 기존 애플리케이션은 주로 골프, 테니스, 농구, 홈트레이닝, 러닝 등 한정된 종목에서만 활용가능하고, 기 개발된 스마트폰 애플리케이션도 다양성이 부족하여 학교체육 수업에 적용하는 데 한계가 있다. 따라서 학교체육 교육과정과 연계한 다양한 종목 교육을 하기 위해서는 특정 종목에 구애받지 않는 애플리케이션 개발이 필요하다.
본 연구는 스마트폰 단안카메라로 촬영된 영상으로 인공지능에 기반한 사용자 동작 인식 기술을 통해 산출된 3차원 동작 데이터의 정확성을 검증하여 신체활동 수행 동작의 측정과 피드백 제공의 신뢰도를 제고할 수 있는 애플리케이션 개발 가능성을 탐색하고자 한다. 이는 학교체육에서 다양한 종목을 바탕으로 교육과정 성취기준과 평가와 연계된 프로그램 개발에 기초가 될 것이다.
연구 방법
3D 동작 분석 시스템 구성
본 연구에서 개발한 3D 동작 분석 시스템은 스마트폰 단안카메라로 촬영된 2D 영상으로 인공지능에 기반한 사용자 동작 인식 기술을 통해 3D 동작을 산출한다.
본 시스템은 스마트폰으로 촬영되는 영상(30frames/s)을 통해 동작 시연자의 관절 포인트를 2D 데이터로 산출하는 단계<S110>, 실시간 2D 피드백을 제공하고, 영상 데이터를 서버로 송신하는 단계<S120>, 서버에 내장되어 있는 프로그램으로 영상 데이터로 3D 데이터를 산출하고 스마트폰으로 송신하는 단계<S130>, 동작 시연자의 동작이 끝난 후 최종적인 3D 기반의 2차 피드백을 제공하는 단계<S140>로 구성된다<Figure 1>.
3D motion analysis flowchart
<S110>단계에서는 Google에서 제공하는 ML Kit Pose API 기반의 2차원 관절인식 인공지능을 모바일 안드로이드 환경에 맞게 사용하였으며, 이를 통해 시연자의 동작에 대해 22개 관절 X,Y 좌표 값을 카메라 프레임마다 실시간으로 추출한다.
<S120>단계에서는 시스템 데이터베이스에 저장된 동작 수행 데이터를 운동프로그램 설계자가 입력한 각 동작별 정답 데이터와 비교하여 1차적인 2D 피드백을 실시간으로 제공함과 동시에 영상 데이터를 관리자 서버(GPU) 단말에 전송한다.
<S130>단계에서는 서버에 내장되어 있는 준지도 학습(Semi-supervised learning) 방식으로 학습된 인공지능 기반 자체 프로그램을 통해 동작 시연자의 관절 포인트 깊이 값을 추론하여 3D 관절 값을 산출하여 스마트폰으로 재전송한다<Figure 2>.
Example of extracting 3D coordinates from a 2D image taken with a smartphone monocular camera
<S140>단계에서는 서버 단말로 부터 수신한 3D 관절 값을 기초로 사용자의 개선점을 3D 애니메이션으로 제공한다.
3차원 동작 구현 정확성 검증 방법
1. 연구 대상자
개발된 스마트폰을 활용한 3D 동작 분석 시스템의 정확성을 검증하기 위해 신체장애가 없는 20대 초반 성인 남성 5명(23.0±1.4세)과 20대 초반 성인 여성 5명(21.9±1.1세)을 선정하였다.
2. 동작 선정
3D 동작 분석 시스템 정확성을 검증하기 위해 전문가 회의를 통해 5가지 동작이 선정되었다. 동작 분석 전문가, 프로그램 개발자, 중등학교 체육교사, 학교체육 전문가가 동작 선정을 위한 회의에 참가하였으며, 스마트폰을 활용한 3D 동작 분석 시스템의 3 방향 운동면(관상면, 시상면, 수평면)에 대한 동작 측정 정확성을 확인하고, 한계점을 밝히기 위한 동작으로 스쿼트, 푸쉬업, 숄더 프레스, 사이드 스텝, 국민 체조 몸통돌리기 동작을 선정하였다. 각각의 동작은 개발된 3D 동작 분석 시스템이 다양한 조건의 동작을 정확하게 측정하는지 확인하기 위해 3개 운동면 상의 동작과 관절 움직임이 제한된 동작, 이동 범위가 넓고 빠른 동작을 포함하도록 구성하였다.
3. 측정 도구 및 방법
동작의 정확한 측정을 위해 적외선 카메라 6대(Optitrack prime13, USA)를 사용하였다. 연구 대상자에게 실험 목적, 예상되는 위험과 이익, 개인정보의 내용 및 관리 방법에 대해 설명을 하고 연구 참여 동의를 얻었다. 연구에 동의한 피험자는 동작 분석 전용 복장으로 환복을 한 후 인체 주요 관절점에 39개의 마커를 부착하였다. 피험자는 본 연구에서 선정한 5개 동작에 대해 설명을 듣고 연습을 하였다. 스쿼트, 푸쉬업, 숄더 프레스, 사이드 스텝은 총 5회 반복하여 측정하였으며, 국민 체조는 전방에 스크린을 보며 1회 측정하였다. 모든 동작은 개발된 시스템이 설치된 스마트폰을 활용하여 연구 대상자의 정면, 45도 측면, 90도 측면 1m 높이에서 촬영하였으며, 동시에 3차원 동작 분석 장비를 통해 스마트폰과 동일한 30Hz로 촬영하였다.
4. 분석 변인
관상면 상의 동작 정확성을 분석하기 위해 숄더프레스 팔꿈치 각도와 어깨 각도를 측정하였다. 시상면상의 동작 정확성을 분석하기 위해 스쿼트 무릎 각도, 푸쉬업 팔꿈치 각도를 측정하였다. 수평면 상의 동작 정확성을 분석하기 위해 국민체조 몸통 돌리기 동작의 몸통 각도를 측정하였다. 이동 동작의 동작 정확성을 측정하기 위해 사이드 스텝 양 발 각도를 측정하였으며, 움직임의 변화가 적은 동작의 동작 정확성을 측정하기 위해 푸쉬업 무릎 각도를 측정하였다. 각 동작의 각도는 <Figure 3>과 같이 정의하였다.
Analysis variables (a: Shoulder & elbow angles in shoulder-press, b: knee angle in squat, c: knee angle in push-up, d: leg angle in side-step, e: trunk angle in torso rotation)
5. 데이터 처리
관상면상의 동작 측정 정확성을 확인하기 위해 측정된 총 5번의 숄더 프레스 동작 중 첫 번째 마지막 동작을 제외한 2~4번째 동작 우측 팔꿈치 각도와 우측 어깨 각도를 산출하였다. 팔꿈치의 각도는 손이 가장 높이 올라가 팔꿈치 가장 많이 펴지는 지점을 기준으로 동조 하였으며, 앞/뒤 각 30프레임, 총 61프레임의 데이터를 산출하여 비교하였다. 어깨 각도는 손이 가장 높이 올라가 팔꿈치 가장 많이 펴지는 지점을 기준으로 동조 하였으며, 앞/뒤 각 30프레임, 총 61프레임의 데이터를 산출하여 비교하였다.
시상면상의 동작 측정 정확성을 확인하기 위해 측정된 총 5번의 스쿼트 동작 중 첫 번째 마지막 동작을 제외한 2~4번째 동작 우측 무릎 각도를 산출하였다. 무릎의 각도가 가장 작은 지점(몸이 가장 낮은 지점)을 기준으로 동조 하였으며, 앞/뒤 각 40프레임, 총 81프레임의 데이터를 산출하여 분석하였다. 또한 푸쉬업 우측 팔꿈치 각도는 몸이 가장 낮아 팔꿈치 각도가 가장 작은 지점을 기준으로 동조 하였으며, 앞/뒤 각 30프레임, 총 61프레임의 데이터를 산출하여 분석하였다.
수평면상의 동작 측정 정확성을 확인하기 위해 측정된 국민 체조 몸통 돌리기 동작에서는 양 어깨와 양 발이 이루는 각도를 산출하였다. 국민 체조 몸통 돌리기 동작은 총 4번 반복되어 첫 번째 구간을 제외하고 2~4번째 동작을 분석하였다. 각 동작이 시작되는 양 어깨와 양 발이 수평을 이루는 시점을 기준으로 동조 하였으며, 시작점을 기준으로 뒤로 81번째 프레임까지 데이터를 산출하여 분석하였다.
이동 동작 측정 정확성을 확인하기 위해 측정된 총 5번의 사이드 스텝 동작 중 첫 번째 마지막 동작을 제외한 2~4번째 동작 우측 대퇴와 좌측 대퇴의 각도를 산출하였다. 사이드 스텝 동작에서 몸이 우측 끝 부근에 도달했을 때 두 대퇴의 각도가 가장 큰 지점을 기준으로 동조 하였으며, 앞/뒤 각 40프레임, 총 81프레임의 데이터를 산출하여 분석하였다.
움직임 변화가 적은 동작 측정 정확성을 확인하기 위해 측정된 푸쉬업 동작 중 첫 번째 마지막 동작을 제외한 2~4번째 동작 오른쪽 무릎 각도를 산출하였다. 팔꿈치 각도와 동일한 기준으로 동조하였으며 앞/뒤 각 30프레임, 총 61프레임의 데이터를 산출하여 분석하였다.
6. 분석 방법
개발된 애플리케이션의 동작 측정 정확성을 검증하기 위해 급내상관계수(intraclass correlation coefficient, 이하 ICC) 와 상관계수 통계량과 그 분포를 확인하였다. ICC는 반복성과 재현성을 평가하는 데 매우 흔하게 사용되는 지표로, 측정값들의 총변동 중 개인간(혹은 다른 변인에 의한) 변동에 의해 야기된 부분에 대한 추정치이다. 이 수치는 0(전혀 일치하지 않음)부터 1(완벽하게 일치함) 사이의 값을 갖는다. 본 연구의 목적은 신체부위의 각도를 정밀한 동작 분석 장비로 측정한 결과와 개발한 애플리케이션으로 측정한 결과를 비교하여 얼마나 일치하는지 확인하는데 있다. 따라서 고정효과를 가정하는 이원배치 혼합효과 모형(two-way mixed effects model)을 이용하였으며, 산출된 ICC를 측정 기구간 일치도로 해석하였다. 일반적으로 .4 미만은 좋지 않음(poor), .4-.6은 보통(fair), .6-.75는 좋음(good), .75-1.00은 매우 좋음(excellent) 등으로 분류되기도 한다. 하지만 ICC의 값을 해석하는 절대적인 기준은 없고 단위가 없는 지표이므로 오차의 실제 크기와 상관이 없어서 연구에서 나타난 오차가 임상적으로 받아들일 수 있는 수준인가 하는 관점에서 해석하기 어렵다. 따라서 실제 상관계수(Correlation coefficient, 이하 CC)와 함께 그 분포를 확인하고 실측데이터를 관찰하며 종합적인 평가를 하였다. 본 연구의 목적은 측정기구 간 일치도를 파악하는 것이기에 결측치를 추정하여 상관을 구하기 보다는, 온전히 획득한 자료만으로 비교하여 결과 해석의 신뢰도를 확보하기 위해 목록 삭제 방식(Listwise deletion)으로 결측치 처리를 하였다. ICC를 구하는 공식은 아래와 같다.
Vr : 총 변동(total variance), Vb와 Ve의 총 합
Vb: 일반적인 신뢰도 연구에서는 개인간 변동(variance between individuals)
Ve: 개인내 변동(variance within individuals), 원치 않는 변동, 오차, 동일 대상에 대한 여러 측정값들 간 분산의 추정치
데이터 정리는 Microsoft Excel 16.52(Microsoft, USA) 프로그램을 사용하였고, 통계는 R 4.0.5.(The University of Auckland, New Zealand) 프로그램을 사용하였다.
연구결과
관상면 상의 동작 측정 정확성
관상면 상의 동작 측정 정확성을 분석하기 위해 숄더 프레스의 팔꿈치와 어때 각도를 비교하였다. 숄더 프레스 팔꿈치 각도의 경우 정면(.89)과 45° 측면(.90) 조건에서 상용화된 동작 분석 장비의 자료와 스마트폰을 활용한 3D 동작 분석 시스템에서 산출된 자료의 일치도가 매우 높게 나타났다. 반면 움직임과 수직방향에서 촬영한 90° 측면 조건에서의 일치도는 정면과 45° 측면에 비해 상대적으로 낮게 나타났다<Table 1>. 숄더 프레스 어깨 각도는 정면(.90), 45° 측면(.92), 90° 측면(.87) 모든 조건에서 동작 분석 장비의 자료와 개발된 애플리케이션에서 산출된 자료의 일치도가 높게 나타났다<Table 1>.
ICC & CC of action in coronal plane according to shooting location
시상면 상의 동작 측정 정확성
시상면 상의 동작 측정 정확성을 분석하기 위해 스쿼트 무릎 각도와 푸쉬업 팔꿈치 각도를 비교하였다. 스쿼트 무릎 각도의 경우 정면(.96), 45° 측면(.97), 90° 측면(.99) 모든 조건에서 상용화된 동작 분석 장비의 자료와 스마트폰을 활용한 3D 동작 분석 시스템에서 산출된 자료의 일치도가 매우 높게 나타났다<Table 2>. 푸쉬업 팔꿈치 각도의 경우 정면(.72), 45° 측면(.74), 90° 측면(.72) 모든 조건에서 동작 분석 장비의 자료와 개발된 애플리케이션에서 산출된 자료의 일치도가 좋은 수준(Good)으로 나타났다<Table 2>.
ICC & CC of action in sagittal plane according to shooting location
수평면 상의 동작 측정 정확성
수평면 상의 동작 측정 정확성을 분석하기 위해 국민체조 몸통 돌리기 몸통 각도를 비교하였다. 몸통 돌리기에서 양 어깨와 양 발이 이루는 각도의 경우 정면(.72), 90° 측면(.74) 조건에서 상용화된 동작 분석 장비의 자료와 스마트폰을 활용한 3D 동작 분석 시스템에서 산출된 자료의 일치도가 좋은 수준(Good)으로 나타났다. 하지만 45° 측면 조건에서 ICC 값은 .56으로 낮게 나타났다<Table 3>.
ICC & CC of action in horizontal plane according to shooting location
이동 동작 측정 정확성
수평면 상의 동작 측정 정확성을 분석하기 위해 국민체조 몸통 돌리기 몸통 각도를 비교하였다. 몸통 돌리기에서 양 어깨와 양 발이 이루는 각도의 경우 정면(.54), 45° 측면(.49), 90° 측면(.38) 조건에서 상용화된 동작 분석 장비의 자료와 스마트폰을 활용한 3D 동작 분석 시스템에서 산출된 자료의 일치도가 보통 수준(fair)으로 나타났다<Table 4>.
ICC & CC of movement action according to shooting location
논의
이상의 스마트폰의 단안 카메라를 활용한 3D 동작 분석 데이터 산출의 정확성 측정 결과, 첫째, 관상면과 시상면은 매우 높은 정확성을 보였다. 숄더 프레스 팔꿈치각도, 어깨 각도, 스쿼트 무릎 각도의 경우 운동면과 촬영 화면이 일치할 경우 매우 높은 정확성을 보여 주었다. 하지만 푸쉬업 팔꿈치 각도의 경우 팔이 몸통과 붙는 동작으로 인해 3D 관절점 추정 정확성이 다른 동작들에 비해 낮게 나타났으며, 푸쉬업 팔꿈치처럼 스마트 단안카메라로 영상 촬영 시 사지가 몸에 중복되어 촬영이 될 경우 산출된 3D 데이터의 절대값에 대한 신뢰도는 보장되기 어렵다. 즉, 높은 수준으로 동작을 판단할 수 있겠지만, 평가를 하기에는 적절하지 않다고 할 수 있다.
수평면 상의 동작을 분석한 결과 관상면, 시상면의 결과에 비해 매우 낮은 일치도를 보였다. 이는 동작을 촬영한 3대의 스마트폰이 모두 1m 높이에 위치하였기 때문에 3D 데이터 추정 정확성이 떨어진 것으로 판단된다. 만약 스마트폰을 더 낮게 설치하거나 더 높게 설치할 경우 수평면상의 3D 동작 추정 정확성을 관상면과 시상면상의 정확성 수준으로 높일 수 있을 것이다. 관상면, 시상면, 수평면 분석 결과를 토대로 3D 동작 분석을 위해 스마트폰 단안 카메라로 촬영 시 최대한 동작의 면과 일치하게 촬영을 하고, 사지의 움직임과 몸통이 겹치지 않게 하여야 한다는 것을 알 수 있다.
본 연구에서 분석한 사이드 스텝의 경우 관상면 상의 동작(숄더 프래스)과 같은 운동면의 동작이지만, 이동 시 화각에 따른 제약으로 인하여 많은 수의 데이터가 유실되었고, 촬영 환경에 따른 제약(빛 부족, 영상 번짐)등에 의해 스마트폰을 활용한 3D 분석 시스템이 정확한 관절점을 찾지 못했을 가능성이 많다. 스마트폰을 활용한 3D 분석 시스템을 통해 이동동작의 정확성을 평가하기 위한 한계는 분명하며, 충분한 빛이 보장되고, 빠르지 않은 동작의 경우에 한정하여 정확한 측정이 가능할 것이다.
마지막으로 움직이지 않는 관절에 대한 정확성 측정을 한 결과는 본 연구에서 검증하는 시스템의 관절점 추정 방식의 한계를 보여준다. 마커를 사용하지 않고 사람의 형태를 통해 관절점을 추정하는 방식은 관절이 움직이지 않을 때 정확한 위치를 파악하기 어렵다. 따라서 마커를 사용하지 않고 스마트폰 단안카메라를 통해 3D 동작 분석 데이터를 얻을 경우 움직임이 제한된 관절의 각도는 정확성을 보장받을 수 없다.
이처럼 실제 환경에서 스마트폰을 활용한 신체활동 동작의 인식과 측정은 여러 가지 제한점을 안고 있다. 그러나 현재의 기술 수준에서 가능한 최적의 조건과 각도, 촬영 가능한 동작의 유형과 수준을 분석한 본 연구 결과는 체육수업에서 체육교사가 활용할 수 있는 신체활동의 유형과 움직임의 범위, 촬영 가이드를 개발하는 데 도움이 될 것이다.
결론 및 제언
본 연구는 인공 지능 기반 사용자 동작 인식 기술을 적용하여 스마트폰 단안카메라로 촬영한 영상의 3차원 데이터 정확성을 검증함으로써, 스마트폰 애플리케이션에서 신체활동 수행 동작 측정과 피드백 제공의 신뢰도 제고 방안을 제시하는 것을 목적으로 하였다. 이를 위해 5가지 동작(스쿼트, 푸쉬업, 숄더 프레스, 사이드 스텝, 국민 체조 몸통돌리기 동작)을 스마트폰 단안카메라로 촬영하여 3D 동작 분석 시스템의 3방향 운동면(관상면, 시상면, 수평면)에 대한 동작 측정 정확성을 확인하였다.
각 동작의 관상면과 시상면의 정확성은 매우 높게 나타났으며, 측정 동작의 운동면과 화면의 일치도가 높아 본 스마트폰 동작 인식 애플리케이션 프로그램의 수행자의 동작 인식 및 정확도에 대한 피드백 제공의 신뢰도가 보장되었다. 하지만 움직임이 작은 동작은 몸통과 사지가 중복되는 문제, 수평면의 동작도 스마트폰 촬영 각도 및 높이의 문제로 정확도가 낮게 나타났으며, 특히 이동 동작은 동작 인식 데이터 감지율이 낮게 나타났다. 이를 해결하기 위해서는 기술적 측면에서 움직임이 작은 동작은 몸통과 사지의 중복을 감지하고, 이동 동작의 감지율을 높일 수 있는 애플리케이션 알고리즘의 개선이 필요하며, 스마트폰 애플리케이션의 활용 측면에서 동작 측정 환경의 조도와 거리를 조절하고, 촬영 각도를 다양화 할 수 있는 방안이 개선되어야 한다.
본 스마트폰 동작 분석 시스템의 정확성 검증을 통해 향후 각 움직임 유형별로 다양한 신체활동 동작의 개발이 필요하다. 먼저 비이동 상체 운동, 하체 운동, 전신운동 및 이동 운동별로 5개 동작 외에 학생들이 선택할 수 있는 수준별 동작을 프로그램에 포함시켜야 한다. 또한 체력운동을 비롯한 기본 움직임 유형 외에 던지기, 뛰기, 치기, 돌기 등 다양한 기술적 움직임(athletic movement) 유형과 각종 스포츠 종목의 핵심 동작, 예를 들어, 축구의 킥, 탁구의 스트로크, 배구의 언더핸드패스 등과 같은 경기 기능을 체계적으로 개발하고 활용할 수 있도록 해야 한다. 즉 체육과 교육과정의 내용 체계와 신체활동의 내용 분석을 통해 프로그램에 포함되는 신체활동 유형을 포괄적으로 구성하여 본 프로그램이 온라인 체육수업에서 보다 효과적으로 활용될 수 있는 방안이 요구된다.
마지막으로 스마트폰 애플리케이션을 활용해 학생들이 자기주도적으로 체력을 관리할 수 있도록 학생건강체력평가시스템(PAPS)의 체력 요소별 측정 종목을 연계하고, 이를 활용하여 체력 측정 및 평가, 증진 활동이 가능한 프로그램을 개발할 필요가 있다.