MarkForm - 본인의 운동 포즈를 비디오 위에 나타내주는 AI 서비스(Noru36)

자기소개: Slack에서는 Noru, Discord에서는 Noru36으로 활동하고 있습니다. 컴퓨터 비전 분야에서 AI/ML 엔지니어로 일하다가 지금은 취준을 하면서, 프리랜서와1인 개발을 하고 있습니다.(메이커 클럽 챌린지 1기하면서 시작했습니다.)

시작하게된 계기: 제 운동자세를 보려는 목적도 있지만, 문제 해결보다는 아이폰 온디바이스 기술을 테스트 해보고 싶었습니다.

서비스 소개

• 제목: MarkForm

• 최종배포 URL: https://apps.apple.com/kr/app/markform/id6747629830?l=en-GB

• 깃허브 링크: https://github.com/seongbae15/WorkoutTracker

• 프로젝트 설명: 영상 속 운동하는 사람의 자세를 표시해주는 앱입니다.

  운동한 모습을 촬영한 영상을 선택하면(운동한 영상이 없다면, 운동하는 영상을 촬영해주세요^^), 영상을 AI 분석한 뒤, Pose의 위치(손목, 어깨, 엉덩이, 무릎, 발목)를 영상 위에 표시해줍니다.

  • 현재 제한 사항

    • 현재는 iOS 앱만 있습니다.

    • 아직 AI 모델이 아주 정확한 위치를 표시해주지 못합니다.

    • 온디바이스에서 동작은 되지만, 추론 속도가 많이 느려, 비디오가 끊기면서 재생됩니다.(최적화 하는 중)

• 핵심 기능(MVP) 설명: 네트워크 연결없이, AI 모델이 영상을 분석해서, Pose위치를 영상위에 표시해줍니다.

• 관련 스크린샷(3장 이상):

• 개발 기술/스택: Unity를 사용했으며, Unity로 iOS 빌드까지 모든 것을 했습니다.

  • AI Test: Python,ONNX

  • Mobile 빌드: Unity, Unity-Sentis

메이커 클럽을 진행하며 느낀 점과, 다른 메이커들을 위한 팁:

• 메이커 클럽은 저에게 권고사직 이후, 다음 목표를 제시해준 고마운 챌린지였습니다. 스스로 생각하기에도 부족한 앱(별 1개도 안 될)이지만, 생각하고 있던 아이디어를 처음부터 끝까지 만들면서, 제조업 쪽에서 일을 하다가, 왜 개발을 시작했는지를 다시 떠올리게 해줬습니다.
  그리고, 처음에는 제가 사용하려고 만들었는데, 점점 저는 "내가 이런 기술을 쓸 수 있어, 써봤어" 하는 느낌으로 만든 것 같습니다. 만들면서, 내가 왜 이걸 만드는 지에 대해 계속 생각하고 있어야겠다고 느꼈습니다.

• 사용하려는 개발 기술/스택, 배포 방법 등에 대해서는 잘 알고 진행하시기를 추천합니다. 스택마다 차이는 있겠지만, 전혀 해보지 않은 온디바이스 AI를 해보려고 했다가, AI 모델의 예측 정확도와, 프레임 저하 등 성능(정확도, 속도)에 좌절했습니다. 제대로된 사전 조사가 부족했습니다. 그리고 iOS 앱심사가 이렇게 오래 걸릴 줄을 생각도 못했습니다.

많이 부족한 앱이지만, 계속 개선을 해보려고 합니다.
1인 개발의 첫 스타트를 메이커 챌린지를 통해 진행할 수 있어, 너무 좋았고, 다른 챌린저 분들이 있었기에 저도 끝까지 할 수 있었습니다. 감사합니다.