| 분류 | 팀 프로젝트 |
| 참여 인원 | 5명 |
| 소속 | IXLAB |
| 개발 기간 | 2020.07. ~ 2020.10. |
| 비고 |
📘 프로젝트 소개
개요
퍼스널 모빌리티(ex. 전동 킥보드, 전동 자전거)의 수요가 증가하는 데에 비해 이와 관련한 복지 현황이 매우 미흡한 문제점을 해결하고자 합니다.
스마트폰으로 딥러닝 기반의 객체 인식 기술을 응용하여 퍼스널 모빌리티 운행 중 주변 위험 정보를 실시간으로 인식함으로써 사고를 미연에 방지하기 위해 개발하였습니다. 주/야간 상황에 따라 데이터를 확보하였으며, 거리에 따른 경고 신호는 단순 영상 처리 알고리즘 기반으로 처리하였습니다.
본 프로젝트에서 YoloV5 모델을 통해 위험 물체에 대해 약 44.5%의 mAP@0.5를 도출하였습니다.
뿐만 아니라, Augmentation 적용 후 약 65.8%[+ 20.7%]의 mAP@0.5를 도출하였습니다.
개발 환경 & 아키텍처
- Backend:
Python - Object detection:
YoloV5 - Image process:
OpenCV
📜 개발 방법
본 프로젝트를 수행하기 위해 전동 킥보드에 스마트폰을 장착하였고, 데이터 수집 및 성능 평가를 위해 교내 건물 주변 도로를 이용하였습니다.
하드웨어 구축
- 전동 킥보드에 스마트폰 거치대 결합
- 운전자 누구나 즉석으로 이용할 수 있도록 스마트폰의 동영상 촬영 기능을 활용하여 구현
하드웨어 구성
데이터셋 구축
- 교내 차도 및 산책로 주변 도로에서 구축한 하드웨어를 바탕으로 수집
- 주간(14시 ~ 16시) 및 야간(20시 ~ 22시) 데이터 확보
- 데이터 증강
- 비율 조정
- 좌우 반전
- 색상/채도/명도 조정
모델 개발
- 자동차류, 자전거류, 보행자 카테고리로 Fine-tuning 학습
YoloV5의 Pre-trained 모델은 장애물 외의 요소를 포함한 COCO Dataset으로 학습
거리 측정 알고리즘
- 영상의 하단에 객체가 존재할 시 거리가 가깝다고 판단
👪 역할 및 개발 내용
- 주/야간 성능 평가용 데이터 모델링
- 위험 물체 인식 정확도 향상을 위한 데이터 증강 기법 선정
- 모델 클래스 축소 및 학습
- 위험 물체와의 거리 식별 알고리즘 제안 및 구현
✍ 개발 경험 및 후기
시장에서의 문제점 파악
교수님께서 제안하신 아이디어로, 연구를 진행할수록 시장의 핵심 문제점을 파악했다는 생각이 들었다. 이러한 점은 프로그램의 아이디어를 요구하는 개발자에 있어 필수적이라고 생각하며, 아이디어를 모색하기 위해 시장 분석 능력을 강화할 필요가 있다고 느꼈다.
딥러닝과 팀 프로젝트
딥러닝을 활용한 첫 팀 프로젝트로써 데이터 수집, 소스 및 결과 등을 공유하였지만, 역할 분담, 진행사항 파악 등의 프로세스가 일관적으로 진행되진 않았다. 공유를 위한 템플릿을 따로 만들지 않아 항상 토의를 진행하였으며, 작은 프로젝트에 있어 불편한 건 없었지만 스케일이 커지면 협업을 위한 공동 템플릿이 필수적이라고 여기게 되었다.
알고리즘의 타당성
실제 사람은 3차원 공간에서 두 눈의 초점과 객체의 크기를 바탕으로 물체의 거리를 판단합니다. 하지만 본 프로젝트에서는 2차원 개념으로 접근해야 하여 영상 내 좌표로 판단하였고, 이러한 점에서 타당성이 많이 어긋났다고 생각하였다. 이러한 점을 보완하기 위해 추후에 추가적으로 이와 관련한 연구를 조사하였고, 단일 영상이 아닌 양안 영상을 이용하면 큰 도움이 될 것이라고 생각하게 되었다.
- 관련 연구: 딥러닝 기반 거리측정 기술 동향