[사물인터넷 캡스톤 디자인] CCTV 프로젝트 일지 ①

학교에서 진행하는 졸업프로젝트가 두 개라 얼떨결에 프로젝트 일지를 한 번에 두 종류를 작성하게 되었네요...

 

프로젝트 개요

어린이집 폭력감지 CCTV로, yolov7을 사용하여, 교사가 아이를 학대할 경우 부모님 핸드폰으로 해당 폭력 영상을 전송하여, 어린이집 학대 사건이 일어났을 경우 증거인멸을 하지 못하게 하며, 빠른 시일 내에 부모님이 아이가 학대받는지 아닌지 알 수 있도록 하기 위해 이번 프로젝트를 진행하게 되었습니다. 거꾸로 어린이집 교사 입장에서는 아이가 작은 생채기가 생겨도 교사의 학대에 의한 것이 아닌, 아이의 실수에 의해 상처가 났다는 등 억울한 일이 생기지 않도록 도와줄 수 있습니다.

 

프로젝트 진척 사항

프로젝트 초기에는 Yolov7이 아닌 openpose를 활용하여 어린이집 교사의 관절 keypoint값을 추출한 후, 해당 keypoint값을 벡터로 받아 LSTM에 학습시켜 폭력 유무를 감지하려 하였습니다. 그러나, openpose의 경우 앉아있거나 사람의 전신이 영상에 나오지 않는다면 keypoint값이 제대로 추출되지 않는다는 단점이 있었고, openpose는 opencv에 관련된 코드가 많기 때문에 GPU를 사용하려면 cMake 환경설정이 필수적이었습니다. 그러나, 왜인지 cMake 환경설정에서 계속 오류가 나서 애를 많이 먹었고 GPU를 사용하지 못하다보니 keypoint값이 제대로 추출되지 못하고 영상이 아예 재생조차 안되었습니다.

결국 Yolov7로 모델을 변경하여 프로젝트를 진행하게 되었습니다. 현재, Yolov7 모델에서 pre-training된 pose-estimation weight파일을 통해 keypoint값을 추출하여 해당 데이터를 통해 LSTM 을 학습시켜 간단하게 폭력감지를 성공하였습니다.

폭력 감지 성공이요

지금까지는 한 영상 전체를 다 본 후 폭력인지 아닌지 감지하였는데, CCCTV는 끝날 때까지 계속 보고, 영상이 다 들어온 후 폭력인지 아닌지 판단하는 것이 불가능하기때문에 설정한 정도의 프레임이 입력되면 폭력을 감지하는 방식으로 진행할 예정입니다.

 

직접 찍은 데이터의 프레임을 분석해보니 약 30프레임 정도에 폭력이 한 번씩 검출되는 것을 보았습니다. 그래서 30frame에 한 번씩 데이터를 묶어서 배열로 폭력 데이터를 저장하여 학습하고 있습니다.

 

30frame씩 묶은 데이터로 학습을 다음 포스팅에서 시도해보도록 하겠습니다..