쿼카의 개발자 성장기

프로젝트 개요 어린이집 폭력감지 CCTV로, yolov7을 사용하여, 교사가 아이를 학대할 경우 부모님 핸드폰으로 해당 폭력 영상을 전송하여, 어린이집 학대 사건이 일어났을 경우 증거인멸을 하지 못하게 하며, 빠른 시일 내에 부모님이 아이가 학대받는지 아닌지 알 수 있도록 하기 위해 이번 프로젝트를 진행하게 되었습니다. 거꾸로 어린이집 교사 입장에서는 아이가 작은 생채기가 생겨도 교사의 학대에 의한 것이 아닌, 아이의 실수에 의해 상처가 났다는 등 억울한 일이 생기지 않도록 도와줄 수 있습니다. 프로젝트 현위치 저는 Yolov7의 pre-trained된 pose-estimation을 활용하여 keypoint값을 추출한 후, 해당 값을 LSTM에 학습시켜 폭력 감지 하는 딥러닝 파트를 담당하여 진행하고 있..

프로젝트 개요 지능시스템 캡스톤 디자인 프로젝트에서는 RelGAN이라는 생성모델과 KoBERT라는 자연어 처리 모델, TTS 기술을 사용하여, 문장에 감정을 담아 실감나게 읽어주는 TTS 서비스를 제작하고자 진행하고 있습니다. 조금 더 자세히 설명드리자면 KoBERT 모델을 사용하여 텍스트 문장에서 감정을 추출하고, TTS를 통해 해당 텍스트를 Speech로 변환합니다. 마지막으로 변환한 Speech에 RelGAN을 사용하여 KoBERT에서 추출한 감정을 입혀 실감나는 TTS 서비스를 제작하고자 합니다. 이 중 저는 RelGAN을 통해 음성에 감정을 입히는 부분을 도맡아 하고 있습니다. 프로젝트 이슈 어제 batch_size가 1인 데이터를 가지고 출력하는 코드를 작성했었다. 그런데 출력물이 음성이 아닌..

프로젝트 개요 어린이집 폭력감지 CCTV로, yolov7을 사용하여, 교사가 아이를 학대할 경우 부모님 핸드폰으로 해당 폭력 영상을 전송하여, 어린이집 학대 사건이 일어났을 경우 증거인멸을 하지 못하게 하며, 빠른 시일 내에 부모님이 아이가 학대받는지 아닌지 알 수 있도록 하기 위해 이번 프로젝트를 진행하게 되었습니다. 거꾸로 어린이집 교사 입장에서는 아이가 작은 생채기가 생겨도 교사의 학대에 의한 것이 아닌, 아이의 실수에 의해 상처가 났다는 등 억울한 일이 생기지 않도록 도와줄 수 있습니다. 프로젝트 현위치 현재 30frame마다 keypoint값을 받아 저장한 후, 30프레임 단위로 폭력을 감지하는 방식으로 프로젝트를 진행하고 있습니다. 30frame으로 묶었더니, list 사이즈가 맞지 않아 난항..

학교에서 진행하는 졸업프로젝트가 두 개라 얼떨결에 프로젝트 일지를 한 번에 두 종류를 작성하게 되었네요... 프로젝트 개요 어린이집 폭력감지 CCTV로, yolov7을 사용하여, 교사가 아이를 학대할 경우 부모님 핸드폰으로 해당 폭력 영상을 전송하여, 어린이집 학대 사건이 일어났을 경우 증거인멸을 하지 못하게 하며, 빠른 시일 내에 부모님이 아이가 학대받는지 아닌지 알 수 있도록 하기 위해 이번 프로젝트를 진행하게 되었습니다. 거꾸로 어린이집 교사 입장에서는 아이가 작은 생채기가 생겨도 교사의 학대에 의한 것이 아닌, 아이의 실수에 의해 상처가 났다는 등 억울한 일이 생기지 않도록 도와줄 수 있습니다. 프로젝트 진척 사항 프로젝트 초기에는 Yolov7이 아닌 openpose를 활용하여 어린이집 교사의 관..

프로젝트 개요 지능시스템 캡스톤 디자인 프로젝트에서는 RelGAN이라는 생성모델과 KoBERT라는 자연어 처리 모델, TTS 기술을 사용하여, 문장에 감정을 담아 실감나게 읽어주는 TTS 서비스를 제작하고자 진행하고 있습니다. 조금 더 자세히 설명드리자면 KoBERT 모델을 사용하여 텍스트 문장에서 감정을 추출하고, TTS를 통해 해당 텍스트를 Speech로 변환합니다. 마지막으로 변환한 Speech에 RelGAN을 사용하여 KoBERT에서 추출한 감정을 입혀 실감나는 TTS 서비스를 제작하고자 합니다. 이 중 저는 RelGAN을 통해 음성에 감정을 입히는 부분을 도맡아 하고 있습니다. 프로젝트 이슈 목요일부터 지금까지 계속 코랩에서 weight 파일 추출을 위해 노력했는데,, 그 때마다 코랩의 런타임 ..

프로젝트가 한 달 남은 시점이지만, 한 달 동안 효율적인 프로젝트 관리를 위해 일지를 써보고자 합니다! 프로젝트 설명 지능시스템 캡스톤 디자인 프로젝트에서는 RelGAN이라는 생성모델과 KoBERT라는 자연어 처리 모델, TTS 기술을 사용하여, 문장에 감정을 담아 실감나게 읽어주는 TTS 서비스를 제작하고자 진행하고 있습니다. 조금 더 자세히 설명드리자면 KoBERT 모델을 사용하여 텍스트 문장에서 감정을 추출하고, TTS를 통해 해당 텍스트를 Speech로 변환합니다. 마지막으로 변환한 Speech에 RelGAN을 사용하여 KoBERT에서 추출한 감정을 입혀 실감나는 TTS 서비스를 제작하고자 합니다. 프로젝트 현위치 현재, KoBERT 모델의 경우 다른 팀원이 도맡아 Pre-Training을 진행하..