| 역할 | AI Lead, Backend Developer |
| 담당 파트 | YOLOv8 + TSM 기반 AI 파이프라인 구축, Voting/Threshold 이상행동 판단 로직 구현, FastAPI AI 서버와 Spring Boot 메인 서버 연동 |
| Backend | Spring Boot 3.5, FastAPI |
| Frontend | - |
| Python, PyTorch, YOLOv8n, TSM, OpenCV |
| Database & Messaging | - |
| Infrastructure | - |
| 🛑 문제 : | 단일 프레임 기반 탐지로 인한 오탐 발생 |
| YOLOv8만 사용할 경우 물건을 들고 있는 동작을 절도로 오인하거나, 짧은 순간의 노이즈로 인해 잘못된 알림이 발생할 수 있었음 | |
| 🔍 원인 : | 시간 흐름을 반영하지 못하는 객체 탐지 방식 |
| 단일 프레임 객체 탐지만으로는 ’물건을 선택하는 행위’와 ’훔치는 행동’을 구분하기 어려웠음 | |
| 🛠️ 해결 : | YOLOv8 + TSM 하이브리드 모델과 Voting/Threshold 전략 도입 |
| YOLOv8로 객체를 탐지하고 TSM으로 시계열 행동을 분석했으며, 특정 시간 동안 연속 프레임의 이상행동 감지 횟수가 임계값을 넘을 때만 이벤트로 판단하도록 설계 | |
| ✨ 결과 : | 일시적 판단 오류 필터링 및 탐지 안정성 확보 |
| AI의 순간적인 오탐을 줄이고 사용자에게 더 안정적인 이상행동 감지 결과를 제공할 수 있었음 |
| 🛑 문제 : | 고해상도 CCTV 영상 실시간 분석 시 서버 부하 발생 |
| YOLO와 TSM 모델을 동시에 추론하는 과정에서 실시간 처리 성능 확보가 필요했음 | |
| 🔍 원인 : | 영상 데이터 처리량과 모델 추론 비용 증가 |
| 고해상도 영상을 연속 분석하면서 객체 탐지와 행동 인식을 함께 수행해야 했기 때문에 서버 리소스 사용량이 커졌음 | |
| 🛠️ 해결 : | FastAPI 기반 비동기 AI 서버 구축 및 모델 경량화 |
| YOLOv8n을 사용해 모델을 경량화하고, 필요한 프레임만 선별 처리하는 방식으로 리소스를 효율적으로 관리 | |
| ✨ 결과 : | 실시간 이상행동 감지와 알림 지연 최소화 |
| 점주 앱 알림까지 이어지는 실시간 대응 흐름을 구현하고 레이턴시를 줄일 수 있었음 |
| AI의 실효성과 한계 극복 | • 기술적으로 완벽한 AI 모델만 추구하기보다, 오탐 가능성을 인정하고 이를 보완할 UX를 함께 설계하는 것이 실제 서비스에서 중요하다는 점을 배움. • 화상 통화 연결처럼 AI 판단 이후의 사용자 경험까지 고려하는 사고가 필요하다는 것을 체감함. |
| 이종 시스템 간 통합 | • Python 기반 AI 서버와 Java 기반 백엔드 서버를 연동하며 데이터 파이프라인 설계와 통신 프로토콜 정의 경험을 쌓음. • 모델 추론 결과를 실제 서비스 이벤트로 연결하는 전체 흐름을 설계하는 역량을 키움. |
| 구분 | 내용 |
|---|---|
| AI 파이프라인 안정화 | YOLOv8 + TSM 결합 모델을 서비스 흐름에 적용하고 AI 파이프라인을 안정화 |
| 실시간 대응 구현 | 이상행동 감지 시 즉시 알림 및 화상 통화 연결 프로세스 구현 |