HighlightU — 라이브 방송 하이라이트 자동 추출

개요

HighlightU는 트위치 스트리머가 방송 영상을 업로드하기만 하면 하이라이트 클립을 받을 수 있는 서비스입니다. 핵심 아이디어는 영상의 **매 순간(초 단위)**이 얼마나 “흥미로운지”를 두 가지 독립 신호 — **채팅 로그 분석(NLP)**과 표정 분석(컴퓨터 비전) — 으로 점수화한 뒤, 높은 점수의 순간들을 이어 붙여 하이라이트를 만드는 것입니다. Google OAuth 로그인, 결제, 이메일 전송을 갖춘 Django 웹 앱으로 구현했습니다.

역할 — 팀장 (LAJI 팀, 3인)

3인 팀을 이끌며 하이라이트 추출 알고리즘을 담당했습니다 — 두 AI 신호를 어떻게 모델링·점수화하고 하나의 초 단위 “흥미도” 점수로 융합할지 설계했습니다.

동작 방식

• 채팅 로그 분석(NLP). 트위치 채팅은 스트리머와 시청자의 상호작용을 반영합니다. 채팅을 NLTK(영어)와 KoNLPy(한국어)로 토큰화하고 TF-IDF 모델로 점수화해, 의미 있는 상호작용이 몰리는 순간의 점수를 높입니다.
• 표정 분석(CV). 자체 학습한 ResNet CNN이 각 프레임을 5가지 표정으로 분류하고, 강한 감정(웃음·분노 등)이 드러나는 순간의 점수를 높입니다.
• 융합. 두 신호를 초 단위로 결합해 구간을 순위화하고 하이라이트를 선정합니다.

엔지니어링

• Django 웹 애플리케이션, Google OAuth 원클릭 로그인.
• Toss 결제 연동, 전 구간 HTTPS.
• 대시보드, 개인 보관함, 하이라이트 완성 시 이메일 자동 알림.

수상

• 동상 — 2019 SW 챌린지, 한국소프트웨어산업협회.