|
| 제목 : "대사 없어도, 장편영화도 OK"…광운대 연구팀, 새 평가 지표 제시
|
 |
 |
 |
 |
|
|
| 2026년 09월 14일 15:12 이민호 기자 |
| "대사 없어도, 장편영화도 OK"…광운대 연구팀, 새 평가 지표 제시 |
광운대학교는 박영재 교수 연구팀이 CJ그룹 AI/DT 추진실, 연세대학교, 광주과학기술원(GIST)과 함께 영화 시나리오와 실제 영상을 연결하는 새로운 장편 비디오 이해 평가 지표(벤치마크)를 구축했다고 14일 밝혔다.
기존 AI 비디오 분석은 수십 초 내외의 짧은 영상과 간단한 텍스트를 연결하는 수준에 머물렀다. 영화처럼 복잡한 서사 구조를 가진 장편 영상의 경우, 대사가 없는 장면은 자막 위주의 매칭 방식이나 시각 정보만 단독으로 처리하는 AI 모델로는 온전히 파악하기 어려웠다.
연구팀은 영화 시나리오의 각 장면(Scene)을 실제 영상 샷(Shot)과 연결하는 '스크립트 투 샷'(From Script to Shot) 벤치마크를 개발해 이를 극복했다. 약 90년에 걸쳐 제작된 장편 영화 50편, 5만5000개 이상의 영상 샷을 사람이 직접 수작업으로 시나리오와 대조해 정렬 데이터를 구축했다.
14개의 AI 모델을 동일 조건에서 실험한 결과, 시각 정보만 활용하는 기존 모델의 한계를 넘어 대사 텍스트와 영상 시각 정보를 함께 결합한 멀티모달 융합 방식이 가장 우수한 성능을 냈다. 최신 비전-언어 모델(Qwen3-VL-Embedding)과 텍스트 검색(BM25)을 결합한 기법이 0.599 mSIoU를 기록하며 가장 높은 일치도를 보였다. 특히 대사가 있는 장면이 시간적 기준점 역할을 하며 주변의 비대사 장면 정렬까지 돕는 '대사 앵커링 효과'(Dialogue Anchoring Effect)가 확인됐다.
제안된 시나리오-영상 정렬 데이터는 별도 추가 학습 없이 영화 장면 분할에 곧바로 적용할 수 있다. 시나리오와 실제 장면의 대응 정보를 바탕으로 생성형 AI가 조명, 공간 구성, 색감 등을 반영한 정교한 영상 프롬프트를 작성하는 데도 쓰인다. 수 시간 분량의 장편 멀티모달 영상을 AI가 스스로 이해하고 분석하는 기반이 마련된 셈이다.
이번 연구 결과는 컴퓨터 비전 분야 최고 권위 국제학술대회인 'ECCV(European Conference on Computer Vision) 2026'에서 발표될 예정이다.
이민호 기자 leegija@mt.co.kr
Copyright ⓒ 머니투데이 & mt.co.kr. 무단 전재 및 재배포, AI학습 이용 금지.
|
|
| |
|
|
|
"대사 없어도, 장편영화도 OK"…광운대 연구팀, 새 평가 지표 제시
장외시장,비상장시장,장외주식,비상장주식,소액주주,주주동호회,주주게시판,공모,소액공모,장외시황,비상장주식시세,주식차트,주가,비상장주식거래,시세정보,프리보드,장외시장,프리보드시장,장외주식,프리보드주식,소액주주,주주동호회,주주게시판,공모,소액공모,시황,시세,주식차트,주가,3시장,투자전략,종목분석,선물옵션,해외증시,주식시세 등 증권정보,증권정보사이트,증권시세,선물옵션,주가정보,종목토론,전문가,테마주 분석,추천종목,이슈,종목뉴스,차트,시황전략,주식투자,증권 전문 포털사이트,재테크,부동산,창업,카페,주식칼럼,증시브리핑,증시분석,주식투자정보,증권투자정보,금융정보,차트분석,증시일정,소액주주,커뮤니티,매매,주식거래,온라인증권,종목추전
주식,펀드,증시전망,투자포털 사이트,재무분석,주식공모,증시일정,증권사,코스피,코스닥,나스닥,거래소,코넥스,제3주식시장,주가지수,미국증시,일본증시,아시아증시,KOSDAQ,KOSPI,KONEX,KOSCOM,삼성sds,장외투자
|
|
|
.
.
.
비상장(장외) 
광고 문의 : ☎ 1644-3830 (38커뮤니케이션)
