방송 현장에서 AI 기술 활용 (KOBA 2024 conference 후기)

2024년 AI가 미디어 업계를 뒤흔들고 있다고 해도 과언이 아니다. AI 기술은 다른 어떤 산업분야보다도 빠르게 미디어 산업 전반으로 확산되고 있다. 미디어와 AI 기술 결합은 AI가 인간의 지적 활동 영역(시각, 언어, 감각, 이해, 학습, 추론 등)을 구현하고 재현함으로써 콘텐츠 기획-제작-편집-유통-소비에 참여함을 의미한다.

방송 현장에서 AI 기술을 활용해 비용을 절감하고, 생산성을 향상시키기 위한 움직임이 활발하다. KOBA 2024 conference를 다녀온 후 AI 기술이 방송 현장을 어떻게 바꾸어 가고 있는지 소개하고자 한다.

방송 현장에서 AI 기술 활용 (KOBA 2024 conference 후기)

 

 

1. AI 아나운서-라디오 뉴스는 AI 앵커가

지역방송사에서 특히 지역민영방송사에서 최근 AI 아나운서 도입이 확산되고 있다. AI가 뉴스 제작에 활용되는 것을 넘어 인간을 대체하는 건 아닌지 우려가 되고 있다. 이미 CJB 청주방송은 주말뉴스에 AI 아나운서를 도입하여 방송을 송출 중에 있다. 또한 JIBS 제주방송과 GI 강원방송도 AI 아나운서를 활용 중이다. 서울 대형 방송사도 연내 라디오 뉴스를 AI 아나운서로 대체한다는 계획을 세우고 있다.

기본적으로 기사 텍스트를 입력하면 AI기 오디오와 영상으로 구현해 주는 것이다. 실제 JIBS 홈페이지에서 토요일 뉴스 VOD를 보니 큰 이질감이 느껴지지 않을 정도이다.

AI 아나운서 영상, 출처:JIBS 홈페이지

 

 

2. 실시간 자동 자막 및 번역 생성

현재 방송사에서는 청각장애인을 위한 실시간 자막서비스를 하고 있다. 방송사는 자막 제공 업체에 Proxy 영상을 제공하고, 영상을 제공받은 자막 제공 업체는 속기사가 실시간으로 타자를 쳐서 생성한 텍스트 데이터를 다시 방송사에 보내줘서 서비스를 제공하고 있다. 하지만 이러한 자막서비스 방식은 이제 AI 기술로 조만간 대체될 전망이다. 실시간으로 음성을 듣고 텍스트로 바꿔주는 STT(Speech To Text) 기술을 이용하여 한국어뿐만이 아니라 다국어 자막까지 가능하다고 보고 있다.

엑스엘에이트이 실시간 번역 솔루션 ‘이벤트캣(EventCAT), 출처: 엑스엘에이트

 

 

3. AI 더빙

기존의 전통적인 더빙 방식은 필요한 목소리 수만큼의 성우를 섭외하여 각각의 목소리를 녹음하는 방식이였다. 이러한 방식은 5분의 더빙을 위해 녹음 스튜디오를 1시간 이용해야할 정도로 노동 집약적 과정이었다. 특히 원래 오디오와 일치하는 리듬과 타이밍을 맞추는 작업에 걸리는 반복 제작 과정이 포함된다. AI 기술은 이러한 과정을 70%이상 줄일 수 있다. AI 더빙은 원래 콘텐츠 음성의 언어 추출 및 분석, 배우 연기의 패턴 분석을 머신러닝 기법으로 통계화 하고 이를 성우 음성과 변환 하는 기술을 적용합니다. 그리고 고전적 방식에서 가장 난이도가 높은 작업인 언어의 리듬감을 통제하기 위해 딥 페이크 기술들을 접목하여 배우의 입모양을 다은 언어 사용과 비슷하게 변경하는 기술을 접목한다.

AI 더빙의 선도 스타트업은 Flawless AI가 만든 TrueSync 소트프웨어는 배우의 연기 전체를 분석하고 배우의 얼굴과 입의 움직임을 언어에 맞게 조정한다.

아래는 국내 AI 더빙 업체인 Hudson AI의 더빙솔루션을 소개하는 그림이다.

허드슨에이아이의 AI 더빙 솔루션, 출처=허드슨에이아이

 

 

4. 예고편 및 shorts 제작

AI 기술로 영상을 재편집해서 자동으로 영상을 만들기도 한다. 실제 방송사에서 30초에서 1분 정도 되는 예고편을 제작하기 위해 밤새워 작업할 정도이다. 완제편을 처음부터 끝까지 보는것만도 많은 시간이 소요되기도 한다. 이 역시 노동집약적인 제작 과정이 아닐 수 없다.
Youtube의 Shorts 제작도 AI가 만들어준다.

생성형 AI 활용해 쇼츠 제작하는 과정, 출처: 서울 신문

 

 

5. AI를 활용한 메타데이터 자동 생성

디지털 콘텐츠를 효율적으로 관리하기 위해 각 방송사들은 CMS를 도입해 사용하고 있다. 하지만 높은 비용을 들여 CMS를 도입하더라도 콘텐츠들의 메타데이터가 부실할 경우 CMS 도입 효과는 크지 않다. 평소에 메타데이터를 어떻게 충실하게 입력하느냐에 따라 CMS의 활용도는 크게 차이가 난다. 문제는 메타데이터를 수동으로 입력하는 업무 역시 피곤한 일이지 않을 수 없다. 이러한 업무를 AI가 대체해서 메타데이터를 자동으로 추출해서 넣어 줄 수 있을 것이다.
아래 그림은 영상에서 메타데이터를 추출하는 워크플로우를 나타내는 그림이다. OCR(Optical Character Recognition)과 Face Recognition 기술이 적용된다.

메타데이터 추출 워크플로우, 출처: 한국문화정보원, AI 기반 실시간 영상분석 기술을 활용한 메타데이터 자동화 구현 by 이현준 부장(아리랑국제방송 AI데이터정보화센터)

 

 

 

6. 생성형 모델을 통한 초벌 기사 작성

AI를 통해 사고 기사 초안도 작성이 가능하다. 선별된 사고장면과 함께 기존 기사 텍스트를 입력으로 주면 사고 기사 초안을 작성해 주는 것이다. 긴 텍스트를 요약도 해줘 업무 효율성을 높여준다. 아래는 네이버 뉴스가 생성형 인공지능(AI)을 활용해 작성된 기사에 대해 본문 상단에 관련 내용을 공지하는 모습이다.

네이버 AI 생성 기사 공지, 출처:네이버 다이어리 갈무리

 

AI 기술에 대한 우려가 만만치 않은 것도 사실이다. 해외 언론에서는 AI에 기사 작성을 맡겨선 안 된다는 기준을 수립하였다. 또한 AI 기술은 비용 절감을 이유로 우리의 일자리를 위협할 수 있다는 두려움이 있는 것도 사실이다. AI 기술에 대한 지속적인 실험과 관심이 필요해 보인다.

 

Reference
https://www.journalist.or.kr/news/article.html?no=56039
https://jeremyletter.com/ai-technology-change-ott-industry-ai-dubbing-multi-language/
KOBA 2024 미디어 컨퍼런스 자료

 

 

 

정보통신기술사 양희성