방송 AI는 어디까지 왔나, KOBA 2026에서 본 생성형 AI와 미디어 혁신

KOBA 2026 컨퍼런스 후기 –

— 방송 AI는 이제 ‘도구’를 넘어 ‘운영 계층’으로 진화하고 있다

2026 KOBA Media Conference 첫날 “AI 미디어 혁신”, “AI 콘텐츠 패러다임”, “AI 기반 VFX 콘텐츠 제작” 세션을 듣고 방송 산업에서 AI가 어떤 방향으로 발전하고 있는지를 확인할 수 있었다. 방송 비즈니스는 과거 단방향 광고 · 수신료 기반의 Linear TV 중심에서 온디맨드·멀티디바이스 기반의 OTT 스트리밍 구조로 변화해 왔다. 그리고 이제는 AI 기술이 방송 산업 전반에 깊숙이 들어오면서 장면단위 개인화 콘텐츠 생성과 개인화 광고 서비스가 가능한 초개인화 스트리밍 시대로 이동하고 있다. 이번 세션을 통해 방송 산업에서 AI가 어떻게 진화하고 있는지 그리고 초개인화 비즈니스 모델의 AI기술과 서비스를 이해하고 향후 KBS가 도입해야 할 과제를 알 수 있는 시간이었다.

현재 방송산업에서 AI는 단순한 기능 중심 자동화 AI를 시작으로 생성형 AI기반 제작 AI를 거쳐 이제는 Agent 기반 AI 운영 계층으로 발전하고 있다. 즉 AI는 단순 제작 보조 기술을 넘어 방송 제작·운영·콘텐츠 구조 전체를 연결하는 새로운 계층으로 확장되고 있는 것이다.

1. AI는 더 이상 단순 자동화 도구가 아니다

초기 방송 AI는 특정 기능을 자동화하는 형태로 발전해왔다. 대표적으로 음성 인식 자막, 추천 시스템, 영상 업스케일링, 노이즈 제거, 객체 인식, 트래킹 등이 이에 해당한다.

이번 KOBA에서 소개된 SBS AI 기술연구소의 “AI 기반 비디오 객체 제거” 세션은 이러한 기능 중심 자동화 AI 기술이 현재 얼마나 고도화되고 있는지와 향후 방송 산업에서 논의해야 할 과제를 보여준 대표 사례였다.

AI 기반 비디오 객체 제거 기술은 컴퓨터 비전(Computer Vision) 기술을 기반으로 Detection, Segmentation, Tracking, Optical Flow, Inpainting 기술을 조합하여 영상 속 불필요한 객체를 제거하는 방식이다.

 

AI 기반 객체 제거 기술 구조

 

이 기술을 통해 AI는 촬영 중 화면에 잡힌 스태프, 케이블, 장비, 불필요한 배경 요소 등을 자동으로 제거하고, 가려진 배경까지 자연스럽게 복원할 수 있다.

 

특히 방송 영상은 단순 이미지와 달리 카메라 움직임, 조명 변화, 인물 이동, 빠른 장면 전환 등이 계속 발생하기 때문에 훨씬 높은 수준의 시간축 일관성(Temporal Consistency)이 요구된다. 즉 단순히 한 프레임만 자연스럽게 만드는 것이 아니라, 수백~수천 프레임 전체에서 이질감 없이 연결되어야 하는 것이 핵심이다. 이미지 객체 제거는 비교적 단순하게 Detection → Segmentation → Inpainting 구조로 설계되지만, 비디오는 시간축이 존재하기 때문에 여기에 Tracking, Optical Flow, Temporal Axis 개념이 추가된다.

 

또한 최신 객체 제거 기술은 단순 삭제 수준을 넘어, 여러 Computer Vision Task와 생성형 AI 기술이 결합되는 방향으로 발전하고 있다. 예를 들어 Detection, Segmentation, Tracking, Optical Flow, Scene Understanding 같은 이해(Understanding) Task와, Inpainting, Super-resolution, Image/Video Editing 같은 생성(Generation) Task가 함께 적용되면서 영상 복원 품질을 높이고 있다.

 

특히 최근 연구 흐름에서는 객체가 제거된 부분을 완전히 새로 생성하기보다, 앞뒤 프레임에 남아 있는 배경 정보를 최대한 활용하여 자연스럽게 복원하는 방향으로 발전하고 있다. 이를 위해 Optical Flow, Homography, Temporal Propagation 등을 활용하여 프레임 간 배경 정보를 전달하고, 시간축 일관성을 유지하려는 연구가 활발히 진행되고 있다.

 

또한 기존 방식만으로는 비디오 Inpainting의 근본적인 어려움인 시공간 제약, 복잡한 객체 움직임, 장면 변화, Tracking 오류 등을 충분히 해결하기 어려워, 최근에는 Vision Foundation Model 기반 Scene Understanding 연구도 함께 발전하고 있다.

즉 기존 컴퓨터 비전 기술과 생성형 Inpainting 기술이 결합되면서, 객체 제거 기술은 단순 이미지 보정 수준을 넘어 비디오 전체의 시간축 일관성을 유지하는 방향으로 고도화되고 있는 것이다.

 

향후 방송 현장 적용을 위해서는

· 어느 수준까지 자연스럽게 복원할 것인지에 대한 품질 기준

· 객체 제거로 인해 발생하는 그림자·반사·접촉 등의 인과관계 보정

· 뉴스·다큐 등 장르별 윤리 기준

· 원본 및 수정 이력 관리

· AI 편집 결과 검수 체계 등에 대한 추가 논의가 필요할 것으로 보인다.

2. AI는 제작 도구를 넘어 제작 운영 구조 안으로 통합되기 시작했다

최근 생성형 AI의 발전은 방송 제작 환경 자체를 크게 바꾸기 시작했다. 특히 ChatGPT, Stable Diffusion, Midjourney, Sora 등의 등장 이후 AI는 단순 자동화를 넘어 생성, 요약, 추론, 이미지·영상 생성 영역까지 확장되었고 AI가 실제 콘텐츠 제작 과정 안으로 들어오기 시작했다.

 

이번 KOBA에서 소개된 “AI 기반 XR/Virtual Production”, “AI 기반 VFX 콘텐츠 제작” 세션들은 AI가 제작 운영 구조 안으로 통합된 대표적 사례이다.

2.1 AI, XR, VFX를 활용한 <역사스페셜 시간 여행자> 제작 사례

이번 세션은 생성형 AI, XR, Virtual Production(VP), VFX 기술을 실제 콘텐츠 제작 현장에 적용한 제작 사례와 워크플로우 중심으로 구성된 발표였다. 특히 AI가 단순히 이미지를 생성하는 수준이 아니라, 실제 방송 제작 과정 안으로 들어와 기획부터 촬영·후반 제작까지 연결되는 구조로 발전하고 있다. 기존에는 미술팀, CG팀, VFX팀이 수작업으로 제작하던 공간과 배경을 AI가 생성·확장·보조하기 시작한 것이다. 예를 들어 역사 공간 재현, 가상 배경 생성, XR 환경 확장, AI 기반 컨셉아트 제작, AI 영상 생성 등 AI와 XR 기반으로 제작되고 있었다. 특히 이번 세션에서 인상적이었던 부분은 AI가 단순히 결과물을 자동 생성하는 것이 아니라, 제작자의 아이디어를 빠르게 시각화하고 제작 파이프라인 전체를 단축시키는 방향으로 활용되고 있다는 점이었다.

KBS 후반 제작 워크플로우

 

 

예를 들어 기존에는 콘셉트 스케치, 레퍼런스 제작, 공간 시뮬레이션, 가상 배경 제작 등을 여러 제작 부서가 긴 시간 협업하여 만들었다면, 이제는 AI가 콘셉트 이미지 생성, 배경 스타일 제안, 카메라 구도 시뮬레이션, XR 공간 확장 등을 빠르게 수행하면서 제작자가 훨씬 빠르게 아이디어를 검증할 수 있게 된 것이다.

AI 기반 이미지 생성은 콘셉트와 레퍼런스 제작 단계에 활용되고, 생성된 결과물은 Unreal Engine 기반 XR 공간 시뮬레이션과 Virtual Production 환경으로 연결된다.

이후 실시간 카메라 테스트와 실시간 합성을 통해 실제 촬영 환경 안으로 통합되는 구조였다.

2.2 Next Pipeline - 영상제작 VFX에 AI를 통합하는 실무 전략

이번 세션에서는 생성형 AI를 기존 VFX 제작 파이프라인 안에 어떻게 통합할 것인가에 대한 실무 전략 중심의 발표였다.

특히 발표에서는 “코어 10단계 VFX 파이프라인 중 대부분 단계에 AI 적용이 가능하다”는 점을 강조하며, AI가 기존 제작 구조를 완전히 대체하는 것이 아니라 기존 VFX 운영 안으로 통합되고 있다는 점을 설명하였다.

 

통합 VFX 파이프라인

 

특히 생성형 AI는 결과가 매번 달라질 수 있기 때문에 Human-in-the-Loop 기반 검수, 컷 리뷰, Continuity 유지, HDR 및 컬러 일관성, 원본 및 수정 이력 관리 등이 매우 중요하다는 점도 강조되었다.

또한 발표에서는 촬영 이전 단계부터 HDRI, LiDAR, 드론 포토스캔, 렌즈·카메라 정보, 텍스처·의상 레퍼런스 등 AI 제작에 필요한 데이터를 체계적으로 확보해야 한다는 점도 언급되었다. 결국 생성형 AI 시대의 VFX는 단순히 AI가 만드는 영상이 아니라, 기존 VFX 제작 구조 안에 AI를 어떻게 통합하고 운영할 것인가가 핵심 과제로 변화하고 있다는 점을 보여주는 발표였다.

즉, 생성형 AI는 단순 후반 제작 보조 도구가 아니라, 촬영 이전 데이터 수집 단계부터 후반 제작검수운영 정책까지 전체 파이프라인 구조 자체를 변화시키고 있었다.

3. AI가 콘텐츠와 업무를 연결하기 시작했다

이번 KOBA에서 가장 큰 변화로 느껴졌던 부분은 AI가 단순 생성 도구를 넘어 업무를 연결하고 실행하는 계층으로 발전하고 있다는 점이었다.

즉 AI가 단순 생성이 아니라 검색, 분석, 연결, 실행, 자동화를 수행하기 시작하고 있는 것이다. 대표적인 사례가 AWS의 실시간 AI 하이라이트, NAVER Cloud의 Agent-Ready Asset, MBC의 바이브코딩 플랫폼 관련 흐름이었다.

3.1 AWS 세션에서는 “Broadcasting of One”이라는 개념이 소개되었다.

그림 AWS AI 기반 방송구조 – Broadcasting of One기존 방송은 모두가 같은 콘텐츠를 시청하는 구조였다면, 앞으로는 AI가 실시간 장면 분석, 의미 기반 검색, 이벤트 감지, 개인 취향 분석을 수행하여 시청자별로 다른 콘텐츠를 제공하는 방향으로 발전하고 있다는 것이다. 예를 들어 특정 선수 중심 스포츠 하이라이트, 관심 장면 자동 생성, 개인 맞춤형 클립, 자동 요약 영상 등이 가능해진다. 이는 단순 추천 시스템이 아니라 AI가 콘텐츠의 의미와 맥락을 이해하기 시작했다는 점에서 중요하다.

 

AWS AI 기반 방송구조 – Broadcasting of One

 

이는 기존 방송이 동일한 콘텐츠를 대량 송출하는 구조였다면, 앞으로는 AI가 시청자별 관심사와 맥락을 이해하여 콘텐츠를 동적으로 재구성하는 방향으로 발전하고 있음을 의미한다.

3.2 NAVER Cloud 세션에서는 이를 “Agent-Ready Asset”이라는 개념으로 설명하였다.

기존에는 영상이 단순 파일 형태로 저장되었다면, 앞으로는 누가 등장하는지, 어떤 행동이 일어났는지, 어떤 감정과 맥락인지를 AI가 이해 가능한 형태로 구조화해야 한다는 것이다.

그림 NAVER Cloud Agent-Ready Asset 구조즉 콘텐츠 자체를 AI Agent가 이해하고 활용 가능한 구조로 바꾸는 단계로 이동하고 있는 것이다.

NAVER Cloud Agent-Ready Asset 구조

 

3.3 MBC –전사 AI운영 플랫폼 구축 사례

MBC AI 운영 플랫폼 구조

 

MBC 사례는 단순 AI 활용 사례가 아니라, 전사 업무 · 콘텐츠 · 데이터 · AI모델인프라를 하나의 플랫폼 구조로 연결하여 방송사 내부에 AI 운영 계층을 구축하였다.

특히 MBC는 이러한 AI 플랫폼 위에서 실제 방송 업무와 연결된 다양한 AI서비스를 개발하고 있었는데 예로 AI 기반 음악 오디오 검색 및 추천 서비스인 MUSE, 쇼츠  ·  하이라이트 자동 편집 서비스인 CLIPIFY, 음성기반 AI서비스인 MSPEAK, AI 기반 방송 아카이브 구조화 시스템인 AI DAMS가 소개되었다.

 

이는 직원들이 AI 기반 플랫폼을 활용하여 업무 자동화, 앱 생성, 코드 생성 등을 직접 수행할 수 있는 환경이 구축되어 앞으로도 PD, 기자들이 다양하고 창의적인 서비스를 직접 만들어 배포할 수 있는 것이 특징이다.

 

이러한 서비스들이 단순 생성형 AI 수준이 아니라 방송데이터 자체를 AI가 이해 가능한 구조로 변환하는 방향으로 발전하고 있다는 점이다. 대표적으로 약 9000만 개의 방송음원데이터를 기반으로 RAG(Retrieval-Augmented Generation)구조를 구축하고 있다. RAG는 대규모 언어모델(LLM)이 외부 데이터를 검색한 뒤 그 결과를 기반으로 답변을 생성하는 구조를 의미한다. 즉 단순 ChatGPT 형태가 아니라 방송사가 보유한 음원, 가사, 장면, 아카이브, 메타데이터 등을 벡터 데이터베이스(Vector DB) 형태로 구조화하여 AI가 검색이해활용할 수 있도록 만드는 것이다.

RAG 기반 AI DAMS 구조

 

이는 Naver Cloud의 “Agent-Ready Asset” 개념과도 연결되는 흐름으로 앞으로 방송 콘텐츠가 단순 파일 저장이 아니라 AI가 작업 가능한 구조로 변화하고 있음을 보여준다. 또한 발표에서는 방송 데이터를 기반으로 자체 AI 모델을 학습시키는 구조도 소개되었다. Dataset 구축-> 모델 트레인->인퍼런스 구조를 통해 방송 영상과 장면 데이터를 AI 학습 자산으로 활용하고 있었으며 AI Agent와 Skill 기반 구조를 통해 업무 자동화와 서비스 연결을 확장하고 있었다.

이런 서비스 구현은 사내 AI 서비스 인프라 구조 위에서 실행되는데 단순히 ChatGPT API를 연결해 사용하는 수준이 아니라 방송사 내부에서 직접 AI 모델과 LLM을 운영할 수 있는 구조를 구축하고 있다는 점이다.

 

방송사는 미공개 방송 콘텐츠, 뉴스 취재 자료, 제작 문서, 편성정보 아카이브 데이터 등 민감한 내부 데이터가 매우 많기 때문에 외부 AI 서비스만 사용하는 구조에는 한계가 존재한다. 따라서 사내 GPU서버, 사내 LLM서빙, 데이터 권한 관리, 모델 게이트웨이, AI 거버넌스 등을 포함한 사내 AI 운영체제 구조가 중요하다.

또한 Kubernetes 기반 컨테이너와 VM 기반 가상화를 동시에 운영하는 구조는 기존 레거시 환경을 고려한 구조로써 최신 AI Agent 추론서비스는 컨테이너 환경으로 가상화하고 기존 방송시스템은 VM기반 가상화를 함께 운영해야 하는 실제 방송사 현실을 반영하고 있다.

 

결국 앞으로의 경쟁력은 새로운 AI 모델 하나를 보유하는 것이 아니라 데이터를 어떻게 구조화 할것인가?, AI Agent와 Workflow를 어떻게 연결할 것인가?, 방송사 내부 인프라와 거버넌스를 어떻게 구축할 것인가? 등 운영 가능한 AI 구조 자체가 중요한 경쟁력이 될 가능성이 크다라는 것을 느끼게 되었다.

4. 방송사는 이제 무엇을 준비해야 하는가?

이번 KOBA 2026 컨퍼런스를 통해 방송 산업은 단순 제작 자동화를 넘어, AI가 콘텐츠를 이해하고 운영하는 방향으로 빠르게 변화하고 있음을 확인할 수 있었다. NAVER Cloud는 콘텐츠를 AI가 이해 가능한 구조로 전환하는 “Agent-Ready Asset” 개념을 제시하였고, AWS는 실시간 AI 분석 기반의 “초개인화 방송 구조”를 소개하였다. 또한 MBC는 전 직원이 AI를 활용해 업무 자동화와 서비스 개발을 수행할 수 있는 “바이브코딩 플랫폼 구축” 방향을 제시하였다.

 

향후 KBS 역시 AI 기반 콘텐츠 구조화, 실시간 AI 방송 운영, 전사 AI 플랫폼 구축 등을 장기적으로 준비할 필요가 있을 것으로 보인다. 특히 KBS가 보유한 뉴스·스포츠·아카이브 데이터, 제작 노하우, 방송 문맥 데이터 등은 향후 AI 시대의 핵심 방송 자산이 될 가능성이 크다고 생각한다. 이번 KOBA는 단순한 기술 전시를 넘어, 방송 산업의 운영 구조 자체가 AI 중심으로 재편되고 있음을 보여준 컨퍼런스였다고 생각한다.

 

저자: 정보통신기술사 조유진(KBS)