AI 기반 사용자 선택형 입체미디어 서비스

금일은 AI 기반 2D 영상을 3D 영상으로 변환 선택형 입체미디어 서비스에 대하여 살펴보겠습니다. 

AI 기반 사용자 선택형 입체미디어 서비스

 

 

AI 기반 사용사 선택형 입체미디어 서비스라는 흥미로운 서비스가 있어서 관련 내용을 공유하고자 합니다. 물론 소개된 지 벌써 1년이 지나긴 했네요. 늦었지만 새로운 기술 공부하는 차원에서 작성해 봅니다. 개인적으로 AI tool을 이용해 2D영상을 3D영상으로 만들 수 있다는 사실이 인상 깊었습니다.  

아래 내용은 부산시- 한국전자통신연구원(ETRI)이 2023년에 공동연구를 통해 세계 최초로 개발한 '사용자 선택형 입체 미디어 서비스 기술'에 대한 소개 영상(김성후, ETRI 초실감메타버스연구소 부산공동연구실/실장)을 보고 정리한 내용입니다. 아래 유튜브 링크는 소개 영상 링크입니다.

 

https://www.youtube.com/watch?v=EO1I2Z8ORnc

 

[목 차]

1. 3D 서비스 장벽
2. UHD 지상파 인프라를 이용한 3D 서비스 방식
  가. HEVC simulcast 3D 방식
  나. SHVC 3D service mode
3. 2D to 3D conversion by AI
4. OTT 서비스 Plan

 

1. 3D 서비스 장벽

  가. 10여년 전에 잠시 주목을 끌었던 3D 서비스가 국내 시장에서 활성화 되지 못한 원인은 아래와 같은 이슈들이 있었기 때문
    - 3D 콘텐츠 부재(콘텐츠 생산자)
    - 3D 디스플레이 부족(가전사)
    - 전송 데이터량 증가와 그에 따른 채널 용량 부족(기술적 이슈)

  나. 3D 콘텐츠(콘텐즈 생산자)가 부족한 이유는 3D 카메라를 이용하여 2개의 영상을 획득해야 하고, 2개의 영상을 가지고 3D 콘텐츠를 만들기 위해 제작 인프라(네트워크, 스토리지, NLE 사양)의 대규모 증설이 필요하기 때문이다. 결국 제작 비용이 너무 비싸기 때문에 지상파 비즈니스 모델에 적용하기 어렵다.

  다. 3D 디스플레이 부족(가전사) 문제는 3D 콘텐츠가 부족한 상황에서 시청자들의 3D 디스플레이에 대한 요구가 낮기 때문에 가전사에서 3D 디스플레이이 생산하기는 어렵다.

  라. 전송데이터량 증가와 그에 따른 채널용량 부족 이슈는 ATSC 3.0 기술을 이용하여 어느 정도 해결이 가능함이 실험을 통해 입증되고 있다. 즉, Bandwidth를 늘리지 않고, 1개의 채널(6Mhz 대역내)에서 UHD 지상파 인프라를 이용해 3D 서비스를 할 수 있다는 것이다.

2. UHD 지상파 인프라를 이용한 3D 서비스 방식

  가. HEVC simulcast 3D 방식
    - ATSC 3.0 effective data rate는 25Mbps@6MHz이다.
    - ATSC 3.0을 이용한 지상파 UHD 방송은 6MHz 내에서 고정형 UHDTV 방송(20Mbps)과 이동형 HDTV(4Mbps) 2개의 방송을 서비스할 수 있다. (실험 방송 후 기술적으로 서비스하는데 문제는 없지만 방송통신위원회에서 허가가 나지 않은 상태)
    - 3D 서비스를 위해 좌영상을 고정TV에, 우영상을 모바일 TV에 실어서 보낸다. TV에서 두개의 영상을 Decoding하여 3D 서비스가 가능하다는 것을 실험방송을 통해 확인하였다.

< ATSC 3.0 effective data rate>

 

    - 아래는 UHD 지상파 인프라를 이용한 3D 서비스의 개략도입니다. 시청자 입장에서는 수신기에서 원하는 데이터를 선택하여 시청이 가능하다. 방송사 입장에서는 대역폭의 증가 없이 3개의 서비스(UHDTV, UHD3DTV, MobileHD 2DTV)를 할 수 있음을 의미한다.

<UHD 지상파 인프라를 이용한 3D 서비스의 개략도, HEVC simulcast 3D 방식>

 

나. SHVC 3D service mode
    - HEVC simulcast 3D 방식과 기본적으로 Concept은 동일하다. 다만, 인코딩 단에서 HEVC 방식을 사용하는 대신에 SHVC 방식을 사용한다는 차이만 있다.

 

<UHD 지상파 인프라를 이용한 3D 서비스의 개략도, SHVC 3D 방식>

 

 

    - 3D 서비스를 위해 좌우 영상을 Enhancement Layer(EL)와 Base Layer(BL)로 구분하여 스트림을 전송하는 구조이다.
    - UHDTV(2D) 서비스에 사용될 수 있는 bit rate가 약 24Mbps이므로, HEVC simulcast 3D 방식에 비해 더 좋은 영상 Quality 구현 가능하다.

<3D 서비스를 위한 SHVC Encoding>

 

3. 2D to 3D conversion by AI

  가. 이전에 3D 콘텐츠를 만들기 위해 카메라가 따로 있어야 되고, 스토리지가 2배가 필요하고, NLE를 이용한 편집 시간도 2배 필요했으나 이러한 이슈들을 AI가 해결해 줄 수 있음
  나. 실제 2D 영상을 3D로 컨버팅해서 본 결과 Quality도 좋고, 시청자 입장에서도 훨씬 더 편하게 시청 가능하다는 것을 확인
  다. 과거에 찍어 놓았던 모든 2D 영상을 AI 통해서 3D로 만들 수 있다는 사실은 획기적임
  라. AI 기술을 이용한 2D to 3D conversion 기술은 3D 콘텐츠 부족 문제를 해결해줄 대안이 될 수 있을 것이다.
  마. 채널 전송 용량 문제와 콘텐츠 부족 문제가 해결이 될 경우 단말기 부족 문제도 자연스럽게 해결 될 수 있을 것이라 예상

4. OTT 서비스 Plan

  가. OTT broadband 네트워크에서 3D VOD 서비스하는 것을 테스트 예정
  나. 모든 VOD 콘텐츠는 AI 툴을 이용해 2D에서 3D로 컨버팅될 것이다.
  다. 시청자가 로컬 방송사의 OTT 서비스 서버에 접속하여 VOD 서비스를 요청하면 service server는 클라우드에 올라가 있는 서버에 VOD 서비스를 요청하고 이 요청을 받은 스트리밍 서버가 스토리지에서 콘텐츠를 가져오서 시청자에게 스트리밍 구조

<ATSC 3.0 2D/3D Onlin VOD service>

 

위 내용은 부산시- 한국전자통신연구원(ETRI)이 2023년에 공동연구를 통해 세계 최초로 개발한 '사용자 선택형 입체 미디어 서비스 기술'에 대한 소개 영상(김성후, ETRI 초실감메타버스연구소 부산공동연구실/실장)을 보고 정리한 내용임을 다시 한 번 말씀드립니다.

 

 

 

 

정보통신기술사 양희성