AI 비디오 업스케일링 기술 동향

오늘은 AI 기술 기반 비디오 업스케일링 기술 동향에 대하여 살펴보겠습니다.
 

DALL-E3 생성 이미지

 

1. 개요

AI 비디오 업스케일링은 AI 기술을 활용하여 낮은 해상도의 비디오를 고품질로 변환하는 기술이다. 기존의 업스케일링 방식과 달리 딥러닝 모델을 사용하여 고해상도 이미지를 예측하여 업스케일링을 수행함으로써 HD 비디오 콘텐츠가 4K TV에서 더욱 선명하게 보이며, 더욱 몰입적인 시청 경험을 제공할 수 있다.
 
 

2. AI 비디오 업스케일링의 등장 배경

최근 4K를 넘어 8K까지 다양한 초고해상도 디스플레이 제품이 등장하고 있으나 아직 이에 맞는 고해상도 영상의 부족으로, 저해상도 영상을 디스플레이에 맞게 단순 업스케일링하여 시청하는 상황이다. 하지만 기존의 단순 업스케일링 방식은 화질이 깨지거나 뭉개지는 현상이 발생하여, 이를 극복하기 위해 AI 기반 비디오 업스케일링 기술이 등장하게 되었다.
 

이미지 확장 방식, 출처:https://geekysoumya.com/upscaling-1080p-to-4k-how-is-it-possible/

 
 

3. 기존 비디오 업스케일링과 AI 비디오 업스케일링의 차이

기존 비디오 업스케일링은 저해상도 이미지의 픽셀을 단순히 복사하고 확대하여 더 큰 해상도의 디스플레이에 맞게 조정하는데, 이미지를 확대하는 과정에서 발생하는 울퉁불퉁한 가장자리를 부드럽게 하기 위해 기본적인 필터링을 적용하고, 결과적으로 이미지는 더 크게 보이지만 세부 사항이 흐릿해지거나 색상이 바래는 경우가 있다.

반면에, AI 비디오 업스케일링은 고급 딥러닝 알고리즘을 사용하여 저해상도 영상의 내용을 정교하게 분석하고 예측한다. AI 모델은 수많은 고해상도 이미지를 학습하여 저해상도 이미지가 고해상도로 변환될 때 어떻게 보일지를 예측함으로써, 이미지의 선명도와 디테일을 크게 향상시키며, 원본에 없던 세부 정보까지 복원할 수 있어 비디오 품질 향상, 디지털 리마스터링, 영화 제작 및 콘텐츠 제작에 유용하게 활용된다.

AI 업스케일링 구현 방식, 출처:NVIDIA 홈페이지

 

4. 대표적 AI 업스케일링 기술

현재 대표적인 AI 비디오 업스케일링 기술로는 NVIDIA의 RTX VSR(RTX Video Super Resolution)과 Microsoft의 VSR(Video Super Resolution) 이 있으며, 게임 분야에서는 그래픽 성능 향상을 위해 GPU 제작사들이 내놓은 NVIDIA의 DLSS(Deep Learning Super Sampling), Intel의 XeSS(Xe Super Sampling) 및 AMD의 FSR(FidelityFX Super Resolution) 등의 기술이 존재한다. 이 밖에도 AI 업스케일링 기능이 적용된 삼성전자의 8K TV도 출시되어 있다. 
 
- NVIDIA의 RTX VSR (RTX Video Super Resolution)

NVIDIA의 RTX VSR, 출처:NVIDIA 홈페이지

 
RTX VSR은 AI를 활용하여 낮은 해상도의 비디오를 고품질로 변환하는 기술로, 최신 NVIDIA RTX 비디오 카드의 AI와 텐서 코어(Tensor Core)를 사용하여 작동한다. 

RTX VSR은 영상에서만 동작하며, 입력된 영상의 각 프레임을 다양한 컨텐츠로 훈련된 딥러닝으로 분석하여 테두리와 특징이 향상되고 복구된다. 또한 압축된 아티팩트를 감지, 제거하여 원본 영상보다 더 깨끗하고 선명한 이미지를 생성 할 수 있다.
 
- Microsoft 엣지 브라우저의 VSR (Video Super Resolution)

Microsoft의 VSR, 출처:Microsoft 홈페이지

 
Microsoft VSR은 Microsoft가 자체적으로 개발한 인공지능 학습 모델 기반 VSR을 활용하여 엣지 브라우저에서 시청하는 낮은 해상도의 비디오를 고품질로 변환하는 기술이다. 480p 이하 저화질 영상을 보다 선명하게 만들어 주며, YouTube와 같은 비디오 스트리밍 플랫폼에서 높은 품질의 비디오를 즐길 수 있게 한다. 

Microsoft VSR은 현재 Nvidia RTX 20/30/40 시리즈와 AMD RX5700-RX7800 시리즈 그래픽 카드가 필요하며, 앞으로도 더 많은 그래픽 카드를 지원할 예정이다. 
 
- NVIDIA의 DLSS(Deep Learning Super Sampling)

NVIDIA의 DLSS, 출처:NVIDIA 홈페이지

 
NVIDIA의 DLSS는 AI를 활용하여 그래픽 성능을 향상시키고 이미지 품질을 높이는 혁신적인 기술로, 새로운 4세대 Tensor 코어와 GeForce RTX 40 시리즈 GPU의 옵티컬 플로우 가속기를 기반으로 한다. 

DLSS는 프레임 생성, 광선 재구성, 초고해상도, 딥 러닝 안티앨리어싱 (DLAA)과 같은 주요 기능을 제공하며 최신 게임에서 활용되고 있다. 최근 DLSS 3.5가 출시되었으며 다양한 플랫폼과 애플리케이션에서 사용할 수 있다. 
 
- Intel의 XeSS(Xe Super Sampling)

Intel의 XeSS, 출처:Intel 홈페이지

 
Intel의 XeSS는 인텔 Arc Alchemist 그래픽 카드의 업스케일링 기능으로, 게임을 낮은 해상도로 렌더링한 다음 GPU 내부에 있는 머신 러닝과 전용 AI 하드웨어를 사용하여 업스케일링한다. 이를 통해 이미지 품질을 최대한 유지하면서 성능을 향상시킨다.
 
- AMD의 FSR(FidelityFX Super Resolution)

AMD의 FSR, 출처:AMD 홈페이지

 
AMD의 FSR은 NVIDIA의 DLSS에 대응하는 기술로, 최첨단 오픈 업스케일링 및 고급 프레임 생성 기술을 사용하여, 지원되는 게임에서 프레임률을 부스트하고 거의 모든 하드웨어에서 고품질의 고성능 게이밍을 선사한다. 현재는 단순 공간 업스케일링 방식으로 구현되어 있으나, 2024년에 AI 기반 업스케일링 기능이 추가될 것으로 보인다.
 
- 삼성전자 8K TV

삼성전자 8K TV, 출처:삼성전자 홈페이지

 
삼성전자의 8K TV는 삼성의 독자 기술로 만들어진 AI 8K 프로세서를 탑재하고 있으며, 8K AI 업스케일링 Pro를 통해 낮은 해상도의 영상을 8K 수준으로 업스케일링한다. 이 프로세서는 512개의 뉴럴 네트워크를 사용하여 화면 속 영상과 사운드를 최적화하여 8K 시청 경험을 제공한다. 
 
 

5. AI 비디오 업스케일링 상용 소프트웨어

현재 AI 비디오 업스케일링을 지원하는 다양한 상용 소프트웨어가 서비스 중이며, 2024년 가장 주목받는 소프트웨어들은 다음과 같다.
 
- HitPaw Video Enhancer
가장 신뢰성이 높고 전문적인 비디오 업스케일링 소프트웨어로 평가되며, 저해상도 비디오를 완벽하게 개선하는 데 도움이 된다. HitPaw Video Enhancer는 저해상도 비디오의 채도, 밝기, 대비를 조정하여 높은 품질로 업스케일링 할 수 있으며, 비디오의 디테일을 손상시키지 않으면서 비디오를 4k/8K로 업스케일링할 수 있다.
https://www.hitpaw.net/hitpaw-video-enhancer.html

- Topaz Video Enhancer AI
Topaz Video Enhancer AI는 디테일과 일관성을 저해하지 않으면서 최대 8K UHD까지 비디오를 업스케일링 할 수 있다. 다양한 비디오 개선 옵션을 제공하는 쉬운 인터페이스를 통해 원하는 방식대로 편집을 수행할 수 있다.  단, GPU 성능에 크게 의존한다.
https://www.topazlabs.com/topaz-video-ai

- AVClabs Video Enhancer AI
AVCLabs Video Enhancer AI는 AI를 활용하여 동영상 화질을 개선하는 프로그램으로, 다양한 문제가 있는 비디오를 AI 모델을 통해 고화질, 고해상도, 무노이즈의 4K 또는 8K 비디오로 복원하고, 흑백 비디오를 지능적으로 컬러화할 수 있다. 또한 동영상 속 인물이나 배경을 제거하거나 원하는 하늘 배경을 변경하는 등 다양한 기능을 제공한다.
https://www.avclabs.com/video-enhancer-ai.html

- DVDFab Video Enhancer AI
DVDFab Video Enhancer AI는 사용 편의성이 뛰어난 인터페이스를 제공하며, 내장 도구의 다양성으로 안정적인 비디오 업스케일링이 가능하다. 고급 AI 알고리즘을 사용하여 비디오 품질을 개선하며, 480p, 1080p의 저해상도 비디오를 쉽게 4K로 업스케일링 할 수 있다. 구성 설정이 필요하지 않아 즉시 사용 가능하다.
https://www.dvdfab.cn/video-enhancer-ai.htm

 

6. AI 비디오 업스케일링의 장단점

[장점]

 
- 화질 향상
기존 저해상도 비디오를 초고해상도로 업스케일링하여 더 선명한 화질의 콘텐츠를 제공할 수 있다. 또한 저화질의 CCTV 영상 등의 개선으로 기존에 불가능하던 번호판 식별, 신원 파악 등에도 활용 가능하다.

- 제작 비용 절감
초고해상도 비디오 제작을 위해서는 초고화질 카메라, 대용량 고성능 스토리지, 광대역 네트워크, 고성능 단말 등이 필요, 제작 비용이 증가하게 되는데, AI 비디오 업스케일링 기술을 적용하면 기존의 중저가 제작 시스템을 그대로 사용하여 콘텐츠를 제작한 뒤 최종적으로 업스케일링하는 것만으로 동일한 화질을 얻을 수 있어 제작 비용을 획기적으로 줄일 수 있다.

- 저장 공간 및 네트워크 효율성 향상
비디오를 저해상도로 압축하여 저장 및 전송하고, 필요 시 고해상도로 업스케일링하여 디스플레이함으로써 저장 공간을 줄이고 네트워크 효율성을 향상시킬 수 있다. 
 

[단점]

 
- 컴퓨팅 성능 한계
AI 비디오 업스케일링은 고성능 그래픽카드 및 대용량 메모리 등 상당한 컴퓨팅 성능을 요구하며 변환 시 시간이 오래 걸리는 문제가 있다.

- 품질 제한
AI를 통한 비디오 업스케일링은 기존 비디오의 품질을 향상시키지만, 아직까지는 아티팩트 발생 등 완벽한 품질을 보장하지 않고 있다.
 
 

7. AI 비디오 업스케일링 기술 전망

AI 비디오 업스케일링 기술은 최근 몇 년 동안 큰 발전을 이루었다. 이 기술은 낮은 해상도의 비디오를 고해상도로 변환하고, 이미지 품질을 향상시키며, 더 나은 시청 경험을 제공하는 데 중요한 역할을 하고 있다.

현재 다양한 업체에서 기술 개발을 진행하고 있으며, 향 후 방대한 데이터 축적 및 진보된 변환 알고리즘을 통해 더욱 효율적이고 정교한 비디오 업스케일링 기술로 발전해 나갈 것으로 기대한다.
 
 
정보통신기술사 김명일