Enhanced Compression Model (ECM)

금일은 최신 비디오 압축 기술인 ECM(Enhanced Compression Model)에 대하여 살펴보겠습니다. 

Enhanced Compression Model (ECM)

 

 

Enhanced Compression Model (ECM)은 비디오 압축 기술의 최신 표준 중 하나로, ITU-T VCEG와 ISO/IEC MPEG의 Joint Video Experts Team(JVET)에서 개발되었습니다. ECM은 특히 8K 비디오와 같은 고해상도 비디오에 대한 효율적인 압축을 제공하며, 이는 현재 Versatile Video Coding (VVC) 표준보다 훨씬 뛰어난 압축 능력을 가지고 있습니다.

ECM은 인지적 품질을 최대화하기 위해 인지적 메트릭에 따라 인코딩을 수행하고, 목표 비트 당 픽셀 목표에 맞게 시퀀스 선택을 수행합니다. ECM10 이라는 ECM의 10번째 버전은 2023년 9월에 출시되었으며, 이 버전은 동일한 코딩 조건 하에서 VVC의 참조 소프트웨어 구현인 VTM에 비해 비트 전송률을 12.5% 줄일 수 있다고 보고되었습니다. 이 결과는 4:2:0 샘플링 형식에 대한 비디오 압축에 대해 보고되었습니다.

 

ECM10 사용기술

블록 파티셔닝(Block Partitioning): ECM10은 고급 CU(코드 유닛) 레벨 파티셔닝 구조를 사용합니다. 이는 비디오의 다양한 부분에 대해 가장 효과적인 압축 방법을 결정하는 데 도움이 됩니다. 딥러닝 기반 필터링(Deep Learning-Based Filtering): ECM10은 딥러닝 기반의 필터링 기술을 사용하여 압축율을 향상 시킵니다.

블록 중요도 매핑(Block Importance Mapping, BIM): ECM10은 BIM 기술을 활성화하여 코딩 성능을 더욱 향상 시킵니다.
BIM은 ECM 내에 통합되어 있지만 이전에는 비활성화되어 있었습니다. 이러한 기술들은 ECM10이 VVC 표준에 비해 더 많이 압축하도록 합니다.. 실제로, ECM10은 ECM-10.0에 비해 Y, U, V 컴포넌트에 대해 각각 6.26%, 13.33%, 12.33%의 BD-rate 향상 했다고 보고되었습니다. 

 

 

1. ECM에 채택된 주요 비디오 부호화 기술

a. 화면내 예측은 VVC/H.265표준인  Position-dependent prediction combination(PDPC), Cross-Component Linear Model (CCLM), MultipleReference Line (MRL)기술에 더하여 Convolutional Cross-Component Model (CCCM), Decoder-side Intra Mode Derivation (DIMD)chroma, Gradient Linear Model (GLM), Spatial GeometricPartitioning Mode (SGPM)등과 같이 새로운 기술들이 ECM에 채택되었다.

그림 1. SGPM 예측블록의 예시 개념도

 

<그림 1>은 화면내 예측을 위해서 새롭게 개발되어 ECM에 채택된 SGPM의 기술의 개념도를 나타낸다.

 

SGPM은 Geometric Partitioning Mode (GPM)이 확장된 인트라-인트라로 볼 수 있다. VVC/H.266에서는 화면 간 예측을 위해 GPM이 사용되었으며, GPM기술은 블록의 형태를 직사각형에서 벗어나 다양한 블록 모양으로 예측할 수 있다. SGPM은 기존 GPM에서 적용되었던 인터 블록의 조합을 확장한 개념으로, 화면 내 인트라 블록 조합의 예측 블록 생성을 가능하게 하여 화면 내 예측 정확도를 크게 향상시킨 기술이다.

 

 

b. 화면간 예측 기술은 Affine motion model, Advanced Motion Vector Prediction (AMVP), Bi-prediction with CU-level Weights (BCW), Decoder-side Motion Vector Refinement (DMVR), Merge with Motion Vector Difference (MMVD), Geometric Partitioning Mode (GPM), Interpolation filter, Motion compensation, Reference Picture Resampling 등과 같이 VVC/H.266 표준에 있던 기술이 개선 확장된 기술들과 AMVP-merge 모드, Adaptive Reordering of Merge Candidates with Template Matching (ARMC-TM), Multi-Hypothesis Prediction (MHP), Overlapped Block Motion Compensation (OBMC) 등과 같이 ECM에서 새롭게 채택된 기술들로 구성된다.

그림 2. ARMC-TM 예측블록의 예시 개념도

 

<그림 2>는 ECM에서 화면간 예측 ARMC-TM 기술의 개념도로 모션정보를 더욱 정밀하게 찾으면서도 저비용의 시그널링 방법을 통하여 디코더에서 활용할 수 있도록 고안된 기술이다. 이를 위해서 템플릿 매칭 기술이 활용되었으며, 템플릿 매칭 기술은 디코더에서 활용 가능한 주변 정보를 이용하여 현재 모션정보의 후보군을 생성할 때 조금 더 선정이 가능할 수 있는 후보군을 생성하는 방식으로 활용되었다.

 

c. 변환 및 계수 부호화는 1차 변환인 Multiple Transform Selection (MTS), 2차 변환인 Low-Frequency Non-Separable Transform (LFNST), 계수 부호화와 관련된 기술들이 ECM에 채택되었다. 변환 및 계수 부호화의 기술은 낮은 주파수에 중요한 정보가 집중되는 성질을 활용하여 픽셀 값을 주파수영역으로 변환하는 기술이다.

그림 3. 부호 예측 기술의 예시 개념도

 

<그림 3>은 계수 부호화를 위해 ECM에 부호 예측 기술의 개념을 보여준다.

적용 가능한 변환 계수가 음수 및 양수 부호 조합에 대해 재구성된 잔차를 계산하고, 이를 바탕으로 비용 함수를 최소화하는 부호를 선택하는 것이다. 부호를 선택하기 위한 측정 도구는 그림과 같이 블록 경계를 기준으로 불연속 정도를 측정하는 방식으로 수행된다. 예를 들어, 실행가능한 모든 부호의 조합에 대한 비용 측정이 이루어지고, 이 중 비용이 가장 작은 하나가 최적 부호에 대한 예측으로 선택한다. 또, daptive Loop Filter (ALF), Deblocking Filter (DF), Sample Adaptive Offset (SAO)등 기존 표준에 존재하는 필터에 대한 확장 기술들이 ECM에 대거 채택되었다.

그림 4. CCSAO 기술의 예시 개념도

 

<그림 4>는 ECM에서 새롭게 제안되어 채택된 Cross-component Sample Adaptive Offset (CCSAO) 기술의 개념도를 나타낸다

d. CCSAO는 SAO와 유사하게 복원 샘플들을 특징에 따라 분류하여, 각 범주에 대한 적당한 오프셋을 생성한 뒤, 생성된 오프셋을 복원된 샘플에 더함으로 복원 영상의 화질을 향상시킨다. CCSAO는 단일 루마/크로마 샘플만을 입력으로 사용하는 SAO와 달리, 서로 다른 범주로 분류하기 위해서 모든 루마, 크로마의 성분을 모두 이용하는 것이 CCSAO의 특징으로 볼 수 있다. 

 

 

2. ECM의 성능 평가

ECM-9.0은 AI, RA, 및 LDB 구성에서 평균 11.6%, 21%, 17.1%의 비트레이트 절감을 보여주고 있다.

VVC와 ECM의 차이점

 

VVC(Verstaile Video Coding)와 ECM(Enhanced Compression Model)은 모두 비디오 압축 표준으로 두 표준은 몇 가지 중요한 차이점을 가지고 있습니다.

개발 단체 : VVC는 MPEG와 ITU-T의 Joint Video Experts Team(JVET)에서 개발되었습니다. 반면에, ECM은 MPEG-I Versatile Video Coding (VVC)/H.266 이후 차세대 비디오 코딩 표준의 기술 개발을 위해 탐색 실험 중인 신호처리 기반 비디오 부호화 기술 모델입니다.

압축 효율 : VVC는 HEVC보다 약 30%~50%의 부호화 효율 개선을 목표로 하였습니다. 반면에, ECM은 VVC에 비해 더 높은 압축률을 제공하며, 이는 현재 VVC 표준보다 훨씬 뛰어난 압축 능력을 가지고 있습니다.

블록 분할 : VVC는 가로 세로 각각 절반의 4분할이지만, ECM은 3분할 2분할 등에도 유연하게 대응함으로써 기존보다 효율적으로 인코딩할 수 있습니다.

인코딩 복잡도 : VVC의 인코딩 복잡도는 HEVC의 9.7배, 디코딩 복잡도는 약 두 배로 예측되었습니다. 

 

이러한 차이점들은 VVC와 ECM이 각각 다른 애플리케이션에 적합하게 만듭니다. VVC는 현재의 비디오 스트리밍 및 저장 요구사항을 충족시키는 데 충분하지만, ECM은 더 높은 압축률과 향상된 성능을 제공하여 데이터 집약적인 애플리케이션에 적합니다.

 

 

기타 8K코덱

AV1 : 이 코덱은 Alliance for Open Media에서 개발하였으며, 8K 비디오 스트리밍에 특히 유용합니다. 
유튜브와 같은 플랫폼에서는 AV1 코덱을 사용하여 8K 비디오를 스트리밍 합니다.

VP9 : 이 코덱은 구글에서 개발하였으며, 4K 및 8K 비디오 스트리밍에 사용됩니다.

 

그러나 이러한 코덱들을 지원하기 위해서는 그래픽 카드가 해당 코덱의 하드웨어 가속을 지원해야 합니다. 
예를 들어, NVIDIA GTX950 그래픽카드는 VP9 코덱의 하드웨어 가속을 지원하므로, CPU 도움 없이도 최대 4K 2160P 스트리밍 영상을 가볍게 재생할 수 있습니다. 또한, 최신 RTX 3000 라인업은 VP9 Profile2 + AV1 코덱 8K HDR 스트리밍 영상까지 HW 가속을 지원합니다.


            
참 고 문 헌

한국통신학회지 정보와 통신
Post VVC 표준을 위한 ECM (경희대 최기호교수)
한국방송 미디어공학회 (방송과미디어)
CDNetworks.com

 

 

 

정보통신기술사 유지