Multimedia Terminology Organization

---

INDEX

 

1. 3 Components of Media

2. Container

3. Codec

4. GOP(Group of Pictures)

5. Reference

---

 

 

 

 

 

1. 3 Components of Media

1. 컨테이너(container)
2. 콘텐츠(content)
3. 컨텍스트(context)

책으로 예를 들면 책 겉모양이 container, 내용물(스토리)가 content, 독서를 할 수 있는 주변 환경이 context 이다.

 

 

 

---

 

 

 

2. Container(컨테이너)

동영상은 오디오, 비디오, 자막 파일등의 데이터를 담고 있고 동영상 그 자체로는 이 데이터들을 담고 있는 보관함( Container)라고 할 수 있다.

컨테이너가 담고 있는 오디오 비디오 데이터와 같이 데이터, 패킷, 비트 등 일련의 연속성을 갖는 흐름/데이터를 스트림(Stream)이라고 하고 이 스트림을 하나 이상 가진 컨테이너를 컨테이너 포맷(Container Format) 혹은 래퍼 포맷(Rapper Format)이라고 부른다.

 

 

 

Container의 역할

 

스트림을 제어할 수 있는 다양한 정보(메타데이터)를 가지고 있다.

 

 

 

스트림(Stream) 정의

• 데이터, 패킷, 비트 등 일련의 연속성을 갖는 흐름/데이터를 의미
• 비디오, 오디오 처럼 시간에 따라 변하는 일련의 데이터를 의미
• 여기서는 코덱(Codec)을 통해 인코딩(Encoding)된 영상, 음성, 데이터 출력물을 말함

 

 

 

---

 

 

 

3. Codec

• 음성 또는 영상의 신호를 디지털 신호로 변환하는 Coder와 그 반대로 변환하는 Decoder를 합쳐서 부르는 용어
• 용량이 큰 영상을 이동하거나 보관하기 쉽게 압축하고 재생할 때 다시 복원하는 역할

 

 

 

Codec 종류

• 품질이 저하되더라도 압축률을 높이는 손실 압축 코덱과 원본 데이터를 유지하면서 압축하는 무손실 압축 코덱으로 나눌 수 있음
• 압축 알고리즘에 따라 다양한 종류의 코덱이 존재

 

 

 

Video Codec

• H264, H265, VP8, VP9, AV1 등

 

Audio Codec

• MP3, AAC, Vorbis, AC3, FLAC 등

 

 

H.264

MPEG와 ITU가 연합하여 만든 동영상 압축 표준으로 Advanced Video Coding(AVC)이라고도 하며 가장 널리 사용되는 동영상 압축 표준이다.

 

H.265

고효율 비디오 코딩(HEVC)이라고도 하며, H.264의 뒤를 잇는 압축 표준이며,   H.264보다 훨씬 뛰어난 화질을 제공한다.

 

 

 

인코딩(Encoding)

• 아날로그 신호나 스트림 데이터로 이루어진 비디오와 오디오를 압축된 부호로 변환하는 과정

 

디코딩(Decoding)

• 압축된 데이터를 본래의 아날로그 혹은 스트림 데이터로 복원하는 과정

 

트랜스코딩(Transcoding)

• 코덱을 다른 종류의 코덱으로 변환하는 과정
• 디코딩 후 다른 코덱으로 다시 인코딩하는 과정이 필요

 

먹싱(Muxing = Multiplexing)

• 하나 이상의 코덱 스트림을 컨테이너에 추가하는 과정

 

디먹싱(Demuxing = Demultiplexing)

• 컨테이너에서 코덱 스트림을 추출하는 과정

 

트랜스먹싱(Transmuxing)

• 컨테이너를 변환하는 과정으로 확장자, 포맷을 변경한다고 표현함
• 컨테이너에서 코덱 스트림을 추출하여 다른 컨테이너에 추가하는 과정
• 디먹싱 후 다시 먹싱하는 과정이 필요하다

 

 

 

---

 

 

 

4. GOP(Group of Pictures)

• 몇 장의 전후 화면 데이터를 한 묶음으로 하는 영상 데이터 단위
• 인코딩된 이미지 프레임 그룹

 

 

 

GOP 특징

• 임의 시점으로 접근(Random Access)이 GOP 단위로 가능
• GOP가 가지고 있는 I-frame, P-frame, B-frame 의 비율에 따라 압축비가 달라짐
• 한 장 이상의 I-frame을 가지고 있어야 함
• 하나의 GOP로 묶인 프레임의 수를 GOP 수(GOP number, GOP N)이라고 하며 GOP 수가 클수록 압축률은 올라가지만 화질은 상대적으로 떨어짐

 

 

 

GOP의 구성 요소

I-frame(Intra Frame)

• 렌더링을 하기 위해 어떤 프레임에 의존하지 않고 (self-contained frame) 완비된, 독립된 프레임이다
• 다른 프레임을 디코딩할 때 키 역할을 하여 키 프레임(Key Frame)이라 부름

 

P-frame(Predicted Frame)

• 순 방향 예측 프레임 (이전 프레임을 참조해 변화가 발생한 부분의 데이터를 (predict) 순방향으로 예측해 저장하는 프레임)
• I-frame보다 용량이 작고 압축률은 높지만, 화질은 I-frame보다 낮음
• I-frame 용량의 33% 크기

 

B-frame(Bidirectional Frame)

• 양 방향 예측 프레임 (I-frame과 P-frame사이에서 각 프레임들을 참조해 움직임을 예측함)
• 가장 용량이 작고 압축률이 높지만, 화질은 가장 떨어지고 B-frame이 많이 포함될수록 용량은 줄지만 화질은 떨어지고 디코딩에 더 많은 부담을 줌
• P frame의 용량의 33% 크기
• 참조하는 I-frame, P-frame데이터가 손실되면 함께 손실을 입음

 

 

 

여러 타입들의 프레임은 더 나은 압축 성능을 제공하는 데 사용됨.

I-frame이 가장 비용이 많이 들고 P-frame가 조금 더 낮고 B-frame이 가장 낮다.

 

 

 

 

Open GOP / Closed GOP

Open GOP는 GOP의 마지막 프레임을 B 프레임으로 압축함으로서 다음 GOP의 키프레임을 해당 GOP의 B 프레임이 참조할 수 있도록 만드는 GOP 구조.

 

MPEG-2 코덱에선 Open GOP를 사용하고 x264 코덱에선 기본적으로 Closed GOP를 사용.

 

Open GOP를 사용하면 키프레임에 IDR 프레임을 사용할 수 없고, 대신 Recovery Point SEI가 삽입된 I 프레임을 사용하여 GOP 사이즈가 작은 경우엔 약간의 이득을 봄

 

 

 

 

 

---

 

 

 

5. Reference

 

[GOP]

→ https://github.com/leandromoreira/digital_video_introduction

GitHub - leandromoreira/digital_video_introduction: A hands-on introduction to video technology: image, video, codec (av1, vp9,

 

[Multimedia]

→ https://bradbury.tistory.com/

🤔메모장😦

 

[Container]

→ https://organicmedialab.com/

Organic Media Lab