Рисунок 4.1 - Формирование полей макроблока при полевом ДКП

Обработка чересстрочных изобра­жений вносит существенные отли­чия и в процесс предсказания. Кад­ровое предсказание, как и в MPEG-1, оценивает наилучшее сопряжение макроблоков 16 х 16 пикс.   в текущем и опорном кадрах. Поле­вое предсказание ищет сопряжение для блока 16 х 16 пикс., взятого из текущего поля, в двух предыдущих полях и выбирает лучший результат. Как и при ДКП, полевое кодирование может использовать только полевое предсказание, у кадрового кодирова­ния возможности шире - допускается применение кадрового предсказания или поле­вого, в последнем случае ищется сопряжение отдельно верхнего и нижнего полей мак­роблока в каждом из двух полей опорного кадра и выбирается лучший результат. Более высокую точность компенсации движения обеспечивает разбиение макроблока на два поля. При этом определяются два вектора перемещения для вер­хнего и нижнего полей макроблока размерностью 16 х 8 пикс. и передаются декодеру, который использу­ет их для более точного восстановления изображе­ния.

MPEG-2 ввел новый режим компенсации движе­ния для эффективного устранения временной избы­точности между полями, названный «Двухступенчатая компенсация с уточнением векторов» (Dual prime motion compensation). В данном режиме ищутся вектор перемещения для области изображения 16 х 8 пикс. из одного поля и дополнительный вектор приращения (принимающий значения минус 1, 0, 1 по осям х и у) для той же области, но в поле другой четности. В декодере вектор приращения использу­ется для уточнения отсчетов предсказанного блока.

МPEG-2 допускает значительную гибкость и в формировании I-, Р-, В-кадров. Кодированный 1-видеокадр может состоять из I-кадра с прогрессивным разложением, или пары I-полей, или I-поля и пред­сказанного из него Р-поля. Аналогично Р-видеокадр может содержать Р-кадр, или два Р-поля, В-видео-кадр - В-кадр или пару В-полей.

Рисунок 4.2 – Альтернативное сканирова­ние коэффициентов ДКП

при черес­строчном разложении

Для обработки чересстрочных изображений MPEG-2 предлагает альтернативный вариант сканирования коэффициентов ДКП, оптимизированный с точки зре­ния кодирования длин серий (рисунок 4.2).

Отметим еще несколько отличий в кодировании видеоданных.

а) PEG-2 в большинстве случаев использует в качестве сигнала источника компонентный сигнал «4:2:0», но расположение отсчетов в поле изображения несколько отличается от MPEG-1 (рисунок 4.3).

б) В MPEG-2 длина слайса не может быть более одной строки (напомним, что в MPEG-1 длина слайса не ограничивалась).

в) MPEG-1 допускает квантование постоянной составляющей ДКП только с разрядно­стью 8 бит, в MPEG-2 в некоторых случаях допускается 9- или 10-битовое квантование.

г) Для предотвращения потери макроблоков, кодированных с внутрикадровым пред­сказанием, применяется маскирование - подстановка вместо утерянного макроблока ближайшего, схожего по параметрам. Для этого в потоке передается управляющий код «пропущенного макроблока».

д) Предусмотрена передача информации режима панорамирования (pan&scan), ука­зывающей декодеру, какую часть изображения форматом 16:9 отображать на экране с форматом 4:3. Информация посылается в каждый кадр и позволяет смещать изображе­ние с точностью до 1/16 пикс.

4.2.2 Уровни и профили стандарта MPEG-2

MPEG-2 охватывает весьма широкий диапазон сложности кодирования и качества изоб­ражения - от простых I-кадров до сложных ГВК, от низкого разрешения до ТВЧ. В процессе разработки стало ясно, что построить декодер, удовлетворяющий одновремен­но всем требованиям стандарта, возможно, но неэкономично, так как он окажется весь­ма сложным и дорогим и в то же время будет обладать большой избыточностью по отношению к более простым приложениям. Разработчики стандарта разделили все сред­ства и инструменты обработки видеосигналов на несколько Профилей (Profile), под­держивающих обратную совместимость и различающихся использованием тех или иных элементов синтаксиса. Как правило, каждый Профиль добавляет один или несколько инструментов к имеющимся у нижележащего Профиля.

Таблица 4.1 – Пределы изменения параметров цифрового потока для различных уровней Основного профиля MPEG-2

На сегодняшний день в стандарте приняты пять основных и один дополнительный, профессиональный Профиль «4:2:2», введенный позднее. Внутри каждого Профиля выде­лены Уровни (Level), определяющие допустимые пределы изменения основных парамет­ров цифрового потока. Таких Уровней четыре, и в таблице 4.1 приведены установленные для них пределы скорости потока и разрешающей способности. Уровень «Высокий-1440» был введен для планировавшейся европейской системы с разложением 1440 х 1152 пикс. и форматом кадра 4:3. Отметим, что в принятой Рекомендации ВТ.709 по ТВЧ форматам такой формат не предусмотрен. Не все Профили определены при всех Уровнях, допусти­мые сочетания указаны в таблице 4.2.

Таблица 4.2 – Уровни и профили стандарта MPEG-2

Затенением в таблице выделен режим «4:2:2P@HL», отсутствующий в стандарте MPEG-2 и предложенный позднее проектом стандарта SMPTE-308М [2] по инициативе вещательных компаний. Этот режим удобно использовать при производстве программ. Он допускает максимальную скорость потока 300 Мбит/с со сле­дующими ограничениями: на скорости от 230 до 300 Мбит/с допускаются только I-кадры, на скорости от 175 до 230 Мбит/с - I-, IP-, IB-кадры, на меньших скоростях - ГВК любой конфигурации, не противоречащей стандарту MPEG-2. Декодеры, поддерживающие определенный Уровень определенного Профиля, должны работать также и при всех более низких Уровнях и Профилях.

В англоязычной ли­тературе принято обо­значать сочетания про­филя и уровня первыми буквами, разделенными знаком @. Например, сочетание «Основной профиль - Основной уровень» записывается как MP@ML (Main Profile@Main Level). Режим MP@ML стал наиболее распространенным и широко употребительным, он обеспечивает полную раз­решающую способность 720 х 576 пикс., предусмотренную Рекомендацией ВТ.601, и это сочетание признано наиболее подходящим для цифрового вещания. Максимальная скорость потока видеоданных 15 Мбит/с заведомо достаточна для достижения каче­ства изображения, превышающего возможности аналоговых стандартов PAL, SECAM и NTSC. Масштабирование в Основном профиле не применяется.

Простой профиль (SP — Simple Profile), не поддерживающий двунаправленное пред­сказание и В-кадры, предназначался первоначально для массовых применений при об­работке компьютерных изображений и в других приложениях, не требующих высокого качества изображения, однако стоимость микросхем, разработанных для Основного про­филя, оказалась так низка, что разработка специальных изделий для Простого профиля была признана нецелесообразной. Он применяется лишь в простейших программных MPEG-кодерах.

Масштабируемые профили пока широко не используются, хотя в некоторых прило­жениях для них просматриваются возможные области применения. Масштабируемостью называют способность кодека (кодера и декодера) формировать и обрабатывать упоря­доченный набор из нескольких цифровых потоков. Минимально необходимый набор потоков называется базовым слоем, каждый из остальных - улучшающим слоем. Базо­вый слой передает сигнал пониженного качества с более высоким отношением сигнал-шум, или сигнал с пониженным пространственным разрешением, который может при­ниматься декодером низкого профиля, а в улучшающих слоях передается дополнительная информация, используя которую, кодеры более высокого профиля восстанавливают улучшенное изображение. Синтаксис MPEG-2 поддерживает до двух слоев масштаби­рования. Принцип работы масштабирующего кодека показан на рисунке 4.4. В ходе разработки было признано нецелесообразным объединять все виды масшта­бирования в один Профиль, и разработали две схемы - с масштабированием отноше­ния сигнал-шум и с пространственным масштабированием. В схеме, масштабирующей отношение сигнал-шум (SNR (Signal-to-Noise Ratio) Profile), в базовом слое передаются грубо квантованные коэффициенты ДКП. Они передаются с низкой скоростью, что несколько повышает шумы квантования, но улуч­шает помехоустойчивость. Улучшающий слой кодирует и передает разницу между не­квантованными и грубо квантованными значениями коэффициентов, которую декодер SNR профиля использует для уточнения значений коэффициентов.

а) кодер; б) декодер

Рисунок 4.4 - Принцип работы масштабирующего кодера

Можно использо­вать этот подход и для изменения пространственного разложения, если в базовом слое передавать самые нижние М х N (M<8, N< 8) коэффициентов ДКП, а в улучшающем слое — остальные (64 — М х N). Профиль с пространственным масштабированием (Spatial Scalable Profile) был вве­ден в стандарт для обеспечения доступа декодерам стандартной четкости к программам ТВЧ. Привязкой к ТВЧ объясняется довольно большая скорость цифрового потока, предусмотренная в этом Профиле. В базовом слое такой системы передается после прореживания информация, соответствующая стандартному разрешению, а в улучшаю­щем слое — дополнительные отсчеты, отфильтрованные в базовом слое.  Профиль «Высокий», предусматривающий все инструменты нижних профилей, в настоящее время пока не используется по нескольким причинам, в том числе, по-види­мому, из-за отсутствия интегральных микросхем с достаточными ресурсами производи­тельности.

Несколько особняком, вне иерархии, стоит профиль «Профессиональный 4:2:2», предназначенный для обеспечения совместимости с цифровым студийным оборудова­нием видеопроизводства. В этом формате работают, например, перевозимые комплекты цифровых систем сбора новостей, передающие сигнал через спутники для последующей записи и монтажа. Профиль «4:2:2» должен обеспечивать качество изображения, сравнимое с цифровой видеозаписью формата D1, и возможность многократного MPEG кодирования-декодирования сигнала. Его основными свойствами являются структура дискретизации «4:2:2» (в отличие от обычной в MPEG-2 «4:2:0»), увеличенное число строк - 608 в отличие от 576, и возможность работы с повышенными скоростями - до 50 Мбит/с вместо 15 Мбит/с, обеспечиваемых Основным профилем. Последнее тре­бование связано с более короткими группами видеокадров, используемыми при видео­монтаже. Предложенный недавно Высокий уровень этого профиля позволит расши­рить область использования MPEG-2 при подготовке ТВЧ программ.

Для профессиональных применений очень важна способность оборудования разных производителей работать совместно (по-английски это свойство называется interoperability, в русском языке наиболее близка «совместная работоспособность»). Хотя MPEG-2 должен обеспечивать полную совместимость во всех режимах работы, организация Pro-MPEG Forum, занимающаяся внедрением стандартов MPEG, предло­жила [2] использовать в профессиональных системах для стыков аппаратуры ограни­ченное число режимов, в которых заведомо должны выполняться все требования к цифровому потоку. В качестве таких режимов выбраны:

1) 4:2:2P@ML, ТСЧ, скорость до 50 Мбит/с, любая разрешенная структура ГВК.  2. 4:2:2P@ML, ТСЧ, скорость до 50 Мбит/с, только I-кадры.

3а) 4:2:2P@HL, ТВЧ, скорость до 80 Мбит/с, любая разрешенная структура ГВК.

3б) 4:2:2P@HL, ТВЧ, скорость до 175 Мбит/с, любая разрешенная структура ГВК.

 4) 4:2:2P@HL, ТВЧ, скорость до 300 Мбит/с, только I-кадры.

4.3 Реализация цифрового многопрограммного звука

4.3.1 MPEG-2- расширение MPEG-1 в сторону многоканального звука 

Следствием совместимости MPEG-2 с MPEG-1 в части кодирования звука стало полное использование трехуровневой системы, разработанной в MPEG-1 для обработки звукоданных кодерами стандарта MPEG-2. Раз­личия между стандартами начинаются при переходе от двухканального звука, принято­го за основу в MPEG-1, к многоканальному звуку, поддерживаемому в MPEG-2.

MPEG-2 специфицирует различные режимы пе­редачи многоканального звука, в том числе пятиканальный формат, семиканальный звук с двумя       дополнительными фронтальными динамиками, применяемыми в кинотеатрах с очень широким эк­раном, расширения этих форматов с низкочастотным каналом. В числителе дроби указывается число фронтальных каналов, в знаменателе - число каналов, излучаемых сзади. Соответствующее расположение динами­ков показано в таблице 4.3.

Одной из разновидностей многоканального звука является многоязычное звуко­вое сопровождение. Оно может осуществляться либо передачей отдельного цифро­вого потока для каждого языка, либо добавлением нескольких (до 7) языковых каналов 64 кбит/с к многоканальному потоку 384 кбит/с. Возможна передача допол­нительных звуковых каналов для людей с ухудшением зрения и слуха (с описанием сцены в первом случае и отдельным каналом диалогов во втором). Как же обеспечива­ется совместимость этих сложных многокомпонентных сигналов с относительно про­стым декодером MPEG-1? В кодере MPEG-2 сначала с помощью матрицы формируются комбинированный двухканальный сигнал, совместимый со стереосигналом MPEG-1, и набор вспомогательных сигналов, не совместимых с ним и служащих для восстановле­ния многоканального сигнала в декодере MPEG-2 (рисунок 4.6а).

а) кодер; б) декодер

Рисунок 4.6 - Обработка многоканального звукового сигнала в кодере и декодере МРЕG-2

При кодировании двухка­нальный сигнал укладывается в структуру ПЭП звука, совместимого с MPEG-1, и мо­жет прочитываться соответствующим декодером. Остальные компоненты после кодирования размещаются в других структурных единицах цифрового потока и доступ­ны только декодеру MPEG-2.

Учитывая широкое распространение в мире системы Dolby Pro Logic (продано более 40 млн. декодеров) и совместимость ее с обычным стереоканалом, разработчики звукового стандарта MPEG-2 заложили в алгоритм формирование стереосигнала в таком виде, как его формирует указанная система. Владельцы декодера Dolby Pro Logic могут теперь полу­чить многоканальный сигнал двумя способами: либо непосредственно с выхода декодера MPEG-2, либо подав комбинированный стереосигнал (stereo downmix) с выхода более простого декодера MPEG-1 на вход декодера Pro Logic, который выделит из него многока­нальный сигнал (рисунок 4.6б). Соответствующий интерфейс определен в стандарте IEC61937, он основан на линейной передаче звукоданных с ИКМ и скоростью до 1536 кбит/с.

Таблица 4.3 – Иерархия многоканальных систем согласно Рекомендации BS.775

4.3.2 Кодирование с пониженными частотами дискретизации

В дополнение к основному режиму с частотами дискретизации 35, 44,1 и 48 кГц в MPEG-2 введен низкоскоростной режим, так называемый LSR (Low Sampling Rate) с пониженными вдвое частотами дискретизации: 16, 22,05 и 24 кГц. Этот режим приме­няется для передачи сигналов пониженного качества на очень низких скоростях, напри­мер, при вещании по сети Интернет. Оказывается, что на скоростях порядка 64 кбит/с применение половинных частот дискретизации повышает субъективное качество звуча­ния речевого сигнала. Дело в том, что связанное с этим отбрасывание высоких частот почти не влияет на качество речи, а высвобождающиеся ресурсы битов используются кодером для более точной передачи нижней части звукового спектра. Поскольку число частотных полос в любом случае сохраняется равным 32, спектральное разрешение оказывается более высоким. Например, при частоте дискретизации 24 кГц ширина каж­дой из полос составляет 375 Гц вместо 750 Гц при 48 кГц.

Институтом Фраунгофера в Германии предложено дальнейшее понижение частот дискретизации до 8, 11,05, 12 кГц, позволяющее, по утверждению разработчиков, улуч­шить качество воспроизведения при сверхнизких скоростях цифрового потока. Это рас­ширение пока не вошло в стандарт, но некоторые звуковые кодеры высоких уровней его поддерживают.

4.3.3 Система улучшенного кодирования звука ААС

Одной из лучших современных систем сжатия звука признана система ААС (Advanced Audio Coding - усовершенствованная система кодирования звука), специфицирован­ная в седьмой части стандарта ISO/IEC 13818. В отличие от других методов сжатия звукоданных, принятых в MPEG-2, она не обладает свойством обратной совместимости - декодеры MPEG-1 не могут декодировать сигнал ААС. По своей эффективности ААС вдвое превосходит Уровень II и в 1,4 раза Уровень III стандарта MPEG-1. Высоко­качественное воспроизведение звука достигается уже при скорости цифрового потока 96 кбит/с. В стандарте поддерживается широкий набор параметров и возможностей: частоты дискретизации от 8 до 96 кГц, моно- и стереосигналы, три профиля — Основ­ной (Main), Упрощенный (LC - Low complexity), Масштабируемый (SSR — Scalable Sampling Rate). Одновременно может быть описано до 16 звуковых программ, состоя­щих из большого числа сигналов звука и данных (до 48 основных, 15 низкочастотных, 15 многоязычных каналов, 15 потоков данных).

Как и самый сложный из предшествующих, Уровень III из MPEG-1/2, ААС исполь­зует все средства цифрового сжатия — полосное кодирование, неравномерное кванто­вание, кодирование кодом Хаффмана, итерационные алгоритмы распределения битов, но улучшает алгоритм Уровня III во многих деталях и использует новые эффективные средства кодирования для улучшения качества звучания при очень низких скоростях.

Основные улучшения можно свести к следующим моментам [2]:

а) Улучшено разрешение по частоте благодаря использованию 1024 частотных полос по сравнению с 576 в алгоритме Уровня III. При этом короткие блоки имеют длину всего 256 отсчетов, что обеспечивает эффективную обработку быстрых изменений зву­кового сигнала. Переключение производится по результатам анализа поведения вход­ного сигнала во времени.

б) В Основном профиле применена оптимальная схема предсказания назад, обеспе­чивающая более высокую эффективность отработки изменений основного тона.

в) Применен более гибкий алгоритм кодирования в режиме joint stereo, как в режиме кодирования по интенсивности, так и в режиме «сумма-разность».

г) Применен улучшенный код Хаффмана, кодирование четверками частотных линий применяется очень часто, что дополнительно сокращает расход битов.

Структурная схема звукового кодера формата ААС Основного профиля приведена на рисунке 4.7. Новым элементом по сравнению с Уровнем III можно считать функцию управ­ления шумами во временной области (TNS - Temporal Noise Shaping), позволяющую формировать огибающую шума во временной области по предсказанию в частотной области. Устройство осуществляет фильтрацию сигнала с выхода ДКП набором из не­скольких переключаемых фильтров и квантование полученных групп отсчетов. Коэффициенты квантования передаются в общем цифровом потоке декодеру, который пере­распределяет огибающую шума в реконструируемом сигнале с учетом спектрального распределения энергии сигнала. Это полезно при быстрых изменениях уровня звуково­го сигнала, когда кодер не успевает переключить блок фильтров на обработку коротких блоков и возникают искажения в виде пред-эхо.

Еще один новый механизм повышения эффективности кодирования звука - адап­тивное предсказание текущего кадра по предшествующему, широко используемое в ко­дировании изображения. Оно чаще используется в технике кодирования речи и более эффективно при низких скоростях потока. В кодере Простого профиля отсутствует предсказание, режим TNS ограничен 12 коэффициентами. Более сложный Масштабируемый профиль использует для анализа 4-полосный КЗФ, за которым следует модифицированное ДКП с высокой разрешающей способностью по частоте. Модуль управления коэффициентом усиления на выходе филь­тра позволяет независимо регулировать сигналы в каждой полосе для предотвращения пред-эхо.

4.4 Системный уровень, потоки данных и информационные таблицы

4.4.1 Элементарные потоки сжатых данных и их объединение в единый поток

Как видно из предыдущей главы, MPEG-1 решает задачу мультиплексирования до­вольно простым образом. Он может объединить в одну программу несколько компонен­тов видео и звука, имеющих общую тактовую синхронизацию. Однако для организации полноценного многопрограммного вещания нужно объединить в общий поток програм­мы, сформированные в разных местах и в разное время и не имеющие общей временной базы. Требуется новый инструмент объединения и транспортирования данных, обеспечивающий в то же время обратную совместимость с MPEG-1.

Рисунок 4.8 - Структура программного потока MPEG-2

Стандарт MPEG-2 предлагает две конструкции многокомпонентного цифрового по­тока. Более простой программный поток (ПП) почти точно совпадает с системным потоком MPEG-1 (в последнем несколько отличается формат и отсутствует сигнализа­ция) и используется для распространения программного материала с переменной скоро­стью цифрового потока в среде без ошибок (запись на магнитные и оптические носите­ли, передача по линиям на расстояние в единицы метров и т.д.). Структура ПП включает пачки (pack), содержащие один или несколько PES пакетов и заголовок со ссылкой на системные часы (SCR — System Clock Reference) (рисунок 4.8). В потоке может быть до 16 видео и до 32 звуковых потоков, но все они считаются компонентами одной программы, так как имеют общую временную базу (единый генератор тактовой частоты).                      

Транспортный поток (ТП) представляет собой более высокий уровень организации данных. В ТП пакетированные элементарные потоки, принадлежащие разным програм­мам, переносятся в различных транспортных пакетах небольшой длины, снабженных кодозащитой для передачи в каналах с ошибками, в частности, для вещания. Один транспортный поток может переносить несколько программ, не связанных единой временной базой, каждая из нескольких компонентов. Передача оказывается, по сути дела, асинхронной и потому не может управляться единым синхронизирующим сигналом. Рассмотрим, как решены вопро­сы синхронизации в транспортном потоке MPEG-2.

          4.4.2 Принципы обеспечения синхронизации цифровых потоков в стандарте MPEG-2

           Мы уже проследили ранее, как происходит синхронизация всех компонентов цифрового потока MPEG-1. Общий отсчет времени задается ссылками на системные часы (SCR), вводимыми в заголовок системного потока, по ним декодер подстраивает свои внутрен­ние часы и «привязывает» потоки видео и звука к абсолютным отсчетам времени. Для выравнивания задержки во времени отдельных пакетов в заголовок пакета ПЭП вводятся временные метки воспроизведения (PTS) и временные метки декодирования (DTS), которые указывают, в какие моменты этого абсолютного времени декодер должен обработать и вывести на экран соответствующие изображения или звуковые после­довательности. Эти же средства используются и в программном потоке MPEG-2, где все компоненты потока также имеют общую временную базу. 

          Транспортный поток содержит  программные компоненты с разной предысторией, в том числе и с несколько различающимися тактовыми частотами, поэтому невозможно или весьма трудоемко привести все сигналы к единой временной базе. Для управления такими потоками вводится еще один механизм синхронизации, называемый ссылкой на программные часы (PCR — Program Clock Reference). PCR, как и другие временные метки, также представляет собой 33-битовое число, отсчитываемое в периодах частоты 90 кГц, получаемой делением на 300 частот тактового генератора 27 МГц. Оно пока­зывает ожидаемое время завершения считывания в декодере поля PCR из транспортно­го потока, после чего декодер может приступить к сравнению пришедшего и местного отсчетов и выработке корректирующего сигнала. Отличие от SCR в том, что PCR вводится в поток на программном, а не системном уровне, в одном потоке могут передаваться несколько различных PCR, по числу программ, и декодер при переключении на каждую новую программу заново синхронизирует свой внутрен­ний генератор частоты 27 МГц. Стандарт предписывает повторение метки PCR не реже чем 1 раз в 0,7 с. В проме­жутках декодер вычисляет значения меток путем интерполяции.

         4.4.3 Структура транспортного потока

         Пакеты ТП имеют фиксированную длину 188 байт, из которых 4 байта выделяются на заголовок и 184 байта — на полезные данные. Это могут быть видео- или звукоданные, данные пользователя или пустые байты (1111 1111), называемые стаффингом. Каждый пакет переносит данные только одного вида. Размер пакета выбран для совместимости с широко при­меняемым на сетях связи стандартом асинхронной передачи данных ATM. Ячейка ATM имеет длину 53 байта, из которых полезных - 47 байт (с учетом 1 байта на уровень адаптации). Один пакет MPEG-2 длиной 188 байт упаковывается в 4 пакета ATM. Структура за­головка показана на рисунке 4.9.

Рисунок 4.9 - Структура заголовка пакета транспортного по­тока МРЕС-2

Пер­вый байт - байт синхронизации - содержит зарезервированное кодовое число 0x47, легко опознаваемое демультиплексором. Далее идут три однобитовых флага (ошибки передачи, начала пакета ПЭП и приоритетной передачи) и 13-битовый идентификатор типа пакета PID (Packet IDentifier), указывающий на принадлежность пакета тому или иному потоку данных. PID служит основным призна­ком, по которому демультиплексор сортирует приходящие пакеты на приемной стороне. Из общего числа 8192 возможных значений PID 16 выделены на общесистемные цели, номер 8191 (0 x 1FFF) закреплен за стаффинговыми байтами, остальные могут назначаться пользователями произвольно для отдельных компонент своих программ.

Передача информации пакетами фиксированной длины и система идентификаторов име­ют свои преимущества. Пропускная способность в этом случае используется в максимальной степени и может динамически перераспределяться между программами. Можно добавлять новые ПЭП или удалять ненужные, не меняя в целом структуру потока. Для извлечения необходимой информации декодеру не нужно знать детальную структуру всего потока, доста­точно указать только PID, который всегда находится в заголовке на одном и том же месте.

Еще один байт в заголовке содержит три необходимых указателя:

2-битовый указатель скремблирования ТП — свидетельствует о наличии или отсутствии cкремблирования ТП;

2-битовый индикатор наличия полей адаптации в нагрузке пакета.

Поле адаптации занимает часть области полезных данных и служит для ввода управляю­щих и вспомогательных сигналов, передаваемых не в каждом пакете. В частности, в полях адаптации передаются таблицы программно-зависимой информации (PSI — Program Specific Information) и сигналы синхронизации. Поле адаптации может также использоваться для передачи данных пользователя, в этом случае оно разбивается на секции.

          Значение указателя наличия полей адаптации 0x1 означает, что поле адаптации от­сутствует и в пакете передаются данные видео или звука; 0x2 присваивается пакету, в котором часть области полезных данных занимает поле адаптации, остальное занято стаффингом; индикатор, установленный на 0x3, свидетельствует об одновременном на­личии и поля адаптации, и полезных данных. Отметим, что заголовок пакета и поле адаптации не скремблируются.

4-битный счетчик непрерывности пакетов увеличивает свое значение на единицу при поступлении каждого следующего пакета с данным PID и обнуляется после каждо­го 15-го пакета. Он позволяет декодеру обнаруживать потерю пакета и принимать меры по его замене.

Область полезных данных транспортного пакета значительно меньше, чем обычная длина пакета ПЭП, поэтому последний для укладки в пакеты ТП должен разрезаться. Стандарт определяет, что первый байт пакета ПЭП должен обязательно совпадать с первым байтом области полезных данных, а конец пакета ПЭП - с концом одного из последующих транс­портных пакетов. Незаполненные начальные байты этого последнего пакета дополняются пустыми байтами.

Рисунок 4.10 - Структура поля адаптации транспортного потока

Если в пакете присутствует поле адаптации, оно имеет структуру, показанную на рисунке 4.10. Первый байт указывает длину поля, затем следуют три однобитовых указателя - непрерывности, случайного доступа и приоритета элементарного потока. Первый указатель свидетельствует о непрерывности счета времени во временных метках и необходим на при­еме для мониторинга ТП. Он устанавливается в «1», если на передающей стороне изменена база отсчета времени, например, гладко введена другая программа с иным PCR. Если в данном поле адаптации передается PCR, об этом свидетельствует однобитовый флаг PCR. Метка PCR занимает 48 битов, в том числе 33 бита собственно PCR, 6 битов зарезервировано для будущих применений и 9 битов занимает поле расширения PCR. В поле расширения ведется счет импульсов тактовой частоты 21 МГц. Как только их число достига­ет 300, поле обнуляется и значение PCR увеличивается на единицу. Так обеспечивается совместимость с MPEG-1, где отсчет времени ведется в периодах тактового генератора 90 кГц. Такой же формат имеет метка Исходной PCR (OPCR — Original PCR), передаваемой вместе с программой, заимствованной из другого транспортного потока. В отличие от PCR, значе­ние OPCR не изменяется в процессе передачи. Оно может использоваться, например, при записи и воспроизведении программы.

Еще один флаг, splice_countdown, указывает число пакетов с тем же PID в транспортном потоке, оставшихся до точки гладкого входа в поток (например, для ввода рекламы, или местных программ). Оставшуюся часть поля адаптации могут занимать либо служебные данные, либо данные пользователя, либо расширения поля адаптации, на что указывают соответствующие флаги. Формат данных пользователя включает однобайтовый указатель длины поля и собственно поле данных, которые в этом случае вводятся в так называемые секции транспортного пото­ка.

4.4.4 Мультиплексирование и статистическое мультиплексирование   

Принятая в стандарте MPEG-2 схема построения ТП может быть описана как двухступен­чатая. На первом этапе формируется программный поток (ПП) путем мультиплексирования одного или нескольких ПЭП с общей временной базой и индивидуальными PID (рисунок 4. 11а). На втором шаге ПП нескольких программ и управляющие потоки объединяются методом асинхронного пакетного мультиплексирования в единый транспортный поток (рисунок 4.11б). Отметим, что транспортный поток может быть построен и непосредственно из ПЭП или других ТП, если при этом сохраняются общие правила синтаксиса MPEG. Такая иерархичес­кая структура обеспечивает большую гибкость в построении систем вещания. Можно, напри­мер, объявить один ПЭП принадлежащим более чем одной программе и организовать так называемые виртуальные каналы, можно использовать несколько потоков одного вида для масштабирования, возможна организация межрегионального вещания с выбором от­дельного языка для каждого региона и т.д.

Рисунок 4.11 - Объединение ПЭП в программный поток (а) и

программ­ных потоков в транспортный поток (б)

Гибкость мультиплексирования ТП представляет одну интересную возможность построения многопрограммной системы вещания, связанную с вводом в ТП, формируе­мый мультиплексором из программ, кодированных локальными кодерами, «посторон­него» транспортного потока, поступившего по линии связи и имеющего другую временную базу (режим ремультиплексирования). Современные мультиплексоры легко справляются с такой задачей, позволяя при этом выбрать из компонентов пришедшего ТП желаемые, при необходимости изменить PID этих компонент, режим скремблирования и другие параметры.

Еще одна возможность гибкого изменения параметров сжатого сигнала - статис­тическое мультиплексирование, заключающееся в динамическом перераспределении ресурса битов между кодерами в многопрограммном цифровом потоке с учетом конк­ретных особенностей изображения в каждой программе таким образом, чтобы качество всех программ оставалось возможно более высоким. Более сложный контроллер может использовать технологию «заглядывания вперед» для оценки сложности представленных кадров и эта информация может служить для подстройки управления скоростью. Система работает следующим образом. Управляющий контроллер статистического мультиплексора получает от всех кодеров информацию о сложности обрабатываемого в данный момент изображения, оценивает ее и выделяет каждому кодеру ресурс битов, про­порциональный потребности. Дело в том, что при суммировании скоростей нескольких каналов среднее значение скорости растет пропорционально сумме средних значений составляющих, а среднеквадратичное отклонение изменяется пропорционально квадратному корню из числа каналов. Если в пакете программ присутствуют, например, фильмовые, детские, спортивные, развлекательные программы, в разные моменты времени в зависимости от наличия движения, детальности изображения, цветовой насыщенности они требуют разной скорости выходного потока для сохранения примерно одинакового субъективного качества изображения и, что еще важнее, пики скорости наступают в раз­ные моменты

времени, так что суммарная скорость может быть заметно снижена. Иссле­дования показали, что без ухудшения качества можно выиграть примерно 30% пропуск­ной способности канала. Это означает, что вместо 6 программ в спутниковом стволе можно передать 8, вместо 8 — 10...11. Проводившиеся на некоторых выставках демонст­рации передачи 18 и даже 24 программ — на сегодняшний день не более чем рекламный трюк и не имеют ничего о6щего с реальными задачами цифрового вещания.

4.4.5 Таблицы программно-зависимой информации

Вся информация, необходимая декодеру для обработки принятого цифрового потока и выделения нужных компонент программы, сосредоточена в управляющей информации (ее еще называют метаданными), передаваемой в составе транспортного потока. Она организована в виде нескольких таблиц, содержащих сведения о составе программ и идентификаторах их компонентов и называемых таблицами программно-зависимой ин­формации PSI (Program Specific Information).

          Алгоритм действий декодера при прочтении таблиц поясняет рисунок 4.12. Первая таблица, пакеты которой находит кодер в потоке - Таблица объединения программ (PAT — Program Association Table). Таблица PAT имеет по умолчанию PID = 0 и включает информацию о программах, пере­даваемых в данном потоке, и иден­тификаторы, относящиеся к этим программам. Каждый такой PID, в свою очередь, определяет для выбранной программы Таблицу состава программы (РМТ — Program Map Table), в которой пе­речислены все компоненты, входя­щие в данную программу, с их идентификаторами. Теперь декодеру остается отобрать из общего потока пакеты с нужными идентификаторами и декоди­ровать их, восстановив изображение и звуковое сопровождение. Если программа плат­ная, декодеру придется анализировать еще и содержание Таблицы условного доступа (CAT — Conditional Access Table) с PID = 1, в которой указаны идентификаторы пакетов с сообщениями системы условного доступа. Иногда в набор таблиц PSI вклю­чают еще необязательную Таблицу сетевой информации (NIT — Network Information Table), которая определяет все транспортные потоки, относящиеся к данной сети. Со­держимое таблиц вводится в секции — области поля адаптации определенной длины, снабжаемые указателями. Размер секции для передачи служебной информации не дол­жен превышать 1024 байта. Возможна передача нескольких коротких секций в поле адаптации одного пакета транспортного потока или одной длинной секции в несколь­ких пакетах.

На рисунке 4.13 показана иерархия PSI таблиц и взаимосвязи между ними. Рассмотрим теперь структуру таблиц подробнее. Общий формат таблицы PAT показан на рисунке 4.14а. Она содержит заголовок длиной 8 байт и поле данных. Структура заголовка более детально развернута на рисунке 4.14б. Первым идет идентификатор таблицы table_id. Это однобайтовое число обязательно входит в состав любой таблицы и определяет ее тип.

Рисунок 4.12 – Алгоритм действий декодера при прочтении таблиц PSI

Рисунок 4.13 – Структура таблиц программно-зависимой информации PSI

а) общая структура; б) структура заголовка

Рисунок 4.14 – Формат таблицы РАТ

Может возникнуть вопрос: разве PID не определяет таблицу полностью, и зачем нужен еще один идентификатор? Дело в том, что PID является более общим указателем, чем table_id. Например, две таблицы TDT и ТОТ (о них мы узнаем в шестой главе) имеют одинаковый PID, но разные table_id. Следующий существенный указатель - длина секции в байтах. Два старших бита из 12 установлены на «0», так что длина секции не может превышать 1024 байта.

Идентификатор транспор­тного потока transport_stream_id размером 2 байта указывает ус­ловный номер в данной сети транспортного потока, в котором передается анализи­руемая таблица. Указатель номер версии изменяется на единицу каждый раз, когда в таблицу вносятся изменения. Если таблица разбита на несколько секций, однобайто­вый указатель номер секции сообщает номер передаваемой секции. Номер последней секции необходим для подтверждения того, что вся таблица принята декодером.

В поле данных таблицы PAT содержатся сведения о программах, передаваемых в транспортном потоке, с их номерами PID. Номер программы занимает 2 байта, затем следует 3-битовый промежуток и 13-битовое значение PID. Таблица РМТ создается отдельно для каждой программы, передаваемой в потоке. Общая структура таблицы показана на рисунке 4.16а, детальная структура заголовка - на рисунке 4.16б.

а) общая структура; б) структура заголовка

Рисунок 4.16 – Формат таблицы

Заголовок длиной 12 байтов содержит идентификатор таблицы table_id, всегда равный 0x02, номер программы, сведения о версии таблицы, номере секции и номере последней секции, а также PID того ПЭП в потоке, который переносит значе­ния PCR. В поле данных описывается одна из передаваемых программ со всеми ее компонентами, а завершается секция контрольной суммой. Описание программы содер­жит подробный перечень всех элементарных потоков, составляющих программу, с их основными параметрами. Тип потока (stream_id) указывает на содержимое данного потока (0x01 - MPEG-1 видео, 0x02 - MPEG-2 видео, 0x03 - MPEG-1 звук, 0x04 -MPEG-2 звук, 0x05 — нестандартные секции, и т.д.), elementary_PID сообщает значе­ние PID пакетированного потока, несущего данный элементарный поток, ES_info_length указывает длину дескриптора элементарного потока. По этим значениям декодер выде­ляет нужные элементарные потоки из общей цифровой последовательности.

Основными компонентами таблицы CAT являются уже знакомый нам table_id и дескриптор системы условного доступа — указатель, сообщающий декодеру условное обозначение используемой в потоке системы условного доступа и номер PID потока управляющих сообщений о правах доступа. Дескриптор условного доступа мо­жет присутствовать и в РМТ таблице, в этом случае он указывает на PID потока сооб­щений, необходимого для дешифровки скремблированной программы.

Частота повторения пакетов PAT и РМТ таблиц должна быть не менее 10 Гц, перио­дичность сообщений условного доступа определяется конкретной системой условного доступа.

        Рассмотренные три таблицы составляют необходимый минимум, без которого деко­дер MPEG-2 не сможет декодировать цифровой поток. Для многопрограммного веща­ния нужны дополнительные данные, описывающие организацию букетов программ, состав вещательной сети, содержание программ и т.д.

5 Перспективные стандарты семейства MPEG

5.1 Стандарт представления медиа-объектов MPEG-4

5.1.1 Предпосылки создания стандарта

Стандарт МPEG-4 базируется на трех китах: 1) цифровое телевидение;   2) интерактив­ные графические приложения; 3) интерактивные мультимедийные приложения. Тен­денция последних лет - сближение, слияние этих источников аудиовизуальной ин­формации, появление новых источников как натурального, так и синтезированного контента (содержания). До недавнего времени в вещании преобладала концепция «те­левидения» - программа готовилась в студии и передавалась как периодическая после­довательность строк изображения и сопутствующих звуков. Все усовершенствования, включая появление цифрового вещания и стандарта MPEG-2, не изменили эту концепцию в корне, хотя добавили к ней некоторые новые аспекты - многопрограммность, подписку, дополнительные услуги, зачатки интерактивности. Однако похоже на то, что сейчас традиционная концепция телевидения не удовлетворяет уже пользователей аудиовизуальных услуг. Зрители хотят иметь доступ к видео- и аудиопрограммам, как они уже имеют доступ к мультимедийному контенту через Интернет и World Wide Web - «Всемирную паутину».

В последние 3-4 года мультимедийные и графические средства все чаще вторгаются в область классического ТВ вещания, которое, в свою очередь, проникает в сферу муль­тимедиа (значительная часть ТВ и звуковых программ транслируется в Интернете, иногда в специальных Интернет-версиях). Аудиовизуальное содержание все чаще использует­ся в интерактивных приложениях, таких, например, как игры или дистанционное обу­чение. Заметно размывается граница между компьютерными изображениями, виртуаль­ной реальностью и телевидением. Все чаще возникает необходимость перемещать один и тот же контент из одной сети в другую, из одной сферы в другую, и требуются унифицированные форматы представления и передачи информации.

Все эти факторы сформировали потребность в едином стандарте, который бы опреде­лял формат представления аудиовизуальной информации, совместимый с любой средой распространения, и механизмы интерактивного взаимодействия с мультимедийным контентом. В стандарте должны быть предусмотрены возможности передачи различных ви­дов видео- и аудиоданных - текста, графики, двумерных (2D) и трехмерных (3D) изоб­ражений, натурального и синтезированного видео и аудио, в потоковой форме или в виде загружаемых файлов. Необходимо обеспечить высокое качество при очень низких скоро­стях передачи, гибкий доступ к контенту (с любого места, в ускоренном и замедленном режимах), средства интерактивного взаимодействия с объектами, вплоть до возможности абонента влиять на развитие сюжета, совместимость с любой транспортной средой. Важ­но иметь такой стандарт именно сейчас, на начальных этапах процесса, чтобы воспрепят­ствовать проникновению на рынок частных форматов отдельных компаний.

Именно эти задачи решает недавно появившийся стандарт MPEG-4 «Информацион­ные технологии — Обобщенное кодирование аудиовизуальных объектов». Первая вер­сия стандарта была принята в начале 1999 г. и получила индекс ISO/IEC 14496, вто­рая, дополняющая и расширяющая первую и обратно совместимая с ней — годом позже [2]. Сейчас идет работа над дополнениями, в частности, расширением раздела «Ви­део» в область студийных применений. В создании стандарта участвовали сотни экс­пертов из десятков стран, он во многих отношениях представляет собой высшее дости­жение инженерной мысли. 

Стандарт содержит 6 частей:

          14496-1 «Системы» определяет описание сцены, мультиплексирование, синхрониза­цию, управление буфером;

14496-2 «Визуальные средства» специфицирует кодированное представление нату­ральных и синтетических визуальных объектов;

 14496-3 «Звук» описывает кодированное представление натуральных и синтетических звуковых объектов; 14496-4 «Проверка соответствия» стандартам, определяет усло­вия соответствия для потоков и устройств;

14496-5 «Рекомендуемое программное обеспечение» содержит программные модули для большинства компонентов MPEG-4, которые могут быть использованы для постро­ения совместимых устройств;

 4496-6 «DMIF» определяет сеансовый протокол для управления мультимедийны­ми потоками в обобщенной среде.

Основное отличие MPEG-4 от ранее принятых стандартов – объектно ориентиро­ванное представление медиа-информации. В стандарте вводится ключевое понятие медиа-объекта - единицы звукового, визуального или аудиовизуального контента. Лю­бая сцена разделяется на объекты, которые соотносятся в пространстве и времени и описываются отдельными элементарными потоками (ЭП). Объекты могут быть нату­ральными - записанными с видеокамеры или микрофона, и синтетическими - синтезированными в компьютере. Такой подход имеет ряд преимуществ: более экономно расходуются биты для описания сцены, отдельные объекты легко использовать в дру­гих сценах, упрощается построение масштабируемых объектов и взаимодействие с объек­тами, появляются широкие возможности взаимодействия пользователя с выбранным объектом, например, вывод дополнительной информации об объекте, изменение его параметров (цвета, текстуры, громкости звучания или языка), исключение объекта из сцены, создание пользователем новых сцен из объектов, полученных от разных источ­ников или хранящихся в памяти терминала. Все эти операции требуют лишь изменить описание сцены, а это вполне под силу процессору абонентского терминала.

5.1.2 Описание сцены

         Для описания сцены и ее динамического изменения в MPEG-4 используется специаль­но разработанный двоичный язык BIFS (Binary Format for Scenes — двоичный формат описания сцен). Описание сцены указывает декодеру, где и когда воспроизводить объекты, входящие в сцену, и как реагировать на воздействие пользователя. Чтобы увязать ЭП с медиа-объектами в сцене, используются дескрипторы объекта. Они переносят инфор­мацию о числе и свойствах ЭП, связанных с конкретными медиа-объектами. Сами дескрипторы также переносятся в одном или нескольких ЭП, поэтому нетрудно добавить или удалить объект во время сеанса. Потоки дескрипторов могут рассматриваться как описания потоковых ресурсов для представления, а описание сцены служит для изме­нения пространственно-временного размещения объектов в сцене. MPEG-4 определил специальный язык синтаксических описаний для точного описания синтаксиса пото­ков, переносящих информацию о медиа-объектах и описания сцен. Он представляет собой расширение языка C++ и позволяет дать точное, описание синтаксиса и в то же время упростить проверку на соответствие.

BIFS оперирует двумя протоколами модификации сцены во времени - командным (BIFS-Command) и анимационным (BIFS-Anim) [2]. Командные потоки BIFS позво­ляют загружать новую сцену, изменять свойства объектов, вводить и уничтожать объек­ты. Потоки BIFS-Anim управляют процессами анимации сцены, например, изменением точки взгляда, перемещением, трансформацией размера, плавным изменением цвета, ос­вещенности и т.д. Синхронизация потоков осуществляется путем временной привязки. Как и в предыдущих стандартах MPEG, один вид временной метки обеспечивает синхро­низацию тактовых частот кодера и декодера, метки другого вида, привязанные к функци­ональным единицам аудиовизуальных данных, содержат желаемое время декодирования (для единиц доступа) или время завершения компоновки (для компоновочных единиц).

Основные принципы BIFS заимствованы из языка VRML (Virtual Reality Modelling Language - язык моделирования виртуальной реальности), разработанного для созда­ния 3D графики. Это широко распространенный и в значительной степени бесплатный язык программирования, точнее, эффективный 3D формат обмена, как бы объемный аналог HTML. Дело в том, что некоторые виды информации лучше воспринимаются в объемном виде - игры, результаты научных исследований, архитектурные решения. VRML обеспечивает интеграцию трехмерных, двумерных, текстовых и мультимедий­ных объектов в связную модель. Он оперирует объектами, каждый из которых имеет различные атрибуты. Объект называется узлом, а атрибуты - полями. Число по­лей зависит от типа узла. Полный перечень узлов и полей известен как граф (разветв­ленная древообразная структура). VRML включает большинство используемых в 3D приложениях средств: иерархические трансформации, источники света, выбор точки взгляда, анимацию, свойства материала, отображение текстуры и т.д.

Язык BIFS позаимствовал у VRML структуру описания сцены в виде графа, модели поведения, графические примитивы для построения 3D-изображений: конусы, сферы, сетки, текстовые примитивы, текстурирование и подсветку (всего их 36). В то же время BIFS имеет существенные отличия от VRML, в него внесены новые решения:

1) VRML — язык высокого уровня, BIFS — двоичный, благодаря этому объем со­общений в нем в 10-15 раз меньше, чем в VRML; хотя объем описаний сцены обычно меньше, чем аудиовизуальной информации, эти описания передаются непрерывно и могут в результате составить заметную часть передаваемых данных, поэтому сжатие потоков BIFS достаточно актуально;  

2) VRML работает с файлами, предварительно загружаемыми в процессор, a BIFS предназначен в первую очередь для потоковой передачи в реальном времени;

3) BIFS позволяет работать как с 2D, так и с 3D объектами, осуществлять масштаби­рование, перемещение, вращение, более того, впервые решена задача представления в одной сцене и 2D, и 3D объектов.

          Во второй версии стандарта в нем расширен BIFS, введены спецификации языков HTML 4.0 и MPEG-J, спецификация файла .mр4 для хранения и транспортировки данных MPEG-4 [2]. Новая версия BIFS предусматривает анимацию фигуры, улуч­шенную модель направленности источника звука, модель окружающей звуковой среды в интерактивной виртуальной сцене, учитывающую отражение звука от стен помеще­ния (реверберацию, эффект Допплера, наличие препятствия между источником звука и пользователем), введение иерархических 3D сеток.

5.1.3 Доставка потоков данных

Полученные в результате кодирования элементарные потоки необходимо доставить к декодеру. Для этого MPEG-4 предлагает двухуровневый механизм мультиплексирова­ния, показанный на рисунке 5.1. Элементарные потоки поступают на мультиплексирова­ние, пройдя уровень синхронизации SL (Sync Layer), где в заголовки пакетированных элементарных потоков (ПЭП) вводятся временные метки. Первый уровень, названный FlexMux, играет вспомогательную роль в мультиплек­сировании, он объединяет низкоскоростные потоки с одинаковыми требованиями к качеству передачи, чтобы уменьшить их число в сложных сценах и сократить время передачи. Использование FlexMux не является обязательным, и он может быть пустым, если следующий уровень обеспечивает все необходимые функции. FlexMux не имеет собственных средств защиты от ошибок.

Второй уровень, TransMux (Transport Multiplexing), предлагает транспортные услу­ги по передаче потоков с заданным качеством обслуживания. Условия передачи пред­полагают необходимую пропускную способность, допустимый уровень ошибок, макси­мальное время задержки, приоритет и т.д. TransMux не является транспортным протоколом как таковым, он представляет собой скорее интерфейс между кодером MPEG-4 и стандартным транспортным протоколом. В качестве такового могут использоваться протокольные стеки RTP/UDP/IP, AAL5/ATM, транспортный поток MPEG-2.

Рисунок 5.1 - Двухуровневый механизм мультиплексирования циф­рового

потока в стандарте MPEG-4

Взаимодействие с транспорт­ной средой управляется прото­колом DMIF (Delivery Multimedia Integration Framework - мультимедийная интегрированная система достав­ки). DMIF, как его определяет стандарт - сеансовый прото­кол для управления потоковой передачей в произвольных сре­дах. После запуска он устанав­ливает соединение с удаленным абонентом, выбирает подлежа­щие передаче потоки и посыла­ет запрос на их передачу. Порт DMIF посылает отметки к тем точкам, откуда будут передавать­ся потоки, и устанавливает соединение. Функции DMIF по связи с транспортными прото­колами реализуются через интер­фейс DAI (DMIF Application Interface), который получает ПЭП от уровня синхронизации и переводит запросы DMIF в команды, воспринимаемые конкретным протоколом. Команды для разных протоколов могут быть различными. На приемном конце индивидуальные ЭП выделяются из пришедшего транспортного потока путем демультиплексирования (рисунок 5.2). На этом этапе DMIF не отвечает за работу транспортного протокола, он подключается только при наличии потоков FlexMux. Выделенные после демультиплексирования пакеты ПЭП обрабатываются с целью из­влечения из них информации о синхронизации. Эта информация переносится в заго­ловках пакетов, генерируемых на уровне синхронизации.

Во второй версии стандарта введены два дополнительных механизма, облегчающие транспортировку и опознавание элементарных потоков. Первый предназначен для орга­низации передачи файлов и имеет вид специального файлового формата представления контента с расширением .mр4. Он содержит большой объем описательной информа­ции, позволяющей передавать файлы, с помощью любых протоколов, редактировать их содержимое и воспроизводить его на разных терминалах. В основу положен популяр­ный формат Quick Time.

Рисунок 5.2 - Структура терминала MPEG-4

Второй механизм - интерфейс программных приложений MPEG-4 с кодами извест­ного языка программирования Java - призван облегчить интеграцию Java-приложений в структуру MPEG-4. Он будет принимать ЭП Java-приложений, обрабатывать их и направлять к соответствующим компонентам MPEG-4 плейера. Усовершенствование протокола DMIF во второй версии стандарта касается введения возможности работы с мобильными средствами связи, обеспечения более широкого класса параметров качества обслуживания (Q₀S), поддержания сеансовой работы одно­временно с несколькими сетевыми провайдерами, имеющими собственные порты, и т.д.

5.1.4 Кодирование визуальных объектов

Первоначально предполагалось ограничить пределы скорости цифрового потока MPEG-4 видео значениями 4,8 кбит/с снизу и 64 кбит/с сверху. Однако в ходе разработки стало ясно, что заложенные принципы кодирования значительно мощнее, чем только кодирование на сверхнизких скоростях. Предел сверху был расширен до 10 Мбит/с в первой версии, до 38 Мбит/с во второй версии и ведется работа по его дальнейшему расширению. Тем не менее, визуальная часть стандарта не предназначена для вещатель­ного телевидения, хотя и может обеспечить очень высокое качество изображения.

Основные требования, заложенные в разработку второй части стандарта, сводились к трем условиям: эффективное кодирование натуральных и синтетических изображе­ний; высокая функциональность в интерактивном окружении; устойчивость в среде распространения с ошибками.

Средства представления натурального видео в MPEG-4 обеспечивают стандартизо­ванную технологию обработки, хранения и передачи текстуры, изображений и видео для мультимедийных применений. В отличие от MPEG-2, где вся сцена раскладыва­лась до пиксела и затем осуществлялось однородное кодирование всего изображения, в MPEG-4 сцена разбивается на видеообъекты, для каждого объекта описываются его форма, текстура, местоположение, оптические характеристики (яркость, цвет, положе­ние светотени), параметры движения - перемещение, вращение, изменение масштаба, данные кодируются со сжатием, упаковываются в отдельные ЭП (по несколько потоков на каждый объект), мультиплексируются и передаются декодеру. Визуальная сцена может состоять из одного или нескольких объектов. Каждый объект характеризуется пространственной и временной информацией в виде формы, текстуры и движения. Для некоторых приложений введение понятия визуального объекта оказывается неоправ­данно сложным, для них MPEG-4 допускает кодирование прямоугольными кадрами, которые представляют собой вырожденный случай объекта произвольной формы.

Пользователь может восстановить сцену в ее исходном виде, а может произвести определенные манипуляции - исключить часть объектов или ввести новые, изменить точку взгляда, масштаб, цвет и т.д. Разумеется, пользователь может внести только те изменения, которые предусмотрел автор.

Стандарт обработки визуальных объектов поддерживает широкий диапазон измене­ния входных параметров видеопоследовательности. Развертка может быть прогрессив­ной и чересстрочной, пространственное разрешение по яркости - от 8 х 8 до 2048 х 2048 пикс. (SQCIF, QCIF, CIF, 4CIF, Рек. ВТ.601); в цветовом пространстве допуска­ются сигналы монохромный и Y,C_B,C_R; пространственное разрешение по цветности«4:0:0», «4:2:0» и «4:2:2» (только в студийном профиле); частота кадров может изме­няться от 0 до 30 Гц и более, причем может меняться от кадра к кадру; разрядность квантования - 8 бит с возможностью изменения от 4 до 12 бит. Нетрудно убедиться, что возможности выбора параметров значительно шире, чем даже в MPEG-2.

В зависимости от скорости цифрового потока могут использоваться алгоритмы, от­носящиеся к одной из трех групп:

1) Низкоскоростное видео (VLBV — Very Low Bit-rate Video) - скорость 5...64 кбит/с, разрешение не выше CIF, частота кадров до 15 Гц; основное назначение - кодирование обычных прямоугольных изображений с высокой эффективностью для мультимедий­ных приложений реального времени, а также системы случайного доступа к мультиме­дийным базам данных с быстрым поиском «вперед» и «назад»;

Рисунок 5.3 - Структура визуального цифрового потока

2) Высокоскоростное видео - скорость 64 кбит/c...10 Мбит/с; те же применения, но с более высоким пространственным и временным разрешением, вплоть до Рек. ВТ.601, также мультимедийное вещание или обратный канал в интерактивных системах с каче­ством, сравнимым с цифровым вещанием; системы с чересстрочной разверткой;

3) Кодирование, основанное на контенте, - поддерживает отдельное кодирование и декодирование натуральных объектов в сценах с гибридным кодированием; эта группа допускает смешение некоторого числа видеообъектов с синтетическими объектами (вир­туальные задники). Визуальный цифровой поток MPEG-4 можно изобразить иерархической последовательностью уровней, как показано на рисунке 5.3. Последовательность визуаль­ных объектов (VS — Visual Object Sequence) в этой иерархии соответ­ствует видеопоследова­тельности в MPEG-2 и отображает сцену с произ­вольным числом 2D и 3D натуральных и синтети­ческих объектов и их улучшающих слоев. Ви­деообъект (VO) соответ­ствует обычному двумерному объекту в сцене. В самом простом случае он может быть прямоуголь­ным кадром, в общем слу­чае - объектом произ­вольной формы. Слой видеообъекта (VOL) - соответствует каждому ЭП, описывающему видеообъект. VOL может быть полнофункциональ­ным или с укороченным заголовком, в этом случае он совместим с потоком стандарта Н.263. Каждый видеообъект дискретизируется во вре­мени и такой временной срез (отсчет) видеообъекта называется плоскостью видеообъек­та (VOP), Несколько плоскостей могут объединяться в группу плоскостей видеообъекта (GOV). Не правда ли, эта иерархия очень напоминает структуру видеопоследовательнос­ти MPEG-2? Плоскости видеообъекта могут кодироваться независимо (1-кодирование), или совместно, с применением компенсации движения (Р- и В-кодирование). Обобщен­ная схема кодера MPEG-4 показана на рисунке 5.4. Она включает кодирование формы и компенсацию движения, а также кодирование текстуры, базирующееся на ДКП (стандар­тное или адаптивное к форме объекта). Каждый видеообъект кодируется отдельно, затем цифровые потоки объединяются. В стандарте MPEG-4 применяются два метода кодирования информации о форме объекта — бинарное и градационное. При бинарном кодировании оперируют матрицей того же размера, что и плоскость видеообъекта, элементы которой могут принимать значения только 1 или 0 в зависимости от того, находятся ли они внутри объекта или вне его. Градационное кодирование более гибкое, оно описывает элементы матрицы 8-битовыми словами и позволяет кодировать «полупрозрачные» и «затуманенные» изображения.

Рисунок 5.4 - Обобщенная структурная схема видеокодера MPEG-4

Для цифрового сжатия плоскости видеообъектов, содержащие информацию о пере­мещении и текстуре, разбиваются на макроблоки размером 8x8 или 16 х 16 пикс., содержащие блоки отсчетов яркости и цветности, к этим последним применяется ДКП с последующим квантованием и кодированием квантованных разностей. Процесс схож с обычным цифровым сжатием из предыдущих стандартов MPEG.

           При кодировании текстуры поступают следующим образом. На плоскость видеообъ­екта накладывают решетку с ячейками 8x8 элементов. Те ячейки, которые полностью разместились внутри объекта, кодируются обычным ДКП, за исключением того, что после квантования производится дополнительное предсказание коэффициентов блока на основе соседних блоков. Блоки, которые оказались на границе видеообъекта, допол­няются до размера 8 х 8 по определенным правилам и только после этого кодируются (так называемое Shape-Adaptive DCT — ДКП, адаптивное к форме).

Более эффективный метод кодирования текстуры и неподвижных изображений под­держивается специальным режимом кодирования в MPEG-4, основанным на волновом преобразовании с нулевым деревом. Наряду с высокой эффективностью сжатия этот метод обеспечивает пространственную масштабируемость (до 11 уровней) и непрерыв­ную масштабируемость по качеству. Масштабируемость в MPEG-4 обеспечивается передачей для видеообъекта несколь­ких цифровых потоков - VOL, один из которых базовый, остальные - улучшающие. При пространственном масштабировании может быть достигнуто улучшенное простран­ственное разрешение, временное масштабирование сглаживает движение. На рисунке 5.5 показано, как в этом случае кодер и декодер обрабатывают поступающие потоки. Предпроцессор субдискретизирует поступающие VOP и разделяет их на базовый и улучшающий слои. Поток базового слоя передается обычным путем, а в канале улучшающего слоя передается только разность между сигналом, поступившим от процессора, и сигналом, восстановленным промежуточным процессором путем повышающей дискретиза­ции. На приеме процессы происходят в обратном порядке.

Рисунок 5.5 - Масштабируемое кодирование/декодирование в стандарте MPEG-4

          Дальнейшему сокращению цифрового потока способствует глобальная компенсация движения, основанная на передаче статических спрайтов. Спрайтом называется часть видеообъекта, которая устойчиво присутствует в нем практически без изменений на протяжении довольно длительного времени. Это могут быть, например, панорамный задний план или группа неподвижных предметов, закрывающая значительную часть кадра. Такое почти статическое изображение может быть передано полностью один раз, в начале трансляции, а затем корректироваться декодером по мере необходимости. Ин­формация о форме и текстуре спрайта кодируется как I-VOP. Для каждого следующего изображения в последовательности кодируются только 8 параметров глобального дви­жения, описывающих движения телекамеры. Чтобы снизить задержку, сначала переда­ют часть информации спрайта с грубым квантованием, а затем добавляют более тонкие структурные особенности. Можно также передать часть изображения, необходимую для реконструкции первых VOP, а затем дослать по частям остальные участки спрайта. На практике применяется сочетание обоих методов.

На рисунке 5.6 схема декодера показана более детально. Здесь видно, как обрабатывают­ся и затем объединяются данные о форме и текстуре изображения. В цифровом потоке визуальной информации применяются дополнительные меры для повышения устойчивости к ошибкам:

- Ресинхронизация: после определенного количества битов в поток вводятся маркеры, отмечающие точки, к которым декодер переходит при потере части битов в потоке.

- Разделение данных: данные о перемещении и о текстуре разделяются на более мел­кие порции для облегчения маскирования.

- Код расширения заголовка: вводится дополнительная кодозащита в заголовок паке­та, повышающая его устойчивость к ошибкам.

Рисунок 5.6 - Декодирование видеокадра MPEG-4

Реверсивное кодирование с переменной длиной: кодовые слова реверсивного кода могут декодироваться как с начала, так и с конца. Если декодер встречает поврежденные биты, он не отбрасывает всю оставшуюся часть слова, а декодирует его с противо­положного конца до поврежденного участка, минимизируя потери Синтетические объекты представляют значительный раздел компьютерной графики. В стандарт MPEG-4 включены следующие операции с объектами такого рода: парамет­рические описания синтезированного лица и фигуры; кодирование статических и дина­мических сеток с отображением текстуры; кодирование текстуры для проективных приложений. Метод анимации предполагает однократную передачу базового статического образа и последующую досылку сообщений, описывающих динамические изменения объекта. В первой версии стандарта этот метод используется для передачи синтезированного человеческого лица. За основу берется обобщенный шаблон лица с нейтральным выра­жением - один из хранимых в базе или специально загружаемый на передающей стороне. Он дополняется индивидуальными чертами, текстурой, выражением с помощью управляющих параметров (Facial Definition Parameters - параметры, определяющие лицо), другая группа параметров (Facial Animation Parameters - параметры анимации лица) изменяет выражение лица, вводит мимику, артикуляцию. Параметры передаются в отдельных потоках, для сжатия используется кадровое кодирование с ДКП.

Двумерная сетка представляет собой часть плоскости, поделенную на полигональ­ные (многоугольные) участки. Точки пересечения линий называются узлами. MPEG-4 рассматривает только треугольные сетки. Сетка может быть Заполнена текстурой, тогда ее называют контентно-наполненной (content-based). Для описания сетки в динамике достаточно передать геометрию сетки и описать движение всех ее узлов. При этом треугольные участки текущего кадра получаются путем деформации треугольных участ­ков опорного кадра, текстура также деформируется путем параметрического отображе­ния векторов перемещения узлов сетки.

Двумерное моделирование может быть использовано для эффективного сжатия, если передавать опорные ключевые кадры и посылать векторы перемещения и информацию о текстуре для восстановления промежуточных кадров. Во второй версии стандарта добавлены новые технологии и алгоритмы, позволив­шие повысить эффективность кодирования, устойчивость к ошибкам, улучшить вре­менное разрешение при малой задержке в буфере. В частности, введен режим глобаль­ной компенсации движения, точность компенсации повысилась до 1/4 пиксела, внедрены три новых инструмента кодирования текстуры и неподвижных изображений; волновое кодирование с разделением на небольшие самостоятельно кодируемые участ­ки, масштабируемое кодирование формы, сегментация и пакетирование для повышения устойчивости к ошибкам. Интересным новшеством второй версии является возможность кодирования кратных изображений (стереоскопических или полученных с, близких точек) с устранением из­быточности между ними. Этот режим основан на методе градационного кодирования формы объекта и использует дополнительные возможности данного метода.

В области синтетических изображений основными нововведениями второй версии можно считать средства анимации человеческой фигуры (теми же методами, что и лица в первой версии) и кодирование трехмерных полигональных сеток.

5.1.5 Кодирование звуковых объектов

          Широкие возможности представляет стандарт MPEG-4 для кодирования звука. Впер­вые используются раздельные алгоритмы для кодирования звуков музыкального проис­хождения и речи, введены мощные средства создания и обработки синтезированного звука. Наиболее широкий круг звуковых объектов, от низкоскоростных моно до многока­нального звука вещательного качества, относится к категории Универсального звука (GA — General Audio). В качестве основного алгоритма кодирования звуков различно­го происхождения принят известный нам из MPEG-2 алгоритм ААС с незначительными  усовершенствованиями. Одно из них касается введения режима PNS (Perceptual Noise Substitution - перцептуальное замещение шумом). Суть данного метода заключа­ется в обнаружении в приходящем сигнале шумоподобных составляющих и исключе­нии их из общего процесса кодирования. Декодеру передается информация о мощности шумовых компонентов в отдельных участках спектра и он подменяет соответствующие спектральные коэффициенты псевдослучайными сигналами с требуемой мощностью. Режим PNS иллюстрируется структурной схемой рисунка 5.7.

а) кодер; б) декодер

Рисунок 5.7 - Схема реализации режима PNS

Еще одно усовершенствование связано с введением алгоритма BSAC (Bit-Sliced Arithmetic Coding - арифметическое кодирование с побитовым расщеплением). Что­бы получить масштабируемый поток, BSAC использует альтернативный по отношению к ААС модуль кодирования квантованных коэффициентов с точным управлением ско­ростью потока в пределах от 16 до 64 кбит/с с шагом 1 кбит/с. Существенный выигрыш в скорости потока для стационарных гармонических и ква­зигармонических сигналов позволяет получить метод долговременного предсказания LТР (Long Term Prediction). В технике кодирования речи этот метод широко используется во временной области. В стандарте МРЕG-4 он интегрирован в схему универсального кодера (рисунок 5.8), где операции квантования и кодирования осуществляются над спектральными представлениями входного сигнала.

Рисунок 5.8 - Схема универсального кодера с LTP

Для работы схемы LТР кодированный сигнал предыдущего кадра переводится обратно во временную область с помощью ин­версного преобразования TNS и синтезирующего БФ, в блоке LТР он сравнивается с приходящим сигналом, а полученная разность опять переводится в спектральную об­ласть. Специальный переключатель FSS (Frequency Selective Switch - переключатель с частотной избирательностью) выбирает исходный или разностный сигнал в зависимо­сти от того, какая альтернатива в данный момент предпочтительнее. По сравнению с предсказанием из МРЕG-2 ААС данный метод предсказания требует вдвое меньших ресурсов памяти и производительности процессора. Для увеличения эффективности кодирования музыкальных сигналов на низких скоро­стях разработан новый алгоритм Twin VQ (Transform-domain Weighted Interleave VQ - взвешивающее векторное квантование с перемежением и преобразованием областей). Ос­новная идея — заменить обычное кодирование спектральных ком­понентов в ААС перемежающим векторным квантованием, прило­женным к нормализованному спектру. Квантование спектраль­ных коэффициентов осуществля­ется в два шага: на первом они нормализуются к некоторому пределу, на втором - квантуют­ся с использованием векторного квантования. Процесс нормали­зации включает оценку спектра по шкале Варка, извлечение пе­риодических компонентов и оценку мощности спектральных составляющих.

Рисунок 5.9 - Алгоритм TwinVQ векторного квантования спектраль­ных компонентов

В результате нор­мализации спектральные коэффициенты выравниваются и нормализуются вдоль частот­ной оси. Затем нормализо­ванные коэффициенты опи­сываются как многомерный вектор, чередуются в субвек­торы, как показано на рисунке 5.9, и квантуются с исполь­зованием векторного кванто­вания. Остальная часть ал­горитма ААС остается неизменной. TwinVQ дает хорошие ре­зультаты в области скорос­тей от б до 24 кбит/с и ис­пользуется в основном в универсальных кодеках MPEG-4 с масштабированием для формирования базового слоя.  Для кодирования речи применяются два основных алгоритма: параметрический HVXC (Harmonic Vector eXcitation Coding - кодирование с помощью гармонических векто­ров) и CELP (Code Excited Linear Prediction coding - кодирование с линейным предсказанием). Первый алгоритм обеспечивает более высокое сжатие, он применяется в интервале скоростей потока 2-4 кбит/с (при переменной скорости - даже до 1,2 кбит/с), работает с частотой дискретизации 8 кГц в полосе стандартного телефонного канала 300-3400 Гц, Второй алгоритм имеет несколько разновидностей, работает в двух режимах - полосы частот 300-3400 Гц с дискретизацией 8 кГц и 50-7000 Гц с дискре­тизацией 16 кГц, и обеспечивает скорость потока от 4 до 24 кбит/с. Оба алгоритма базируются на моделировании речи с линейным предсказанием. Поступающий речевой сигнал сравнивается с сигналом, предсказанным моделью речевого тракта, параметры модели изменяются таким образом, чтобы минимизировать разность двух сигналов, и передаются декодеру. В декодере имеется такая же модель, которая по полученным значениям параметров синтезирует речевой сигнал. В HVXC более высокая степень сжатия объясняется более грубым анализом по огибающей спектра и изменениям высо­ты тона. CELP использует более точный спектральный анализ с долговременным пред­сказанием, обеспечивая более высокое качество передачи речи.

Рисунок 5.10 - Масштабируемость речевого кодека CELP

        Основное преимущество обоих алгоритмов перед речевыми кодеками, стандартизо­ванными МСЭ — масштабируемость по скорости (у CELP с шагом 200 бит/с), по полосе частот, что обеспечивает возможность работы с декодерами разной сложности. Эта возможность проиллюстрирована на рисунке 5.10, где показано, что кодер выдает базо­вый поток и улучшающие слои, а декодеры принимают эти потоки в соответствии со своими возможностями.

Рисунок 5.11 - Области применения различных алгоритмов кодирования звука

На рисунке 5.11 наглядно показаны области применения различных алгоритмов кодиро­вания звука, применяемых в MPEG-4.

Если при кодировании натуральных звуков используется перцептуальное сжатие исходного звукового сигнала, то кодирование синтезированного звука производится путем создания его описания. Это описание передается декодеру и по нему синтезирует­ся звук, аналогичный исходному. В стандарте MPEG-4 этот процесс реализуется в рамках формата «Структурированное аудио», допускающего передачу по каналу синтезированных звуков и музыки со скоростями 0,01-10 кбит/с. Для описания музыкаль­ных звуков различных

инструментов разработан специальный структурированный ор­кестровый язык (SAOL — Structured Audio Orchestra Language), он оперирует загру­жаемыми в поток «инструментами». Инструмент представляет собой небольшой программный или аппаратный модуль генерации и обработки простейших сигналов, который может воспроизводить определенные звуки, в том числе и схожие со звуками музыкальных инструментов MPEG-4 не стандартизует метод синтеза, скорее он дает способ описания методов синтеза, пригодный для всех существующих и перспективных алгоритмов.

Второй язык - структурированный партитурный язык (Structured Audio Score Language) предназначен для описания партитуры всех инструментов, составляющих звуковой объект. Для воссоздания звуковой сцены в декодер загружаются параметры всех инструментов, а затем в потоке передается партитура.

Стандартом поддерживается механизм привязки звука к расположению объекта в пространстве сцены и его изменения при перемещении объекта, введены механизмы изменения звука в зависимости от акустических свойств пространства сцены.

Одно из новшеств стандарта МPEG-4 - алгоритм преобразования текста в речь TTSI (Text-to-Speech Interface). По каналу передается текст со скоростью от 200 бит/с до 1,2 кбит/с, а декодер преобразует его в речь. В отличие от обычных синтезаторов речи, извлекающих из базы данных фонемы (единицы речи) и соединяющих эти фонемы в связную, но совершенно лишенную эмоций речь, TTSI дополняет речь характеристика­ми живого голоса - тембром, интонацией, акцентом, просодией (так называется система произношения ударных и неударных, долгих и кратких звуков). Поддерживаются и дру­гие функции: синхронизация речи с синтезированным лицом говорящего, включая выра­жение лица и движения губ; возможность для пользователя изменить ритм, тон, гром­кость, пол, возраст говорящего; сменить язык; изменение характеристик речи при перемещении говорящего в пространстве сцены; возможность остановки, ускоренного воспроизведения вперед и назад без нарушения просодии и т.д. Возможные области применения TTSI - искусственный рассказчик (по запросу); синтез речи, синхронной с анимацией; синтез речи для виртуальной реальности; говорящая газета; средство дубли­рования для анимационных картинок; голосовой Интернет и многие другие. Во второй версии стандарта приняты дополнения и усовершенствования к существу­ющим алгоритмам, введены новые алгоритмы. В частности, повышена устойчивость к ошибкам в ААС, введена опция звукового кодера ААС с малой алгоритмической задер­жкой (Low-Delay Audio Coder — задержка 20 мс вместо нескольких сотен миллисе­кунд). Снижение задержки достигается уменьшением длины кадра до 512 отсчетов вме­сто 1024, уменьшением вдвое размера окна оконной функции, минимальным использованием резервуара битов. Ценой снижения задержки стало увеличение скоро­сти потока для «прозрачного» канала примерно на 8 кбит/с, но такой кодер все еще лучше кодера МР-3 на скорости 64 кбит/с.

Рисунок 5.12 - Масштабирующий универсальный кодер MPEG-4

Во второй версии масштабируемость кодера Универсального звука сделана более детальной (шаги 2 кбит/с вместо 16 кбит/с). Масштабируемость достигает благодаря кодированию потока звукоданных несколькими кодерами, первый из которых обраба­тывает прореженный исходный поток, а каждый из последующих компрессирует раз­ность между входным и декодированным сигналами предыдущей ступени (рисунок 5.12). Для работы на очень низких скоростях введен алгоритм параметрического кодирования HILN (Harmonic and Individual Lines plus Noise — гармоники и одиночные линии плюс шум), базирующийся на представлении звукового сигнала как набора синусоид, гармо­ник и шумов и передаче по каналу параметров этих первичных сигналов. Частоты и амплитуды первичных сигналов квантуются с разрешением, соответствующим градации «различие едва заметно». Спектральная огибающая шума и гармонические компоненты описываются на основе техники линейного предсказания, при этом используется корре­ляция между параметрами в кадре и между последовательными кадрами. Этим методом можно кодировать звуковые сигналы начиная со скорости 4 кбит/с. Упомянем также специальный формат транспортного потока для звуковых применений с малой избы­точностью LOAS (Low Overhead Audio Stream), возможность организации обратного канала от пользователя к источнику контента для поддержки интерактивных приложе­ний, более устойчивую к ошибкам версию HVXC.

5.1.6 Профили и уровни стандарта МРЕG-4

           MPEG-4 представляет собой обширный набор средств и алгоритмов кодирования аудио­визуальных объектов. Чтобы сделать реализацию декодера экономически оправданной и облегчить проверку на соответствие стандарту, в некоторых разделах определены ограни­ченные наборы инструментов, называемые Профилями. Для каждого из профилей уста­новлены один или несколько уровней, ограничивающих требования к вычислительным способностям декодера. Понятие Профиля введено для визуальных объектов, аудио, си­стемы и описаний сцены. Однако специфика MPEG-4 потребовала некоторых дополне­ний по сравнению с предшествующими стандартами. В MPEG-2 видеокадр можно представить себе как один прямоугольный объект, занимающий всю сцену, и для него доста­точно определить один профиль. В MPEG-4 объектов может быть несколько, для каждо­го оптимальным будет свой профиль, поэтому введена дополнительная градация, как промежуточная между уровнем и профилем — тип объекта. Этот параметр определяет синтаксис (структуру) цифрового потока для одиночного объекта. Профиль же определя­ет набор типов объектов, которые могут присутствовать в сцене.

Для натуральных объектов определены пять типов объектов:

1) Простой — прямоугольный объект с произвольным форматом, использует про­стые средства кодирования, основанные на I- и P-VOP.

2) Простой масштабируемый — прямоугольный объект с пространственным и вре­менным масштабированием.

3) Базовый — производный от Простого, с добавлением B-VOP. Чересстрочная раз­вертка не поддерживается.

4) Основной — обеспечивает высшее качество, по сравнению с Базовым дополни­тельно поддерживает градационное кодирование формы, спрайты, чересстрочное разло­жение.

5) N-битовый — аналогичен Базовому, но допускает квантование плоскостей ярко­сти и цветности с разрядностью от 4 до 12 бит.

Для кодирования неподвижных натуральных визуальных объектов существует спе­циальный тип объекта:

6) Неподвижная масштабируемая текстура — неподвижное изображение произволь­ной формы, использует волновое кодирование и пошаговую загрузку и восстановление. Для синтетических объектов определены следующие три типа объектов:

7) Анимированная двумерная сетка — объединяет синтетическую сетку (прямоу­гольную или топологии Делоне) с натуральным видео, кодируемым по Базовому типу. Видео может отображаться на сетку и деформироваться путем перемещения ее узлов - это дает интересные анимационные возможности. Визуальный объект может быть лю­бой формы.

8) Базовая анимированная текстура - анимация неподвижных изображений (таких, как в типе 6).

9) Примитивное лицо - средство анимации человеческого лица. Этот тип объекта не определяет конкретное лицо, анимация может быть применена к любой выбранной модели.

Профили, как уже сказано, определяют, какие типы визуальных объектов могут присутствовать в сцене. В первой версии стандарта 9 профилей, допустимые сочетания профилей и типов объектов приведены в таблице 5.1. Простой профиль допускает присут­ствие только объектов Простого типа и предназначен в первую очередь для мобильных служб и Интернета. Он поддерживает до 4-х объектов в сцене с максимальным разре­шением QCIF, три уровня ограничивают скорость потока в пределах от 64 до 384 кбит/ с, максимальную площадь, занимаемую объектом, и число макроблоков в секунду, ко­торое декодер должен обработать. Простой масштабируемый профиль может осуществ­лять кодирование с масштабированием при тех же предпосылках, имеет два уровня. Базовый профиль воспринимает типы объектов Простой и Базовый, полезен для инте­рактивных приложений. Основной профиль создавался с учетом вещательных служб. Са­мый высший уровень Основного профиля поддерживает до 32 объектов Простого, Базово­го или Основного типа и максимальную суммарную скорость потока до 38 Мбит/с. N-битовый профиль работает с объектами Простого, Базового и N-битового типа и полезен в специальных системах наблюдения и медицинского контроля, где требуется ши­рокий динамический диапазон яркости и насыщенности.

Таблица 5.1 – Профили и типы объектов MPEG-4 видео

Из остальных профилей наибольший интерес представляет Гибридный, объединяю­щий натуральные (Базовый) и синтетические (все три) типы объектов. Он полезен при помещении «реального» объекта в синтетический мир и, наоборот, синтетического объек­та в реальное окружение.

В нижней строке таблицы 5.1 указано число уровней, определенных в стандарте для каждого профиля. В таблице 5.2 показаны параметры потока для некоторых уровней.

В стандарте установлены следующие точки соответствия: Простой профиль и Базо­вый профиль с размерами сцены QCIF и CIF, скоростями потока 64, 128, 384 кбит/с и 2 Мбит/с. Для Основного профиля нормируются форматы CIF, Рек. ВТ.601, ТВЧ со скоростями 2, 15 и 38,4 Мбит/с.

Вторая версия стандарта добавила три профиля к натуральному видео:

1) Простой усовершенствованный профиль реального времени — обеспечивает эф­фективное кодирование с использованием обратного канала (видеотелефония, телекон­ференции, дистанционное наблюдение).

2) Базовый масштабируемый профиль — поддерживает пространственное и времен­ное масштабирование в Базовом профиле.

3) Профиль с улучшенной эффектив­ностью кодирования — подходит для мо­бильного приема вещательных передач и других применений, где требуется высо­кая эффективность кодирования.

Таблица 5.2 – Параметры потока для некоторых профилей MPEG-4 видео

Три новых профиля введены в синте­тическое видео, в том числе Простой про­филь анимации лица и фигуры. Общее число визуальных профилей достигло 15. Уже после принятия второй версии продолжается работа над дополнениями к стандарту. В частности, предполагается ввести Студийный профиль, в котором VOP с кодированием формы могли бы передаваться со скоростью несколько сот мегабит в секунду. В таблице 5.3 показаны основные параметры предлагаемого про­филя. Низкий уровень этого профиля мог бы соответствовать высокому уровню профиля «4:2:2» из стандарта MPEG-2 (сравните таблицу 5.3 и таблицу 4.2), в двух других уровнях предлагается ввести два подуровня — с дискретизацией «4:2:2» и «4:4:4». Группа MPEG изучает кодирование 2D и 3D анимации, цифровой кинематограф и другие вопросы. Как и для видеообъектов, в стандарте введена классификация типов объектов для звука. В общей сложности первая версия определила 15 типов объектов, часть из них базируется на алгоритме ААС, один на алгоритме Twin VQ, три типа объектов связаны с алгоритмами кодирования речи, еще четыре определяют типы объектов для синтези­рованных звуков.

Таблица 5.3 – Параметры предлагаемого студийного профиля стандарта   MPEG-4