eng
Современное телевидение находится на пороге нового качественного скачка, когда плоское двумерное изображение заменится объемным, а пассивное восприятие передаваемого сюжета – интерактивным. Предлагаемая система объемного телевидения обеспечивает свойственное человеческому зрению восприятие сюжета с возможностью его плавного оглядывания как в вертикальном, так и горизонтальном измерении. Объемные изображения могут передаваться по обычным телевизионным каналам и каналам связи при их совместимости со стандартными сигналами телевизионного вещания. Создание предлагаемой системы не потребует развития новых технологий, что существенно сократит капиталовложения, а также сроки ее разработки и внедрения.
Объемное представление наблюдаемого сюжета формируется у зрителя благодаря нескольким физиологическим эффектам (перспектива, скорость бокового смещения, аккомодация и конвергенция глаз и др.), однако основную информацию об объеме человек получает путем сравнения двух зрительных образов, воспринимаемых каждым глазом, воссоздавая в мозгу единый объемный образ [1]. Особенности зрения человека и определяют основные свойства объемного телевидения (ОТВ):
· качество объемного изображения (ОИ) удовлетворительно, если в нем различаются 8–9 планов* [2];
· оглядывание ОИ – плавное, если шаг дискретизации при воспроизведении ракурсов не превышает 5–10 угловых минут как по вертикали, так и по горизонтали [3];
· частота смены информации для каждого глаза зрителя должна быть не ниже 50 Гц, чтобы избежать мерцания телевизионного изображения;
· продольное разрешение глаз человека значительно уступает поперечному.
Предлагаемая система ОТВ позволяет наблюдать ОИ под индивидуально выбранным ракурсом, оглядывать и изменять его параметры, осуществляя целый набор театральных эффектов (наплыв, удаление, поворот и др.); выделять любой фрагмент ОИ и вносить в него свои правки, например, перемещать и поворачивать фрагмент в пространстве, изменять его масштаб, цвет, форму; использовать телевизор как персональный компьютер, медицинский или профессиональный тренажер и реально участвовать в телеконференциях по сети Интернет. При этом будет учитываться пространственное положение зрителей или специальных пультов дистанционного управления. Индивидуальность ракурсов позволит каждому из зрителей независимо управлять параметрами ОИ, не создавая помех соседям.
Такой технический результат достигается особым размещением передающих камер при наблюдении ракурсов; созданием и передачей в эфир единого базового кадра в виде специфической структуры видеосигналов, в которой учитывается пространственное расположение элементов сюжета; приемом и обработкой воспроизводимого изображения, когда положение пикселов определяется как записанной дальностью элемента в базовом кадре, так и положением глаз зрителя. В целом система ОТВ обеспечивает в реальном времени кодирование, передачу (запись), прием, преобразование и воспроизведение видеоинформационного потока, значительно превышающего стандартный информационный поток для двумерных систем телевидения. Основные этапы реализации предлагаемой системы ОТВ приведены на рис.1.
РАЗМЕЩЕНИЕ ПЕРЕДАЮЩИХ КАМЕР
Для создания базового кадра* ОИ передающие камеры (ПК) размещаются определенным образом и их работа синхронизируется. Оптимальное размещение ПК не только позволяет в дальнейшем видеть сюжет под различными ракурсами, но и минимизирует число ПК. Простейший способ размещения ПК – расположение их с постоянным шагом [1,2]. Причем точка пересечения оптических осей ПК может находиться как в бесконечности, так и на конечном расстоянии. Шаг по горизонтали часто выбирается таким, чтобы пара соседних ПК обеспечивала параллакс, соизмеримый с параллаксом глаз человека. При необходимости оглядывания ОИ в вертикальном измерении ПК необходимо размещать этажами с соответствующим шагом. Простое расположение ПК пригодно для малых углов оглядывания ~ 1°, но не способно обеспечить плавность оглядывания (хотя бы с шагом дискретизации 5–10 угловых минут) в больших телесных углах (порядка стерадиана), поскольку для этого требуются тысячи ПК.
В предлагаемой системе ПК располагаются группами – по 2–3 ПК (рис.2). Значительное угловое или пространственное разнесение одной группы ПК от другой позволит в сотни раз сократить общее число ПК. При этом ПК внутри группы разнесены в горизонтальном измерении и обеспечивают параллакс, близкий параллаксу зрения человека, а угловое расстояние между группами ПК может быть значительно, в десятки раз, больше как в вертикальном, так и в горизонтальном измерении. Каждая группа ПК вырабатывает стандартный ТВ-сигнал с добавлением к нему сигналов дальности, а сигналы всех групп объединяются определенным образом, образуя единый базовый кадр. Такой подход требует строгой фиксации ПК и четкой синхронизации их работы.
ОПРЕДЕЛЕНИЕ ПОЛЯ ДАЛЬНОСТЕЙ
Каждая группа ПК в предлагаемом способе ОТВ формирует трехмерное изображение сюжета, в котором наряду с информацией о цветности и яркости каждого элемента сюжета, снятого с разных ракурсов группой ПК, представлена информация о трехмерных координатах (горизонтальной, вертикальной и дальности) этих элементов. При этом начало трехмерных координат находится в зрачке основной ПК центральной группы; горизонтальная и вертикальная координаты коллинеарны направлениям строчной и кадровой разверток ПК, соответственно; а группе элементов сюжета (элементарной площадке, состоящей из соседних nxn элементов) присваивается одна и та же дальность.
Вначале определяется параллакс элементарной площадки каким-либо из известных способов [4]. Самый простой их них – способ тактовой задержки и сравнения каждой из компонент R, G и B сигналов дополнительных ПК относительно аналогичных компонент сигнала основной ПК в группе. Эти сигналы сравниваются на каждом такте по каждой из компонент. Параллакс, связанный с дальностью элементарной площадки, определяется по номеру такта, на котором произошло совпадение параметров сигналов (рис.3 и 4). Этот номер такта, единый для всей элементарной площадки, запоминается как номер плана данной площадки, и в дальнейшем все элементы площадки будут расположены в этом плане. Элементы другой площадки, в зависимости от результатов задержки и сравнения, могут быть расположены как в этом же плане, так и в любом другом.
Цифровой блок выделения дальности (см. рис.3) работает следующим образом. Вначале происходит фильтрация высоких частот сигналов у обеих ПК, затем выделяются R-, G- и B-компоненты и производится их аналого-цифровое преобразование. Сравнение идет раздельно по каждой из компонент, причем сигналы дополнительной ПК задерживаются в сдвиговом регистре на N тактов и на каждом такте происходит сравнение текущего сигнала основной ПК с задержанными сигналами дополнительной ПК. Совпадение фиксируется в схеме сравнения, когда амплитуды двух сравниваемых сигналов (например, по R-компонентам) отличаются менее, чем на заранее установленную допустимую величину. Зафиксированный момент совпадения амплитуд R-компонент сигналов ПК поступает на мажоритарную схему совпадения, на другие входы которой приходят сигналы G-и B-компонент, и факт совпадения сигналов обеих ПК окончательно фиксируется. Двоичный код такта, на котором произошло совпадение сигналов, однозначно связан с дальностью элемента сюжета и добавляется в поле дальностей после суммарной задержки на N тактов. Данная задержка необходима для устранения неопределенности при адресации поля дальности.
Установленная допустимая разность сравниваемых сигналов от двух ПК определяется экспериментально с учетом индивидуальных отличий ПК, различной освещенности и цветности элемента изображения, видимого из двух разных точек. Это накладывает ограничение на угол конвергенции между основной и дополнительной ПК в группе.
Отметим, что группа элементов сюжета, образующая нулевой план, при воспроизведении будет восприниматься зрителем в плоскости экрана, элементы, имеющие меньшую дальность, будут выступать из экрана, образуя передний план, а элементы более удаленные зритель воспримет как находящиеся в глубине экрана. Меняя задержку tЗ основной ПК (см. рис.4б), можно управлять ОИ, осуществляя театральные эффекты (наплыв или удаление изображения).
СОЗДАНИЕ БАЗОВОГО КАДРА
Процесс создания базового кадра состоит из следующих этапов:
· наблюдение сюжета с различных ракурсов группами ПК, одна из которых – основная, остальные – дополнительные. Работа всех групп ПК синхронизирована, причем начало строчной развертки основной ПК задержано относительно дополнительных на время Т = t·N/2;
· создание стандартных видеостраниц* ракурсов, одна из которых описывает центральный ракурс, остальные – периферийные. Каждый объемный пиксел (воксель) в каждой из видеостраниц описывает объемный элемент ОИ и содержит информацию о цветности и яркости, а также трехмерный адрес вокселя;
· преобразование трехмерных адресов вокселей периферийных видеостраниц в единую систему координат, привязанную к центральной видеостранице;
· путем сравнения каждой из периферийных видеостраниц с центральной производится исключение вокселей периферийных видеостраниц, имеющих адреса, совпадающие с каким-либо адресом центральной видеостраницы;
· не исключенные воксели периферийных видеостраниц добавляются к адресам вокселей центральной видеостраницы, заполняя базовый кадр, который имеет тем больший информационный объем, чем больше угол и плавность оглядывания;
· преобразование сигналов базового кадра в соответствующий телевизионный стандарт.
Увеличение размера базового кадра на 4–5% обеспечивает боковой обзор и оглядывание в горизонтальном направлении в пределах ±5°. Передать дополнительную видеоинформацию можно в части периода строчной развертки, не используемой в стандартном телевидении. Например, из периода строчной развертки 64 мкс, принятой в системе PAL-SECAM, на передачу изображения используется 52 мкс, на строчный синхроимпульс и "вспышку" – еще 6 мкс. За остающиеся 6 мкс, составляющие ~10% от периода строчной развертки, можно передать информацию о боковых ракурсах и тем самым обеспечить оглядывание в требуемых ±5°. Оглядывание в вертикальном измерении может быть осуществлено за счет использования времени обратного хода кадровой развертки (не используемые в стандарте PAL-SECAM 35 периодов строчной развертки).
При оптимизации процесса создания базового кадра следует учитывать и такую физиологическую особенность зрения человека, как невысокое продольное разрешение. Для этого максимальное число передаваемых планов можно ограничить 32 (25), что вполне достаточно для получения ОИ высокого качества. Кроме того, можно разделить поле базового кадра на элементарные квадраты (ЭК) с размером стороны, равной четырем поперечным элементам разрешения, и каждому квадрату поставить в соответствие единое значение дальности. В этом случае для передачи поля дальности требуется на каждый пиксел стандартного ТВ-изображения добавить приблизительно 0,3 бита дополнительной информации. Эту информацию можно передать методом квадратурной модуляции стандартного сигнала с поднесущей, расположенной в более низкочастотной области, чем цветовая поднесущая, например на частоте 1,5–2,5 МГц, или в течение времени обратного хода кадровой развертки. Отметим, что обычный телевизионный приемник проигнорирует эту дополнительную информацию, передаваемую по телевизионному каналу, и воспроизведет моноскопическое изображение центрального ракурса.
Для увеличения сектора оглядывания требуется значительное расширение поля адресов базового кадра и полосы пропускания телевизионного канала. Эту проблему можно решить, по-видимому, лишь после изменения телевизионных стандартов. Предварительные оценки показывают, что если расширить спектр ТВ-сигналов в два раза, угол оглядывания камерного сюжета достигнет порядка одного стерадиана.
ВОСПРОИЗВЕДЕНИЕ ОИ
Последовательность операций при воспроизведении ОИ показана на рис.5. Как видно, после приема ТВ-сигналов ОИ, в которых зашифрована информация о дальности ЭК, процесс воспроизведения ОИ на какое-то время раздваивается. С одной стороны, дешифруется и восстанавливается поле дальностей в последовательности, удобной для воспроизведения ОИ, с другой – восстанавливается базовый кадр в последовательности стандартных ТВ-сигналов с добавлением в него видеоинформации о боковых ракурсах и дальности. Информация в базовом кадре восстанавливается в цифровой форме и записывается в последовательности адресов стандартного ТВ-сигнала на соответствующую видеостраницу. Синхронно с этим производится считывание видеоинформации предыдущего базового кадра также в последовательности адресов этого кадра.
Параллельно с этим процессом определяются координаты зрителей и рассчитываются координаты центров ЭК для каждого глаза зрителя.
Следует отметить, что расположение пикселов внутри ЭК остается таким же, как в соответствующем ЭК базового кадра. Для определения координат глаз зрителя достаточно найти центр его лица, а затем при расчетах использовать стандартное расстояние глаза от центра лица 32 (25) мм или стандартное расстояние между глазами человека 64 (26) мм. Общее число образуемых при этом видеостраниц ракурсов равняется числу глаз зрителей.
Операция восстановления полных адресов пикселов для всех видеостраниц ракурсов происходит одновременно (каждый ЭК поля дальности содержит 4х4 пикселов). Пусть, для определенности, ОИ наблюдают два зрителя (т.е. всего будет воспроизводиться четыре ракурса). При заполнении полей ракурсов N-1 кадра происходит считывание видеоинформации в N-1 базовом кадре в последовательности адресов его ЭК. Синхронно с этим определяются положения центров ЭК в видеостраницах ракурсов с использованием текущих данных поля дальности и координат зрителей (в данном случае на каждый ЭК базового кадра – четыре ЭК, по одному на каждую видеостраницу ракурсов).
По окончании процесса считывания N-2 кадра все видеостраницы, участвующие в воспроизведении, коммутируются для загрузки данных N кадра, а загруженные видеостраницы N-1 кадра коммутируются под воспроизведение ракурсов, и процесс продолжается.
Таким образом, при воспроизведении ОИ происходит три параллельных процесса: считывание текущего N кадра; заполнение видеостраниц (полей) ракурсов N-1 кадра; воспроизведение N-2 кадра.
Блок-схема воспроизводящего устройства (ВУ), реализующая последовательность операций на этапах приема и воспроизведения ОИ, приведена на рис.6. В него входит оптический блок, включающий в себя воспроизводящую матрицу и обтюрационную панель с блоками управления. Сигналы ОИ поступают на тюнер и обрабатываются способом, описанным выше. Видеостраницы ракурсов (число которых не должно быть меньше числа глаз предполагаемых зрителей) формируются из единого базового кадра и содержат изображения ракурсов, соответствующие реальным координатам глаз зрителей. Каждая видеостраница воспроизводится матрицей в течение одного кадра.
Кадровая развертка каждого ракурса, воспроизводимого матрицей, состоит из K подкадров. В каждом подкадре и в каждом ракурсе воспроизводится M столбцов, в исходном положении равномерно сдвинутых по горизонтали друг относительно друга. Весь кадр данного ракурса содержит M·K столбцов, равных числу элементов в строке стандартного ТВ-сигнала. В течение периода кадра Тк все М столбцов, перемещаясь синхронно с тактом Тk/K, воспроизводят информацию каждого из пикселов ракурса. Синхронно с перемещением столбцов подкадра формируется система равноотстоящих щелей на обтюрационной панели, причем положение щелей в течение кадровой развертки таково, чтобы изображение ракурса беспрепятственно достигало соответствующего глаза зрителя.
Второй ракурс (например, для второго глаза зрителя) воспроизводится матрицей таким образом, чтобы использовать те же щели обтюрационной панели, для чего на соответствующую величину сдвигается координата каждого столбца матрицы относительно аналогичного столбца поля первого ракурса. Такое параллельное воспроизведение столбцов возможно при их независимой адресации в матрице.
Так как порядок и последовательность воспроизведения видеоинформации в стандартном телевидении иные, чем в ОТВ, необходимо учитывать это обстоятельство при адресации воспроизводимых видеостраниц. Основные их отличия в том, что строчная горизонтальная развертка заменяется на вертикальную (столбцовую); полукадровая развертка в стандартном телевидении заменяется подкадровой разверткой, причем, расстояние между столбцами значительно больше размера пиксела; одновременно формируется изображение нескольких ракурсов; в каждом последующем подкадре положение столбцов смещается на один шаг синхронно со щелями обтюрационной панели (рис.7).
БЛОКИ СИСТЕМЫ ОТВ, ДЛЯ РАЗРАБОТКИ КОТОРЫХ НЕОБХОДИМЫ ВЫСОКИЕ ТЕХНОЛОГИИ
К этим блокам относятся: информационная матрица повышенного разрешения, быстродействия и яркости с независимой адресацией столбцов; ЖК-панель с бегущей щелью; вычислитель на основе программируемых логических матриц, работающий в реальном времени; координатор с дистанционным пультом управления; контроллер для синхронной работы всех узлов системы ОИ. Все разработки могут проводиться фирмами России.
Информационная матрица может быть выполнена на основе плазменной или ЖК-матрицы с высокой яркостью изображения (~500–100 кд/м2).
Обтюрационная панель должна иметь достаточные размеры рабочей области, не ограничивающие размер воспроизводимых полей ракурсов ОИ; высокое быстродействие (время включения и выключения щели); высокий контраст между открытым и закрытым состоянием щели; низкие потери в открытом состоянии. Параметры ЖК-панелей в значительной степени определяются типом используемых в них жидких кристаллов. В последнее время найдена оригинальная возможность [5] обеспечить достаточно высокие параметры ЖК-панелей с бегущей щелью на основе недорогих нематических ЖК-кристаллов.
Координатор. Разработанные автором методы и ПО, а также натурное моделирование процесса обнаружения и распознавания изображения человека на произвольном фоне с последующим определением координат переносицы продемонстрировали удовлетворительную точность обнаружения координат переносицы при различных параметрах головы зрителя и расстоянии зрителя от объемного дисплея. При использовании процессора IBM-486 с тактовой частотой всего 50 МГц время первичного поиска (распознавания) изображения лица человека не превышало 2 с, а последующее слежение за ним при изменении положения зрителя в пределах окна слежения – 20–30 мс. Это подтверждает реальность использования методов распознавания образов для определения положения наблюдателей в системах ОИ.
Вычислитель. Автором была проведена прямая оценка требуемой производительности вычислителя для многоракурсного ОИ. Предполагалось, что на один вход вычислителя поступают трехмерные координаты элементарных квадратов базового кадра ОИ. На другой его вход поступает информация о числе и пространственном положении зрителей. Задача вычислителя – формирование двумерных видеостраниц ракурсов для соответствующего числа зрителей. Время и производительность вычислителя расходуется как на пересчет трехмерных адресов ЭК базового кадра в двумерные адреса полей ракурсов, так и на последующее размещение пикселов по новым адресам. При числе зрителей пять и менее мощность современных вычислительных средств достаточна для проведения требуемых расчетов.
Пульт дистанционного управления. Одно из условий успешного внедрения на рынок телевизоров нового поколения – наличие многофункционального эргономичного пульта дистанционного управления. Такой пульт должен обеспечивать: интерактивный просмотр телепередач; управление игровыми автоматами; работу в сети Интернет с активным участием пользователей в телеконференциях; работу в режиме профессионального или медицинского тренажера; работу в режиме персонального компьютера с объемным изображением. С помощью пульта происходит выбор программ, подстройка параметров изображения и звука; выбор уровня мастерства в игровом варианте; управление процессом наблюдения (работы, игры), в т.ч. трехмерное перемещение рабочего тела (фрагмента ОИ, курсора) в пространстве, вращение фрагмента изображения вокруг любой пространственной оси, изменение параметров фрагмента (размеров, цвета и др.), деформация фрагмента. Пульт должен иметь пространственную зону действия, превышающую размеры человека; шесть степеней свободы движения с разрешением не менее 100 градаций по каждому из измерений; число кнопок не более числа пальцев на руке, а также обеспечивать одновременную работу двух или более операторов. По внешнему виду пульт должен выглядеть как конструктивно законченное устройство для выполнения определенных функций [6].
В заключение отметим, что уже сегодня существует реальная возможность создания системы объемного интерактивного телевидения. Предлагаемый пакет технических решений обеспечит разработку системы ОТВ. Современный технологический уровень позволяет производить массовый выпуск недорогих телевизоров ОИ, а совместимость предлагаемого способа с существующими ТВ-стандартами обусловит плавное внедрение системы ОТВ, подобно тому, как это было при замене цветным телевидением черно-белого.
Литература
1. Хьюбел Д. Глаз, мозг, зрение. – М: Мир, 1990.
2. Гуревич С., Однолько В. Об информационной емкости систем регистрации ОИ.–Техника кино и телевидения, 1974, №5, с.55–59.
3. Шыырап Ю.М., Колин К.Т., Джакония В.Е., Коганер С.Э., Шумляев В.С. Формирование сигнала вещательной системы объемного телевидения. – Техника кино и телевидения, 1988, № 12, с. 34–36.
4.Патент N4-327283 (Япония), Кл. МКИ H04N 13/00.
5. Логутко А.Л. Решение о выдаче патента №99125232/09 от 29.11.99. Кл. МКИ H04N13/04/
6. Логутко А.Л. Решение о выдаче патента №99125231/09 от 29.11.99. Кл. МКИ G06F3/033.
Представляем автора статьи
ЛОГУТКО Альберт Леонидович. Кандидат физ.-мат. наук, доцент. Имеет 25 патентов РФ, 12 авторских свидетельств. Сфера профессиональных интересов – система объемного телевидения, совместимого с существующими телевизионными стандартами. Тел.: (095) 460-4252.
Предложения по применению сверхширокополосной связи
Сегодня очень актуален поиск дешевого беспроводного информационного интерфейса, обеспечивающего скорость передачи данных 100 Мбит/с на расстоянии 10 м и свыше 480 Мбит/с – на 1 м. Для этих целей сверхширокополосная (UWB) технология рассматривается как ведущая, однако не сбрасываются со счетов и другие, более узкополосные варианты. Хотя многие специалисты согласны, что применение UWB – прогрессивный путь, но при этом остается множество не решенных проблем. Например, как следует применять UWB, чтобы выполнить условия Федеральной комиссии по связи по ограничению спектров частот, объявленные в феврале 2002 года. И как одновременно удовлетворить требования по расстоянию и скорости передачи данных для таких приложений, как домашние видеосистемы.
Одни фирмы считают, что наилучший вариант UWB – это одна полоса в пределах 5 ГГц, а другие поддерживают идею множества полос – каждая шириной от 500 до 700 МГц. Недавно фирмы Texas Instruments и Intel внесли совместные предложения по использованию UWB-технологии для сверхбыстродействующей беспроводной связи на короткие расстояния. Так, предлагается сочетание элементов многополосности и ортогонального частотного мультиплексирования. К этому проявляют интерес и ряд других фирм. Использование метода ортогонального частотного мультиплексирования повышает энергетические свойства интерфейса, что обеспечивает более робастную линию. Фирма Texas Instruments предлагает UWB-технологию с тремя полосами вместо ранее предлагаемой группой фирм технологии с семью полосами.
www.eetimes.com/
· качество объемного изображения (ОИ) удовлетворительно, если в нем различаются 8–9 планов* [2];
· оглядывание ОИ – плавное, если шаг дискретизации при воспроизведении ракурсов не превышает 5–10 угловых минут как по вертикали, так и по горизонтали [3];
· частота смены информации для каждого глаза зрителя должна быть не ниже 50 Гц, чтобы избежать мерцания телевизионного изображения;
· продольное разрешение глаз человека значительно уступает поперечному.
Предлагаемая система ОТВ позволяет наблюдать ОИ под индивидуально выбранным ракурсом, оглядывать и изменять его параметры, осуществляя целый набор театральных эффектов (наплыв, удаление, поворот и др.); выделять любой фрагмент ОИ и вносить в него свои правки, например, перемещать и поворачивать фрагмент в пространстве, изменять его масштаб, цвет, форму; использовать телевизор как персональный компьютер, медицинский или профессиональный тренажер и реально участвовать в телеконференциях по сети Интернет. При этом будет учитываться пространственное положение зрителей или специальных пультов дистанционного управления. Индивидуальность ракурсов позволит каждому из зрителей независимо управлять параметрами ОИ, не создавая помех соседям.
Такой технический результат достигается особым размещением передающих камер при наблюдении ракурсов; созданием и передачей в эфир единого базового кадра в виде специфической структуры видеосигналов, в которой учитывается пространственное расположение элементов сюжета; приемом и обработкой воспроизводимого изображения, когда положение пикселов определяется как записанной дальностью элемента в базовом кадре, так и положением глаз зрителя. В целом система ОТВ обеспечивает в реальном времени кодирование, передачу (запись), прием, преобразование и воспроизведение видеоинформационного потока, значительно превышающего стандартный информационный поток для двумерных систем телевидения. Основные этапы реализации предлагаемой системы ОТВ приведены на рис.1.
РАЗМЕЩЕНИЕ ПЕРЕДАЮЩИХ КАМЕР
Для создания базового кадра* ОИ передающие камеры (ПК) размещаются определенным образом и их работа синхронизируется. Оптимальное размещение ПК не только позволяет в дальнейшем видеть сюжет под различными ракурсами, но и минимизирует число ПК. Простейший способ размещения ПК – расположение их с постоянным шагом [1,2]. Причем точка пересечения оптических осей ПК может находиться как в бесконечности, так и на конечном расстоянии. Шаг по горизонтали часто выбирается таким, чтобы пара соседних ПК обеспечивала параллакс, соизмеримый с параллаксом глаз человека. При необходимости оглядывания ОИ в вертикальном измерении ПК необходимо размещать этажами с соответствующим шагом. Простое расположение ПК пригодно для малых углов оглядывания ~ 1°, но не способно обеспечить плавность оглядывания (хотя бы с шагом дискретизации 5–10 угловых минут) в больших телесных углах (порядка стерадиана), поскольку для этого требуются тысячи ПК.
В предлагаемой системе ПК располагаются группами – по 2–3 ПК (рис.2). Значительное угловое или пространственное разнесение одной группы ПК от другой позволит в сотни раз сократить общее число ПК. При этом ПК внутри группы разнесены в горизонтальном измерении и обеспечивают параллакс, близкий параллаксу зрения человека, а угловое расстояние между группами ПК может быть значительно, в десятки раз, больше как в вертикальном, так и в горизонтальном измерении. Каждая группа ПК вырабатывает стандартный ТВ-сигнал с добавлением к нему сигналов дальности, а сигналы всех групп объединяются определенным образом, образуя единый базовый кадр. Такой подход требует строгой фиксации ПК и четкой синхронизации их работы.
ОПРЕДЕЛЕНИЕ ПОЛЯ ДАЛЬНОСТЕЙ
Каждая группа ПК в предлагаемом способе ОТВ формирует трехмерное изображение сюжета, в котором наряду с информацией о цветности и яркости каждого элемента сюжета, снятого с разных ракурсов группой ПК, представлена информация о трехмерных координатах (горизонтальной, вертикальной и дальности) этих элементов. При этом начало трехмерных координат находится в зрачке основной ПК центральной группы; горизонтальная и вертикальная координаты коллинеарны направлениям строчной и кадровой разверток ПК, соответственно; а группе элементов сюжета (элементарной площадке, состоящей из соседних nxn элементов) присваивается одна и та же дальность.
Вначале определяется параллакс элементарной площадки каким-либо из известных способов [4]. Самый простой их них – способ тактовой задержки и сравнения каждой из компонент R, G и B сигналов дополнительных ПК относительно аналогичных компонент сигнала основной ПК в группе. Эти сигналы сравниваются на каждом такте по каждой из компонент. Параллакс, связанный с дальностью элементарной площадки, определяется по номеру такта, на котором произошло совпадение параметров сигналов (рис.3 и 4). Этот номер такта, единый для всей элементарной площадки, запоминается как номер плана данной площадки, и в дальнейшем все элементы площадки будут расположены в этом плане. Элементы другой площадки, в зависимости от результатов задержки и сравнения, могут быть расположены как в этом же плане, так и в любом другом.
Цифровой блок выделения дальности (см. рис.3) работает следующим образом. Вначале происходит фильтрация высоких частот сигналов у обеих ПК, затем выделяются R-, G- и B-компоненты и производится их аналого-цифровое преобразование. Сравнение идет раздельно по каждой из компонент, причем сигналы дополнительной ПК задерживаются в сдвиговом регистре на N тактов и на каждом такте происходит сравнение текущего сигнала основной ПК с задержанными сигналами дополнительной ПК. Совпадение фиксируется в схеме сравнения, когда амплитуды двух сравниваемых сигналов (например, по R-компонентам) отличаются менее, чем на заранее установленную допустимую величину. Зафиксированный момент совпадения амплитуд R-компонент сигналов ПК поступает на мажоритарную схему совпадения, на другие входы которой приходят сигналы G-и B-компонент, и факт совпадения сигналов обеих ПК окончательно фиксируется. Двоичный код такта, на котором произошло совпадение сигналов, однозначно связан с дальностью элемента сюжета и добавляется в поле дальностей после суммарной задержки на N тактов. Данная задержка необходима для устранения неопределенности при адресации поля дальности.
Установленная допустимая разность сравниваемых сигналов от двух ПК определяется экспериментально с учетом индивидуальных отличий ПК, различной освещенности и цветности элемента изображения, видимого из двух разных точек. Это накладывает ограничение на угол конвергенции между основной и дополнительной ПК в группе.
Отметим, что группа элементов сюжета, образующая нулевой план, при воспроизведении будет восприниматься зрителем в плоскости экрана, элементы, имеющие меньшую дальность, будут выступать из экрана, образуя передний план, а элементы более удаленные зритель воспримет как находящиеся в глубине экрана. Меняя задержку tЗ основной ПК (см. рис.4б), можно управлять ОИ, осуществляя театральные эффекты (наплыв или удаление изображения).
СОЗДАНИЕ БАЗОВОГО КАДРА
Процесс создания базового кадра состоит из следующих этапов:
· наблюдение сюжета с различных ракурсов группами ПК, одна из которых – основная, остальные – дополнительные. Работа всех групп ПК синхронизирована, причем начало строчной развертки основной ПК задержано относительно дополнительных на время Т = t·N/2;
· создание стандартных видеостраниц* ракурсов, одна из которых описывает центральный ракурс, остальные – периферийные. Каждый объемный пиксел (воксель) в каждой из видеостраниц описывает объемный элемент ОИ и содержит информацию о цветности и яркости, а также трехмерный адрес вокселя;
· преобразование трехмерных адресов вокселей периферийных видеостраниц в единую систему координат, привязанную к центральной видеостранице;
· путем сравнения каждой из периферийных видеостраниц с центральной производится исключение вокселей периферийных видеостраниц, имеющих адреса, совпадающие с каким-либо адресом центральной видеостраницы;
· не исключенные воксели периферийных видеостраниц добавляются к адресам вокселей центральной видеостраницы, заполняя базовый кадр, который имеет тем больший информационный объем, чем больше угол и плавность оглядывания;
· преобразование сигналов базового кадра в соответствующий телевизионный стандарт.
Увеличение размера базового кадра на 4–5% обеспечивает боковой обзор и оглядывание в горизонтальном направлении в пределах ±5°. Передать дополнительную видеоинформацию можно в части периода строчной развертки, не используемой в стандартном телевидении. Например, из периода строчной развертки 64 мкс, принятой в системе PAL-SECAM, на передачу изображения используется 52 мкс, на строчный синхроимпульс и "вспышку" – еще 6 мкс. За остающиеся 6 мкс, составляющие ~10% от периода строчной развертки, можно передать информацию о боковых ракурсах и тем самым обеспечить оглядывание в требуемых ±5°. Оглядывание в вертикальном измерении может быть осуществлено за счет использования времени обратного хода кадровой развертки (не используемые в стандарте PAL-SECAM 35 периодов строчной развертки).
При оптимизации процесса создания базового кадра следует учитывать и такую физиологическую особенность зрения человека, как невысокое продольное разрешение. Для этого максимальное число передаваемых планов можно ограничить 32 (25), что вполне достаточно для получения ОИ высокого качества. Кроме того, можно разделить поле базового кадра на элементарные квадраты (ЭК) с размером стороны, равной четырем поперечным элементам разрешения, и каждому квадрату поставить в соответствие единое значение дальности. В этом случае для передачи поля дальности требуется на каждый пиксел стандартного ТВ-изображения добавить приблизительно 0,3 бита дополнительной информации. Эту информацию можно передать методом квадратурной модуляции стандартного сигнала с поднесущей, расположенной в более низкочастотной области, чем цветовая поднесущая, например на частоте 1,5–2,5 МГц, или в течение времени обратного хода кадровой развертки. Отметим, что обычный телевизионный приемник проигнорирует эту дополнительную информацию, передаваемую по телевизионному каналу, и воспроизведет моноскопическое изображение центрального ракурса.
Для увеличения сектора оглядывания требуется значительное расширение поля адресов базового кадра и полосы пропускания телевизионного канала. Эту проблему можно решить, по-видимому, лишь после изменения телевизионных стандартов. Предварительные оценки показывают, что если расширить спектр ТВ-сигналов в два раза, угол оглядывания камерного сюжета достигнет порядка одного стерадиана.
ВОСПРОИЗВЕДЕНИЕ ОИ
Последовательность операций при воспроизведении ОИ показана на рис.5. Как видно, после приема ТВ-сигналов ОИ, в которых зашифрована информация о дальности ЭК, процесс воспроизведения ОИ на какое-то время раздваивается. С одной стороны, дешифруется и восстанавливается поле дальностей в последовательности, удобной для воспроизведения ОИ, с другой – восстанавливается базовый кадр в последовательности стандартных ТВ-сигналов с добавлением в него видеоинформации о боковых ракурсах и дальности. Информация в базовом кадре восстанавливается в цифровой форме и записывается в последовательности адресов стандартного ТВ-сигнала на соответствующую видеостраницу. Синхронно с этим производится считывание видеоинформации предыдущего базового кадра также в последовательности адресов этого кадра.
Параллельно с этим процессом определяются координаты зрителей и рассчитываются координаты центров ЭК для каждого глаза зрителя.
Следует отметить, что расположение пикселов внутри ЭК остается таким же, как в соответствующем ЭК базового кадра. Для определения координат глаз зрителя достаточно найти центр его лица, а затем при расчетах использовать стандартное расстояние глаза от центра лица 32 (25) мм или стандартное расстояние между глазами человека 64 (26) мм. Общее число образуемых при этом видеостраниц ракурсов равняется числу глаз зрителей.
Операция восстановления полных адресов пикселов для всех видеостраниц ракурсов происходит одновременно (каждый ЭК поля дальности содержит 4х4 пикселов). Пусть, для определенности, ОИ наблюдают два зрителя (т.е. всего будет воспроизводиться четыре ракурса). При заполнении полей ракурсов N-1 кадра происходит считывание видеоинформации в N-1 базовом кадре в последовательности адресов его ЭК. Синхронно с этим определяются положения центров ЭК в видеостраницах ракурсов с использованием текущих данных поля дальности и координат зрителей (в данном случае на каждый ЭК базового кадра – четыре ЭК, по одному на каждую видеостраницу ракурсов).
По окончании процесса считывания N-2 кадра все видеостраницы, участвующие в воспроизведении, коммутируются для загрузки данных N кадра, а загруженные видеостраницы N-1 кадра коммутируются под воспроизведение ракурсов, и процесс продолжается.
Таким образом, при воспроизведении ОИ происходит три параллельных процесса: считывание текущего N кадра; заполнение видеостраниц (полей) ракурсов N-1 кадра; воспроизведение N-2 кадра.
Блок-схема воспроизводящего устройства (ВУ), реализующая последовательность операций на этапах приема и воспроизведения ОИ, приведена на рис.6. В него входит оптический блок, включающий в себя воспроизводящую матрицу и обтюрационную панель с блоками управления. Сигналы ОИ поступают на тюнер и обрабатываются способом, описанным выше. Видеостраницы ракурсов (число которых не должно быть меньше числа глаз предполагаемых зрителей) формируются из единого базового кадра и содержат изображения ракурсов, соответствующие реальным координатам глаз зрителей. Каждая видеостраница воспроизводится матрицей в течение одного кадра.
Кадровая развертка каждого ракурса, воспроизводимого матрицей, состоит из K подкадров. В каждом подкадре и в каждом ракурсе воспроизводится M столбцов, в исходном положении равномерно сдвинутых по горизонтали друг относительно друга. Весь кадр данного ракурса содержит M·K столбцов, равных числу элементов в строке стандартного ТВ-сигнала. В течение периода кадра Тк все М столбцов, перемещаясь синхронно с тактом Тk/K, воспроизводят информацию каждого из пикселов ракурса. Синхронно с перемещением столбцов подкадра формируется система равноотстоящих щелей на обтюрационной панели, причем положение щелей в течение кадровой развертки таково, чтобы изображение ракурса беспрепятственно достигало соответствующего глаза зрителя.
Второй ракурс (например, для второго глаза зрителя) воспроизводится матрицей таким образом, чтобы использовать те же щели обтюрационной панели, для чего на соответствующую величину сдвигается координата каждого столбца матрицы относительно аналогичного столбца поля первого ракурса. Такое параллельное воспроизведение столбцов возможно при их независимой адресации в матрице.
Так как порядок и последовательность воспроизведения видеоинформации в стандартном телевидении иные, чем в ОТВ, необходимо учитывать это обстоятельство при адресации воспроизводимых видеостраниц. Основные их отличия в том, что строчная горизонтальная развертка заменяется на вертикальную (столбцовую); полукадровая развертка в стандартном телевидении заменяется подкадровой разверткой, причем, расстояние между столбцами значительно больше размера пиксела; одновременно формируется изображение нескольких ракурсов; в каждом последующем подкадре положение столбцов смещается на один шаг синхронно со щелями обтюрационной панели (рис.7).
БЛОКИ СИСТЕМЫ ОТВ, ДЛЯ РАЗРАБОТКИ КОТОРЫХ НЕОБХОДИМЫ ВЫСОКИЕ ТЕХНОЛОГИИ
К этим блокам относятся: информационная матрица повышенного разрешения, быстродействия и яркости с независимой адресацией столбцов; ЖК-панель с бегущей щелью; вычислитель на основе программируемых логических матриц, работающий в реальном времени; координатор с дистанционным пультом управления; контроллер для синхронной работы всех узлов системы ОИ. Все разработки могут проводиться фирмами России.
Информационная матрица может быть выполнена на основе плазменной или ЖК-матрицы с высокой яркостью изображения (~500–100 кд/м2).
Обтюрационная панель должна иметь достаточные размеры рабочей области, не ограничивающие размер воспроизводимых полей ракурсов ОИ; высокое быстродействие (время включения и выключения щели); высокий контраст между открытым и закрытым состоянием щели; низкие потери в открытом состоянии. Параметры ЖК-панелей в значительной степени определяются типом используемых в них жидких кристаллов. В последнее время найдена оригинальная возможность [5] обеспечить достаточно высокие параметры ЖК-панелей с бегущей щелью на основе недорогих нематических ЖК-кристаллов.
Координатор. Разработанные автором методы и ПО, а также натурное моделирование процесса обнаружения и распознавания изображения человека на произвольном фоне с последующим определением координат переносицы продемонстрировали удовлетворительную точность обнаружения координат переносицы при различных параметрах головы зрителя и расстоянии зрителя от объемного дисплея. При использовании процессора IBM-486 с тактовой частотой всего 50 МГц время первичного поиска (распознавания) изображения лица человека не превышало 2 с, а последующее слежение за ним при изменении положения зрителя в пределах окна слежения – 20–30 мс. Это подтверждает реальность использования методов распознавания образов для определения положения наблюдателей в системах ОИ.
Вычислитель. Автором была проведена прямая оценка требуемой производительности вычислителя для многоракурсного ОИ. Предполагалось, что на один вход вычислителя поступают трехмерные координаты элементарных квадратов базового кадра ОИ. На другой его вход поступает информация о числе и пространственном положении зрителей. Задача вычислителя – формирование двумерных видеостраниц ракурсов для соответствующего числа зрителей. Время и производительность вычислителя расходуется как на пересчет трехмерных адресов ЭК базового кадра в двумерные адреса полей ракурсов, так и на последующее размещение пикселов по новым адресам. При числе зрителей пять и менее мощность современных вычислительных средств достаточна для проведения требуемых расчетов.
Пульт дистанционного управления. Одно из условий успешного внедрения на рынок телевизоров нового поколения – наличие многофункционального эргономичного пульта дистанционного управления. Такой пульт должен обеспечивать: интерактивный просмотр телепередач; управление игровыми автоматами; работу в сети Интернет с активным участием пользователей в телеконференциях; работу в режиме профессионального или медицинского тренажера; работу в режиме персонального компьютера с объемным изображением. С помощью пульта происходит выбор программ, подстройка параметров изображения и звука; выбор уровня мастерства в игровом варианте; управление процессом наблюдения (работы, игры), в т.ч. трехмерное перемещение рабочего тела (фрагмента ОИ, курсора) в пространстве, вращение фрагмента изображения вокруг любой пространственной оси, изменение параметров фрагмента (размеров, цвета и др.), деформация фрагмента. Пульт должен иметь пространственную зону действия, превышающую размеры человека; шесть степеней свободы движения с разрешением не менее 100 градаций по каждому из измерений; число кнопок не более числа пальцев на руке, а также обеспечивать одновременную работу двух или более операторов. По внешнему виду пульт должен выглядеть как конструктивно законченное устройство для выполнения определенных функций [6].
В заключение отметим, что уже сегодня существует реальная возможность создания системы объемного интерактивного телевидения. Предлагаемый пакет технических решений обеспечит разработку системы ОТВ. Современный технологический уровень позволяет производить массовый выпуск недорогих телевизоров ОИ, а совместимость предлагаемого способа с существующими ТВ-стандартами обусловит плавное внедрение системы ОТВ, подобно тому, как это было при замене цветным телевидением черно-белого.
Литература
1. Хьюбел Д. Глаз, мозг, зрение. – М: Мир, 1990.
2. Гуревич С., Однолько В. Об информационной емкости систем регистрации ОИ.–Техника кино и телевидения, 1974, №5, с.55–59.
3. Шыырап Ю.М., Колин К.Т., Джакония В.Е., Коганер С.Э., Шумляев В.С. Формирование сигнала вещательной системы объемного телевидения. – Техника кино и телевидения, 1988, № 12, с. 34–36.
4.Патент N4-327283 (Япония), Кл. МКИ H04N 13/00.
5. Логутко А.Л. Решение о выдаче патента №99125232/09 от 29.11.99. Кл. МКИ H04N13/04/
6. Логутко А.Л. Решение о выдаче патента №99125231/09 от 29.11.99. Кл. МКИ G06F3/033.
Представляем автора статьи
ЛОГУТКО Альберт Леонидович. Кандидат физ.-мат. наук, доцент. Имеет 25 патентов РФ, 12 авторских свидетельств. Сфера профессиональных интересов – система объемного телевидения, совместимого с существующими телевизионными стандартами. Тел.: (095) 460-4252.
Предложения по применению сверхширокополосной связи
Сегодня очень актуален поиск дешевого беспроводного информационного интерфейса, обеспечивающего скорость передачи данных 100 Мбит/с на расстоянии 10 м и свыше 480 Мбит/с – на 1 м. Для этих целей сверхширокополосная (UWB) технология рассматривается как ведущая, однако не сбрасываются со счетов и другие, более узкополосные варианты. Хотя многие специалисты согласны, что применение UWB – прогрессивный путь, но при этом остается множество не решенных проблем. Например, как следует применять UWB, чтобы выполнить условия Федеральной комиссии по связи по ограничению спектров частот, объявленные в феврале 2002 года. И как одновременно удовлетворить требования по расстоянию и скорости передачи данных для таких приложений, как домашние видеосистемы.
Одни фирмы считают, что наилучший вариант UWB – это одна полоса в пределах 5 ГГц, а другие поддерживают идею множества полос – каждая шириной от 500 до 700 МГц. Недавно фирмы Texas Instruments и Intel внесли совместные предложения по использованию UWB-технологии для сверхбыстродействующей беспроводной связи на короткие расстояния. Так, предлагается сочетание элементов многополосности и ортогонального частотного мультиплексирования. К этому проявляют интерес и ряд других фирм. Использование метода ортогонального частотного мультиплексирования повышает энергетические свойства интерфейса, что обеспечивает более робастную линию. Фирма Texas Instruments предлагает UWB-технологию с тремя полосами вместо ранее предлагаемой группой фирм технологии с семью полосами.
www.eetimes.com/
Отзывы читателей
