Формирование панорамных изображений. Применение в телемедицинских комплексах онкологической диагностики
Основные части аппаратного обеспечения таких систем взаимодействуют следующим образом. Микроскоп имеет моторизованный предметный стол, который управляется сигналами, передаваемыми на его шаговые моторы блоком управления, являющимся "посредником" между моторизованным столом и ведущим компьютером. Блок управления, представляющий собой отдельный миниатюрный компьютер с собственным программным обеспечением, формирует управляющие сигналы путем преобразования строковых (ASCIIZ) команд, поступающих от последовательного порта ведущего компьютера в сигналы, управляющие шаговыми моторами стола микроскопа. Кроме того, в систему компьютерной микроскопии входят установленные на моторизованном приводе датчики, которые посылают в блок управления сигналы о состоянии и текущей позиции привода. Блок управления преобразует информацию датчиков о состоянии микроскопа в ASCIIZ-ответы, посылаемые в последовательный порт ведущего компьютера. На микроскопе установлен тринокуляр, сопряженный с телекамерой, аналоговой видеосигнал которой оцифровывается устройством видеоввода и передается ведущему компьютеру. Программное обеспечение компьютера, таким образом, отвечает как за управление микроскопом и отслеживанием его состояния, так и за ввод и обработку поступающих с него изображений.
Однако при выборе информативной зоны для передачи изображения от консультируемого врача к врачу-консультанту возможна ошибка. Это происходит из-за технических ограничений: микроскопы позволяют одновременно наблюдать лишь малую часть исследуемого препарата. В частности, при рассмотрении микропрепарата размером 15×15 мм, на объективе 4х в поле зрения попадает всего ~1% от всей площади препарата. В то же время, как правило, лишь часть ткани препарата содержит визуальную информацию, позволяющую поставить диагноз. Таким образом, достоверность диагностики в сильной степени зависит от квалификации консультируемого врача: если он пересылает изображения фрагментов препарата, не содержащие информации о патологии, то диагноз может быть неверным. Эта ситуация усугубляется с увеличением кратности объектива (например, на объективе 40х видна в 100 раз меньшая площадь препарата, чем на объективе 4х).
В связи с этим весьма актуальной становится задача проведения панорамной съемки изображений микропрепаратов. Эта задача и определяет цель настоящей работы. Необходимость ее решения остро выявилась при создании кафедрой компьютерных медицинских систем МИФИ телемедицинского комплекса онкологической диагностики "АТЛАНТ-МИКРО". Одна из важных задач, требующих решения, состоит в получении максимума информации об исследуемом материале (микропрепарате) в кратчайшие сроки — порядка 5 мин, с возможностью одновременного предоставления информации как на месте проведения биопсии, так и в удаленном консультирующем учреждении. Указанные сроки обусловлены требованиями проведения интраоперационных биопсий. Таким образом, система панорамной съемки изображений микропрепаратов должна обеспечивать следующий набор функций:
* сканирование препарата с целью получения обзорных изображений;
* передачу обзорных изображений удаленному консультанту за время, не превышающее время сканирования;
* удаленное управление позиционированием предметного стола микроскопа.
Из первого и последнего пунктов следует, что поставленная задача может быть выполнена только при использовании в составе аппаратной части системы моторизованных микроскопов. В системе "АТЛАНТ" применяются моторизованные версии микроскопов ЛОМО "МИКМЕД-3" и Olympus CX-31 с возможностью управления перемещением предметного стола как в горизонтальной плоскости (для автоматизации позиционирования), так и по вертикальной оси (для автоматизации фокусировки).
В процессе формирования качественного обзорного изображения микропрепарата существенным препятствием явилось наличие люфтов механики приводов микроскопов, приводящих к погрешностям в перемещении моторизованного стола. Для устранения этой проблемы была разработана специальная технология формирования панорамных изображений. При сканировании препарата съемка смежных кадров (фрагментов) проводилась с некоторой областью перекрытия. Наличие контрастных структур в области перекрытия позволяет правильно совместить фрагменты независимо от погрешности перемещения моторизованного стола.
Предлагаемый алгоритм панорамной съемки основан на сравнении RGB-значений пикселов в областях перекрытия и сопоставлении результатов сравнения для различных относительных положений смежных фрагментов. Известно, что при попадании схожих контрастных структур в область перекрытия расстояния между цветами соответствующих пикселов будут минимальны. При этом для описания цветов можно использовать различные цветовые системы (RGB, HSB, HLS и т.п.) и различные метрики (Евклида, Манхэттена, Чебышева) для вычисления расстояний между цветами. Эти расстояния позволяют судить о схожести контрастных структур в области перекрытия (минимум расстояния означает удачное совмещение). При поиске в диапазонах, заведомо перекрывающих возможные значения люфтов моторизованных приводов, можно добиться корректного совмещения фрагментов по контрастным структурам, вне зависимости от люфтов моторизованного привода. В технологии формирования панорамных изображений, реализованных в системе "АТЛАНТ", была использована RGB цветовая система (благодаря удобству видеоввода и обработки таких изображений) и метрика Манхэттена (благодаря наличию высокопроизводительных процессорных инструкций, позволяющих значительно увеличить быстродействие разрабатываемого алгоритма, о чем будет сказано ниже).
При реализации алгоритма большое внимание уделялось не только вопросам точности, но и вопросам сокращения времени поиска относительных позиций фрагментов. Время совмещения двух фрагментов не должно превышать времени перемещения моторизованного стола на следующую позицию. Такая схема позволяет широко использовать преимущества режима многопоточной обработки: во время перемещения моторизованного стола из позиции N+1 в позицию N+2 процессор решает задачу совмещения фрагментов N+1 и N и так далее. Для достижения необходимого быстродействия одной отдельной операции совмещения широко проводилась ее оптимизация с использованием SIMD-инструкций (SSE, SSE2, SSE3) процессоров семейства x86. Полностью синхронизировать скорость совмещения фрагментов со скоростью перемещения моторизованного стола микроскопа удалось с помощью процессоров семейства Pentium 4 с ядром Prescott и использования инструкций SSE3. Причем при написании программ SSE3-инструкции вводились непосредственно в виде машинного кода, так как встроенный ассемблер среды разработки Borland C++ Builder на момент выпуска процессоров с ядром Prescott не поддерживал этот набор инструкций.
Программная часть, отвечающая за пересылку данных по протоколу TCP/IP, была реализована с использованием средств Windows Sockets. Основной принцип заключался в передаче данных не единым блоком, а по частям, по мере их поступления, что позволило максимально эффективно использовать любой канал передачи, поддерживающий протокол TCP/IP. Например, фрагменты изображения отправлялись отдельно друг от друга, параллельно с этапами перемещения моторизованного стола и их совмещения. Протокол обмена данными был двусторонним, так как изначально в него была заложена возможность принимать от консультирующей стороны команды удаленного управления микроскопом. Реализация обмена данными по протоколу TCP/IP позволила проводить обмен информацией в сети Интернет, включая организацию защищенных VPN-соединений.
В ходе разработки в клиентское программное обеспечение (отвечающее за АРМ врача консультируемого учреждения) закладывалась возможность индивидуальной настройки уровня сжатия пересылаемых по сети изображений. Использовался JPEG-алгоритм с варьируемым уровнем сжатия, а также допускалась пересылка информации в несжатом виде формата BMP с 24 бит/пиксел. Таким образом, обеспечивалась работа системы "АТЛАНТ-МИКРО" в режиме консультаций удаленных медсанчастей с различными скоростными характеристиками Интернет-канала.
С помощью разработанной системы консультации проводятся следующим образом. Сначала препарат сканируется с передачей фрагментов и формированием его панорамного (обзорного) изображения на объективе с малым увеличением (4х). Результатом является получение изображения со сверхвысоким разрешением (порядка нескольких сотен мегапикселов), которое доступно для просмотра как консультантом (принимающей стороной), так и консультируемым (передающей стороной). Консультант отмечает информативные области обзорного изображения, и система консультируемого переходит в режим удаленного управления сканированием. Это обеспечивает автоматическое сканирование детализированной области, выполняемое на объективе с большим увеличением (для гистологии это, как правило, 20х, 40х). Если необходимо, процесс удаленного сканирования может быть повторен. Информация о пациенте (история болезни, прочие вспомогательные данные) может вводиться и передаваться в любое время – до, после и непосредственно во время процесса сканирования изображения биопрепарата.
Отдельно следует отметить разработку специализированных средств просмотра изображений сверхвысокого разрешения. Благодаря оптимизации процесса совмещения с помощью SIMD-инструкций навигация (масштабирование и перемещение) по изображению комфортна для пользователя. Время переключения режимов увеличения не превышает 0,1 с (даже для морально устаревших процессоров Pentium 4). Такие показатели не могут повторить существующие известные средства просмотра изображений (Windows Picture and Fax Viewer), графические редакторы (например, Adobe Photoshop). Последнее связано с тем, что операция изменения масштаба изображений с разрешением порядка 20000х14000 пикселов приведет к весьма ощутимой для пользователя временной задержке, составляющей несколько секунд.
Приоритет рассматриваемой выше разработки подтвержден патентами РФ: №2330265 (на изобретение) и №57576 (на полезную модель).
С 2000 года разработанные системы "АТЛАКТ-МИКРО" используются рядом медицинских учреждений, в числе которых: Российский онкологический научный центр им. Н.Н.Блохина РАМН, клинические больницы №83 и №85 Федерального медико-биологического Агентства (ФМБА), Федеральный медицинский биофизический центр им. А.И.Бурназяна (Москва), ЦМСЧ № 141 (г. Удомля), МСЧ №33 (г. Нововоронеж), МСЧ 135 (г. Десногорск), МСЧ №125 (г. Курчатов), МСЧ №38 (г. Сосновый Бор), МСЧ № 118 (г. Полярные Зори), ЦМСЧ №156 (г. Балаково). Проведено свыше 15000 консультаций по диагностике онкологических заболеваний (щитовидной железы, почек, легких, желудочно-кишечного тракта и других).