eng
Перспективные компьютерные системы высокой производительности с коммутируемой модульной средой сопряжения и связи определяют развитие научно-технического прогресса не только передовых стран, но и будущей мировой экономики в целом. Сегодня на первый план выходят так называемые конвергентные модульные системы, в которых компьютерные и сетевые технологии взаимно проникают друг в друга, прежде всего – благодаря достижениям микроэлектроники. Системы и сети на кристалле, современные бортовые и приборные сети, системы коммуникации в суперкомпьютерах – все они в последние годы развиваются чрезвычайно бурно. В результате резко изменяется и общая архитектура модульных систем высокого быстродействия.
Данная работа открывает цикл статей, в которых впервые дан анализ комплекса взаимосвязанных проблем развития современных и перспективных модульных систем и сетей нового поколения, а также показаны основные направления их развития.
Данная работа открывает цикл статей, в которых впервые дан анализ комплекса взаимосвязанных проблем развития современных и перспективных модульных систем и сетей нового поколения, а также показаны основные направления их развития.
Основные проблемы развития современных модульных вычислительных систем
Вычислительные системы, сети и основанные на них средства автоматизации сегодня широко применяются практически в любой сфере человеческой деятельности. Однако в последние годы обозначился кризис развития таких систем. С одной стороны, производительность вычислительных узлов растет гораздо быстрее, чем пропускная способность систем их сопряжения и связи. С другой стороны, рабочие частоты процессорных СБИС вплотную приближаются к физическим пределам, обусловленным кремниевой технологией. Применение иных полупроводниковых материалов связано с резким увеличением себестоимости СБИС и не всегда возможно технологически. А наноэлектроника как приборная область пока (все еще) находится на стадии поисково-фундаментальных исследований. Поэтому ведущие производители микропроцессоров начали создавать многоядерные СБИС. Но этот путь также требует адекватной по производительности системы коммутации процессорных ядер – т. е. проблемы сетевых технологий на основе новых коммутационных сред распространяются на макро- и микроуровень.
Можно утверждать, что уходит целая эпоха магистральных систем с разделяемой общей средой связи, и наступает новая эра конвергентных модульных систем с последовательной сетевой масштабируемой архитектурой высокого быстродействия. Под термином "конвергентный" мы понимаем взаимное проникновение технологий локальных сетей, связывающих отдельные вычислительные узлы, и методов коммутации различных функциональных систем в рамках одного устройства (модуля, субмодуля, а сегодня уже и чипа).
Такой подход требует гармоничного развития всех компонентов модульных систем сбора и обработки данных – от СБИС до интерфейсов ввода/вывода, технологий сопряжения и конструктивных решений. Однако если первое поколение модульных систем (1970–80-е годы) создавалось в Европе и России одновременно и одинаково успешно, то сегодня Россия существенно отстает от передовых стран. Успехи здесь возможны при согласованном развитии технологий компонентной базы, вычислительных и коммуникационных систем. Требуется единая, хорошо масштабируемая коммутируемая вычислительная среда с системно-ориентированными средствами широкополосной коммутации и связи. Причем развитие микроэлектроники должно быть тесно связано с новыми требованиями к интегральной архитектуре систем связи и вычислительных комплексов высокой производительности. Именно такова оптимальная стратегия дальнейшего развития модульных систем компьютерной автоматизации, управляющих систем и вычислительных комплексов высокой производительности (суперкомпьютеров).
Проблемы создания перспективных модульных систем на основе новых технологий обсуждались на ряде международных симпозиумов, таких как Международный симпозиум по интегрированным модульным системам и сетям (ICSNET’01, Россия); Международная школа-семинар в компьютерной автоматизации и информатизации ACS2002 (Россия); первая конференция по новым методам обработки изображений в медицине (MedIm’06, Франция); Международная конференция по проектированию и верификации микросхем (Date’07, Франция), Первая международная конференция по наноархитектурам в США (2007 год) и др. Результаты этих и аналогичных мероприятий помогли сформулировать концептуальные факторы развития модульных систем нового поколения:
Повышение удельной вычислительной плотности СБИС, а также рабочей частоты процессоров значительно увеличивают потребляемую мощность и тепловыделение; актуальной проблемой новых систем высокой производительности становится охлаждение.
Увеличение скорости передачи данных между модулями за счет наращивания параллельных связей в магистральных системах достигло физического предела, традиционные методы не решают проблему повышения пропускной способности из-за взаимных наводок и затуханий сигналов в отдельных проводниках шины.
Традиционные локальные сети не способны успешно решать проблемы коммуникации в распределенных системах, особенно в условиях реального времени.
Механические конструктивные элементы традиционных модульных систем и соединители не удовлетворяют требованиям по частоте передачи сигналов и не оптимальны для новых компактных и масштабируемых систем высокой производительности с гибкой структурой.
Системы питания для компактных и масштабируемых систем высокой производительности должны обеспечивать больше гибкости при конфигурировании.
Для обеспечения высокой надежности и ремонтопригодности модульных систем необходима возможность горячей замены и свопинга модулей в работающей системе без выключения питания.
Создание СБИС и печатных плат для высокопроизводительных систем усложняется в связи с проблемой целостности передаваемых сигналов в соединениях. Сложность и стоимость реализации соединений растет быстрее, чем компактность и мощность устройств обработки.
Таким образом, развитие перспективных модульных систем сбора и обработки информации – это комплексная проблема, решение которой зависит от многих составляющих. Однако наиболее значимый элемент модульной системы – это система коммутации и связи ее процессорных узлов. Именно от нее зависит, удастся ли реализовать возможности взаимодействия отдельных процессоров и компьютерных модулей в рамках единой системы. Поэтому рассмотрим перспективы архитектур модульных систем именно с точки зрения методов создания компьютерной коммуникационной среды. Наша цель – показать, что несмотря на различную природу и историю развития, вектор перспективного развития этих систем направлен в сторону единых коммутационных конвергентных технологий.
Системы и сети на кристалле
Основными компонентами модульных систем являются процессорные модули, память и устройства ввода-вывода. Вычислительные системы с модульной структурой прошли несколько поколений в своем развитии (рис.1). Смена этих поколений напрямую связана с развитием микроэлектронных технологий. Успехи электронных технологий, достигших к 2007 году разрешения 65 и даже 45 нм, диктуют новые требования к процессорам и средствам связи, а также к архитектуре модульных систем (рис.2). Определяющие элементы вычислительных систем и сетей – это процессоры. Но они в рамках традиционных структур уже достигают пределов целесообразного роста частоты, а методы сопряжения и связи не удовлетворяют требованиям по пропускной способности.
Создание новых модульных систем более высокой производительности основано на новых структурах СБИС, которые включают многофункциональные узлы и даже многопроцессорные системы на кристалле. Так, современные микроконтроллеры в основном представлены 8- и 32-разрядными устройствами. Первые пользуются спросом из-за низкой стоимости (до 0,5 доллара). Сегодня уже массово выпускаются высокопроизводительные 32-разрядные микроконтроллеры с ARM-ядром, разнообразными интерфейсами (SPI, I2C, CAN, USB и т.д.), flash-памятью и т.п. Некоторые микроконтроллеры даже оснащаются специализированными устройствами для цифровой обработки сигналов (DSP-ядрами).
Например, новая серия 32-разрядных микроконтроллеров LPC3000 (пока представлена только СБИС LPC3180) компании NXP основана на RISC-ядре ARM926EJ с тактовой частотой свыше 200 МГц и производится по технологии уровня 90 нм. Контроллер включает векторный сопроцессор, поддерживающий операции с числами с плавающей запятой; встроенный 10-разрядным АЦП; 64 Кбайт СОЗУ; контроллер внешнего синхронного динамического ОЗУ, контроллер flash-памяти (в том числе многоуровневой – MLC); множество интерфейсов – 2 SPI (до 53 Мбит/с), USB 2.0 (возможны конфигурации host, device и On-The-Go), асинхронные последовательные интерфейсы (UART): четыре со скоростью до 460800 бит/с и три высокоскоростных UART (до 921600 бит/с), два I2C-порта (400 кГц), порт для SD-карт памяти и т.д. СБИС отличается низким напряжением питания (0,9 В) и малым потреблением энергии. Объем адресного пространства – 4 Гбайт. Примечательно, что розничная цена такого контроллера в России составляет порядка 15–18 долл.
Современные 32-разрядные контроллеры, приближаясь по производительности к универсальным и DSP-процессорам, в силу их дешевизны массово применяются в высокопроизводительных системах сбора и обработки данных. В особых случаях в таких системах используют специализированные процессоры цифровой обработки сигналов DSP, а также специализированные устройства, реализованные на программируемых логических ИС (ПЛИС).
Универсальные процессоры обработки данных также развиваются весьма стремительно. В последнее время производители процессоров массово переходят на 2- и 4-ядерные структуры, что позволяет повысить производительности, одновременно понизив тактовую частоту и потребление энергии.
Примером современного процессора для высокопроизводительных вычислений служит двухъядерный процессор POWER6 компании IBM (рис.3). Он изготовлен по 65-нм технологии с 10-уровневой медной металлизацией. Площадь кристалла – 341 мм2, процессор состоит из 790 млн. транзисторов. Тактовая частота – 4,7 ГГц, что вдвое выше, чем у предшественника (POWER5, 90 нм) при том же потреблении энергии (100Вт). Каждое ядро обрабатывает одновременно два потока команд с одновременной выборкой до 5–7 инструкций и имеет кэш-память 1 уровня объемом 64 Кбайт для инструкций и данных, а также кэш память 2 уровня объемом 4 Мбайт с буфером быстрого доступа. Кэш-память 3 уровня (32 Мбайт) – разделяемая двумя ядрами. Благодаря встроенному SMP-коммутатору (симметричный мультипроцессорный коммутатор), на основе POWER6 можно создавать масштабируемые SMP-структуры, включающие до 32 СБИС POWER6.
Двух- и четрырехъядерные процессоры производят также компании Intel и AMD. Так, в последней (30-й) редакции списка 500 наиболее высокопроизводительных вычислительных систем Тор500 (www.top500.org) уже 215 систем строились на 2-ядерных процессорах семейства Intel EM64T Xeon 53xx (Clovertown), 99 – на 4-ядерных процессорах Intel Xeon 53xx (Clovertown), 77 – на 2–ядерных процессорах от AMD x86_64 Opteron Dual Core, еще в одной системе используется 4-ядерный Opteron.
Но четыре ядра – далеко не предел для современной микропроцессорной СБИС. Такие компании, как Intel, IBM, PicoChip и др. производят мультиядерные процессорные системы.
Так, IBM разработала технологию многопроцессорных СБИС Cell Broadband Engine (Cell BE) в союзе с компаниями Sony и Toshiba (альянс STI). Процессор Cell BE включает девять процессорных элементов (PE) с общей памятью и контроллеры ввода/вывода (рис.4). Все процессорные элементы связаны друг с другом и с внешними устройствами высокопроизводительной шиной, с поддержкой когерентности памяти. Один из процессорных элементов (РРЕ) основан на ядре PowerPC (двухпотоковый RISC-процессор). Он реализует функции управления. Остальные восемь процессоров – это одинаковые, так называемые синергетические процессорные элементы (SPE). Каждый из них содержит RISC-ядро, 256 Kбайт ОЗУ и 128-разрядный регистровый файл.
Компания picoChip производит процессоры на основе архитектуры picoArray. Ключевой элемент процессоров picoChip – массив процессорных элементов picoArray (рис.5), включающий несколько сотен процессорных ядер (от 248 до 410, в зависимости от типа), каждое из которых представляет собой 16-разрядное DSP-ядро с гарвардской архитектурой и длинным командным словом (LIW). Процессорные ядра объединены 32-разрядной шиной в виде двумерной сети с программируемыми коммутаторами. Доступ к шине происходит на основе временного разделения (TDM), что исключает коллизии и гарантирует каждому процессорному элементу заданную полосу пропускания.
Компания Intel также развивает многоядерные процессорные структуры в рамках своей технологии Tera-scale Computing. В рамках новой архитектуры компания создала 80-ядерный процессор Polaris. Он обеспечивает производительность свыше триллиона операций над числами с плавающей точкой в секунду (TFlops) и служит полигоном для развития фундаментальных технологий многоядерных процессоров будущего. СБИС процессора выполнена по технологии 65 нм и содержит 291 млн транзисторов на кристалле площадью 143 мм2. Фактически данный процессор – это локальная вычислительная сеть на кристалле (рис.6). Она объединяет 80 вычислительных узлов, объединенных двумерной сетью 8×10 и работающей с частотой 4 ГГц. Каждый узел содержит процессорный элемент, соединенный с 5-портовым маршрутизатором-коммутатором с мезохронным интерфейсом, транслирующим пакеты между узлами. Сеть обеспечивает общую пропускную способность 256 Гбайт/с.
Таким образом, современные средства сбора и обработки информации способны формировать весьма значительные потоки данных. Самые быстрые 8-разрядные АЦП обеспечивают производительность до 5 Гвыборок/с (компания E2V). Уже многие промышленные, персональные и мобильные компьютеры создают на основе 2–4-ядерных процессоров. В ближайшем будущем следует ожидать применения в вычислительных системах очень высокой производительности (суперкомпьютеры) многопроцессорных структур с большим числом ядер и структур с массовым параллелизмом на уровне кристаллов. Для эффективного использования и согласования производительности таких СБИС требуется чрезвычайно быстрая коммутируемая среда связи и новые архитектуры на основе перспективных сетевых технологий.
Развитие сетевых архитектур систем управления
Слияние компьютерных и коммуникационных технологий привело к созданию конвергентных архитектур модульных систем нового поколения. Архитектуры систем нового поколения можно разделить на:
* классические сетевые методы с быстрыми интерфейсами;
* новые компьютерные системы с коммутируемой модульной сетевой средой;
* единые комбинированные системно-ориентированные масштабируемые сетевые архитектуры вычислительных комплексов высокой производительности.
Рассмотрим развитие систем сопряжения и сетей связи, учитывая существующий задел в области современных систем компьютерной автоматизации. Исторически методы сопряжения и связи вычислительных систем с внешними устройствами основывались на параллельных, последовательных (многоточечных) и байтовых интерфейсах магистрального типа. Локальные сети управления техническими объектами и полевые сети создавали в виде многоточечных последовательных сетей по принципу "ведущий-ведомый" с разделением ресурсов магистрали. Примеры таких решений – последовательная сеть управления стандарта MIL 1553, байтовая приборная магистраль GPIB, а также первые классические кабельные сети Ethernet. В таких системах в заданный момент времени данные может передавать только один узел.
Для сопряжения систем сбора данных и управления с ПК в современных системах используют параллельные интерфейсы (PCI) и новые быстрые последовательные каналы с разделяемой средой связи, например USB. Интерфейс USB, обеспечивающий быструю связь ПК с группой устройств, вытеснил байтовый приборный интерфейс GPIB и другие традиционные интерфейсы типа RS 232 и RS485 не только из сферы коммутации периферии ПК, но из небольших приборных сетей.
Компактные системы управления, сбора и обработки сигналов и данных развивались разными путями, но постепенно приближались к классической последовательной сети. Это либо специально созданные сети управления компактными объектами (например, бортовые сети, такие как CAN), либо сети для больших распределенных систем управления на основе так называемых полевых магистралей (Fieldbus). Унификацией Fieldbus в течение ряда лет занимались специалисты многих стран, но в результате создали лишь ряд национальных стандартов (например, стандарт IEC 61158 содержит описание восьми типов полевых магистралей). Для систем управления в реальном времени разрабатывался усеченный вариант сети Ethernet с одним ведущим контроллером. На основе протоколов RS485 и Ethernet создали спецификацию промышленных сетей PROFINET. В целом же, несмотря на разнообразие вариантов, все эти сети представляют собой последовательный интерфейс с методами арбитража систем реального времени. Для систем управления и сбора данных обычно достаточно полосы пропускания каналов до 0,1–1 ГГц, поэтому часто используют классические сети на основе коммутаторов каналов с недорогим интерфейсом быстрого Ethernet (FE).
Приборные сети на основе USB
Интерфейс USB стал фактически стандартным для связи измерительных и управляющих модулей с процессорами. Первая версия интерфейса (USB1.1, 1998 год) обеспечивала связь на скорости 1,5 Мбит/c (Low-Speed) и 12 Мбит/c (Full-Speed), а в последующем варианте (USB 2.0, 2000 год) скорость достигла 480 Мбит/c (Hi-Speed). В 2009–2010 году ожидается внедрение спецификации USB 3.0, обеспечивающей скорости обмена до 4,8 Гбит/с (Super-Speed) по оптоволоконному кабелю (при этом сохраняется совместимость с предыдущими версиями и разъемами для медного кабеля). Контроллеры для USB производит ряд компаний, например Cypress Semiconductor, Microchip, Freescale, NXP, FTDI и др. В России контроллеры с поддержкой USB разрабатывает и производит ПКК "Миландр" – это СБИС 1886ВЕ1 и 1886ВЕ2 (функциональные аналоги PIC17C756 от Microchip), а также 188ВЕ4. СБИС реализует интерфейсы USB (Full-Speed), SPI, UART. При передаче данных контроллер формирует пакеты и проверяет подтверждение их доставки. На основе USB можно создавать сети, эффективные для сопряжения небольшого числа устройств ввода-вывода и отдельных приборов.
Сети стандарта CAN
Сеть CAN (Car или Controller Area Network) изначально разработана компанией Robert Bosh для автомобильной бортовой сети в 1987 году. После выпуска первой интерфейсной CAN-микросхемы 82526 (Intel, 1990) для развития международного стандарта был создан консорциум CiA (CAN in Automation). Интерфейс получил статус международного промышленного стандарта в 1994 году. CAN-сеть основана на последовательной дифференциальной шине (два сигнальных провода плюс провода питания и земли). Сеть работает в диапазоне скоростей передачи данных от 125 до 1000 Кбод. Передача ведется пакетами, включающими заголовок с идентификатором CAN_ID (11 или 29 бит – версии CAN 2.0A и В, соответственно), поле данных (до 8 байт) и контрольную сумму (SRC‑16). Каждое сообщение имеет приоритет, определяемый его CAN_ID (чем меньше CAN_ID, тем выше приоритет). Сообщение в процессе передачи не прерывается. Такая система допускает малые нагрузки по трафику и может применяться в задачах, не слишком чувствительных к задержкам при передаче данных.
Для сетей автоматизации различного назначения ассоциацией CiA под эгидой компании Bosh был создан протокол высокого уровня CANopen. В качестве нижних уровней он использует CAN. CANopen определяет прикладной уровень, интерфейсы, профили и структуру программируемых систем. Он широко применяется в промышленности, используется в автомобилях, например, в Mercedes Benz класса S.
В США разработан CAN-протокол высокого уровня DeviceNet для связи небольших сетевых устройств. Для случаев, когда протокол CANopen оказывается избыточным, создана спецификация MicroCANopen.
Развитие традиционной сети Ethernet для систем реального времени
Традиционная сеть Ethernet в классическом виде – с разделяемой средой связи – не удовлетворяет требованиям систем реального времени и управления, так как ее задержки непредсказуемы, даже нет гарантии доставки сообщений. Первые сети обеспечивали скорость передачи 10 Мбит/с, потом скорость обмена возросла до 100 Мбит/c (Fast Ethernet – FE).
Исходный протокол сетей Ethernet – CSMA/CD – не детерминированный и не пригоден для систем реального времени. Поэтому решение проблемы сводится к созданию сети с одним ведущим узлом или к применению современной коммутирующей среды связи. Первый метод широко распространен в современных системах промышленной автоматики, поскольку для управляющего компьютера сетевой интерфейс не отличается от стандартного Ethernet.
В одном из методов создания систем реального времени на основе Ethernet вместо протокола CDMA/CD применяют механизм множественного доступа с временным разделением (переключаемые интервалы времени). Но при этом снижается эффективность использования полосы пропускания канала.
Основное же направление развития промышленных сетей на основе Ethernet – формирование быстродействующей коммутируемой среды связи. Коммутаторы и маршрутизаторы в этом случае используют двухточечные каналы, при этом достигается максимальная скорость передачи пакетов IP. Наилучший маршрут в локальной или глобальной сети определяется на основе таблиц маршрутизации. Сложные функции маршрутизатора реализуют программно, поэтому они более совершенны по сравнению с коммутаторами, но медленнее. Новые маршрутизирующие коммутаторы объединяют преимущества обоих устройств по быстродействию и гибкости сетевой связи. Согласно модели взаимодействия открытых систем OSI, Ethernet охватывает первые два уровня (физический и уровень звена данных) и не включает сетевой и транспортный (третий и четвертый) уровни, на котором находится протокол TCP/IP. Хабы (концентраторы) работают на первом (физическом) уровне, коммутаторы – на втором, а маршрутизаторы – на третьем уровне модели OSI.
Сети Ethernet в процессе быстрого развития прошли этапы 10 и 100 Мбит/с и на стадии 1 Гбит/с (GE) стали основной сетью для систем связи высокопроизводительных компьютеров.
Усеченная сеть Ethernet с одним ведущим (EtherCat фирмы Beckhoff) имеет стандартные интерфейсы Ethernet в распределенных устройствах (секциях) с модулями сбора данных и управления. Все устройства сети соединяются в последовательную кольцевую структуру. Ведущий контроллер управляет распределенными узлами. Когда фрейм с данными проходит через узел сети, тот может добавлять в него свои данные. Последний ведомый узел в кольцевой цепи возвращает фрейм с данными от всех узлов ведущему контроллеру.
Приборные Ethernet-сети LXI разработаны LXI-консорциумом (LAN eXtentions for Instrumentation – расширение ЛВС для инструментальных задач) как замена прежнего приборного байтового интерфейса GPIB (HPIB) с разделяемой средой связи, который используют уже более 35 лет. Первая версия стандарта опубликована в сентябре 2005 года. Новая технология позволяет организовывать связь по локальной сети Ethernet с поддержкой синхронизации по дополнительному каналу. Стандарт допускает применение 10- и 100-Мбит/c сетей, но рекомендуется GE с автоматическим выбором скорости передачи (по умолчанию) и с автоматическим распознаванием полярности кабеля сети. Каждый прибор в сети должен иметь постоянный сетевой МАС-адрес и IP-адрес с возможностью динамической конфигурации по протоколу DHCP (Dynamic Host Configuration Protocol). Устройства должны легко идентифицироваться в сети с помощью протокола сетевого обследования VXI-11.
Стандарт описывает три функциональных класса приборов – А, В и С. Класс С – это наиболее простые устройства, не нуждающиеся во внешней синхронизации. Класс В поддерживает синхронизацию по сети Ethernet (в соответствии со стандартом IEEE 1588). Приборы класса А, помимо того, поддерживают синхронизацию по внешней шине. Эта шина произвольной конфигурации (цепь, звезда или их комбинации) представляет собой восемь независимых каналов, выполненных в виде дифференциальных пар, соответствующих требованиям стандарта LVDS. Время прохождения сигналов между приборами не превышает 3 нс/м. Устройства устанавливают единое время по самому точному генератору в сети. Они могут передавать информацию о времени без использования компьютера, занятого задачами обработки данных в реальном времени.
Стандарт позволяет соединять как настольные приборы по передней панели, так и настенные приборы и встраиваемые модули без передней панели. В отличие от устройств типа PXI/VXI, устройства с таким сопряжением могут иметь любые размеры и должны быть самодостаточными – т.е. каждое устройство должно иметь источник питания. Если используется источник постоянного тока, его напряжение должно быть 48 В. Для встраиваемых в стойки приборов рекомендуют придерживаться спецификации IEC по полному и половинному размеру ширины стойки с высотой 2U и выше. Конструкция устройства интерфейса физически включает соединители для LXI, разъем питания (100–240 В), шину запуска событий (класс А), интерфейс Ethernet 802.3 (RJ-45), входы для сигналов, индикаторы состояния LAN, питания.
Избыточные сети Ethernet для надежных систем управления
Индустриальное применение сетевых коммутаторов в системах управления возможно, если они способны работать в реальных условиях – т.е. обладать защитой от пыли, влаги, вибрации и электромагнитных помех остановки. Для решения таких задач был разработан промышленный вариант Ethernet для систем управления – ProfiNet. Стандарт предусматривает взаимодействие новых сетей ProfiNet с другими сетями управления (Profibus, Interbus, Devicenet) с помощью шлюзов. Для конфигурации и диагностики применяют протоколы IP, TCP, UDP. В качестве среды передачи могут использоваться как медные провода, так и оптоволокно. Топологии могут быть самыми разными – линейные, кольцевые, звездообразные и древовидные. В линейной сети коммутатор устанавливают ближе к приборам или даже встраивают вместе с процессором в устройство. Каждое устройство оснащают отдельным коммутатором для управления конвейерными передачами. Кольцевая топология для надежности может включать две сети со встречным направлением передачи. Коммутаторы могут быть соединены радиально или в произвольной топологии.
Используются экранированные витые медные пары длинной до 100 м с характеристическим сопротивлением 100 Ом (Ethernet 100 Base TX) не хуже категории 5 и класса D (ISO/IEC 11801). Каждое удаленное устройство подключают через активный компонент, образуя узел сети.
Действующий стандарт основан на Fast Ethernet, обеспечивающая скорость передачи данных 10/100 Мбит/c, однако с 2006 года стандартными стали и коммутируемые сети c интерфейсом Ethernet на гигабитные скорости, многие процессорные модули уже оснащены этим встроенным интерфейсом. Ряд фирм уже производят гигабитные коммутаторы, хотя в основном они поддерживают такую скорость только для двух портов, а остальные порты сохраняют традиционные интерфейсы для контроллеров промышленного управления.
Для построения коммутируемых сетей используется набор протоколов STP (Spanning Tree Protocol – протокол связующего дерева). Первая спецификация STP (IEEE 802.2D) появилась в 1990 году для сетевых структур не более чем из семи коммутаторов. При этом время реконфигурации составляло 30 с. Более быстрая версия этого протокола RSTP (Rap id STP) IEEE 802.1w подразумевает реконфигурацию за одну секунду. Однако все эти протоколы не исключают опасность возникновения петли во время реконфигурации. Другой метод группового преобразования связан с группировкой и дублированием каналов связи. При этом кабели группируют по частям (например, северная и южная части здания). На следующем этапе стали резервировать сетевые коммутаторы и конечные терминальные узлы. Однако наиболее оптимально резервирование отдельных каналов в кольцевых структурах промышленных сетей.
Компания Nirschmann – один из лидеров в области промышленных сетей управления – создала сеть на основе Ethernet HIPER-RING с кольцевой связью небольших коммутаторов. Если в сети обнаруживается нарушение, поврежденный канал дезактивируется. При этом за 200–300 мс создаются обходные (резервируемые) пути связи. Такая топология сети из 1000 узлов была применена для автоматизации аэропорта в Дрездене, пять зданий которого связаны сетью GE. Вместо связующего дерева применили HIPER-RING с двойным резервированием в кольце (время переключения 0,5 с). Известны и другие примеры резервирования в кольцевых структурах промышленных сетей, например избыточные кольцевые сети Turbo Ring и двойные дублирующие сети. Возможно дублирование не только каналов связи, но и полное дублирование всего оборудования сети, включая контроллеры управления.
Сетевые промышленные коммутаторы выпускают как управляемые, так и неуправляемые. Например, среди неуправляемых коммутаторов фирмы Moxa известны коммутирующие устройства (EtherDevice Switch) типа EDS-305/308/309 с дублированием питания на 5, 8 и 9 портов соответственно. В последней модели есть три порта для оптоволокна. Новые управляемые коммутаторы представлены устройствами базового уровня типа EDS-405A / 408A на 5 / 8 портов с дублированием питания и с возможностью резервирования по методу Turbo Ring (время восстановления до 20 мс). Они поддерживают приоритетное управление качеством обслуживания потоков. Управляемые коммутаторы EDS-505 A / 508A на 5 / 8 портов дополнительно позволяют группировать каналы и сегментировать сети, а также обслуживать широковещательный трафик (IGMP), включая оповещение о нештатных ситуациях.
Гигабитные сети Ethernet (10GE и 100GE)
Развитием стандарта GE стал стандарт Ethernet на скорость 10 Гбит/c (10GE). Первоначально это были предварительные рекомендации IEEE 802.ae (2002 год), которые в 2005 году вошли в стандарт IEEE Std 802.3-2005. Новая версия включает только дуплексный режим передачи (исключены полудуплексный и монопольный режимы). Этот стандарт поддерживает не только локальные, но и глобальные сети, т.е. обеспечивает инкапсуляцию пакетов Ethernet в иерархию виртуальных контейнеров сетей SONET / SDH (STS-192c / STM-64c). Стандарт предусматривает побитную, побайтную и покадровую передачу данных, однако допускает и иные форматы. Возможны только соединения "точка-точка" по медным линиям и оптоволокну. Стандарт описывает восемь различных спецификаций, сведенных в три группы.
Группа 10GBase-X (спецификации 0GBASE-LX4, 10GBASE-CX4). Передача происходит по медным дифференциальным парам (шины или витые пары) или по оптоволокну. Последовательный поток данных MAC-подуровня побайтно делится на 4 потока, к каждому из байтов добавляется 1 бит управления. Кодер перекодирует данные в 10-разрядные пакеты (схема 8B/10B), формируя 4 группы 10-битовых последовательностей. Далее четыре потока передаются либо по медным витым парам, либо по оптоволокну, каждый на своей несущей с шагом 13,4 нм во втором окне прозрачности (1300 нм).
Группа 10GBase-R определяет передачи по оптическому каналу связи в трех окнах прозрачности (850, 1300 и 1550 нм) для спецификаций 10GBase-SR, -LR, -ER. Данные кодируются по схеме 64B/66B (64 бита данных плюс 2 бита синхронизации), передача – последовательная.
Группа 10GBase-W отличается от 10GBase-R тем, что предназначена для адаптации потока данных к скоростям иерархий SONET (STS-192c) или SDH (VC-4-64c). Это происходит непосредственно на физическом уровне (подуровень WAN Interface Sublayer – WIS) посредством специальных форматов кадров.
Исследуются также возможность создания пассивной гигабитной оптической сети на базе GE (EPON) с увеличенным расстоянием до 20 км и мультисервисным обслуживанием. Созданная рабочая группа 10GEPON для разработки стандарта 10-Гбит/с пассивной оптической сети в двух конфигурациях: симметричной (10 Гбит/с вверх и вниз) и несимметричной (вверх – 1 Гбит/с, вниз – 10 Гбит/с). Такие сети предполагают до 32 разветвлений и максимальную дальность передачи до 20 км. Одним из перспективных направлений является создание коммутируемых структур последовательного типа на основе гигабитных сетей.
Перспективы создания 100-гигабитной сети Ethernet (100GE) впервые обсуждались на пленарном заседании Группы по изучению быстрых систем (IEEE 802.3, 2006 год). Особенности новой технологии – только сверхбыстрая дуплексная связь; сохранение на уровне сервиса формата кадров Ethernet 802.3, включая минимальный и максимальный размеры; дальность передачи до 10 км на одномодовом и 100 м – на многомодовом оптоволокне. Эта технология предназначена как для локальных, так и для глобальных сетей.
В последующей публикации мы рассмотрим методы построения модульных коммутируемых вычислительных сред высокого быстродействия на основе других коммутируемых сетевых технологий – таких как PCI Express, Infinfband, RaidIO. Будут обсуждаться перспективные методы расширения полосы пропускания модульных систем VME/VXI и новые модульные структуры типа VPX, а также современные технологии создания масштабируемых модульных систем для серверных кластеров и вычислительных систем высокой производительности.
В работе использованы материалы докладов автора на российских и зарубежных конференциях.
Вычислительные системы, сети и основанные на них средства автоматизации сегодня широко применяются практически в любой сфере человеческой деятельности. Однако в последние годы обозначился кризис развития таких систем. С одной стороны, производительность вычислительных узлов растет гораздо быстрее, чем пропускная способность систем их сопряжения и связи. С другой стороны, рабочие частоты процессорных СБИС вплотную приближаются к физическим пределам, обусловленным кремниевой технологией. Применение иных полупроводниковых материалов связано с резким увеличением себестоимости СБИС и не всегда возможно технологически. А наноэлектроника как приборная область пока (все еще) находится на стадии поисково-фундаментальных исследований. Поэтому ведущие производители микропроцессоров начали создавать многоядерные СБИС. Но этот путь также требует адекватной по производительности системы коммутации процессорных ядер – т. е. проблемы сетевых технологий на основе новых коммутационных сред распространяются на макро- и микроуровень.
Можно утверждать, что уходит целая эпоха магистральных систем с разделяемой общей средой связи, и наступает новая эра конвергентных модульных систем с последовательной сетевой масштабируемой архитектурой высокого быстродействия. Под термином "конвергентный" мы понимаем взаимное проникновение технологий локальных сетей, связывающих отдельные вычислительные узлы, и методов коммутации различных функциональных систем в рамках одного устройства (модуля, субмодуля, а сегодня уже и чипа).
Такой подход требует гармоничного развития всех компонентов модульных систем сбора и обработки данных – от СБИС до интерфейсов ввода/вывода, технологий сопряжения и конструктивных решений. Однако если первое поколение модульных систем (1970–80-е годы) создавалось в Европе и России одновременно и одинаково успешно, то сегодня Россия существенно отстает от передовых стран. Успехи здесь возможны при согласованном развитии технологий компонентной базы, вычислительных и коммуникационных систем. Требуется единая, хорошо масштабируемая коммутируемая вычислительная среда с системно-ориентированными средствами широкополосной коммутации и связи. Причем развитие микроэлектроники должно быть тесно связано с новыми требованиями к интегральной архитектуре систем связи и вычислительных комплексов высокой производительности. Именно такова оптимальная стратегия дальнейшего развития модульных систем компьютерной автоматизации, управляющих систем и вычислительных комплексов высокой производительности (суперкомпьютеров).
Проблемы создания перспективных модульных систем на основе новых технологий обсуждались на ряде международных симпозиумов, таких как Международный симпозиум по интегрированным модульным системам и сетям (ICSNET’01, Россия); Международная школа-семинар в компьютерной автоматизации и информатизации ACS2002 (Россия); первая конференция по новым методам обработки изображений в медицине (MedIm’06, Франция); Международная конференция по проектированию и верификации микросхем (Date’07, Франция), Первая международная конференция по наноархитектурам в США (2007 год) и др. Результаты этих и аналогичных мероприятий помогли сформулировать концептуальные факторы развития модульных систем нового поколения:
Повышение удельной вычислительной плотности СБИС, а также рабочей частоты процессоров значительно увеличивают потребляемую мощность и тепловыделение; актуальной проблемой новых систем высокой производительности становится охлаждение.
Увеличение скорости передачи данных между модулями за счет наращивания параллельных связей в магистральных системах достигло физического предела, традиционные методы не решают проблему повышения пропускной способности из-за взаимных наводок и затуханий сигналов в отдельных проводниках шины.
Традиционные локальные сети не способны успешно решать проблемы коммуникации в распределенных системах, особенно в условиях реального времени.
Механические конструктивные элементы традиционных модульных систем и соединители не удовлетворяют требованиям по частоте передачи сигналов и не оптимальны для новых компактных и масштабируемых систем высокой производительности с гибкой структурой.
Системы питания для компактных и масштабируемых систем высокой производительности должны обеспечивать больше гибкости при конфигурировании.
Для обеспечения высокой надежности и ремонтопригодности модульных систем необходима возможность горячей замены и свопинга модулей в работающей системе без выключения питания.
Создание СБИС и печатных плат для высокопроизводительных систем усложняется в связи с проблемой целостности передаваемых сигналов в соединениях. Сложность и стоимость реализации соединений растет быстрее, чем компактность и мощность устройств обработки.
Таким образом, развитие перспективных модульных систем сбора и обработки информации – это комплексная проблема, решение которой зависит от многих составляющих. Однако наиболее значимый элемент модульной системы – это система коммутации и связи ее процессорных узлов. Именно от нее зависит, удастся ли реализовать возможности взаимодействия отдельных процессоров и компьютерных модулей в рамках единой системы. Поэтому рассмотрим перспективы архитектур модульных систем именно с точки зрения методов создания компьютерной коммуникационной среды. Наша цель – показать, что несмотря на различную природу и историю развития, вектор перспективного развития этих систем направлен в сторону единых коммутационных конвергентных технологий.
Системы и сети на кристалле
Основными компонентами модульных систем являются процессорные модули, память и устройства ввода-вывода. Вычислительные системы с модульной структурой прошли несколько поколений в своем развитии (рис.1). Смена этих поколений напрямую связана с развитием микроэлектронных технологий. Успехи электронных технологий, достигших к 2007 году разрешения 65 и даже 45 нм, диктуют новые требования к процессорам и средствам связи, а также к архитектуре модульных систем (рис.2). Определяющие элементы вычислительных систем и сетей – это процессоры. Но они в рамках традиционных структур уже достигают пределов целесообразного роста частоты, а методы сопряжения и связи не удовлетворяют требованиям по пропускной способности.
Создание новых модульных систем более высокой производительности основано на новых структурах СБИС, которые включают многофункциональные узлы и даже многопроцессорные системы на кристалле. Так, современные микроконтроллеры в основном представлены 8- и 32-разрядными устройствами. Первые пользуются спросом из-за низкой стоимости (до 0,5 доллара). Сегодня уже массово выпускаются высокопроизводительные 32-разрядные микроконтроллеры с ARM-ядром, разнообразными интерфейсами (SPI, I2C, CAN, USB и т.д.), flash-памятью и т.п. Некоторые микроконтроллеры даже оснащаются специализированными устройствами для цифровой обработки сигналов (DSP-ядрами).
Например, новая серия 32-разрядных микроконтроллеров LPC3000 (пока представлена только СБИС LPC3180) компании NXP основана на RISC-ядре ARM926EJ с тактовой частотой свыше 200 МГц и производится по технологии уровня 90 нм. Контроллер включает векторный сопроцессор, поддерживающий операции с числами с плавающей запятой; встроенный 10-разрядным АЦП; 64 Кбайт СОЗУ; контроллер внешнего синхронного динамического ОЗУ, контроллер flash-памяти (в том числе многоуровневой – MLC); множество интерфейсов – 2 SPI (до 53 Мбит/с), USB 2.0 (возможны конфигурации host, device и On-The-Go), асинхронные последовательные интерфейсы (UART): четыре со скоростью до 460800 бит/с и три высокоскоростных UART (до 921600 бит/с), два I2C-порта (400 кГц), порт для SD-карт памяти и т.д. СБИС отличается низким напряжением питания (0,9 В) и малым потреблением энергии. Объем адресного пространства – 4 Гбайт. Примечательно, что розничная цена такого контроллера в России составляет порядка 15–18 долл.
Современные 32-разрядные контроллеры, приближаясь по производительности к универсальным и DSP-процессорам, в силу их дешевизны массово применяются в высокопроизводительных системах сбора и обработки данных. В особых случаях в таких системах используют специализированные процессоры цифровой обработки сигналов DSP, а также специализированные устройства, реализованные на программируемых логических ИС (ПЛИС).
Универсальные процессоры обработки данных также развиваются весьма стремительно. В последнее время производители процессоров массово переходят на 2- и 4-ядерные структуры, что позволяет повысить производительности, одновременно понизив тактовую частоту и потребление энергии.
Примером современного процессора для высокопроизводительных вычислений служит двухъядерный процессор POWER6 компании IBM (рис.3). Он изготовлен по 65-нм технологии с 10-уровневой медной металлизацией. Площадь кристалла – 341 мм2, процессор состоит из 790 млн. транзисторов. Тактовая частота – 4,7 ГГц, что вдвое выше, чем у предшественника (POWER5, 90 нм) при том же потреблении энергии (100Вт). Каждое ядро обрабатывает одновременно два потока команд с одновременной выборкой до 5–7 инструкций и имеет кэш-память 1 уровня объемом 64 Кбайт для инструкций и данных, а также кэш память 2 уровня объемом 4 Мбайт с буфером быстрого доступа. Кэш-память 3 уровня (32 Мбайт) – разделяемая двумя ядрами. Благодаря встроенному SMP-коммутатору (симметричный мультипроцессорный коммутатор), на основе POWER6 можно создавать масштабируемые SMP-структуры, включающие до 32 СБИС POWER6.
Двух- и четрырехъядерные процессоры производят также компании Intel и AMD. Так, в последней (30-й) редакции списка 500 наиболее высокопроизводительных вычислительных систем Тор500 (www.top500.org) уже 215 систем строились на 2-ядерных процессорах семейства Intel EM64T Xeon 53xx (Clovertown), 99 – на 4-ядерных процессорах Intel Xeon 53xx (Clovertown), 77 – на 2–ядерных процессорах от AMD x86_64 Opteron Dual Core, еще в одной системе используется 4-ядерный Opteron.
Но четыре ядра – далеко не предел для современной микропроцессорной СБИС. Такие компании, как Intel, IBM, PicoChip и др. производят мультиядерные процессорные системы.
Так, IBM разработала технологию многопроцессорных СБИС Cell Broadband Engine (Cell BE) в союзе с компаниями Sony и Toshiba (альянс STI). Процессор Cell BE включает девять процессорных элементов (PE) с общей памятью и контроллеры ввода/вывода (рис.4). Все процессорные элементы связаны друг с другом и с внешними устройствами высокопроизводительной шиной, с поддержкой когерентности памяти. Один из процессорных элементов (РРЕ) основан на ядре PowerPC (двухпотоковый RISC-процессор). Он реализует функции управления. Остальные восемь процессоров – это одинаковые, так называемые синергетические процессорные элементы (SPE). Каждый из них содержит RISC-ядро, 256 Kбайт ОЗУ и 128-разрядный регистровый файл.
Компания picoChip производит процессоры на основе архитектуры picoArray. Ключевой элемент процессоров picoChip – массив процессорных элементов picoArray (рис.5), включающий несколько сотен процессорных ядер (от 248 до 410, в зависимости от типа), каждое из которых представляет собой 16-разрядное DSP-ядро с гарвардской архитектурой и длинным командным словом (LIW). Процессорные ядра объединены 32-разрядной шиной в виде двумерной сети с программируемыми коммутаторами. Доступ к шине происходит на основе временного разделения (TDM), что исключает коллизии и гарантирует каждому процессорному элементу заданную полосу пропускания.
Компания Intel также развивает многоядерные процессорные структуры в рамках своей технологии Tera-scale Computing. В рамках новой архитектуры компания создала 80-ядерный процессор Polaris. Он обеспечивает производительность свыше триллиона операций над числами с плавающей точкой в секунду (TFlops) и служит полигоном для развития фундаментальных технологий многоядерных процессоров будущего. СБИС процессора выполнена по технологии 65 нм и содержит 291 млн транзисторов на кристалле площадью 143 мм2. Фактически данный процессор – это локальная вычислительная сеть на кристалле (рис.6). Она объединяет 80 вычислительных узлов, объединенных двумерной сетью 8×10 и работающей с частотой 4 ГГц. Каждый узел содержит процессорный элемент, соединенный с 5-портовым маршрутизатором-коммутатором с мезохронным интерфейсом, транслирующим пакеты между узлами. Сеть обеспечивает общую пропускную способность 256 Гбайт/с.
Таким образом, современные средства сбора и обработки информации способны формировать весьма значительные потоки данных. Самые быстрые 8-разрядные АЦП обеспечивают производительность до 5 Гвыборок/с (компания E2V). Уже многие промышленные, персональные и мобильные компьютеры создают на основе 2–4-ядерных процессоров. В ближайшем будущем следует ожидать применения в вычислительных системах очень высокой производительности (суперкомпьютеры) многопроцессорных структур с большим числом ядер и структур с массовым параллелизмом на уровне кристаллов. Для эффективного использования и согласования производительности таких СБИС требуется чрезвычайно быстрая коммутируемая среда связи и новые архитектуры на основе перспективных сетевых технологий.
Развитие сетевых архитектур систем управления
Слияние компьютерных и коммуникационных технологий привело к созданию конвергентных архитектур модульных систем нового поколения. Архитектуры систем нового поколения можно разделить на:
* классические сетевые методы с быстрыми интерфейсами;
* новые компьютерные системы с коммутируемой модульной сетевой средой;
* единые комбинированные системно-ориентированные масштабируемые сетевые архитектуры вычислительных комплексов высокой производительности.
Рассмотрим развитие систем сопряжения и сетей связи, учитывая существующий задел в области современных систем компьютерной автоматизации. Исторически методы сопряжения и связи вычислительных систем с внешними устройствами основывались на параллельных, последовательных (многоточечных) и байтовых интерфейсах магистрального типа. Локальные сети управления техническими объектами и полевые сети создавали в виде многоточечных последовательных сетей по принципу "ведущий-ведомый" с разделением ресурсов магистрали. Примеры таких решений – последовательная сеть управления стандарта MIL 1553, байтовая приборная магистраль GPIB, а также первые классические кабельные сети Ethernet. В таких системах в заданный момент времени данные может передавать только один узел.
Для сопряжения систем сбора данных и управления с ПК в современных системах используют параллельные интерфейсы (PCI) и новые быстрые последовательные каналы с разделяемой средой связи, например USB. Интерфейс USB, обеспечивающий быструю связь ПК с группой устройств, вытеснил байтовый приборный интерфейс GPIB и другие традиционные интерфейсы типа RS 232 и RS485 не только из сферы коммутации периферии ПК, но из небольших приборных сетей.
Компактные системы управления, сбора и обработки сигналов и данных развивались разными путями, но постепенно приближались к классической последовательной сети. Это либо специально созданные сети управления компактными объектами (например, бортовые сети, такие как CAN), либо сети для больших распределенных систем управления на основе так называемых полевых магистралей (Fieldbus). Унификацией Fieldbus в течение ряда лет занимались специалисты многих стран, но в результате создали лишь ряд национальных стандартов (например, стандарт IEC 61158 содержит описание восьми типов полевых магистралей). Для систем управления в реальном времени разрабатывался усеченный вариант сети Ethernet с одним ведущим контроллером. На основе протоколов RS485 и Ethernet создали спецификацию промышленных сетей PROFINET. В целом же, несмотря на разнообразие вариантов, все эти сети представляют собой последовательный интерфейс с методами арбитража систем реального времени. Для систем управления и сбора данных обычно достаточно полосы пропускания каналов до 0,1–1 ГГц, поэтому часто используют классические сети на основе коммутаторов каналов с недорогим интерфейсом быстрого Ethernet (FE).
Приборные сети на основе USB
Интерфейс USB стал фактически стандартным для связи измерительных и управляющих модулей с процессорами. Первая версия интерфейса (USB1.1, 1998 год) обеспечивала связь на скорости 1,5 Мбит/c (Low-Speed) и 12 Мбит/c (Full-Speed), а в последующем варианте (USB 2.0, 2000 год) скорость достигла 480 Мбит/c (Hi-Speed). В 2009–2010 году ожидается внедрение спецификации USB 3.0, обеспечивающей скорости обмена до 4,8 Гбит/с (Super-Speed) по оптоволоконному кабелю (при этом сохраняется совместимость с предыдущими версиями и разъемами для медного кабеля). Контроллеры для USB производит ряд компаний, например Cypress Semiconductor, Microchip, Freescale, NXP, FTDI и др. В России контроллеры с поддержкой USB разрабатывает и производит ПКК "Миландр" – это СБИС 1886ВЕ1 и 1886ВЕ2 (функциональные аналоги PIC17C756 от Microchip), а также 188ВЕ4. СБИС реализует интерфейсы USB (Full-Speed), SPI, UART. При передаче данных контроллер формирует пакеты и проверяет подтверждение их доставки. На основе USB можно создавать сети, эффективные для сопряжения небольшого числа устройств ввода-вывода и отдельных приборов.
Сети стандарта CAN
Сеть CAN (Car или Controller Area Network) изначально разработана компанией Robert Bosh для автомобильной бортовой сети в 1987 году. После выпуска первой интерфейсной CAN-микросхемы 82526 (Intel, 1990) для развития международного стандарта был создан консорциум CiA (CAN in Automation). Интерфейс получил статус международного промышленного стандарта в 1994 году. CAN-сеть основана на последовательной дифференциальной шине (два сигнальных провода плюс провода питания и земли). Сеть работает в диапазоне скоростей передачи данных от 125 до 1000 Кбод. Передача ведется пакетами, включающими заголовок с идентификатором CAN_ID (11 или 29 бит – версии CAN 2.0A и В, соответственно), поле данных (до 8 байт) и контрольную сумму (SRC‑16). Каждое сообщение имеет приоритет, определяемый его CAN_ID (чем меньше CAN_ID, тем выше приоритет). Сообщение в процессе передачи не прерывается. Такая система допускает малые нагрузки по трафику и может применяться в задачах, не слишком чувствительных к задержкам при передаче данных.
Для сетей автоматизации различного назначения ассоциацией CiA под эгидой компании Bosh был создан протокол высокого уровня CANopen. В качестве нижних уровней он использует CAN. CANopen определяет прикладной уровень, интерфейсы, профили и структуру программируемых систем. Он широко применяется в промышленности, используется в автомобилях, например, в Mercedes Benz класса S.
В США разработан CAN-протокол высокого уровня DeviceNet для связи небольших сетевых устройств. Для случаев, когда протокол CANopen оказывается избыточным, создана спецификация MicroCANopen.
Развитие традиционной сети Ethernet для систем реального времени
Традиционная сеть Ethernet в классическом виде – с разделяемой средой связи – не удовлетворяет требованиям систем реального времени и управления, так как ее задержки непредсказуемы, даже нет гарантии доставки сообщений. Первые сети обеспечивали скорость передачи 10 Мбит/с, потом скорость обмена возросла до 100 Мбит/c (Fast Ethernet – FE).
Исходный протокол сетей Ethernet – CSMA/CD – не детерминированный и не пригоден для систем реального времени. Поэтому решение проблемы сводится к созданию сети с одним ведущим узлом или к применению современной коммутирующей среды связи. Первый метод широко распространен в современных системах промышленной автоматики, поскольку для управляющего компьютера сетевой интерфейс не отличается от стандартного Ethernet.
В одном из методов создания систем реального времени на основе Ethernet вместо протокола CDMA/CD применяют механизм множественного доступа с временным разделением (переключаемые интервалы времени). Но при этом снижается эффективность использования полосы пропускания канала.
Основное же направление развития промышленных сетей на основе Ethernet – формирование быстродействующей коммутируемой среды связи. Коммутаторы и маршрутизаторы в этом случае используют двухточечные каналы, при этом достигается максимальная скорость передачи пакетов IP. Наилучший маршрут в локальной или глобальной сети определяется на основе таблиц маршрутизации. Сложные функции маршрутизатора реализуют программно, поэтому они более совершенны по сравнению с коммутаторами, но медленнее. Новые маршрутизирующие коммутаторы объединяют преимущества обоих устройств по быстродействию и гибкости сетевой связи. Согласно модели взаимодействия открытых систем OSI, Ethernet охватывает первые два уровня (физический и уровень звена данных) и не включает сетевой и транспортный (третий и четвертый) уровни, на котором находится протокол TCP/IP. Хабы (концентраторы) работают на первом (физическом) уровне, коммутаторы – на втором, а маршрутизаторы – на третьем уровне модели OSI.
Сети Ethernet в процессе быстрого развития прошли этапы 10 и 100 Мбит/с и на стадии 1 Гбит/с (GE) стали основной сетью для систем связи высокопроизводительных компьютеров.
Усеченная сеть Ethernet с одним ведущим (EtherCat фирмы Beckhoff) имеет стандартные интерфейсы Ethernet в распределенных устройствах (секциях) с модулями сбора данных и управления. Все устройства сети соединяются в последовательную кольцевую структуру. Ведущий контроллер управляет распределенными узлами. Когда фрейм с данными проходит через узел сети, тот может добавлять в него свои данные. Последний ведомый узел в кольцевой цепи возвращает фрейм с данными от всех узлов ведущему контроллеру.
Приборные Ethernet-сети LXI разработаны LXI-консорциумом (LAN eXtentions for Instrumentation – расширение ЛВС для инструментальных задач) как замена прежнего приборного байтового интерфейса GPIB (HPIB) с разделяемой средой связи, который используют уже более 35 лет. Первая версия стандарта опубликована в сентябре 2005 года. Новая технология позволяет организовывать связь по локальной сети Ethernet с поддержкой синхронизации по дополнительному каналу. Стандарт допускает применение 10- и 100-Мбит/c сетей, но рекомендуется GE с автоматическим выбором скорости передачи (по умолчанию) и с автоматическим распознаванием полярности кабеля сети. Каждый прибор в сети должен иметь постоянный сетевой МАС-адрес и IP-адрес с возможностью динамической конфигурации по протоколу DHCP (Dynamic Host Configuration Protocol). Устройства должны легко идентифицироваться в сети с помощью протокола сетевого обследования VXI-11.
Стандарт описывает три функциональных класса приборов – А, В и С. Класс С – это наиболее простые устройства, не нуждающиеся во внешней синхронизации. Класс В поддерживает синхронизацию по сети Ethernet (в соответствии со стандартом IEEE 1588). Приборы класса А, помимо того, поддерживают синхронизацию по внешней шине. Эта шина произвольной конфигурации (цепь, звезда или их комбинации) представляет собой восемь независимых каналов, выполненных в виде дифференциальных пар, соответствующих требованиям стандарта LVDS. Время прохождения сигналов между приборами не превышает 3 нс/м. Устройства устанавливают единое время по самому точному генератору в сети. Они могут передавать информацию о времени без использования компьютера, занятого задачами обработки данных в реальном времени.
Стандарт позволяет соединять как настольные приборы по передней панели, так и настенные приборы и встраиваемые модули без передней панели. В отличие от устройств типа PXI/VXI, устройства с таким сопряжением могут иметь любые размеры и должны быть самодостаточными – т.е. каждое устройство должно иметь источник питания. Если используется источник постоянного тока, его напряжение должно быть 48 В. Для встраиваемых в стойки приборов рекомендуют придерживаться спецификации IEC по полному и половинному размеру ширины стойки с высотой 2U и выше. Конструкция устройства интерфейса физически включает соединители для LXI, разъем питания (100–240 В), шину запуска событий (класс А), интерфейс Ethernet 802.3 (RJ-45), входы для сигналов, индикаторы состояния LAN, питания.
Избыточные сети Ethernet для надежных систем управления
Индустриальное применение сетевых коммутаторов в системах управления возможно, если они способны работать в реальных условиях – т.е. обладать защитой от пыли, влаги, вибрации и электромагнитных помех остановки. Для решения таких задач был разработан промышленный вариант Ethernet для систем управления – ProfiNet. Стандарт предусматривает взаимодействие новых сетей ProfiNet с другими сетями управления (Profibus, Interbus, Devicenet) с помощью шлюзов. Для конфигурации и диагностики применяют протоколы IP, TCP, UDP. В качестве среды передачи могут использоваться как медные провода, так и оптоволокно. Топологии могут быть самыми разными – линейные, кольцевые, звездообразные и древовидные. В линейной сети коммутатор устанавливают ближе к приборам или даже встраивают вместе с процессором в устройство. Каждое устройство оснащают отдельным коммутатором для управления конвейерными передачами. Кольцевая топология для надежности может включать две сети со встречным направлением передачи. Коммутаторы могут быть соединены радиально или в произвольной топологии.
Используются экранированные витые медные пары длинной до 100 м с характеристическим сопротивлением 100 Ом (Ethernet 100 Base TX) не хуже категории 5 и класса D (ISO/IEC 11801). Каждое удаленное устройство подключают через активный компонент, образуя узел сети.
Действующий стандарт основан на Fast Ethernet, обеспечивающая скорость передачи данных 10/100 Мбит/c, однако с 2006 года стандартными стали и коммутируемые сети c интерфейсом Ethernet на гигабитные скорости, многие процессорные модули уже оснащены этим встроенным интерфейсом. Ряд фирм уже производят гигабитные коммутаторы, хотя в основном они поддерживают такую скорость только для двух портов, а остальные порты сохраняют традиционные интерфейсы для контроллеров промышленного управления.
Для построения коммутируемых сетей используется набор протоколов STP (Spanning Tree Protocol – протокол связующего дерева). Первая спецификация STP (IEEE 802.2D) появилась в 1990 году для сетевых структур не более чем из семи коммутаторов. При этом время реконфигурации составляло 30 с. Более быстрая версия этого протокола RSTP (Rap id STP) IEEE 802.1w подразумевает реконфигурацию за одну секунду. Однако все эти протоколы не исключают опасность возникновения петли во время реконфигурации. Другой метод группового преобразования связан с группировкой и дублированием каналов связи. При этом кабели группируют по частям (например, северная и южная части здания). На следующем этапе стали резервировать сетевые коммутаторы и конечные терминальные узлы. Однако наиболее оптимально резервирование отдельных каналов в кольцевых структурах промышленных сетей.
Компания Nirschmann – один из лидеров в области промышленных сетей управления – создала сеть на основе Ethernet HIPER-RING с кольцевой связью небольших коммутаторов. Если в сети обнаруживается нарушение, поврежденный канал дезактивируется. При этом за 200–300 мс создаются обходные (резервируемые) пути связи. Такая топология сети из 1000 узлов была применена для автоматизации аэропорта в Дрездене, пять зданий которого связаны сетью GE. Вместо связующего дерева применили HIPER-RING с двойным резервированием в кольце (время переключения 0,5 с). Известны и другие примеры резервирования в кольцевых структурах промышленных сетей, например избыточные кольцевые сети Turbo Ring и двойные дублирующие сети. Возможно дублирование не только каналов связи, но и полное дублирование всего оборудования сети, включая контроллеры управления.
Сетевые промышленные коммутаторы выпускают как управляемые, так и неуправляемые. Например, среди неуправляемых коммутаторов фирмы Moxa известны коммутирующие устройства (EtherDevice Switch) типа EDS-305/308/309 с дублированием питания на 5, 8 и 9 портов соответственно. В последней модели есть три порта для оптоволокна. Новые управляемые коммутаторы представлены устройствами базового уровня типа EDS-405A / 408A на 5 / 8 портов с дублированием питания и с возможностью резервирования по методу Turbo Ring (время восстановления до 20 мс). Они поддерживают приоритетное управление качеством обслуживания потоков. Управляемые коммутаторы EDS-505 A / 508A на 5 / 8 портов дополнительно позволяют группировать каналы и сегментировать сети, а также обслуживать широковещательный трафик (IGMP), включая оповещение о нештатных ситуациях.
Гигабитные сети Ethernet (10GE и 100GE)
Развитием стандарта GE стал стандарт Ethernet на скорость 10 Гбит/c (10GE). Первоначально это были предварительные рекомендации IEEE 802.ae (2002 год), которые в 2005 году вошли в стандарт IEEE Std 802.3-2005. Новая версия включает только дуплексный режим передачи (исключены полудуплексный и монопольный режимы). Этот стандарт поддерживает не только локальные, но и глобальные сети, т.е. обеспечивает инкапсуляцию пакетов Ethernet в иерархию виртуальных контейнеров сетей SONET / SDH (STS-192c / STM-64c). Стандарт предусматривает побитную, побайтную и покадровую передачу данных, однако допускает и иные форматы. Возможны только соединения "точка-точка" по медным линиям и оптоволокну. Стандарт описывает восемь различных спецификаций, сведенных в три группы.
Группа 10GBase-X (спецификации 0GBASE-LX4, 10GBASE-CX4). Передача происходит по медным дифференциальным парам (шины или витые пары) или по оптоволокну. Последовательный поток данных MAC-подуровня побайтно делится на 4 потока, к каждому из байтов добавляется 1 бит управления. Кодер перекодирует данные в 10-разрядные пакеты (схема 8B/10B), формируя 4 группы 10-битовых последовательностей. Далее четыре потока передаются либо по медным витым парам, либо по оптоволокну, каждый на своей несущей с шагом 13,4 нм во втором окне прозрачности (1300 нм).
Группа 10GBase-R определяет передачи по оптическому каналу связи в трех окнах прозрачности (850, 1300 и 1550 нм) для спецификаций 10GBase-SR, -LR, -ER. Данные кодируются по схеме 64B/66B (64 бита данных плюс 2 бита синхронизации), передача – последовательная.
Группа 10GBase-W отличается от 10GBase-R тем, что предназначена для адаптации потока данных к скоростям иерархий SONET (STS-192c) или SDH (VC-4-64c). Это происходит непосредственно на физическом уровне (подуровень WAN Interface Sublayer – WIS) посредством специальных форматов кадров.
Исследуются также возможность создания пассивной гигабитной оптической сети на базе GE (EPON) с увеличенным расстоянием до 20 км и мультисервисным обслуживанием. Созданная рабочая группа 10GEPON для разработки стандарта 10-Гбит/с пассивной оптической сети в двух конфигурациях: симметричной (10 Гбит/с вверх и вниз) и несимметричной (вверх – 1 Гбит/с, вниз – 10 Гбит/с). Такие сети предполагают до 32 разветвлений и максимальную дальность передачи до 20 км. Одним из перспективных направлений является создание коммутируемых структур последовательного типа на основе гигабитных сетей.
Перспективы создания 100-гигабитной сети Ethernet (100GE) впервые обсуждались на пленарном заседании Группы по изучению быстрых систем (IEEE 802.3, 2006 год). Особенности новой технологии – только сверхбыстрая дуплексная связь; сохранение на уровне сервиса формата кадров Ethernet 802.3, включая минимальный и максимальный размеры; дальность передачи до 10 км на одномодовом и 100 м – на многомодовом оптоволокне. Эта технология предназначена как для локальных, так и для глобальных сетей.
В последующей публикации мы рассмотрим методы построения модульных коммутируемых вычислительных сред высокого быстродействия на основе других коммутируемых сетевых технологий – таких как PCI Express, Infinfband, RaidIO. Будут обсуждаться перспективные методы расширения полосы пропускания модульных систем VME/VXI и новые модульные структуры типа VPX, а также современные технологии создания масштабируемых модульных систем для серверных кластеров и вычислительных систем высокой производительности.
В работе использованы материалы докладов автора на российских и зарубежных конференциях.
Отзывы читателей
