eng
Выпуск #2/2021
В. Ежов
НЕЙРОМОРФНЫЕ СИСТЕМЫ КАК ИНСТРУМЕНТ РЕАЛИЗАЦИИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
НЕЙРОМОРФНЫЕ СИСТЕМЫ КАК ИНСТРУМЕНТ РЕАЛИЗАЦИИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
Просмотры: 2266
DOI: 10.22184/1992-4178.2021.203.2.82.92
Проектирование нейроморфных систем, способных имитировать биологические нейроны и синапсы, моделировать когнитивные процессы человеческого мозга, рассматривается как одно из ключевых направлений в области искусственного интеллекта. В статье рассмотрены общие принципы построения нейроморфных систем и способы реализации нейронных сетей, представлен обзор перспективных проектов в области нейроморфных вычислений.
Проектирование нейроморфных систем, способных имитировать биологические нейроны и синапсы, моделировать когнитивные процессы человеческого мозга, рассматривается как одно из ключевых направлений в области искусственного интеллекта. В статье рассмотрены общие принципы построения нейроморфных систем и способы реализации нейронных сетей, представлен обзор перспективных проектов в области нейроморфных вычислений.
Теги: deep learning loihi memristor neural processor neurogrid neuromorphic system plasticity spike neural network synapse truenorth глубинное обучение мемристор нейроморфная система нейронный процессор пластичность синапс спайковая нейронная сеть
Нейроморфные системы как инструмент реализации искусственного интеллекта
В. Ежов
Проектирование нейроморфных систем, способных имитировать работу биологических нейронов и синапсов, моделировать когнитивные процессы человеческого мозга, рассматривается как одно из ключевых направлений в области искусственного интеллекта. Исследования, направленные на развитие новых вычислительных парадигм и аппаратную реализацию моделей нейронных сетей, переходят на новый этап – достигнутый в мире технологический уровень позволяет создавать системы на кристалле, содержащие миллионы искусственных нейронов и синапсов. Сегодня проекты в области нейроморфных чипов ведутся многими мировыми игроками – от технологических гигантов до стартапов.
В статье рассмотрены общие принципы построения нейроморфных систем и способы реализации нейронных сетей, представлен обзор перспективных проектов в области нейроморфных вычислений.
Введение
На протяжении нескольких последних десятилетий основной вычислительной моделью для подавляющего большинства компьютерных систем служила архитектура фон Неймана. В этой архитектуре память и центральный процессор общаются друг с другом через шину данных, что ограничивает производительность системы, особенно в приложениях с интенсивным использованием данных. Все более широкое внедрение алгоритмов машинного обучения, требующих обработки огромных массивов данных, а также физические ограничения КМОП-технологии заставляют искать альтернативу процессорам с классической архитектурой для создания систем с искусственным интеллектом.
В отличие от последовательных систем, к которым относятся фоннеймановские процессоры, в человеческом мозге обработка информации производится совершенно по-другому. Каждый из почти 100 млрд нейронов обрабатывает информацию независимо, работая параллельно с другими нейронами и получая сигналы от них через синапсы – связи между нейронами с памятью. На этом принципе строят искусственные аналоги биологического мозга – нейроморфные системы (рис. 1). Аппаратная реализация нейроморфных систем позволяет кардинально повысить вычислительную мощность за счет параллельной обработки данных на множестве процессоров. Сегодня с развитием субмикронных и нанотехнологий создание таких систем становится все более реальной задачей. Речь идет о системах, содержащих в качестве искусственных нейронов несколько десятков тысяч и даже миллионов процессорных ядер. При этом структура каждого процессора-нейрона проще, чем традиционного процессорного ядра, но за счет их огромного числа функциональность системы существенно возрастает.
Следует учитывать еще один важный фактор – энергопотребление. Сегодня основной проблемой мобильных и периферийных устройств являются жестко ограниченные бюджеты потребляемой мощности. Возможности традиционных вычислительных архитектур с точки зрения снижения потребления незначительны. Ответом может стать более эффективная параллельная архитектура в сочетании с возможностью обучения.
Очень важна также возможность системы работать автономно, без постоянного обмена информацией с удаленным сервером или облаком, поскольку это снижает безопасность и быстродействие системы. Поэтому желательно создать самообучающуюся нейроморфную систему, способную обрабатывать данные локально, внутри устройства.
Искусственные нейронные сети
Ключевой инструмент реализации нейроморфных вычислений – искусственные нейронные сети (ИНС), которые представляют собой математические модели, основанные на принципах построения человеческого мозга. На сегодняшний день можно выделить три поколения в развитии ИНС. Нейронные сети первого поколения строились на основе порогового нейрона Маккаллока – Питса или однослойного перцептрона, имели бинарные входы и выходы. Затем появились нейронные сети на основе многослойного перцептрона, а также сети Кохонена, сети Хопфилда, радиальные базисные сети и др.
Сети третьего поколения – это сети глубинного обучения и спайковые (импульсные) нейронные сети. Сети глубинного обучения содержат большое количество слоев, каждый из которых отвечает за свою функцию обработки отдельного элемента входных данных.
Каждый отдельный элемент сети имеет множественные входные связи от элементов предыдущего слоя. Сети глубинного обучения позволяют не только выделять отдельные сложные объекты, но и принимать решения на основе иерархических взаимосвязей между ними.
Самой реалистичной с точки зрения физиологии работы мозга моделью ИНС является спайковая нейронная сеть (СНС), в которой нейроны обмениваются короткими импульсами (спайками) одинаковой амплитуды. Эта модель ИНС известна довольно давно, но только в настоящее время она стала достаточно широко использоваться для решения прикладных задач. СНС принципиально отличается от нейронных сетей второго поколения, используемых аналитиками данных. Такая сеть вместо непрерывно меняющихся во времени значений оперирует дискретными событиями, происходящими в определенные моменты времени. Сеть получает на входы серию импульсов и выдает импульсы на выходе.
Преимущество СНС состоит в том, что импульсный подход позволяет оперировать данными, учитывая расстояния между нейронами и длительность распространения сигнала, то есть в контексте пространства и времени. Поэтому СНС лучше имитируют работу мозга, чем перцептроны, и лучше приспособлены для обработки данных от датчиков.
На рис. 2 показан процесс возбуждения и перехода в состояние покоя биологического нейрона. Как только потенциал на мембране нейрона достигает определенной величины, нейрон реагирует на это, передавая импульс, а мембрана приобретает исходный потенциал.
Сформированная последовательность спайков передается через синапсы к другим нейронам. Для описания этого процесса используются различные модели, в том числе модель Ходжкина – Хаксли, модель «интегрировать-и-сработать» (integrate-and-fire) и ее разновидность – «интегрировать-и-сработать с утечками», моделирующая утечку мембранного потенциала (leaky integrate-and-fire, LIF), а также другие модели.
Мемристор как модель синапса
Основное свойство синапса, соединяющего нейроны, – долговременная пластичность, то есть изменение проводимости синапса при воздействии сигнала и хранение этого состояния. В качестве вариантов реализации искусственного синапса в разное время рассматривались МОП-транзисторы с плавающим затвором, ячейки статической памяти (RAM), различные технологии энергонезависимой памяти: флеш-память, память на основе фазового перехода, сегнетоэлектрическая память (FeRAM), магниторезистивная память (MRAM) и др.
Наиболее перспективным подходом сегодня считается использование в качестве синапса мемристора – энергонезависимого элемента, который относится к классу элементов резистивной памяти (ReRAM). Мемристор представляет собой резистор с эффектом памяти, сопротивление которого изменяется под действием электрического поля и прошедшего заряда. Чем больше прошел заряд, тем больше изменилось сопротивление. Причем в зависимости от полярности протекающего тока оно может меняться как в большую, так и в меньшую сторону. За счет этого реализуется пластичность синапса, которая выражается в изменении эффективности передачи сигнала под действием самого сигнала, проходящего через синапс.
На основе мемристоров может быть достигнута более высокая плотность размещения элементов на чипе, чем на транзисторных синапсах. Используя нанотехнологии можно миниатюризировать этот элемент до единиц нанометров. Кроме того, при использовании мемристивных устройств можно достичь существенного снижения энергопотребления, поскольку для поддержания своего текущего состояния мемристор не затрачивает энергию.
Важным достоинством мемристоров является совместимость с КМОП-технологией, что позволяет размещать ячейки памяти на одном кристалле с другими цепями. Возможна также реализация 3D-интегрированных структур на основе мемристивной сети.
Конструктивно мемристор представляет собой структуру «металл – диэлектрик – металл». Возможно униполярное, биполярное и комплиментарное переключение такой структуры.
Разработаны различные типы мемристоров с сочетанием различных материалов, изменение сопротивления в которых происходит за счет разных физических эффектов. Например, в мемристоре на основе оксида титана переключение элемента из одного состояния проводимости в другое реализуется за счет дрейфа вакансий кислорода. В Национальном исследовательском центре «Курчатовский институт» ведутся исследования возможности использования мемристоров из органических материалов, в частности на основе полианилина (синтетического полимера), в котором переключение между состояниями проводимости происходит при электрохимической реакции окисления – восстановления.
На сегодняшний день остается еще достаточно много нерешенных технических проблем, связанных с мемристорами: необходимо оптимизировать (уменьшить) управляющее напряжение, улучшить воспроизводимость характеристик переключения, досконально изучить механизм переключения.
Современные проекты
в области нейроморфных систем
Первые попытки создания искусственных нейронных систем предпринимались еще в конце прошлого века, но за последние 10–15 лет исследования в этой области вышли на новый уровень и была создана инфраструктура для дальнейшего развития этого направления.
Типы разрабатываемых нейроморфных систем условно можно разделить на три категории:
Один из наиболее крупных проектов осуществляется компанией IBM и рядом ведущих университетов США по заказу Управления перспективных исследований и разработок министерства обороны США (DARPA). В рамках этого проекта, который называется SyNAPSE (Systems of Neuromorphic Adaptive Plastic Scalable Electronics), в 2014 году был создан нейронный процессор TrueNorth, реализующий спайковую нейронную сеть.
Для процессора TrueNorth была разработана специальная событийно-зависимая асинхронная архитектура. Основой чипа является нейросинаптическое ядро, содержащее вычислительные элементы и память в качестве нейронов и синапсов (рис. 3).
TrueNorth содержит 5,4 млрд транзисторов, что позволило реализовать 1 млн нейронов и 256 млн синапсов. Архитектура чипа представляет собой массив из 4 096 нейросинаптических ядер, организованных по схеме 64 × 64. Чип изготовлен по 28‑нм технологическому процессу компании Samsung и занимает площадь 430 мм 2, потребляя в стандартном режиме около 100 мВт. Каждое ядро в архитектуре TrueNorth имеет локальную память, хранящую параметры нейрона, синаптические веса и сведения о маршрутизации импульсов. Недостаток, присущий фоннеймановской архитектуре, устраняется за счет размещения памяти и вычислительных элементов в тесном соседстве.
Каждое ядро имеет 256 входов (аксонов) и 256 выходов (нейронов). Аксоны соединяются с любым подмножеством нейронов при помощи программируемого матричного коммутатора 256 × 256, который обеспечивает связь между любым объектом внутренней сети ядра с любым другим. Каждый нейрон накапливает входные сигналы синапсов и их веса в переменной высокой точности (мембранном потенциале) и генерирует импульс, когда ее значение превышает определенный порог, настраиваемый по отдельности для каждого нейрона.
Для процессора TrueNorth была разработана совершенно новая модель программирования. В отличие от фоннеймановских архитектур, в которых адресуемая основная память используется как для данных, так и для инструкций, в сильно распределенной архитектуре TrueNorth нет центральной адресуемой памяти, из которой можно было бы получить и декодировать инструкции для выполнения в нейронах. Нет в TrueNorth и обычных управляющих операторов, позволяющих организовать циклы и обеспечить ветвление.
В связи с этим была создана специальная среда Corelet Programming Environment – инструмент разработчика, в который входят домен-специфичный язык, позволяющий задавать функциональные сети нейросинаптических ядер, библиотека сетей для типичных применений, а также инструменты развертывания, тестирования и отладки.
На основе процессора TrueNorth были созданы системы различных конфигураций.
Последняя разработка – NS16e‑4, самый крупный на сегодня нейросинаптический компьютер, содержащий 64 млн нейронов и 16 млрд синапсов. Система выполняет порядка 1011 синаптических операций в секунду в расчете на один ватт. Ее общая потребляемая мощность составляет 70 Вт, из которых 15 Вт расходуются всеми 64 процессорами TrueNorth. Для систем на базе процессора TrueNorth сообществом инженеров было создано множество приложений для решения задач, связанных с классификацией, реконструкцией стереоизображений, обработкой аудио, робототехникой, распознаванием объектов и жестов в реальном времени, синтезом речи, обучением нейронных сетей с подкреплением и др.
Еще один известный проект в области нейроморфных вычислений – Neurogrid, который реализуется в лаборатории Brains in Silicon Стэндфордского университета (США). В рамках проекта разработан аналого-цифровой чип, содержащий 65 536 нейронов. Плата, на которой установлено 16 чипов, моделирует нейронную сеть, содержащую 1 млн нейронов.
В 2014 году компания Qualcomm, специализирующаяся на разработке процессоров для мобильных систем, представила однокристальный нейронный процессор Zeroth, способный к самообучению, получая обратную связь от окружающей среды и анализируя ее. В рамках платформы Smart Protect, внедряемой компанией Qualcomm, процессор Zeroth планируется использовать для анализа поведения вредоносных программ и защиты от них мобильных устройств.
В рамках программы Евросоюза по созданию нейроморфных систем BrainScaleS разработан аналого-цифровой КМОП-чип второго поколения BrainScaleS‑2, спроектированный по 65‑нм нормам. По сравнению с первым поколением, в новом чипе добавлена специальная схема, позволяющая гибко программировать алгоритмы обучения нейронной сети на основе пластичности, зависящей от времени спайка (Spike-Timing-Dependent Plasticity, STDP), исполняемые на встроенном микропроцессоре. Чип содержит аналоговую нейронную сеть, состоящую из 512 нейронов (построенных на основе LIF-модели) и 130 тыс. синапсов, АЦП для оцифровки данных с синапсов, блоки цифрового управления и коммуникаций, а также один или несколько микропроцессоров общего назначения, используемых в качестве блоков обработки пластичности (Plasticity Processing Unit, PPU).
Еще одно решение для реализации нейронных сетей предлагает компания Synopsys. В линейке процессоров ARC EV (Embedded Vision) предлагается гибкое и энергоэффективное решение для систем компьютерного зрения на базе сверточных нейронных сетей (convolutional neural network, CNN). CNN – это один из вариантов однонаправленной искусственной нейронной сети для глубинного обучения, которая приобрела большую популярность благодаря эффективности при решении задач в таких областях, как распознавание образов, виртуальная или дополненная реальность и стремительно набирающее обороты направление компьютерного зрения.
Процессоры ARC EV 6‑й серии наряду со скалярным 32‑битным ядром ARC HS также оснащены 512‑битным SIMD / VLIW DSP-процессором и специализированным CNN-модулем.
DSP-процессор исполняет функции обработки изображений, такие как фильтрация, геометрические преобразования, преобразование цветовых пространств и др. CNN-модули отвечают за свертку, сегментацию и классификацию объектов. Количество CNN-модулей и количество MAC-устройств в каждом CNN-модуле выбираются исходя из сложности нейронной сети и требований по производительности и потребляемой мощности.
Процессоры ARC EV6x способны развивать производительность до 4,5 ТMAC / с и обеспечивать обработку нескольких видеопотоков с разрешением 4K. ARC EV поддерживают любые типы сверточных сетей, включая такие распространенные сети, как AlexNet, VGG‑16, GoogLeNet, YOLO, Faster R-CNN, SqueezeNet и ResNet. Особенности реализации специализированного CNN-модуля заключаются в том, что он способен обрабатывать 32‑битные CNN-графы, используя 12‑битные CNN-модули при сохранении качества распознавания и при этом существенно снижая энергозатраты. ARC EV, реализованный на технологии FinFET 16 нм, обладает энергоэффективностью 2 000 ГMAC / Вт ∙ с.
В 2017 году компания Intel анонсировала разработку нейроморфного исследовательского процессора Loihi, обладающего возможностью обучения в режиме реального времени с использованием разных типов обратной связи. Чип, изготавливаемый по 14‑нм технологии, построен на базе спайковой нейронной сети, содержит более 2 млрд транзисторов и включает в себя 130 тыс. нейронов и 130 млн синапсов.
Чип представляет собой многоядерную ИС со 128 нейроморфными ядрами, оснащенную специальной программируемой подсистемой обучения СНС на кристалле. Нейроморфные ядра, содержащие множество нейронов, связаны между собой и получают спайки (импульсы) из других частей сети. После того как полученные спайки накопятся в течение определенного периода времени до установленного порога, ядро пересылает собственные импульсы в подключенные нейроны. Предшествующие спайки подкрепляют друг друга и нейронные связи, в то время как последующие спайки препятствуют соединению, снижая возможность соединения до тех пор, пока все действия не будут остановлены.
Помимо 128 нейроморфных ядер, чип содержит три управляющих x86‑совместимых процессорных ядра Lakemont и коммуникационный интерфейс, который позволяет масштабировать систему. Реализованный на кристалле протокол сети поддерживает до 4 096 ядер на кристалле и до 16 384 чипов.
Все нейроны сети находятся в локальном состоянии со своим собственным набором правил, влияющих на их эволюцию и время генерации спайков. Взаимодействие нейронов полностью асинхронно, носит случайный характер и не зависит от других нейронов в сети.
Связь между ядрами осуществляется с использованием пакетированных, спайковых и барьерных сообщений (для синхронизации).
Каждое из 128 нейроморфных ядер Loihi содержит 1 024 блока примитивов спайковых нейронов, сгруппированных в древовидные структуры. Каждая из этих групп имеет одни и те же входные и выходные соединения, конфигурацию и переменные состояния, которые хранятся в десяти блоках памяти.
Каждое ядро содержит подсистему обучения, которую можно программным способом адаптировать к параметрам сети в процессе работы, например настроить временные параметры спайков и их воздействие, поддерживая контролируемые, неконтролируемые, подкрепляющие и другие обучающие парадигмы.
На базе Loihi компания Intel разработала ряд нейроморфных систем, содержащих различное число чипов для масштабирования вычислительных возможностей (табл. 1).
Ведущие производители и научные организации проводят исследования нейроморфных систем на базе Loihi в различных приложениях. Например, компания Airbus планирует использовать способность Loihi к обучению и масштабированию в режиме реального времени в области цифровой безопасности для обнаружения вредоносных программ.
Компания GE будет искать в нейроморфных платформах Intel средство для оптимизации производственных процессов. Специалисты компании Hitachi рассчитывают с помощью процессоров Loihi оптимизировать обработку Big Data в таких приложениях, как Интернет вещей, сети датчиков, датчики, умная городская инфраструктура и др.
Intel и исследователи из Корнеллского университета продемонстрировали способность чипа Loihi распознавать запахи десяти опасных химических веществ, включая ацетон, аммиак и метан. Потенциально технологию можно использовать в создании роботов для поиска оружия, взрывчатых веществ, наркотиков. Кроме того, чип может быть полезен в медицине при диагностировании болезней. Его также можно использовать для мониторинга окружающей среды на производствах.
В 2018 году австралийская компания BrainChip представила нейроморфную систему на кристалле Akida, реализующую спайковую нейронную сеть с положительной обратной связью. Чип содержит блок преобразования сигналов от датчиков и интерфейсов (USB, PCIe, Ethernet и др.) в массив спайков, которые затем в виде паттернов размещаются в массиве нейронов на чипе. Кристалл содержит 1,2 млн нейронов и 10 млрд синапсов.
В рамках семейства Akida компания BrainChip предлагает как полностью интегрированные СнК, так и IP-блоки для интеграции во встраиваемые решения, такие как специализированные ИС.
Нейроморфная СнК Akida включает в себя нейронную матрицу и процессор Arm для управления ИС и средствами поддержки системы (рис. 4).
СнК Akida также может функционировать в качестве сопроцессора главного компьютера, используя встроенный интерфейс PCIe или интерфейс USB3.0. Интерфейсы I3S и I2C предназначены для ввода данных с датчиков. Встроенный процессор может использоваться для предварительной обработки данных датчиков в автономном режиме или для создания дополнительных методов обучения.
Разработка BrainChip ориентирована на широкий спектр граничных приложений, включая решения для интеллектуальных камер, устройств умного дома, перспективных систем помощи водителю (ADAS) и автономных транспортных средств, робототехники, промышленного мониторинга, Интернета вещей и др.
В России также ведутся исследования и разработки в области нейроморфных систем. В Национальном исследовательском центре «Курчатовский институт» развивается научное направление природоподобных технологий, основанное на конвергенции нано-, био-, инфо-, когнитивных и социогуманитарных (НБИКС) наук. В центре ведутся работы в области мемристоров на основе различных материалов, в частности органических полимеров, а также разработка перспективных архитектур нейроморфных сетей на основе мемристоров. Специалистами НИЦ «Курчатовский институт» была опубликована работа, показывающая теоретическую возможность относительно простой реализации на мемристорах на основе ниобата лития нейроморфных сетей с дофаминовым подкреплением, в которых реализуется аналог субъективного ощущения удовольствия, что позволяет нейросети взаимодействовать с окружающей средой и эффективно самообучаться.
НТЦ «Модуль» разрабатывает и производит микропроцессоры с оригинальной архитектурой NeuroMatrix, вычислительные модули и комплекты программных средств для эмуляции глубинных нейронных сетей. На базе архитектуры NeuroMatrix в 2019 году был разработан нейропроцессор NM6408. Этот 21‑ядерный чип спроектирован по 28‑нм нормам, реализован как вычислительный ускоритель для серверов и обладает пиковой производительностью в 512 Гфлопс. Он ориентирован на обработку больших потоков данных в режиме реального времени, позволяет решать широкий круг задач. Одна из наиболее перспективных областей применения – обработка нейросетевыми приложениями больших массивов видеоданных, например с камер высокого разрешения. Потенциальные заказчики – транспортная отрасль, предприятия сферы безопасности, энергетические компании и др.
В 2020 году еще одна российская компания, IVA Technologies, представила специализированный тензорный процессор на базе собственной архитектуры IVA TPU для ускоренного расчета нейронных сетей. В первом квартале 2021 года планируется выпустить первые образцы этих процессоров. Основа процессора – блок матричного умножения, который выполняет наиболее ресурсоемкие вычисления со скоростью десятков тысяч операций за такт. Особенностью процессора IVA TPU является гибко настраиваемое IP-ядро ускорителя тензорных вычислений. Процессор ориентирован на решение широкого круга задач в таких приложениях, как системы распознавания образов, распознавание голоса и перевод в текстовую форму, детектор ключевых слов, прогнозирование по неструктурированным данным, управление БПЛА и роботизированной техникой и др.
Заключение
Переход на нейроморфную архитектуру на основе новой парадигмы вычислений без разделения процессов обработки и хранения информации обещает дать качественный эффект в решении вычислительных задач и приблизить создание систем с так называемым «сильным» искусственным интеллектом.
Согласно доклада исследовательской и консалтинговой компании IndustryARC (Neuromorphic Sensing and Computing Market Forecast 2020–2025) рынок сенсорных систем и нейроморфных вычислений достигнет к 2025 году объема 560,4 млн долл., то есть совокупные темпы годового роста в период с 2020 по 2025 год составят 84,2%. Это связано со снижением спроса на чипсеты с традиционной архитектурой, а также растущим интересом к приложениям на основе искусственного интеллекта. Ключевые игроки на рынке решений для искусственного интеллекта вкладывают значительные средства в развитие нейроморфных систем, чтобы повысить вычислительные возможности и снизить энергопотребление.
Основную долю рынка нейроморфных систем занимает Северная Америка из-за присутствия в этом регионе крупных производителей нейроморфных чипов. Росту рынка в значительной степени способствует все более широкое использование нейроморфных систем для обработки сложных алгоритмов. Одним из основных препятствий для роста мирового рынка нейроморфных систем является недостаточное количество НИОКР и нехватка инвестиций, что замедляет разработку реальных приложений. Ожидается, что в ближайшие годы значительный рост, который оценивается примерно на уровне 98,3%, продемонстрирует рынок распознавания сигналов из-за востребованности систем машинного зрения и обработки аудио / видео. Кроме того, значительные изменения, связанные с внедрением нейроморфных систем, затронут такие области, как аэрокосмические и оборонные системы, автомобильные системы автономного вождения, смартфоны, робототехника, умные дома, медицинские и телекоммуникационные системы.
Кроме упомянутых в статье IBM, Qualcomm, Synopsys, Intel и BrainChip, разработкой нейроморфных систем сегодня занимаются такие компании, как Applied Brain Research, Samsung, Hewlett Packard, HRL Laboratories, General Vision, Vicarious, Numenta, и целый ряд стартапов – Aspinity, aiCTX AG и др.
Исходя из текущей активности игроков рынка в области проектирования нейроморфных систем можно предположить, что 2021 год станет годом массового появления следующего поколения процессоров для искусственного интеллекта, основанных на принципах нейроморфных вычислений.
ЛИТЕРАТУРА
Modha D. S. TrueNorth: Accelerating From Zero to 64 Million Neurons in 10 Years. IEEE Computer. May 2019.
Bai K., Yi Y. Opening the Black Box of Silicon Chip Design in Neuromorphic Computing. www.intechopen.com
Benjamin B. V., Gao P., McQuinn E., Choudhary S., Chandrasekaran A. R. et al. Neurogrid: A Mixed-Analog-Digital Multichip System for Large-Scale Neural Simulations // Proc. IEEE. May 2014. V. 102, no. 5.
Billaudelle S., Cramer B., Petrovici M. A., Schreiber K., Kappel D., Schemmel J., Meier K. Structural plasticity on an accelerated analog neuromorphic hardware system. Elsevier. Neural Networks (133), 2021. PP. 11–20.
Imam N., Cleland T. A. Rapid online learning and robust recall in a neuromorphic olfactory circuit // Nature Machine Intelligence. 2020. V. 2. PP. 181–191.
https://en.wikichip.org/wiki/intel/loihi#Die
В. Ежов
Проектирование нейроморфных систем, способных имитировать работу биологических нейронов и синапсов, моделировать когнитивные процессы человеческого мозга, рассматривается как одно из ключевых направлений в области искусственного интеллекта. Исследования, направленные на развитие новых вычислительных парадигм и аппаратную реализацию моделей нейронных сетей, переходят на новый этап – достигнутый в мире технологический уровень позволяет создавать системы на кристалле, содержащие миллионы искусственных нейронов и синапсов. Сегодня проекты в области нейроморфных чипов ведутся многими мировыми игроками – от технологических гигантов до стартапов.
В статье рассмотрены общие принципы построения нейроморфных систем и способы реализации нейронных сетей, представлен обзор перспективных проектов в области нейроморфных вычислений.
Введение
На протяжении нескольких последних десятилетий основной вычислительной моделью для подавляющего большинства компьютерных систем служила архитектура фон Неймана. В этой архитектуре память и центральный процессор общаются друг с другом через шину данных, что ограничивает производительность системы, особенно в приложениях с интенсивным использованием данных. Все более широкое внедрение алгоритмов машинного обучения, требующих обработки огромных массивов данных, а также физические ограничения КМОП-технологии заставляют искать альтернативу процессорам с классической архитектурой для создания систем с искусственным интеллектом.
В отличие от последовательных систем, к которым относятся фоннеймановские процессоры, в человеческом мозге обработка информации производится совершенно по-другому. Каждый из почти 100 млрд нейронов обрабатывает информацию независимо, работая параллельно с другими нейронами и получая сигналы от них через синапсы – связи между нейронами с памятью. На этом принципе строят искусственные аналоги биологического мозга – нейроморфные системы (рис. 1). Аппаратная реализация нейроморфных систем позволяет кардинально повысить вычислительную мощность за счет параллельной обработки данных на множестве процессоров. Сегодня с развитием субмикронных и нанотехнологий создание таких систем становится все более реальной задачей. Речь идет о системах, содержащих в качестве искусственных нейронов несколько десятков тысяч и даже миллионов процессорных ядер. При этом структура каждого процессора-нейрона проще, чем традиционного процессорного ядра, но за счет их огромного числа функциональность системы существенно возрастает.
Следует учитывать еще один важный фактор – энергопотребление. Сегодня основной проблемой мобильных и периферийных устройств являются жестко ограниченные бюджеты потребляемой мощности. Возможности традиционных вычислительных архитектур с точки зрения снижения потребления незначительны. Ответом может стать более эффективная параллельная архитектура в сочетании с возможностью обучения.
Очень важна также возможность системы работать автономно, без постоянного обмена информацией с удаленным сервером или облаком, поскольку это снижает безопасность и быстродействие системы. Поэтому желательно создать самообучающуюся нейроморфную систему, способную обрабатывать данные локально, внутри устройства.
Искусственные нейронные сети
Ключевой инструмент реализации нейроморфных вычислений – искусственные нейронные сети (ИНС), которые представляют собой математические модели, основанные на принципах построения человеческого мозга. На сегодняшний день можно выделить три поколения в развитии ИНС. Нейронные сети первого поколения строились на основе порогового нейрона Маккаллока – Питса или однослойного перцептрона, имели бинарные входы и выходы. Затем появились нейронные сети на основе многослойного перцептрона, а также сети Кохонена, сети Хопфилда, радиальные базисные сети и др.
Сети третьего поколения – это сети глубинного обучения и спайковые (импульсные) нейронные сети. Сети глубинного обучения содержат большое количество слоев, каждый из которых отвечает за свою функцию обработки отдельного элемента входных данных.
Каждый отдельный элемент сети имеет множественные входные связи от элементов предыдущего слоя. Сети глубинного обучения позволяют не только выделять отдельные сложные объекты, но и принимать решения на основе иерархических взаимосвязей между ними.
Самой реалистичной с точки зрения физиологии работы мозга моделью ИНС является спайковая нейронная сеть (СНС), в которой нейроны обмениваются короткими импульсами (спайками) одинаковой амплитуды. Эта модель ИНС известна довольно давно, но только в настоящее время она стала достаточно широко использоваться для решения прикладных задач. СНС принципиально отличается от нейронных сетей второго поколения, используемых аналитиками данных. Такая сеть вместо непрерывно меняющихся во времени значений оперирует дискретными событиями, происходящими в определенные моменты времени. Сеть получает на входы серию импульсов и выдает импульсы на выходе.
Преимущество СНС состоит в том, что импульсный подход позволяет оперировать данными, учитывая расстояния между нейронами и длительность распространения сигнала, то есть в контексте пространства и времени. Поэтому СНС лучше имитируют работу мозга, чем перцептроны, и лучше приспособлены для обработки данных от датчиков.
На рис. 2 показан процесс возбуждения и перехода в состояние покоя биологического нейрона. Как только потенциал на мембране нейрона достигает определенной величины, нейрон реагирует на это, передавая импульс, а мембрана приобретает исходный потенциал.
Сформированная последовательность спайков передается через синапсы к другим нейронам. Для описания этого процесса используются различные модели, в том числе модель Ходжкина – Хаксли, модель «интегрировать-и-сработать» (integrate-and-fire) и ее разновидность – «интегрировать-и-сработать с утечками», моделирующая утечку мембранного потенциала (leaky integrate-and-fire, LIF), а также другие модели.
Мемристор как модель синапса
Основное свойство синапса, соединяющего нейроны, – долговременная пластичность, то есть изменение проводимости синапса при воздействии сигнала и хранение этого состояния. В качестве вариантов реализации искусственного синапса в разное время рассматривались МОП-транзисторы с плавающим затвором, ячейки статической памяти (RAM), различные технологии энергонезависимой памяти: флеш-память, память на основе фазового перехода, сегнетоэлектрическая память (FeRAM), магниторезистивная память (MRAM) и др.
Наиболее перспективным подходом сегодня считается использование в качестве синапса мемристора – энергонезависимого элемента, который относится к классу элементов резистивной памяти (ReRAM). Мемристор представляет собой резистор с эффектом памяти, сопротивление которого изменяется под действием электрического поля и прошедшего заряда. Чем больше прошел заряд, тем больше изменилось сопротивление. Причем в зависимости от полярности протекающего тока оно может меняться как в большую, так и в меньшую сторону. За счет этого реализуется пластичность синапса, которая выражается в изменении эффективности передачи сигнала под действием самого сигнала, проходящего через синапс.
На основе мемристоров может быть достигнута более высокая плотность размещения элементов на чипе, чем на транзисторных синапсах. Используя нанотехнологии можно миниатюризировать этот элемент до единиц нанометров. Кроме того, при использовании мемристивных устройств можно достичь существенного снижения энергопотребления, поскольку для поддержания своего текущего состояния мемристор не затрачивает энергию.
Важным достоинством мемристоров является совместимость с КМОП-технологией, что позволяет размещать ячейки памяти на одном кристалле с другими цепями. Возможна также реализация 3D-интегрированных структур на основе мемристивной сети.
Конструктивно мемристор представляет собой структуру «металл – диэлектрик – металл». Возможно униполярное, биполярное и комплиментарное переключение такой структуры.
Разработаны различные типы мемристоров с сочетанием различных материалов, изменение сопротивления в которых происходит за счет разных физических эффектов. Например, в мемристоре на основе оксида титана переключение элемента из одного состояния проводимости в другое реализуется за счет дрейфа вакансий кислорода. В Национальном исследовательском центре «Курчатовский институт» ведутся исследования возможности использования мемристоров из органических материалов, в частности на основе полианилина (синтетического полимера), в котором переключение между состояниями проводимости происходит при электрохимической реакции окисления – восстановления.
На сегодняшний день остается еще достаточно много нерешенных технических проблем, связанных с мемристорами: необходимо оптимизировать (уменьшить) управляющее напряжение, улучшить воспроизводимость характеристик переключения, досконально изучить механизм переключения.
Современные проекты
в области нейроморфных систем
Первые попытки создания искусственных нейронных систем предпринимались еще в конце прошлого века, но за последние 10–15 лет исследования в этой области вышли на новый уровень и была создана инфраструктура для дальнейшего развития этого направления.
Типы разрабатываемых нейроморфных систем условно можно разделить на три категории:
- системы с предварительным обучением без возможности изменять свои параметры в процессе решения задачи;
- система с предварительным обучением с возможностью изменять некоторые свои параметры в процессе решения задач, например менять веса связей, включать или выключать связи и др.;
- система с возможностью изменять свои параметры в процессе решения задачи, в том числе структуру связей и количество нейронов (что не исключает возможности предварительного обучения).
Один из наиболее крупных проектов осуществляется компанией IBM и рядом ведущих университетов США по заказу Управления перспективных исследований и разработок министерства обороны США (DARPA). В рамках этого проекта, который называется SyNAPSE (Systems of Neuromorphic Adaptive Plastic Scalable Electronics), в 2014 году был создан нейронный процессор TrueNorth, реализующий спайковую нейронную сеть.
Для процессора TrueNorth была разработана специальная событийно-зависимая асинхронная архитектура. Основой чипа является нейросинаптическое ядро, содержащее вычислительные элементы и память в качестве нейронов и синапсов (рис. 3).
TrueNorth содержит 5,4 млрд транзисторов, что позволило реализовать 1 млн нейронов и 256 млн синапсов. Архитектура чипа представляет собой массив из 4 096 нейросинаптических ядер, организованных по схеме 64 × 64. Чип изготовлен по 28‑нм технологическому процессу компании Samsung и занимает площадь 430 мм 2, потребляя в стандартном режиме около 100 мВт. Каждое ядро в архитектуре TrueNorth имеет локальную память, хранящую параметры нейрона, синаптические веса и сведения о маршрутизации импульсов. Недостаток, присущий фоннеймановской архитектуре, устраняется за счет размещения памяти и вычислительных элементов в тесном соседстве.
Каждое ядро имеет 256 входов (аксонов) и 256 выходов (нейронов). Аксоны соединяются с любым подмножеством нейронов при помощи программируемого матричного коммутатора 256 × 256, который обеспечивает связь между любым объектом внутренней сети ядра с любым другим. Каждый нейрон накапливает входные сигналы синапсов и их веса в переменной высокой точности (мембранном потенциале) и генерирует импульс, когда ее значение превышает определенный порог, настраиваемый по отдельности для каждого нейрона.
Для процессора TrueNorth была разработана совершенно новая модель программирования. В отличие от фоннеймановских архитектур, в которых адресуемая основная память используется как для данных, так и для инструкций, в сильно распределенной архитектуре TrueNorth нет центральной адресуемой памяти, из которой можно было бы получить и декодировать инструкции для выполнения в нейронах. Нет в TrueNorth и обычных управляющих операторов, позволяющих организовать циклы и обеспечить ветвление.
В связи с этим была создана специальная среда Corelet Programming Environment – инструмент разработчика, в который входят домен-специфичный язык, позволяющий задавать функциональные сети нейросинаптических ядер, библиотека сетей для типичных применений, а также инструменты развертывания, тестирования и отладки.
На основе процессора TrueNorth были созданы системы различных конфигураций.
Последняя разработка – NS16e‑4, самый крупный на сегодня нейросинаптический компьютер, содержащий 64 млн нейронов и 16 млрд синапсов. Система выполняет порядка 1011 синаптических операций в секунду в расчете на один ватт. Ее общая потребляемая мощность составляет 70 Вт, из которых 15 Вт расходуются всеми 64 процессорами TrueNorth. Для систем на базе процессора TrueNorth сообществом инженеров было создано множество приложений для решения задач, связанных с классификацией, реконструкцией стереоизображений, обработкой аудио, робототехникой, распознаванием объектов и жестов в реальном времени, синтезом речи, обучением нейронных сетей с подкреплением и др.
Еще один известный проект в области нейроморфных вычислений – Neurogrid, который реализуется в лаборатории Brains in Silicon Стэндфордского университета (США). В рамках проекта разработан аналого-цифровой чип, содержащий 65 536 нейронов. Плата, на которой установлено 16 чипов, моделирует нейронную сеть, содержащую 1 млн нейронов.
В 2014 году компания Qualcomm, специализирующаяся на разработке процессоров для мобильных систем, представила однокристальный нейронный процессор Zeroth, способный к самообучению, получая обратную связь от окружающей среды и анализируя ее. В рамках платформы Smart Protect, внедряемой компанией Qualcomm, процессор Zeroth планируется использовать для анализа поведения вредоносных программ и защиты от них мобильных устройств.
В рамках программы Евросоюза по созданию нейроморфных систем BrainScaleS разработан аналого-цифровой КМОП-чип второго поколения BrainScaleS‑2, спроектированный по 65‑нм нормам. По сравнению с первым поколением, в новом чипе добавлена специальная схема, позволяющая гибко программировать алгоритмы обучения нейронной сети на основе пластичности, зависящей от времени спайка (Spike-Timing-Dependent Plasticity, STDP), исполняемые на встроенном микропроцессоре. Чип содержит аналоговую нейронную сеть, состоящую из 512 нейронов (построенных на основе LIF-модели) и 130 тыс. синапсов, АЦП для оцифровки данных с синапсов, блоки цифрового управления и коммуникаций, а также один или несколько микропроцессоров общего назначения, используемых в качестве блоков обработки пластичности (Plasticity Processing Unit, PPU).
Еще одно решение для реализации нейронных сетей предлагает компания Synopsys. В линейке процессоров ARC EV (Embedded Vision) предлагается гибкое и энергоэффективное решение для систем компьютерного зрения на базе сверточных нейронных сетей (convolutional neural network, CNN). CNN – это один из вариантов однонаправленной искусственной нейронной сети для глубинного обучения, которая приобрела большую популярность благодаря эффективности при решении задач в таких областях, как распознавание образов, виртуальная или дополненная реальность и стремительно набирающее обороты направление компьютерного зрения.
Процессоры ARC EV 6‑й серии наряду со скалярным 32‑битным ядром ARC HS также оснащены 512‑битным SIMD / VLIW DSP-процессором и специализированным CNN-модулем.
DSP-процессор исполняет функции обработки изображений, такие как фильтрация, геометрические преобразования, преобразование цветовых пространств и др. CNN-модули отвечают за свертку, сегментацию и классификацию объектов. Количество CNN-модулей и количество MAC-устройств в каждом CNN-модуле выбираются исходя из сложности нейронной сети и требований по производительности и потребляемой мощности.
Процессоры ARC EV6x способны развивать производительность до 4,5 ТMAC / с и обеспечивать обработку нескольких видеопотоков с разрешением 4K. ARC EV поддерживают любые типы сверточных сетей, включая такие распространенные сети, как AlexNet, VGG‑16, GoogLeNet, YOLO, Faster R-CNN, SqueezeNet и ResNet. Особенности реализации специализированного CNN-модуля заключаются в том, что он способен обрабатывать 32‑битные CNN-графы, используя 12‑битные CNN-модули при сохранении качества распознавания и при этом существенно снижая энергозатраты. ARC EV, реализованный на технологии FinFET 16 нм, обладает энергоэффективностью 2 000 ГMAC / Вт ∙ с.
В 2017 году компания Intel анонсировала разработку нейроморфного исследовательского процессора Loihi, обладающего возможностью обучения в режиме реального времени с использованием разных типов обратной связи. Чип, изготавливаемый по 14‑нм технологии, построен на базе спайковой нейронной сети, содержит более 2 млрд транзисторов и включает в себя 130 тыс. нейронов и 130 млн синапсов.
Чип представляет собой многоядерную ИС со 128 нейроморфными ядрами, оснащенную специальной программируемой подсистемой обучения СНС на кристалле. Нейроморфные ядра, содержащие множество нейронов, связаны между собой и получают спайки (импульсы) из других частей сети. После того как полученные спайки накопятся в течение определенного периода времени до установленного порога, ядро пересылает собственные импульсы в подключенные нейроны. Предшествующие спайки подкрепляют друг друга и нейронные связи, в то время как последующие спайки препятствуют соединению, снижая возможность соединения до тех пор, пока все действия не будут остановлены.
Помимо 128 нейроморфных ядер, чип содержит три управляющих x86‑совместимых процессорных ядра Lakemont и коммуникационный интерфейс, который позволяет масштабировать систему. Реализованный на кристалле протокол сети поддерживает до 4 096 ядер на кристалле и до 16 384 чипов.
Все нейроны сети находятся в локальном состоянии со своим собственным набором правил, влияющих на их эволюцию и время генерации спайков. Взаимодействие нейронов полностью асинхронно, носит случайный характер и не зависит от других нейронов в сети.
Связь между ядрами осуществляется с использованием пакетированных, спайковых и барьерных сообщений (для синхронизации).
Каждое из 128 нейроморфных ядер Loihi содержит 1 024 блока примитивов спайковых нейронов, сгруппированных в древовидные структуры. Каждая из этих групп имеет одни и те же входные и выходные соединения, конфигурацию и переменные состояния, которые хранятся в десяти блоках памяти.
Каждое ядро содержит подсистему обучения, которую можно программным способом адаптировать к параметрам сети в процессе работы, например настроить временные параметры спайков и их воздействие, поддерживая контролируемые, неконтролируемые, подкрепляющие и другие обучающие парадигмы.
На базе Loihi компания Intel разработала ряд нейроморфных систем, содержащих различное число чипов для масштабирования вычислительных возможностей (табл. 1).
Ведущие производители и научные организации проводят исследования нейроморфных систем на базе Loihi в различных приложениях. Например, компания Airbus планирует использовать способность Loihi к обучению и масштабированию в режиме реального времени в области цифровой безопасности для обнаружения вредоносных программ.
Компания GE будет искать в нейроморфных платформах Intel средство для оптимизации производственных процессов. Специалисты компании Hitachi рассчитывают с помощью процессоров Loihi оптимизировать обработку Big Data в таких приложениях, как Интернет вещей, сети датчиков, датчики, умная городская инфраструктура и др.
Intel и исследователи из Корнеллского университета продемонстрировали способность чипа Loihi распознавать запахи десяти опасных химических веществ, включая ацетон, аммиак и метан. Потенциально технологию можно использовать в создании роботов для поиска оружия, взрывчатых веществ, наркотиков. Кроме того, чип может быть полезен в медицине при диагностировании болезней. Его также можно использовать для мониторинга окружающей среды на производствах.
В 2018 году австралийская компания BrainChip представила нейроморфную систему на кристалле Akida, реализующую спайковую нейронную сеть с положительной обратной связью. Чип содержит блок преобразования сигналов от датчиков и интерфейсов (USB, PCIe, Ethernet и др.) в массив спайков, которые затем в виде паттернов размещаются в массиве нейронов на чипе. Кристалл содержит 1,2 млн нейронов и 10 млрд синапсов.
В рамках семейства Akida компания BrainChip предлагает как полностью интегрированные СнК, так и IP-блоки для интеграции во встраиваемые решения, такие как специализированные ИС.
Нейроморфная СнК Akida включает в себя нейронную матрицу и процессор Arm для управления ИС и средствами поддержки системы (рис. 4).
СнК Akida также может функционировать в качестве сопроцессора главного компьютера, используя встроенный интерфейс PCIe или интерфейс USB3.0. Интерфейсы I3S и I2C предназначены для ввода данных с датчиков. Встроенный процессор может использоваться для предварительной обработки данных датчиков в автономном режиме или для создания дополнительных методов обучения.
Разработка BrainChip ориентирована на широкий спектр граничных приложений, включая решения для интеллектуальных камер, устройств умного дома, перспективных систем помощи водителю (ADAS) и автономных транспортных средств, робототехники, промышленного мониторинга, Интернета вещей и др.
В России также ведутся исследования и разработки в области нейроморфных систем. В Национальном исследовательском центре «Курчатовский институт» развивается научное направление природоподобных технологий, основанное на конвергенции нано-, био-, инфо-, когнитивных и социогуманитарных (НБИКС) наук. В центре ведутся работы в области мемристоров на основе различных материалов, в частности органических полимеров, а также разработка перспективных архитектур нейроморфных сетей на основе мемристоров. Специалистами НИЦ «Курчатовский институт» была опубликована работа, показывающая теоретическую возможность относительно простой реализации на мемристорах на основе ниобата лития нейроморфных сетей с дофаминовым подкреплением, в которых реализуется аналог субъективного ощущения удовольствия, что позволяет нейросети взаимодействовать с окружающей средой и эффективно самообучаться.
НТЦ «Модуль» разрабатывает и производит микропроцессоры с оригинальной архитектурой NeuroMatrix, вычислительные модули и комплекты программных средств для эмуляции глубинных нейронных сетей. На базе архитектуры NeuroMatrix в 2019 году был разработан нейропроцессор NM6408. Этот 21‑ядерный чип спроектирован по 28‑нм нормам, реализован как вычислительный ускоритель для серверов и обладает пиковой производительностью в 512 Гфлопс. Он ориентирован на обработку больших потоков данных в режиме реального времени, позволяет решать широкий круг задач. Одна из наиболее перспективных областей применения – обработка нейросетевыми приложениями больших массивов видеоданных, например с камер высокого разрешения. Потенциальные заказчики – транспортная отрасль, предприятия сферы безопасности, энергетические компании и др.
В 2020 году еще одна российская компания, IVA Technologies, представила специализированный тензорный процессор на базе собственной архитектуры IVA TPU для ускоренного расчета нейронных сетей. В первом квартале 2021 года планируется выпустить первые образцы этих процессоров. Основа процессора – блок матричного умножения, который выполняет наиболее ресурсоемкие вычисления со скоростью десятков тысяч операций за такт. Особенностью процессора IVA TPU является гибко настраиваемое IP-ядро ускорителя тензорных вычислений. Процессор ориентирован на решение широкого круга задач в таких приложениях, как системы распознавания образов, распознавание голоса и перевод в текстовую форму, детектор ключевых слов, прогнозирование по неструктурированным данным, управление БПЛА и роботизированной техникой и др.
Заключение
Переход на нейроморфную архитектуру на основе новой парадигмы вычислений без разделения процессов обработки и хранения информации обещает дать качественный эффект в решении вычислительных задач и приблизить создание систем с так называемым «сильным» искусственным интеллектом.
Согласно доклада исследовательской и консалтинговой компании IndustryARC (Neuromorphic Sensing and Computing Market Forecast 2020–2025) рынок сенсорных систем и нейроморфных вычислений достигнет к 2025 году объема 560,4 млн долл., то есть совокупные темпы годового роста в период с 2020 по 2025 год составят 84,2%. Это связано со снижением спроса на чипсеты с традиционной архитектурой, а также растущим интересом к приложениям на основе искусственного интеллекта. Ключевые игроки на рынке решений для искусственного интеллекта вкладывают значительные средства в развитие нейроморфных систем, чтобы повысить вычислительные возможности и снизить энергопотребление.
Основную долю рынка нейроморфных систем занимает Северная Америка из-за присутствия в этом регионе крупных производителей нейроморфных чипов. Росту рынка в значительной степени способствует все более широкое использование нейроморфных систем для обработки сложных алгоритмов. Одним из основных препятствий для роста мирового рынка нейроморфных систем является недостаточное количество НИОКР и нехватка инвестиций, что замедляет разработку реальных приложений. Ожидается, что в ближайшие годы значительный рост, который оценивается примерно на уровне 98,3%, продемонстрирует рынок распознавания сигналов из-за востребованности систем машинного зрения и обработки аудио / видео. Кроме того, значительные изменения, связанные с внедрением нейроморфных систем, затронут такие области, как аэрокосмические и оборонные системы, автомобильные системы автономного вождения, смартфоны, робототехника, умные дома, медицинские и телекоммуникационные системы.
Кроме упомянутых в статье IBM, Qualcomm, Synopsys, Intel и BrainChip, разработкой нейроморфных систем сегодня занимаются такие компании, как Applied Brain Research, Samsung, Hewlett Packard, HRL Laboratories, General Vision, Vicarious, Numenta, и целый ряд стартапов – Aspinity, aiCTX AG и др.
Исходя из текущей активности игроков рынка в области проектирования нейроморфных систем можно предположить, что 2021 год станет годом массового появления следующего поколения процессоров для искусственного интеллекта, основанных на принципах нейроморфных вычислений.
ЛИТЕРАТУРА
Modha D. S. TrueNorth: Accelerating From Zero to 64 Million Neurons in 10 Years. IEEE Computer. May 2019.
Bai K., Yi Y. Opening the Black Box of Silicon Chip Design in Neuromorphic Computing. www.intechopen.com
Benjamin B. V., Gao P., McQuinn E., Choudhary S., Chandrasekaran A. R. et al. Neurogrid: A Mixed-Analog-Digital Multichip System for Large-Scale Neural Simulations // Proc. IEEE. May 2014. V. 102, no. 5.
Billaudelle S., Cramer B., Petrovici M. A., Schreiber K., Kappel D., Schemmel J., Meier K. Structural plasticity on an accelerated analog neuromorphic hardware system. Elsevier. Neural Networks (133), 2021. PP. 11–20.
Imam N., Cleland T. A. Rapid online learning and robust recall in a neuromorphic olfactory circuit // Nature Machine Intelligence. 2020. V. 2. PP. 181–191.
https://en.wikichip.org/wiki/intel/loihi#Die
Отзывы читателей
