eng
DOI: 10.22184/1992-4178.2024.234.3.112.115
На промышленном предприятии системы компьютерного зрения помогают исключить человеческий фактор, сократить издержки, повысить гибкость производства,
обеспечить безопасность на объекте, следить за соблюдением техники безопасности. В статье рассмотрены особенности системы компьютерного зрения «Сокол», разработанной компанией «Квазар» и инженерным центром «АСК».
На промышленном предприятии системы компьютерного зрения помогают исключить человеческий фактор, сократить издержки, повысить гибкость производства,
обеспечить безопасность на объекте, следить за соблюдением техники безопасности. В статье рассмотрены особенности системы компьютерного зрения «Сокол», разработанной компанией «Квазар» и инженерным центром «АСК».
Теги: computer vision system convolutional neural networks machine learning algorithms optical pattern recognition video information алгоритмы машинного обучения видеоинформация оптическое распознавание образов сверточные нейронные сети система компьютерного зрения
Системы компьютерного зрения на промышленных предприятиях
А. Шупов
Системы компьютерного зрения сегодня применяются повсеместно: в промышленности, сельском хозяйстве, оборонной отрасли, авиации, на транспорте и в других областях. На промышленном предприятии системы компьютерного зрения помогают исключить человеческий фактор при работе с продукцией, сократить издержки, повысить гибкость производства, обеспечить безопасность на объекте, следить за соблюдением техники безопасности. Система компьютерного зрения «Сокол» построена на основе алгоритмов машинного обучения и глубокого анализа данных с возможностью автоматического дообучения под конкретную задачу в процессе работы. Это позволяет эффективно анализировать видеоинформацию на различных производственных участках, отслеживать производственные процессы, перемещение сотрудников и их взаимодействие с различными объектами.
Система компьютерного зрения представляет собой набор алгоритмов, который позволяет анализировать видео- и фотоизображения, выделять в них различные объекты, сохранять полученную информацию в базе данных.
С ростом популярности беспилотных летательных аппаратов системы компьютерного зрения получили новый импульс развития. Предварительное программное обучение на большом объеме данных позволяет беспилотникам в автоматическом режиме перемещаться по местности, показывать информацию о найденных объектах, автоматически их распознавать и передавать информацию об их состоянии. Например, при обнаружении танка БПЛА, оснащенный системой компьютерного зрения, может автоматически идентифицировать его и сообщить, в каком состоянии он находится – выведен из строя или активен. Системы компьютерного зрения с использованием БПЛА могут отображать информацию о дислокации и передвижении войск.
В гражданской сфере компьютерное зрение может быть использовано при доставке грузов с помощью беспилотников с использованием карты местности. С помощью компьютерного зрения дроны анализируют окружающую обстановку и двигаются по заданному маршруту. Аналогичный способ применения этих систем в беспилотных автомобилях. Они анализируют происходящее на дороге, размечают границы дороги, анализируют информацию о движении транспортных средств и принимают решение увеличить или уменьшить скорость, повернуть налево или направо, применить экстренное торможение для избежания ДТП и т.д.
Применение систем компьютерного зрения актуально и в сельском хозяйстве. На основе полученного видеоряда в границах заданного периметра можно проанализировать урожайность, выявить причины неурожая, определить области, где урожай не собран.
Системы компьютерного зрения играют важную роль на промышленных предприятиях. Они помогают анализировать производственные процессы, контролировать работу и здоровье сотрудников, а также отслеживать взаимодействие объектов на предприятии. Система компьютерного зрения «Сокол» – одна из последних разработок компании «Квазар» (ООО «Квазар») и Инженерного центра «АСК» (ООО «Инженерный центр «Автоматизирован-
ные системы контроля»).
Система «Сокол» анализирует видеоряд на различных производственных участках, исследует действия сотрудников. Алгоритмы регистрируют (то есть выделяют и предоставляют) информацию о нахождении сотрудника на рабочем месте. Система «Сокол» отображает перемещение сотрудника по заводу, выделяет на видеопотоке действия, которые непосредственно связаны с рабочим процессом, например, взаимодействие сотрудника предприятия с любыми мелкими предметами или более крупными объектами, такими как машина или станок.
Система «Сокол» аккумулирует всю информацию, которую можно собрать и проанализировать на видеопотоке в базе данных, предоставляет должностным лицам информацию о ситуациях, когда оборудование, за которым работает сотрудник, оставлено без присмотра. В каж-дом конкретном случае система может сигнализировать о нарушении правил охраны труда, сбоях в визуальном контроле исправности работы оборудования, что часто приводит к существенным расходам на предприятии.
Система компьютерного зрения «Сокол» содержит несколько модулей, которые работают совместно. Один из этих модулей – ядро машинного обучения и глубокого анализа данных, в котором в параллельном режиме запущены модели и алгоритмы для непрерывной обработки информации (рис. 1). Внутри ядра работают такие алгоритмы, как сверточные нейронные сети, линейные регрессоры, алгоритмы классификации и кластеризации. Совокупность (ансамбль) алгоритмов обеспечивает возможность максимально точного автоматизированного анализа видеоряда.
Перед поступлением в ядро машинного обучения и глубокого анализа данные предварительно обрабатываются: настраивается резкость изображения, цветовая палитра, выделяются зоны интереса. Система компьютерного видения «Сокол» автоматически предлагает оптимальные настройки для изображения, что упрощает процесс внедрения системы на объектах. «Сокол» аккумулирует все необходимые параметры исходного изображения для дальнейшего автоматического его улучшения. После предварительной обработки данные передаются на вход сверточной нейронной сети. Сверточные нейронные сети применяются для оптического распознавания образов, детектирования предметов и их классификации, семантической сегментации и других задач.
При разработке системы «Сокол» была использована архитектура YOLO. Эта архитектура сверточной нейронной сети разделяет изображение на множество зон и классифицирует их. После классификации схожие зоны схлопываются в одну, тем самым система позволяет за один раз произвести детектирование нескольких объектов, таких как машины, люди, животные, заборы, дорожные знаки и др. Можно использовать как предобученные модели, которые есть в открытом доступе, так и разрабатывать и дообучать собственные модели для конкретной сферы применения и конкретного заказчика.
После выделения человека и сбора первичной аналитики взаимодействие происходит непосредственно со скелетной моделью. Скелетную модель можно классифицировать или кластеризовать. Если классификация – это заданная разбивка на классы, по которым ведется анализ, то кластеризация – когда нет заранее заданных классов и нужно подобрать и разбить объекты по каким-либо параметрам, схожим по паттернам. Клас-
теризация скелетной модели может использоваться, когда нет заранее заданного обучения модели, то есть их либо не предоставляет заказчик, либо не было заранее заданной настройки системы. Кластеризация используется, когда мы не знаем, какие есть классы, но собран большой объем данных, и на видеопотоке видно, что действие одного работника похоже на действие другого.
Если же действие одного работника не похоже на действие остальных работников одинаковой должности и выполняющих одинаковые задачи, то можно сделать вывод, что этот работник делает что-то не так. Кластеризация и методы анализа данных варьируются в зависимости от непосредственных целей и задач самого проекта на конкретном объекте. Соответственно, система «Сокол» прогоняет весь видеопоток в модуле ядра машинного
обучения и глубокого анализа и передает аналитику в бекэнд-сервис. Бекэнд-сервис кэширует аналитику для более быстрой выдачи данных – когда их будут запрашивать заново, то не нужно будет обрабатывать весь поток. Данные из кэша, такие как например, весовые коэффициенты предобученных моделей в ядре искусственного интеллекта, в любой момент можно получить по запросу клиента в веб-версии системы «Сокол»,
доступной в Интернете.
Архитектура системы компьютерного зрения «Сокол» выстроена таким образом, что модель можно дообучать в процессе, изменяя, расширяя и дополняя аналитическую выборку. Вопрос безопасности при использовании Интернета весьма актуален, так как в некоторых отраслях промышленности кибербезопасность играет немаловажную роль. В одной из версий системы «Сокол» используется нативное приложение. Версия недоступна в Интернете, однако ее можно использовать на локальном компьютере или сервере, или установить расширения на удаленное средство управления, например, планшет, чтобы он дополнительно производил аналитику и выделял заданные объекты. Таким образом, система будет работать только в закрытом контуре, обеспечивая безопасность от получения внешнего доступа. Возможна установка рядом со средством управления дополнительного коммутирующего устройства, которое будет анализировать видеопоток.
С целью обеспечения безопасности система компьютерного зрения «Сокол» оснащается специальной платой, на которой производятся все вычисления. Система компьютерного зрения актуальна для роботов-курьеров, робо-такси и других роботизированных средств отечественной промышленности, чтобы они могли перемещаться автономно и выполняли задачи, опираясь на аналитические данные и алгоритмы.
Для передачи исходных данных используют специальное связное устройство, которое находится рядом с платой, установленной на роботизированном объекте, и непосредственно перед стартом работы загружает задания и обрабатывает входящий поток переменных. После произведенных действий объект может работать автономно, не опасаясь помех радиосвязи. Также в системе «Сокол» можно настроить различные режимы работы, такие как «возвращение в точку старта», в случае, когда не получилось выполнить задание в течение часа. Набор опций настроек достаточно широк. Весь функционал задач, целей и реакций при их достижении можно окончательно настроить перед началом работы.
В версии системы «Сокол» для производственного сектора видеопоток собирается с камер видеонаблюдения и обрабатывается удаленно на серверах, в облаке. Это быстрее, качественнее и дешевле, чем оснащение чипом каждой камеры. Информация собирается со всех камер в режиме реального времени, отправляется на сервер, который ее анализирует и отображает в личном кабинете на веб-платформе (рис. 2, 3). Внутри системы есть несколько степеней защиты, обеспечена защита также каналов связи между передающими компьютерами на производстве и серверами, которые принимают и анализируют данные с видеокамер.
А. Шупов
Системы компьютерного зрения сегодня применяются повсеместно: в промышленности, сельском хозяйстве, оборонной отрасли, авиации, на транспорте и в других областях. На промышленном предприятии системы компьютерного зрения помогают исключить человеческий фактор при работе с продукцией, сократить издержки, повысить гибкость производства, обеспечить безопасность на объекте, следить за соблюдением техники безопасности. Система компьютерного зрения «Сокол» построена на основе алгоритмов машинного обучения и глубокого анализа данных с возможностью автоматического дообучения под конкретную задачу в процессе работы. Это позволяет эффективно анализировать видеоинформацию на различных производственных участках, отслеживать производственные процессы, перемещение сотрудников и их взаимодействие с различными объектами.
Система компьютерного зрения представляет собой набор алгоритмов, который позволяет анализировать видео- и фотоизображения, выделять в них различные объекты, сохранять полученную информацию в базе данных.
С ростом популярности беспилотных летательных аппаратов системы компьютерного зрения получили новый импульс развития. Предварительное программное обучение на большом объеме данных позволяет беспилотникам в автоматическом режиме перемещаться по местности, показывать информацию о найденных объектах, автоматически их распознавать и передавать информацию об их состоянии. Например, при обнаружении танка БПЛА, оснащенный системой компьютерного зрения, может автоматически идентифицировать его и сообщить, в каком состоянии он находится – выведен из строя или активен. Системы компьютерного зрения с использованием БПЛА могут отображать информацию о дислокации и передвижении войск.
В гражданской сфере компьютерное зрение может быть использовано при доставке грузов с помощью беспилотников с использованием карты местности. С помощью компьютерного зрения дроны анализируют окружающую обстановку и двигаются по заданному маршруту. Аналогичный способ применения этих систем в беспилотных автомобилях. Они анализируют происходящее на дороге, размечают границы дороги, анализируют информацию о движении транспортных средств и принимают решение увеличить или уменьшить скорость, повернуть налево или направо, применить экстренное торможение для избежания ДТП и т.д.
Применение систем компьютерного зрения актуально и в сельском хозяйстве. На основе полученного видеоряда в границах заданного периметра можно проанализировать урожайность, выявить причины неурожая, определить области, где урожай не собран.
Системы компьютерного зрения играют важную роль на промышленных предприятиях. Они помогают анализировать производственные процессы, контролировать работу и здоровье сотрудников, а также отслеживать взаимодействие объектов на предприятии. Система компьютерного зрения «Сокол» – одна из последних разработок компании «Квазар» (ООО «Квазар») и Инженерного центра «АСК» (ООО «Инженерный центр «Автоматизирован-
ные системы контроля»).
Система «Сокол» анализирует видеоряд на различных производственных участках, исследует действия сотрудников. Алгоритмы регистрируют (то есть выделяют и предоставляют) информацию о нахождении сотрудника на рабочем месте. Система «Сокол» отображает перемещение сотрудника по заводу, выделяет на видеопотоке действия, которые непосредственно связаны с рабочим процессом, например, взаимодействие сотрудника предприятия с любыми мелкими предметами или более крупными объектами, такими как машина или станок.
Система «Сокол» аккумулирует всю информацию, которую можно собрать и проанализировать на видеопотоке в базе данных, предоставляет должностным лицам информацию о ситуациях, когда оборудование, за которым работает сотрудник, оставлено без присмотра. В каж-дом конкретном случае система может сигнализировать о нарушении правил охраны труда, сбоях в визуальном контроле исправности работы оборудования, что часто приводит к существенным расходам на предприятии.
Система компьютерного зрения «Сокол» содержит несколько модулей, которые работают совместно. Один из этих модулей – ядро машинного обучения и глубокого анализа данных, в котором в параллельном режиме запущены модели и алгоритмы для непрерывной обработки информации (рис. 1). Внутри ядра работают такие алгоритмы, как сверточные нейронные сети, линейные регрессоры, алгоритмы классификации и кластеризации. Совокупность (ансамбль) алгоритмов обеспечивает возможность максимально точного автоматизированного анализа видеоряда.
Перед поступлением в ядро машинного обучения и глубокого анализа данные предварительно обрабатываются: настраивается резкость изображения, цветовая палитра, выделяются зоны интереса. Система компьютерного видения «Сокол» автоматически предлагает оптимальные настройки для изображения, что упрощает процесс внедрения системы на объектах. «Сокол» аккумулирует все необходимые параметры исходного изображения для дальнейшего автоматического его улучшения. После предварительной обработки данные передаются на вход сверточной нейронной сети. Сверточные нейронные сети применяются для оптического распознавания образов, детектирования предметов и их классификации, семантической сегментации и других задач.
При разработке системы «Сокол» была использована архитектура YOLO. Эта архитектура сверточной нейронной сети разделяет изображение на множество зон и классифицирует их. После классификации схожие зоны схлопываются в одну, тем самым система позволяет за один раз произвести детектирование нескольких объектов, таких как машины, люди, животные, заборы, дорожные знаки и др. Можно использовать как предобученные модели, которые есть в открытом доступе, так и разрабатывать и дообучать собственные модели для конкретной сферы применения и конкретного заказчика.
После выделения человека и сбора первичной аналитики взаимодействие происходит непосредственно со скелетной моделью. Скелетную модель можно классифицировать или кластеризовать. Если классификация – это заданная разбивка на классы, по которым ведется анализ, то кластеризация – когда нет заранее заданных классов и нужно подобрать и разбить объекты по каким-либо параметрам, схожим по паттернам. Клас-
теризация скелетной модели может использоваться, когда нет заранее заданного обучения модели, то есть их либо не предоставляет заказчик, либо не было заранее заданной настройки системы. Кластеризация используется, когда мы не знаем, какие есть классы, но собран большой объем данных, и на видеопотоке видно, что действие одного работника похоже на действие другого.
Если же действие одного работника не похоже на действие остальных работников одинаковой должности и выполняющих одинаковые задачи, то можно сделать вывод, что этот работник делает что-то не так. Кластеризация и методы анализа данных варьируются в зависимости от непосредственных целей и задач самого проекта на конкретном объекте. Соответственно, система «Сокол» прогоняет весь видеопоток в модуле ядра машинного
обучения и глубокого анализа и передает аналитику в бекэнд-сервис. Бекэнд-сервис кэширует аналитику для более быстрой выдачи данных – когда их будут запрашивать заново, то не нужно будет обрабатывать весь поток. Данные из кэша, такие как например, весовые коэффициенты предобученных моделей в ядре искусственного интеллекта, в любой момент можно получить по запросу клиента в веб-версии системы «Сокол»,
доступной в Интернете.
Архитектура системы компьютерного зрения «Сокол» выстроена таким образом, что модель можно дообучать в процессе, изменяя, расширяя и дополняя аналитическую выборку. Вопрос безопасности при использовании Интернета весьма актуален, так как в некоторых отраслях промышленности кибербезопасность играет немаловажную роль. В одной из версий системы «Сокол» используется нативное приложение. Версия недоступна в Интернете, однако ее можно использовать на локальном компьютере или сервере, или установить расширения на удаленное средство управления, например, планшет, чтобы он дополнительно производил аналитику и выделял заданные объекты. Таким образом, система будет работать только в закрытом контуре, обеспечивая безопасность от получения внешнего доступа. Возможна установка рядом со средством управления дополнительного коммутирующего устройства, которое будет анализировать видеопоток.
С целью обеспечения безопасности система компьютерного зрения «Сокол» оснащается специальной платой, на которой производятся все вычисления. Система компьютерного зрения актуальна для роботов-курьеров, робо-такси и других роботизированных средств отечественной промышленности, чтобы они могли перемещаться автономно и выполняли задачи, опираясь на аналитические данные и алгоритмы.
Для передачи исходных данных используют специальное связное устройство, которое находится рядом с платой, установленной на роботизированном объекте, и непосредственно перед стартом работы загружает задания и обрабатывает входящий поток переменных. После произведенных действий объект может работать автономно, не опасаясь помех радиосвязи. Также в системе «Сокол» можно настроить различные режимы работы, такие как «возвращение в точку старта», в случае, когда не получилось выполнить задание в течение часа. Набор опций настроек достаточно широк. Весь функционал задач, целей и реакций при их достижении можно окончательно настроить перед началом работы.
В версии системы «Сокол» для производственного сектора видеопоток собирается с камер видеонаблюдения и обрабатывается удаленно на серверах, в облаке. Это быстрее, качественнее и дешевле, чем оснащение чипом каждой камеры. Информация собирается со всех камер в режиме реального времени, отправляется на сервер, который ее анализирует и отображает в личном кабинете на веб-платформе (рис. 2, 3). Внутри системы есть несколько степеней защиты, обеспечена защита также каналов связи между передающими компьютерами на производстве и серверами, которые принимают и анализируют данные с видеокамер.
Отзывы читателей
