eng
Выпуск #10/2019
Д. Кострин, В. Симон, Н. Потрахов, А. Ухов
Компьютерный манипулятор для людей с ограниченными возможностями здоровья
Компьютерный манипулятор для людей с ограниченными возможностями здоровья
Просмотры: 1412
Предложена конструкция компьютерного манипулятора, позиционирование курсора с помощью которого осуществляется перемещением полой трубки внутри ротовой полости пользователя за счет действий языком, зубами или губами, а эмуляция нажатий левой или правой кнопок мыши – за счет выдоха воздуха в трубку или всасывания воздуха из трубки.
DOI: 10.22184/1992-4178.2019.191.10.96.98
DOI: 10.22184/1992-4178.2019.191.10.96.98
Компьютерный манипулятор
для людей с ограниченными возможностями здоровья
Д. Кострин, к. т. н.1, В. Симон 2, Н. Потрахов, д. т. н.3, А. Ухов, д. т. н.4
УДК 004.35 | ВАК 05.11.17
В наши дни сложно представить жизнь человека без применения персонального компьютера (ПК). При этом большое количество людей в силу временных или постоянных физических ограничений не имеют возможности использовать традиционные устройства ввода информации, такие как клавиатура и компьютерная мышь. Для предоставления таким пользователям возможности работы с ПК ведется разработка устройств, позволяющих управлять им без помощи рук. Настоящая работа посвящена разработке компьютерного манипулятора для людей с ограниченными возможностями, выполняющего функции компьютерной мыши, при этом имеющего простую конструкцию и невысокую стоимость.
Устройства, заменяющие компьютерную мышь для людей с физическими ограничениями, в большинстве случаев основаны на применении оптических узлов, таких как инфракрасные датчики, веб-камеры и другие. Данные устройства не всегда достаточно точны и эффективны, а качественные и точные приборы зачастую слишком дорогостоящи и сложны в управлении. Рассмотрим некоторые из существующих приборов такого типа и их основные недостатки.
Анализ недостатков
существующих устройств
Устройство, представленное в [1], предназначено для управления курсором на экране ПК за счет изменения положения головы пользователя. Аппаратный блок устройства состоит из модуля датчика, определяющего движения головы; микрокомпьютера, выполняющего аналого-цифровое преобразование и последовательную передачу данных. Для позиционирования курсора были использованы движения головы вправо, влево, вверх и вниз, а в качестве аналога нажатия кнопок мыши использовался кивок головы. Программное обеспечение на ПК получает последовательные данные и преобразует их в сообщения (перемещение и нажатие кнопок), после чего передает их в операционную систему Windows, которая в свою очередь выполняет требуемые команды.
К недостаткам данного устройства следует отнести сложность в восприятии компьютером необходимых действий, поскольку не каждый потерявший физическую подвижность пользователь сможет с легкостью выполнить кивок, достаточный для фиксации устройством. Кроме того, данное устройство сложно подключить к ПК. Для этого необходимо устанавливать программное обеспечение, а также производить сложную настройку системы.
Другое устройство [2] также предназначено для управления курсором с помощью движений головы. Однако в данном случае эти движения фиксируются с помощью веб-камеры. Она захватывает изображения головы пользователя, а затем ПК обрабатывает эти изображения, чтобы вычислить и преобразовать направление и расстояние перемещения головы в положение курсора и в эмуляцию нажатия кнопок мыши. Чтобы увеличить точность и быстроту распознавания использовалась круглая наклейка в качестве идентификационной метки, которая наклеивается на лоб пользователя. После того, как веб-камера захватывает изображения, программа может распознавать позиции идентификационной метки и перемещать курсор.
К недостаткам данного устройства следует отнести сложность системы в целом и необходимость использования дополнительной метки, что не всегда возможно. Также крайне неудобным для пользователя является необходимость выполнения определенной последовательности движений головы для эмуляции срабатывания кнопки мыши.
Следующее устройство [3] предназначено для управления курсором на экране за счет изменения направления взгляда пользователя. В качестве устройства захвата используется встроенная веб-камера ноутбука. Программа фиксирует направление взгляда на экран и перемещает курсор в заданную точку. Однако в данной статье не указывается, как обеспечивается эмуляция нажатия кнопок мыши. Это можно считать недостатком данного метода, поскольку это отдельная сложная задача, которая требует дополнительного решения. Использование очевидного в данном случае моргания в качестве события эмуляции нажатия кнопки требует сложной программной обработки для выделения полезного сигнала на фоне самопроизвольных движений век.
Устройство, представленное в [4], предназначено для управления курсором с помощью языка. Аппаратный блок устройства состоит из небольшого постоянного магнита, закрепленного на языке с помощью имплантации, прокола или клея, который используется в качестве индикатора. Его движение обнаруживается с помощью набора магниточувствительных датчиков, установленных на гарнитуре вне рта или на внутренней части ортодонтической скобы. Данные отправляются по беспроводной связи в микроконтроллер (МК) с помощью трансивера. Выходные сигналы МК передаются по беспроводной связи в карманный персональный компьютер, который закрепляется на одежде или инвалидной коляске пользователя.
К недостаткам данного устройства следует отнести сложность восприятия необходимых команд, поскольку магнитное поле может повлиять не только на конкретный датчик, но и на соседний. Кроме того, возникает сложность поднесения магнита языком к конкретному датчику, поскольку пользователю трудно отличить положение языка с разницей в несколько миллиметров без конкретной точки привязки.
Можно отметить, что в большинстве рассмотренных устройств возможно двойное толкование действий пользователя, что недопустимо. Далеко не все люди с ограниченными возможностями способны выполнять требуемые действия. Для некоторых устройств необходимо соблюдать строгие правила эксплуатации, что также не всегда возможно.
Таким образом, можно сформулировать некоторые основные требования, предъявляемые к компьютерному манипулятору для людей с ограниченными возможностями:
Новый компьютерный манипулятор
Разработанное устройство представляет собой приставку, которая подключается к ПК по интерфейсу USB и воспринимается операционной системой компьютера как компьютерная мышь. В состав устройства входят печатная плата с МК, двухпозиционный джойстик, а также датчик давления (ДД) (рис. 1). Представленная переносная конструкция с помощью крепежного элемента устанавливается на дужке кровати или на поручнях инвалидного кресла. За счет гибкого штатива устройство подстраивается по высоте и положению, ориентируясь в направлении ротовой полости пациента.
Используемый джойстик представляет собой двухполюсный рокерный резистор. При изменении положения джойстика изменяется сопротивление средней точки делителя и на выходе изменяется сигнал, пропорционально отклонению. На джойстик надевается прочная легкая длинная трубка, которая помещается в ротовую полость пользователя, и за счет рычага пользователь с помощью языка, зубов или губ (в зависимости от функциональных возможностей пациента) перемещает джойстик. В результате сигнал считывается МК и передается на ПК, где курсор передвигается на экране в нужном направлении.
Для эмуляции нажатий правой и левой кнопок мыши используется абсолютный ДД, подсоединенный с помощью тонкого шланга к трубке. Если пользователь втягивает воздух в себя или дует в трубку, с ДД поступает сигнал на МК. Пример сигнала с ДД, обработанного с помощью вейвлет-фильтрации, представлен на рис. 2.
Если давление опускается ниже некоторого порога, то на ПК передается сигнал, эмулирующий нажатие правой кнопки мыши, если же давление поднимается выше верхнего порога, то передается сигнал, эмулирующий нажатие левой кнопки. В ходе проведения экспериментов были выявлены оптимальные условия для срабатывания ДД, которые были учтены на программном уровне.
Все компоненты устройства были выбраны в планарных корпусах для монтажа на печатной плате (ПП) с целью уменьшения габаритов прибора. На рис. 3 представлена трехмерная модель ПП устройства.
Разработанное устройство было протестировано с применением программного пакета, предназначенного для оценки параметров оптических компьютерных мышей. По всем анализируемым параметрам, таким как точность и плавность позиционирования курсора и частота опроса сигнала, разработанное устройство соответствует параметрам обычной оптической мыши. Устройство не требует настройки и установки драйверов на ПК. Для работы его нужно просто подключить к порту USB, через который происходит передача данных, а также питание устройства.
Разработанное устройство имеет следующие преимущества:
Отметим также некоторые небольшие недостатки разработанного устройства:
В заключение отметим, что проведенные испытания разработанного прибора показали, что он способен эффективно заменить компьютерную мышь. Его использование практически не требует времени на привыкание – время на адаптацию разнится в зависимости от физических ограничений пользователя и его индивидуальных особенностей и составляет не более нескольких минут.
Литература
Eom G.-M., Kim K.-S., Kim C.-S., Lee J., Chung S.-C., Lee B., Higa H., Furuse N., Futami R., Watanabe T. Gyro-Mouse for the Disabled: „Click“ and „Position“ Control of the Mouse Cursor // International Journal of Control, Automation, and Systems. 2007. V. 5. № 2. PP. 147–154.
Tsai P.-S., Wu T.-F., Hu N.-T., Chen J.-Y. Assistive computer input device for muscular atrophy patients // Advances in Mechanical Engineering. 2016. V. 8. № 5. PP. 1–10.
Ghani M. U., Chaudhry S., Sohail M., Geelani M. N. GazePointer: A Real Time Mouse Pointer Control Implementation Based On Eye Gaze Tracking // Proceedings of the 16th International Multi Topic Conference (INMIC). 2013. PP. 154–159.
Abbas U., Shaikh M. Z., Panhwer A., Turk S. K., Kumar N. Design and Implementation of Advanced Wireless Tongue Drive / Operated System for Paralyzed, Disabled & Quadriplegic Patients // Journal of Bioengineering & Biomedical Science. 2016. V. 6. № 2. P. 185.
для людей с ограниченными возможностями здоровья
Д. Кострин, к. т. н.1, В. Симон 2, Н. Потрахов, д. т. н.3, А. Ухов, д. т. н.4
УДК 004.35 | ВАК 05.11.17
В наши дни сложно представить жизнь человека без применения персонального компьютера (ПК). При этом большое количество людей в силу временных или постоянных физических ограничений не имеют возможности использовать традиционные устройства ввода информации, такие как клавиатура и компьютерная мышь. Для предоставления таким пользователям возможности работы с ПК ведется разработка устройств, позволяющих управлять им без помощи рук. Настоящая работа посвящена разработке компьютерного манипулятора для людей с ограниченными возможностями, выполняющего функции компьютерной мыши, при этом имеющего простую конструкцию и невысокую стоимость.
Устройства, заменяющие компьютерную мышь для людей с физическими ограничениями, в большинстве случаев основаны на применении оптических узлов, таких как инфракрасные датчики, веб-камеры и другие. Данные устройства не всегда достаточно точны и эффективны, а качественные и точные приборы зачастую слишком дорогостоящи и сложны в управлении. Рассмотрим некоторые из существующих приборов такого типа и их основные недостатки.
Анализ недостатков
существующих устройств
Устройство, представленное в [1], предназначено для управления курсором на экране ПК за счет изменения положения головы пользователя. Аппаратный блок устройства состоит из модуля датчика, определяющего движения головы; микрокомпьютера, выполняющего аналого-цифровое преобразование и последовательную передачу данных. Для позиционирования курсора были использованы движения головы вправо, влево, вверх и вниз, а в качестве аналога нажатия кнопок мыши использовался кивок головы. Программное обеспечение на ПК получает последовательные данные и преобразует их в сообщения (перемещение и нажатие кнопок), после чего передает их в операционную систему Windows, которая в свою очередь выполняет требуемые команды.
К недостаткам данного устройства следует отнести сложность в восприятии компьютером необходимых действий, поскольку не каждый потерявший физическую подвижность пользователь сможет с легкостью выполнить кивок, достаточный для фиксации устройством. Кроме того, данное устройство сложно подключить к ПК. Для этого необходимо устанавливать программное обеспечение, а также производить сложную настройку системы.
Другое устройство [2] также предназначено для управления курсором с помощью движений головы. Однако в данном случае эти движения фиксируются с помощью веб-камеры. Она захватывает изображения головы пользователя, а затем ПК обрабатывает эти изображения, чтобы вычислить и преобразовать направление и расстояние перемещения головы в положение курсора и в эмуляцию нажатия кнопок мыши. Чтобы увеличить точность и быстроту распознавания использовалась круглая наклейка в качестве идентификационной метки, которая наклеивается на лоб пользователя. После того, как веб-камера захватывает изображения, программа может распознавать позиции идентификационной метки и перемещать курсор.
К недостаткам данного устройства следует отнести сложность системы в целом и необходимость использования дополнительной метки, что не всегда возможно. Также крайне неудобным для пользователя является необходимость выполнения определенной последовательности движений головы для эмуляции срабатывания кнопки мыши.
Следующее устройство [3] предназначено для управления курсором на экране за счет изменения направления взгляда пользователя. В качестве устройства захвата используется встроенная веб-камера ноутбука. Программа фиксирует направление взгляда на экран и перемещает курсор в заданную точку. Однако в данной статье не указывается, как обеспечивается эмуляция нажатия кнопок мыши. Это можно считать недостатком данного метода, поскольку это отдельная сложная задача, которая требует дополнительного решения. Использование очевидного в данном случае моргания в качестве события эмуляции нажатия кнопки требует сложной программной обработки для выделения полезного сигнала на фоне самопроизвольных движений век.
Устройство, представленное в [4], предназначено для управления курсором с помощью языка. Аппаратный блок устройства состоит из небольшого постоянного магнита, закрепленного на языке с помощью имплантации, прокола или клея, который используется в качестве индикатора. Его движение обнаруживается с помощью набора магниточувствительных датчиков, установленных на гарнитуре вне рта или на внутренней части ортодонтической скобы. Данные отправляются по беспроводной связи в микроконтроллер (МК) с помощью трансивера. Выходные сигналы МК передаются по беспроводной связи в карманный персональный компьютер, который закрепляется на одежде или инвалидной коляске пользователя.
К недостаткам данного устройства следует отнести сложность восприятия необходимых команд, поскольку магнитное поле может повлиять не только на конкретный датчик, но и на соседний. Кроме того, возникает сложность поднесения магнита языком к конкретному датчику, поскольку пользователю трудно отличить положение языка с разницей в несколько миллиметров без конкретной точки привязки.
Можно отметить, что в большинстве рассмотренных устройств возможно двойное толкование действий пользователя, что недопустимо. Далеко не все люди с ограниченными возможностями способны выполнять требуемые действия. Для некоторых устройств необходимо соблюдать строгие правила эксплуатации, что также не всегда возможно.
Таким образом, можно сформулировать некоторые основные требования, предъявляемые к компьютерному манипулятору для людей с ограниченными возможностями:
- простота эксплуатации;
- легкость подключения;
- исключение двойного толкования действий пользователя;
- невысокая стоимость;
- выполнение всех функций обычной компьютерной мыши.
Новый компьютерный манипулятор
Разработанное устройство представляет собой приставку, которая подключается к ПК по интерфейсу USB и воспринимается операционной системой компьютера как компьютерная мышь. В состав устройства входят печатная плата с МК, двухпозиционный джойстик, а также датчик давления (ДД) (рис. 1). Представленная переносная конструкция с помощью крепежного элемента устанавливается на дужке кровати или на поручнях инвалидного кресла. За счет гибкого штатива устройство подстраивается по высоте и положению, ориентируясь в направлении ротовой полости пациента.
Используемый джойстик представляет собой двухполюсный рокерный резистор. При изменении положения джойстика изменяется сопротивление средней точки делителя и на выходе изменяется сигнал, пропорционально отклонению. На джойстик надевается прочная легкая длинная трубка, которая помещается в ротовую полость пользователя, и за счет рычага пользователь с помощью языка, зубов или губ (в зависимости от функциональных возможностей пациента) перемещает джойстик. В результате сигнал считывается МК и передается на ПК, где курсор передвигается на экране в нужном направлении.
Для эмуляции нажатий правой и левой кнопок мыши используется абсолютный ДД, подсоединенный с помощью тонкого шланга к трубке. Если пользователь втягивает воздух в себя или дует в трубку, с ДД поступает сигнал на МК. Пример сигнала с ДД, обработанного с помощью вейвлет-фильтрации, представлен на рис. 2.
Если давление опускается ниже некоторого порога, то на ПК передается сигнал, эмулирующий нажатие правой кнопки мыши, если же давление поднимается выше верхнего порога, то передается сигнал, эмулирующий нажатие левой кнопки. В ходе проведения экспериментов были выявлены оптимальные условия для срабатывания ДД, которые были учтены на программном уровне.
Все компоненты устройства были выбраны в планарных корпусах для монтажа на печатной плате (ПП) с целью уменьшения габаритов прибора. На рис. 3 представлена трехмерная модель ПП устройства.
Разработанное устройство было протестировано с применением программного пакета, предназначенного для оценки параметров оптических компьютерных мышей. По всем анализируемым параметрам, таким как точность и плавность позиционирования курсора и частота опроса сигнала, разработанное устройство соответствует параметрам обычной оптической мыши. Устройство не требует настройки и установки драйверов на ПК. Для работы его нужно просто подключить к порту USB, через который происходит передача данных, а также питание устройства.
Разработанное устройство имеет следующие преимущества:
- возможность использования в любых условиях за счет простоты конструкции и допустимости крепления к практически любым элементам мебели или к инвалидной коляске;
- доступность за счет невысокой стоимости;
- простота подключения и настройки, поскольку не требуется устанавливать дополнительные программы или драйверы;
- быстрота отклика и плавность перемещения курсора по экрану за счет одноступенчатого преобразования входного сигнала в действие на компьютере.
Отметим также некоторые небольшие недостатки разработанного устройства:
- в отличие от традиционной компьютерной мыши перемещение курсора начинается (и заканчивается) не сразу при приложении усилия, а с небольшой задержкой, что связано с особенностью конструкции – применением отклоняемого в сторону джойстика;
- при невозможности использования движений челюстей или губ пользователя и необходимости применения движений языка наблюдается значительная сложность при перемещении джойстика вниз, что требует перемещения языка из позиции под джойстиком в позицию над ним.
В заключение отметим, что проведенные испытания разработанного прибора показали, что он способен эффективно заменить компьютерную мышь. Его использование практически не требует времени на привыкание – время на адаптацию разнится в зависимости от физических ограничений пользователя и его индивидуальных особенностей и составляет не более нескольких минут.
Литература
Eom G.-M., Kim K.-S., Kim C.-S., Lee J., Chung S.-C., Lee B., Higa H., Furuse N., Futami R., Watanabe T. Gyro-Mouse for the Disabled: „Click“ and „Position“ Control of the Mouse Cursor // International Journal of Control, Automation, and Systems. 2007. V. 5. № 2. PP. 147–154.
Tsai P.-S., Wu T.-F., Hu N.-T., Chen J.-Y. Assistive computer input device for muscular atrophy patients // Advances in Mechanical Engineering. 2016. V. 8. № 5. PP. 1–10.
Ghani M. U., Chaudhry S., Sohail M., Geelani M. N. GazePointer: A Real Time Mouse Pointer Control Implementation Based On Eye Gaze Tracking // Proceedings of the 16th International Multi Topic Conference (INMIC). 2013. PP. 154–159.
Abbas U., Shaikh M. Z., Panhwer A., Turk S. K., Kumar N. Design and Implementation of Advanced Wireless Tongue Drive / Operated System for Paralyzed, Disabled & Quadriplegic Patients // Journal of Bioengineering & Biomedical Science. 2016. V. 6. № 2. P. 185.
Отзывы читателей
