Диваны, столы, рукава и многое другое может превратиться в высокоточные устройства ввода для компьютеров с помощью новой сенсорной системы, разработанной в Мичиганском университете.
Система использует технологию новых микрофонов с костной проводимостью, известных как Voice Pickup Units (VPU), которые улавливают только те акустические волны, которые проходят вдоль поверхности объектов. Она работает в шумной обстановке, вдоль странных геометрических форм, таких как игрушки и руки, а также на мягких тканях, таких как одежда и мебель.
Система, названная SAWSense из-за поверхностных акустических волн, на которые она опирается, распознает различные вводимые данные, такие как касания, царапины и взмахи, с 97% точностью. В одной из демонстраций команда использовала обычный стол для замены трекпада ноутбука.
«Эта технология позволит вам использовать, например, всю поверхность вашего тела как интерактивную поверхность», — говорит Яша Ираванчи, докторант факультета компьютерных наук и инженерии U-M. «Если вы наденете устройство на запястье, вы сможете делать жесты на своей коже. У нас есть предварительные результаты, которые показывают, что это вполне осуществимо».
Постукивания, взмахи и другие жесты посылают акустические волны вдоль поверхности материалов. Затем система классифицирует эти волны с помощью машинного обучения, чтобы превратить все прикосновения в надежный набор входных данных. Система была представлена на прошлой неделе на конференции 2023 Conference on Human Factors in Computing Systems, где она получила награду за лучший доклад. Работа также опубликована в сборнике Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems.
Поскольку все больше объектов продолжают включать в себя умные или подключенные технологии, дизайнеры сталкиваются с рядом проблем при попытке предоставить им интуитивно понятные механизмы ввода. По словам Ираванчи, это приводит к тому, что многие методы ввода, такие как сенсорные экраны, а также механические и емкостные кнопки, оказываются слишком сложными. Сенсорные экраны могут быть слишком дорогими, чтобы обеспечить возможность ввода жестов на больших поверхностях, таких как прилавки и холодильники, в то время как кнопки позволяют осуществлять только один вид ввода в заранее определенных местах.
В прошлом для преодоления этих ограничений использовались микрофоны и камеры для аудио- и жестового ввода, но авторы говорят, что такие методы имеют ограниченное практическое применение в реальном мире.
«Когда много фонового шума или что-то находится между пользователем и камерой, аудио- и визуальный жестовый ввод работают плохо», — сказал Ираванчи.
Чтобы преодолеть эти ограничения, датчики, питающие SAWSense, размещены в герметичной камере, которая полностью блокирует даже очень громкий окружающий шум. Единственный вход в камеру осуществляется через пружинную систему, которая проводит поверхностные акустические волны внутрь корпуса, не вступая в контакт со звуками в окружающей среде. В сочетании с программным обеспечением для обработки сигналов, которое генерирует характеристики из данных, прежде чем передать их в модель машинного обучения, система может записывать и классифицировать события вдоль поверхности объекта.