Project Gameface — это новая игровая мышь с искусcтвенным интеллектом, которая позволяет людям управлять курсором компьютера с помощью движения головы и жестов лица. Люди могут поднять брови, чтобы нажать и перетащить курсор, или открыть рот, чтобы переместить курсор, что делает возможным участие в играх для любого человека.
Что известно
Проект был вдохновлен историей четырехстороннего стримера видеоигр Лэнса Карра, страдающего мышечной дистрофией — прогрессирующим заболеванием, ослабляющим мышцы. Лэнс не позволил своим физическим ограничениям отвлечь его от любви к играм, поэтому для управления курсором он использует мышь, которая отслеживает движения головы. В 2021 году дом Лэнса загорелся, когда он играл в игру, и все это попало в прямой эфир, за которым наблюдали геймеры по всему миру. В результате пожара Лэнс потерял все свое игровое оборудование, включая дорогостоящую мышь, которая была основной технологией, позволявшей ему играть в компьютерные игры.
Тогда для Лэнса разработали Project Gameface — игровую мышь без рук, которая использует решения Google MediaPipe с открытым исходным кодом. Движения головы и жесты лица, полученные с помощью веб-камеры, распознаются моделями машинного обучения для соответствующего перемещения курсора. Чтобы адаптироваться к потребностям разных пользователей, внедрили идею размера жеста, которая позволяет пользователям контролировать, насколько заметным должен быть их жест, чтобы вызвать действие мыши.
Почему это важно
Project Gameface — это новая многообещающая технология, которая способна сделать игры более доступными. Код с открытым исходным кодом доступен в предварительной версии уже сегодня. Инструмент все еще находится в стадии разработки, но он способен изменить жизнь людей, поскольку его создание и поддержка обходятся относительно недорого. Детали можно узнать в репозитории GitHub.