При посадке самолёта на авианосец человек, находящийся на посадочной полосе, подаёт пилоту знаки жестами, корректируя его действия. Увы, для беспилотных аппаратов такой способ не действует, но это только пока. Студент Массачусетского технологического института Йель Сон попытался решить эту проблему.
Сон и его коллеги записали на видео 24 человека, которые выполняли руками сигналы, которые обычно подают на авианосцах при посадке самолёта. Затем они написали ПО, которое высчитывало по видео, где у человека рука, где плечи и где кисти, а также в какую сторону развёрнуты его ладони. Оно даже определяет поднятый большой палец на руке.
В этом, в принципе, нет ничего сложного, но задача была несколько иной: ПО должно было определять набор жестов, которые обычно отдаются последовательно, быстро сменяя друг друга. Во время посадки человек, руководящий ею, обычно не застывает в одной позиции.
Учёным удалось заставить компьютер понимать последовательные жесты, разбивая видеопоток на сегменты. Например, второй сегмент может начинаться на десятом кадре первого сегмента, третий — на десятом кадре второго и т.д. Для каждого сегмента программа рассчитывает вероятность того, что именно в этот промежуток времени человек показывает определённый жест, который есть в её базе данных. Такой подход срабатывает: специалисты говорят, что в 76 процентах случаев жесты интерпретировались правильно. Учёные не собираются останавливаться на достигнутом и считают, что алгоритм распознавания может быть улучшен.