Для того, чтобы видеть и затем захватывать объекты, роботы обычно используют чувствительные к глубине камеры. Однако такие камеры не могут захватывать прозрачные или блестящие предметы. Ученые из Университета Карнеги-Меллона разработали новую технику обучения роботов, которая помогает машинам видеть такие предметы.
Чувствительные к глубине камеры функционируют, излучая инфракрасные лазерные лучи на объект, затем измеряя количество времени, которое требуется для отражения света от контуров этого объекта и обратно к датчикам на камере.
Хотя эта система достаточно хорошо работает с относительно тусклыми непрозрачными объектами, у технологии есть проблемы с определением прозрачных или блестящих предметов. Через такие объекты проходит большая часть света, а блестящие предметы рассеивают отраженный свет. В новой системе используется цветная оптическая камера, которая также выполняет функцию устройства, измеряющего глубину.
Ученые использовали алгоритм на основе машинного обучения, который был обучен для определения глубины и вывода формулы для захвата объектов. Данные для обучения состояли из изображений глубины прозрачных предметов и цветных фотографий тех же самых объектов, но в непрозрачном виде. Сравнив объем изображений двух типов, алгоритм научился выводить трехмерную форму объектов на цветных изображениях, даже если эти объекты являются прозрачными или блестящими.
После обучения система цветных камер прошла испытания с прозрачными и блестящими предметами. В тестах робот гораздо лучше воспринимал прозрачные и блестящие объекты при использовании новой технологии, по сравнению с использованием стандартной камеры, чувствительной к глубине. Машина могла различать и захватывать предметы.
Исследователи представили результаты работы в видео.
Техника не требует большого количества датчиков, сложного обучения или человеческого руководства, но опирается, прежде всего, на цветную камеру. Исследователи представят новую систему во время виртуальной Международной конференции по робототехнике и автоматизации.
Исследователи считают, что технология может использоваться для разработки кухонных роботов, которые будут взаимодействовать с прозрачными предметами, например, с чашками или блестящими ножами.