Роботы научились «видеть» сквозь картон благодаря разработке учёных MIT

Учёные Массачусетского технологического института (MIT) разработали новую технологию визуализации, которая позволит роботам контроля качества на складах «видеть» сквозь картонные коробки и выявлять повреждения скрытых предметов. Разработанная система, получившая название mmNorm, использует миллиметровые волны (mmWave), аналогичные тем, что используются в Wi-Fi, для создания точных трёхмерных реконструкций объектов, скрытых от прямого обзора.

Эти волны способны проникать сквозь такие препятствия, такие пластиковые контейнеры или внутренние стены зданий, отражаясь от объектов. Система mmNorm собирает эти отражения и подаёт их на вход алгоритма, который оценивает форму поверхности объекта. В ходе тестирования новый подход достиг 96% точности реконструкции для различных предметов со сложной формой. Для сравнения, лучшие существующие методы достигают лишь 78% точности.

При этом mmNorm не требует дополнительной полосы пропускания. Эта эффективность позволяет использовать метод в самых разных условиях. Например, mmNorm может помочь роботам на фабрике или в доме различать инструменты, спрятанные в ящике, и определять их рукоятки, чтобы они могли более эффективно брать и манипулировать предметами.

Иллюстрация: Leonardo

Ключевым отличием mmNorm от традиционных радаров, является учёт явления зеркальности отражения волн. В то время как старые методы игнорировали этот параметр, mmNorm использует информацию о направлении отражённого сигнала для оценки так нормали поверхности – вектора, перпендикулярного к поверхности в данной точке. Комбинируя оценки нормалей поверхности во всех точках, система реконструирует трёхмерную модель объекта.

Для создания прототипа mmNorm исследователи использовали роботизированную руку с установленным на ней радаром, который непрерывно проводит измерения по мере перемещения вокруг скрытого предмета. Система сравнивает силу получаемых сигналов в разных точках для оценки кривизны поверхности объекта. Сигналы от множества антенн радара «голосуют» за направление нормали поверхности, а затем эти голоса объединяются для получения наиболее вероятного результата.

Система также способна различать несколько объектов, находящихся в одной коробке, и работает с объектами из различных материалов, включая дерево, металл, пластик, резину и стекло, за исключением объектов, скрытых за металлом или очень толстыми преградами.

В будущем учёные планируют улучшить разрешение системы, повысить её производительность для менее отражающих объектов и обеспечить возможность получения изображений сквозь более толстые препятствия. Они также намерены изучить возможности применения mmNorm в различных областях, включая робототехнику и дополненную реальность.