ИИ научился «понимать» комнаты — как будто он там жил

Новая система под названием 3DGraphLLM учитывает не только сами объекты, но и их пространственные и смысловые связи. Это особенно важно в помещениях с большим количеством предметов, таких как кухни, мастерские или офисы. Модель обучалась на известных датасетах с точными 3D-реконструкциями реальных помещений и текстовыми описаниями объектов. В качестве языковых моделей использовались Vicuna-v1.5 и LLAMA3, которые работают на энергоэффективных устройствах, подходящих для робототехники.

По результатам тестирования 3DGraphLLM превзошла по точности распознавания объектов многие существующие методы, в том числе и другие подходы с языковыми моделями. Модель показала улучшение точности более чем на 7% по сравнению с базовым решением и работает быстрее и экономнее по ресурсам по сравнению с самыми продвинутыми аналогами.