НОВОСТИ / РОССИЯИсследование решает ключевую проблему распределенного обучения — коммуникационные издержки, подчеркнул директор Центра практического искусственного интеллекта Сбербанка Глеб Гусев.
МОСКВА, 12 августа. Исследователи из РФ разработали методику, которая позволяет значительным образом ускорить обучение распределенных и федеративных моделей машинного обучения, а также сократить расход вычислительных ресурсов, необходимых для обмена данными между узлами системы в процессе обучения. Об этом рассказала пресс-служба Сбера.
«Исследование решает ключевую проблему распределенного обучения — коммуникационные издержки. Мы показали, как использовать гомогенность данных в сочетании с техниками сжатия для снижения нагрузки на сеть за счет более редкого обмена информацией сервера с устройствами. Такой подход не только ускоряет процесс обучения большущих моделей, но и сокращает энергозатраты», — прокомментировал открытие директор Центра практического искусственного интеллекта Сбербанка Глеб Гусев, чьи слова приводит пресс-служба Сбера.
Новейший метод для обучения распределенных и федеративных нейросетей был разработан группой российских исследователей из Сбера, МФТИ, Института системного программирования РАН и «Сколтеха». Он позволяет особым образом сжимать и разбивать данные, которыми обмениваются узлы в распределенной сети вычислительных систем, используемых для обучения крупных моделей искусственного интеллекта.
«Нашей целью было объединить современные подходы к эффективным коммуникациям — ускорение, сжатие и учет похожести данных — в единый алгоритм с четкими теоретическими гарантиями. Проведенная нами эмпирическая проверка показывает, что при правильной настройке методов можно радикально сократить время обучения без потерь в точности», — пояснил доцент МФТИ Александр Безносиков, чьи слова приводит пресс-служба Сбера.
Как отмечают исследователи, сделанный ими метод особенно полезен для решения тех задач машинного обучения, где пропускная способность соединения ограничена, а задержки в передаче данных замедляют процесс тренировки системы. В этом отношении он значительно превосходит уже существующие методы ускорения обучения распределенных и федеративных моделей машинного обучения, использующих лишь 1 принцип в процессе работы.
По словам исследователей, их разработка найдет применение в компаниях, использующих распределенное обучение, начиная с финансового сектора и заканчивая телекоммуникационной сферой и промышленностью. Метод сокращает затраты на вычислительные ресурсы и ускоряет внедрение ИИ-моделей на практике, а также он открывает путь к более эффективным алгоритмам и более динамичному развитию ИИ-технологий, подытожили ученые.