Google DeepMind: DiPaCo открывает доступ к сверхмощным ИИ-моделям для всех

Google DeepMind представила открытую и глобально распределённую систему обучения ИИ DiPaCo, которая напоминает работу торрентов для нейронных сетей.

Разработка DeepMind является ответом на недавнее заявление Microsoft и OpenAI о запуске проекта стоимостью $100 млрд. для создания суперкомпьютера следующего поколения и центра обработки данных. Цель заключается в разработке инновационных суперумных ИИ моделей. Инициатива обещает стать значимым событием в сфере ИИ, укрепляя позиции Microsoft и OpenAI в качестве ведущих игроков на рынке.

DiPaCo (Distributed Path Composition) предлагает новаторский подход к обучению нейронных сетей, задействуя вычислительные мощности по всему миру, что позволит масштабировать ИИ модели до размеров, недоступных для традиционных централизованных систем.

Распределенная система DiPaCo

В основе DiPaCo лежат два ключевых алгоритма, которые вместе создают мощный инструмент для разработки сверхумных ИИ моделей:

• DiLoCo, обеспечивающий распараллеливание процессов обработки данных;
• DiPaCo, отвечающий за распараллеливание процессов обучения моделей.

Успех DiPaCo может поставить под вопрос не только ценность многомиллиардных инвестиций Microsoft и OpenAI, но и кардинально изменить направление развития ИИ. Проект имеет потенциал демократизировать доступ к обучению сверхумных ИИ моделей, тем самым разрушая монополию текущих лидеров на рынке и способствуя быстрому прогрессу в области ИИ.

Кроме того, DiPaCo может существенно усложнить задачу для правительств, особенно для США и Китая, которые стремятся регулировать развитие ИИ через контроль над крупными дата-центрами. Распределённая структура DiPaCo делает такой контроль гораздо более сложным и менее эффективным.