Разработка Пекинской академии искусственного интеллекта (BAAI) по своим параметрам в 10 раз превосходит самый мощный существующий генеративный AI — GPT-3. Исследователи рассказали о возможностях новинки, главной особенностью которой стала возможность решать сразу несколько типов сложных задач.
Располагая огромной вычислительной мощностью, нейросеть Wu Dao 2.0 способна выполнять задачи по обработке и генерации естественного языка, имитации текста, распознаванию изображений и созданию фотореалистичных картин по словесному описанию. Учёные продемонстрировали, как их детище пишет эссе, стихи и двустишия на традиционном китайском языке, и даже предсказывает трёхмерные структуры белков. Кроме того, ИИ может использоваться в качестве программной базы для создания виртуальных помощников.
Чтобы обучить модель рекордному количеству параметров в короткие сроки, исследователи BAAI создали систему обучения FastMoE с открытым исходным кодом, похожую на Google Mixture of Experts. Технология на базе вычислительного пакета PyTorch позволяет обучать модель как на кластерах суперкомпьютеров, так и на обычных графических процессорах. Это дало FastMoE большую гибкость, поскольку она не требует труднодоступного оборудования.
Количество параметров обучения Wu Dao 2.0 составляет более 1,75 триллиона — в десять раз больше, чем у GPT-3. Такая производительность позволяет нейросети создавать не только грамотные тексты, но и решать более сложные задачи вроде составления кулинарных рецептов. В отличие от большинства моделей глубокого обучения, которые выполняют единственную задачу, Wu Dao представляет собой более универсальный инструмент. Дата релиза коммерческой версии нейросети разработчиками пока не объявлена.
