Oracle объявила о доступности облачного суперкластера с ускорителями NVIDIA H200, который предназначен для сложных задач искусственного интеллекта, включая обучение крупных языковых моделей (LLM). Вы можете арендовать ресурсы этой системы по цене от 10 долларов в час за один графический процессор.
Масштабируемость кластера позволяет использовать до 65 536 графических процессоров. При использовании максимальной конфигурации теоретическая пиковая производительность достигает 260 эксафлопс для операций FP8, что более чем в четыре раза превышает производительность предыдущих поколений систем. На сегодняшний день это самый мощный суперкомпьютер для искусственного интеллекта, доступный в облачной среде.
Новые экземпляры виртуальных машин получили название BM.GPU.H200.8. Каждый экземпляр типа Bare Metal (без гипервизора) содержит восемь устройств NVIDIA H200 с 141 ГБ памяти HBM3e, соединённых через NVIDIA NVLink. Используются два процессора Intel Xeon Platinum 8480+ поколения Sapphire Rapids (56 ядер, 112 потоков, максимальная частота 3,8 ГГц, мощность 350 Вт). Объём системной памяти DDR5 составляет 3 ТБ. Локальное хранилище состоит из восьми твердотельных накопителей NVMe ёмкостью 3,84 ТБ каждый. Сеть кластера основана на картах Nvidia ConnectX-7 с общей пропускной способностью 3200 Гбит/с (восемь каналов по 400 Гбит/с). Экземпляры также оснащены frontend-сетью с пропускной способностью 200 Гбит/с.
Согласно информации от Oracle, каждый инстанс в суперкластере имеет на 76 % больше памяти HBM по сравнению с виртуальными машинами на базе NVIDIA H100, а пропускная способность памяти увеличилась на 40 %. В результате производительность инференса возросла в 1,9 раза.
По материалам:
servernews
