Компания Microsoft объявила о доступности инстансов Azure ND MI300X v5 на базе ускорителей AMD Instinct MI300X. Это новое поколение виртуальных машин, которое предлагает максимальный объём памяти HBM и лидирующую производительность в отрасли.
В ноябре прошлого года Microsoft анонсировала подготовку инстансов ND MI300X v5. Одна виртуальная машина состоит из восьми ускорителей с 192 ГБ памяти HBM3, связанных между собой с помощью Infinity Fabric 3.0 и подключённых к хосту через PCIe 5.0. В результате общий объём HBM3 составляет 1,5 ТБ, а пропускная способность — 5,3 ТБ/с.
Отмечено, что виртуальные машины ND MI300X v5 работают на открытой программной платформе AMD ROCm, предоставляющей полный набор инструментов и библиотек для разработки и развёртывания ИИ. ROCm поддерживает популярные фреймворки TensorFlow и PyTorch, а также ИИ-библиотеки Microsoft, такие как ONNX Runtime, DeepSpeed и MSCCL. Более того, ROCm облегчает перенос моделей между платформами, что сокращает затраты.
Компания Hugging Face успешно перенесла свои модели на ND MI300X v5, не меняя код. Благодаря этому производительность выросла в 2–3 раза по сравнению с AMD Instinct MI250.
По материалам:
servernews
