Pure Storage представила новую систему хранения данных FlashBlade//EXA, позиционируя её как наиболее производительную платформу на рынке, специально разработанную для работы с ресурсоёмкими приложениями искусственного интеллекта и высокопроизводительных вычислений (HPC).
В отличие от традиционных систем хранения, которые оптимизированы для предсказуемых операций в HPC-средах, современные ИИ-приложения требуют более сложной обработки различных типов данных (текст, изображения, видео) на большом количестве ускорителей. Это создаёт дополнительную нагрузку на систему обработки метаданных.
Инновационная архитектура FlashBlade//EXA позволяет независимо масштабировать ресурсы для работы как с обычными данными, так и с метаданными, что обеспечивает высокую производительность и надёжность при работе с масштабными ИИ-проектами.
Metadata Core — это компонент системы FlashBlade//EXA, который отвечает за работу с метаданными. Он состоит из нескольких частей:
- До 10 шасси высотой 5U каждое, в которых размещаются blade-узлы (по 10 в шасси).
- В каждом узле устанавливаются модули DFM объёмом 37,5 ТБ (от 1 до 4 штук).
- Два дополнительных юнита (2U) занимают модули XFM, обеспечивающие 16 подключений по 400GbE.
Для работы Metadata Core использует операционную систему Purity//FB. Система взаимодействует с GPU-кластером через протокол NFSv4.1 over TCP и управляет передачей данных между узлами хранения и кластером с помощью NFSv3 over RDMA.
Data Node представляет собой масштабируемые узлы хранения данных, которые могут быть реализованы на базе стандартных x86-серверов от различных производителей.
Технические требования к каждому узлу включают:
- процессор с 32 ядрами;
- 192 ГБ оперативной памяти;
- 12–16 NVMe SSD-накопителей (PCIe 4.0/5.0) общим объёмом до 61,44 ТБ;
- два сетевых адаптера 400GbE.
Для построения сетевой инфраструктуры платформы используются компоненты экосистемы NVIDIA: адаптеры ConnectX, коммутаторы Spectrum и компоненты LinkX, что обеспечивает высокую производительность и надёжность системы.
Производительность системы FlashBlade//EXA впечатляет: при операциях чтения в едином пространстве имён она превышает 10 терабайт в секунду. Это позволяет организациям существенно ускорить работу с ИИ-технологиями: быстрее обучать модели и выполнять инференс, эффективнее используя возможности GPU-ускорителей.
Благодаря такой высокой производительности компании могут значительно сократить время и затраты на решение сложных вычислительных задач. Похоже, именно поэтому производитель ориентируется на крупных игроков рынка — гиперскейлеров.
В качестве демонстрации возможностей Pure Storage создала тестовую конфигурацию из 300 узлов, которая показывает впечатляющую производительность в 30 терабайт в секунду.
По материалам:
servernews
