NVIDIA и французская компания Mistral AI представили большую языковую модель (LLM) Mistral NeMo 12B, разработанную специально для решения разнообразных задач корпоративного уровня, таких как создание чат-ботов, обобщение данных и работа с программным кодом.
Модель Mistral NeMo 12B содержит 12 миллиардов параметров и использует контекстное окно размером в 128 тысяч токенов. Для инференса используется формат данных FP8, что, согласно утверждениям разработчиков, позволяет уменьшить объём необходимой памяти и ускорить развёртывание без потери точности ответов.
Во время обучения модели использовалась библиотека Megatron-LM, которая является частью платформы NVIDIA NeMo. Было задействовано 3072 ускорителя NVIDIA H100 на платформе DGX Cloud. Сообщается, что Mistral NeMo 12B успешно решает сложные задачи, такие как многоходовые диалоги, математические проблемы и программирование. Эта модель обладает «здравым смыслом» и «мировыми знаниями». В целом, отмечается точность и надёжность работы модели в различных приложениях.
Модель выпущена под лицензией Apache 2.0 и предлагается в виде NIM-контейнера. По словам разработчиков, внедрение LLM занимает всего несколько минут, а не дней. Для запуска модели достаточно одного ускорителя NVIDIA L40S, GeForce RTX 4090 или RTX 4500. Основные преимущества использования NIM включают высокую эффективность, низкую стоимость вычислений, безопасность и конфиденциальность.
По материалам:
servernews
