YADRO предлагает программно-аппаратное решение TATLIN.OBJECT, созданное в России с учётом местных особенностей и не уступающее передовым зарубежным объектным системам хранения данных. Это решение основано на децентрализованном механизме хранения данных, разработанном специалистами компании для работы в сложных условиях, таких как нестабильность интернет-соединения, отказы накопителей или выход из строя некоторых узлов.
Аппаратная часть TATLIN.OBJECT состоит из специализированных серверных платформ, совместимых между собой и поддерживающих подключение 10/25GbE. В качестве накопителей в узлах хранения данных используются Nearline HDD с интерфейсом SAS, а для кэширования возможно установить до четырёх SSD объёмом 1,92 ТБ каждый.
Накопители разделены на «шарды». Каждый шард — это минимальная единица хранения объектов, представляющая собой логическую структуру, состоящую из жёсткого диска и части твёрдотельного накопителя.
Система может сохранять объекты по-разному в зависимости от их размера: большие объекты делятся на несколько меньших, а маленькие, наоборот, объединяются в более крупную структуру. Это обеспечивает оптимальную производительность и эффективное использование дискового пространства, и этот механизм полностью прозрачен для пользователя.
Кроме того, TATLIN.OBJECT отличается высокой надёжностью: в системе отсутствуют критические компоненты, она самостоятельно восстанавливается после сбоев и оснащена механизмом быстрого перемещения данных с неисправного узла. Более того, сам формат хранения данных предусматривает возможность ручного извлечения и восстановления информации!
Также система легко масштабируется до любых размеров, вплоть до сети узлов, распределённых по разным географическим местоположениям. Высокая производительность достигается благодаря механизму, который использует параллельную обработку запросов множеством узлов одновременно.
Кроме того, повышению производительности способствует система интеллектуального сжатия данных, которая адаптируется к типу объекта. А в последней анонсированной версии 1.6.0 TATLIN.OBJECT получил поддержку так называемого «стирающего кодирования». Это устойчивый к ошибкам, распределённый и высокоэффективный метод кодирования, который позволяет избежать многократного увеличения объёма данных, характерного для репликации.
Когда используется EC, данные делятся на фрагменты меньшего размера, которые затем распределяются по узлам хранения. Во время чтения данные собираются снова. Минимальное количество и размер копий, необходимых для полного восстановления данных, обеспечивают высокую производительность и оптимальное использование дискового пространства при соблюдении требований отказоустойчивости.
В дополнение к erasure coding, новая версия TATLIN.OBJECT значительно улучшила систему контроля доступа. IAM-совместимые методы управления доступом к ресурсам СХД были усовершенствованы. Гибкие политики хранения, аудит действий администратора и другие механизмы защиты от несанкционированного доступа также были обновлены.
Разработчики осознают, что системы хранения данных не могут функционировать изолированно, поэтому TATLIN.OBJECT был разработан с учётом совместимости с другими российскими программными продуктами, такими как «Кибер Бэкап», «Кибер Инфраструктура», «Закрома.Хранение», «Закрома.Архив» и другими. Кроме того, обеспечена совместимость с наиболее популярными функциями AWS S3 API.
Также обеспечивается интеграция с корпоративными системами мониторинга и внешними системами тарификации для конечных пользователей хранилища. Поддерживаются REST API для автоматизации, готовые шаблоны Zabbix, а также SDK для языка Go и протоколы protobuf/gRPC API для других языков. TATLIN.OBJECT легко интегрируется с популярной системой визуализации Grafana и платформой Arenadata Hadoop, а благодаря поддержке стандарта OCI Distribution СХД можно применять для хранения образов контейнеров Kubernetes.
Таким образом, TATLIN.OBJECT представляет собой современное универсальное решение для хранения объектов, подходящее, в частности, для создания масштабных CDN-сетей с географически распределёнными кэширующими серверами и возможностью гибкой настройки предоставления услуг по хранению пользовательских данных. Существуют и другие варианты использования, например, хранилище резервных копий или контейнеры Kubernetes.
TATLIN.OBJECT доступна для заказа в виде готового программно-аппаратного комплекса, состоящего минимум из четырёх узлов. Это минимальное количество серверов на один центр обработки данных, а максимальное на сегодняшний день составляет 100 узлов. Каждый узел, как уже упоминалось, может быть оснащён SSD для кэширования чтения и записи. Также он включает 6 или 12 дисков NL-SAS.
Лицензируется только используемое пространство, без учёта резервирования и дублирования, с гранулярностью 1 ТБ. Резервирование и уровень защиты данных определяются настройкой «коэффициента репликации» — либо количеством копий объекта в системе, либо политикой «стирающего кодирования» (erasure coding).
Инженеры компании YADRO занимаются установкой и обновлением TATLIN.OBJECT. Предлагается несколько программ технической поддержки, которые учитывают пожелания заказчиков относительно нормативных сроков реагирования на запросы, особенностей инфраструктуры и других факторов. Компания планирует продолжать активное развитие этого решения: уже на первый квартал 2025 года запланировано внедрение поддержки S3 Lifecycles, виртуальной хостинговой модели адресации, метода PATCH и других новых функций.
По материалам:
servernews
