Американский стартап в области искусственного интеллекта, представил самый маленький в мире персональный суперкомпьютер с искусственным интеллектом — Tiiny AI Pocket Lab, официально признанный Книгой рекордов Гиннесса в категории «Самый маленький мини-ПК (100B LLM локально).»
Особенность устройства заключается в его способности запускать LLM с 120 миллиардами параметров полностью автономно, без необходимости подключения к облаку или использования мощных графических процессоров. При этом энергопотребление устройства составляет всего 65 Вт, что существенно ниже, чем у традиционных систем на базе GPU.
Tiiny AI направлен на решение ключевых проблем современного искусственного интеллекта:
- Высокие затраты на электроэнергию
- Экологические риски
- Глобальные сбои в работе облачных сервисов
- Дороговизна обработки больших данных
- Угрозы конфиденциальности
Функциональные возможности Tiiny AI Pocket Lab:
- Многоэтапное мышление
- Глубокое понимание контекста
- Работу с агентами
- Генерацию контента
- Безопасную обработку данных
- Локальное хранение информации с банковским уровнем шифрования
Технологическое превосходство устройства базируется на двух ключевых разработках:
- TurboSparse — технология разреженной активации на уровне нейронов, повышающая эффективность логического вывода
- PowerInfer — открытый механизм логического вывода, ускоряющий работу с LLM путём динамического распределения вычислений между CPU и NPU
Согласно прогнозам Grand View Research, рынок LLM, оцениваемый в 2025 году в 7,4 миллиарда долларов, к 2030 году достигнет 35,4 миллиарда долларов при среднегодовом росте 36,9%. Это делает Tiiny AI Pocket Lab особенно актуальным решением для разработчиков, исследователей, авторов и студентов, работающих в различных отраслях, включая розничную торговлю, электронную коммерцию, здравоохранение и медиа.
Tiiny AI расширяет возможности своего продукта, предлагая пользователям полноценную экосистему с открытым исходным кодом.
Преимущество устройства заключается в его универсальности и совместимости с ведущими ИИ-моделями. Tiiny AI Pocket Lab позволяет всего в один клик установить популярные open-source решения, среди которых:
- OpenAI GPT-OSS
- Llama
- Qwen
- DeepSeek
- Mistral
- Phi
Интегрированная платформа также поддерживает широкий спектр ИИ-агентов с открытым исходным кодом:
- OpenManus
- ComfyUI
- Flowise
- Presenton
- Libra
- Bella
- SillyTavern
Система обновлений обеспечивает пользователям постоянный доступ к новым функциям и улучшениям, включая официальные обновления «по воздуху» (OTA) для аппаратной части устройства.
Технические характеристики Tiiny AI Pocket Lab
Процессор и вычисления
- Центральный процессор: 12-ядерный ARMv9.2
- Искусственный интеллект: специализированный гибридный модуль (SoC + dNPU) с производительностью до 190 TOPS
Память и хранение данных
- Оперативная память: 80 ГБ типа LPDDR5X
- Накопитель: встроенный SSD объёмом 1 ТБ
Производительность
- Поддержка моделей: возможность работы с языковыми моделями (LLM) до 120 миллиардов параметров полностью локально
Энергопотребление
- Базовый TDP: 30 Вт
- Системная мощность: типичное потребление 65 Вт
Габариты и вес
- Размеры: компактные 14,2 × 8 × 2,53 см
- Масса: всего 300 граммов, идеально помещается в карман
Программное обеспечение
- Экосистема: мгновенная установка десятков языковых моделей и фреймворков с открытым исходным кодом
- Автономность: полная независимость от интернета и облачных сервисов
По материалам:
techpowerup
