Российские специалисты из T-Bank AI Research и AIRI создали первую в мире модель искусственного интеллекта, способную самостоятельно адаптироваться к новым задачам. Эта технология, называемая обучением в контексте (In-Context Learning), позволяет ИИ-системам адаптироваться к новым условиям без дополнительного обучения.
Обучение в контексте помогает ИИ-агентам адаптироваться к изменениям внешней среды, опираясь на четыре ключевых элемента: состояние (State), переход (Transition), вознаграждение (Reward) и действие (Action). Раньше ИИ-агенты успешно работали с первыми тремя составляющими, однако адаптация по действиям вызывала трудности и требовала повторного обучения при добавлении новых действий.
Модель Headless-AD, основанная на алгоритме дистилляции, решает эту задачу с использованием трёх ключевых изменений: исключение конечного линейного слоя, кодирование действий случайными векторами и интеграция контекста. Благодаря этому модель способна автоматически адаптироваться к новым действиям без потери качества.
В ходе экспериментов было выявлено значительное преимущество Headless-AD. В задачах рекомендательных систем, таких как «Контекстуальные бандиты», модель смогла предложить в пять раз больше товаров по сравнению с обученной моделью AD без необходимости переобучения для нового набора товаров. Также в задаче «Многорукие бандиты» Headless-AD показала результаты на уровне специализированного алгоритма.
По материалам:
ferra
