Компания Google запустила чат-бота Meena, назвав свою разработку лучшей среди подобных. По словам инженеров исследовательского подразделения поисковика, их ИИ-система намного «человечнее», способна общаться на любые темы и даже умеет шутить.
Meena тренировали на огромном массиве данных в 341 гигабайт — в основном на диалогах, взятых из социальных сетей. Для сравнения, модель GPT-2 от OpenAI обучалась на материалах объемом в 8,5 раза меньше, пишет Technology Review.
Многие разработчики, говорят в Google, прибегают к различным уловкам, чтобы скрыть факт непонимания сути разговора. Например, на фразу «мне нравится теннис» некоторые чат-боты ответят универсальной репликой «это хорошо», которая имеет смысл, но неконкретна. Более осмысленным стал бы ответ «мне тоже — не перестаю восхищаться Роджером Федерером».
Так умеет делать Meena: в отличие от аналогов, она не уходит от темы и запоминает, о чем с ней говорили. Новая программа, пояснили в Google, не только улавливает контекст — это умеют делать многие другие чат-боты, — но и оценивает, насколько очередное высказывание соотносится с тем, что было произнесено ранее.
Чтобы сравнить Meena с другими чат-ботами, в компании создали новую метрику оценки Sensibleness and Specificity Average (SSA). Meena набрала на этом тесте 79%, в то время как Mitsuku, которая четыре года кряду удостаивалась премии Лёбнера, получила 56%. Диалог с реальным человеком по SSA оценивается в 86%.
Правда, пообщаться с Meena пока нельзя. В Google говорят, что не выпустят чат-бота «на волю», пока не протестируют модель на безопасность и предвзятость.
