Результат оказался выше, чем у среднестатистического человека, который сдаёт такой экзамен
GPT-4, модернизированная языковая модель на основе искусственного интеллекта, выпущенная на этой неделе компанией OpenAI, поддерживаемой Microsoft, набрала 297 баллов на экзамене на адвоката в ходе эксперимента, проведенного двумя профессорами и двумя сотрудниками юридической технологической компании Casetext. Исследователи заявили, что этого достаточно, чтобы быть допущенным к юридической практике в большинстве штатов.
Экзамен на адвоката оценивает знания и рассуждения, он включает в себя эссе и тесты, предназначенные для имитации юридической работы, а также вопросы с несколькими вариантами ответов.
«Большие языковые модели могут соответствовать стандарту, применяемому к юристам-людям почти во всех юрисдикциях США, поскольку решают сложные задачи, требующие глубоких юридических знаний, понимания прочитанного и умения писать», — пишут авторы.
Менее четырех месяцев назад двое из тех же исследователей пришли к выводу , что более ранняя большая языковая модель OpenAI, ChatGPT, не набрала проходного балла на экзамене на степень бакалавра, подчеркнув, насколько быстро совершенствуется технология.
GPT-4 правильно ответила почти на 76% вопросов с несколькими вариантами ответов на экзамене, по сравнению с примерно 50% для ChatGPT, превзойдя на 7% результат среднестатистического человека, который сдаёт этот экзамен.
Дэниел Мартин Кац, профессор юридического колледжа Чикаго-Кент, сказал, что он был больше всего удивлен способностью GPT-4 писать интересные эссе, а также проходить тесты.
Источник ixbt
