YandexGPT 2 успешно сдала ЕГЭ по литературе
Языковая модель YandexGPT 2, разработанная компанией "Яндекс", продемонстрировала способность успешно сдавать ЕГЭ по литературе, набрав в среднем 55 баллов. Этот результат превышает минимальный порог в 40 баллов, необходимый для поступления в высшие учебные заведения, и приближается к среднему показателю в 64 балла, который обычно получают школьники, серьезно готовящиеся к данному экзамену.
ЕГЭ по литературе включает в себя различные задания: проверку эрудиции, оценку стиля и творческих способностей. YandexGPT 2 справилась со всеми этапами: в первой части экзамена модель провела анализ произведения и ответила на вопросы о нём, а во второй части успешно составила сочинение на заданную тему.
Специалисты "Яндекса" использовали для тестирования варианты ЕГЭ по литературе, которые применялись на пробных экзаменах с 2021 по 2023 годы, полученные из Московского центра непрерывного математического образования. Было подтверждено, что в обучающем массиве данных YandexGPT 2 не содержится ответов на данные вопросы, что гарантировало честность проведения эксперимента. Проверку осуществляли эксперты, имеющие официальное право оценивать работы ЕГЭ по литературе.
В отличие от школьников, которые тщательно готовятся к ЕГЭ, изучая специфику предмета, YandexGPT 2 работала без специальной подготовки, что сравнимо с ситуацией, когда взрослый человек сдает школьные экзамены, опираясь на свои общие знания. Обычно для оценки нейросетей используется тест MMLU, включающий вопросы из 57 областей, но он не предусматривает оценку ответов на открытые вопросы и выполнение творческих заданий. Именно поэтому в "Яндексе" выбрали ЕГЭ по литературе как более комплексное испытание для оценки языковой модели.
