Автор образовательного спецкурса фонда «Интеллект» выступила на международной молодежной конференции

25.06.2025

V молодежная конференция «Экспериментальные исследования языка» стартовала в МГУ. Событие впервые проходило на международном уровне, объединив исследователей-лингвистов, желающих лучше разобраться в том, как «живет» и развивается язык.

Доклады охватывали самые разные темы в области изучения языка: от согласования слов до билингвизма, от построения придаточных предложений до сравнения грамотности человека и искусственного интеллекта.

С докладом выступила аспирантка филологического факультета, преподаватель курса «Нейронные сети и их применение в научных исследованиях» Ксения Студеникина. В своем докладе молодая ученая рассказала о том, как на основе данных синтаксических экспериментов был создан бенчмарк КВаС (Корпус Вариативного согласования) для оценки больших языковых моделей.

Датасет доступен в репозитории.

«Оказалось, что нейронные сети лучше справляются с предложениями без вариативного согласования, чем при наличии нескольких согласовательных вариантов. Наилучший результат показала Mistral, худший — Llama. YandexGPT и GigaChat оказались в середине рейтинга. В дальнейшем я планирую протестировать больше моделей и сравнить, насколько модели и люди устойчивы в оценках приемлемости при изменении лексического материала», — уточнила Ксения Студеникина.