Инженер 2 категории кафедры теоретической и прикладной лингвистики филологического факультета МГУ имени М. В. Ломоносова Пётр Россяйкин прошел курс «Нейронные сети и их применение в научных исследованиях» и стал одним из победителей конкурса публикаций 7-го потока MSU.AI. Статья опубликована в сборнике Dialogue- 2025 международной конференции по компьютерной лингвистике и интеллектуальным технологиям.
Одна из наиболее известных и изученных задач компьютерной лингвистики – анализ тональности, то есть задача классификации текстов с точки зрения отношения автора к тому, о чем он пишет. Как правило, автоматический анализ тональности применяется к отзывам и рецензиям на товары, услуги, предметы искусства, то есть текстам, которым присуща авторская оценка. Однако тексты других типов содержат мнения в более неявном и противоречивом виде. Например, в текстах новостей часто сообщается об отношении одних лиц или организаций к другим, причем позитивное или негативное отношение может выражаться как в словах, так и в действиях. Если сообщается, что одна компания подала на другую в суд, то это означает негативное отношение первой компании ко второй. Кроме того, в новостных текстах сам автор может выражать разные мнения об упомянутых в нем сущностях. Таким образом, новостные тексты часто не имеют общей тональности (положительной или отрицательной), но содержат множество разных мнений. Автоматическое извлечение мнений из текстовых корпусов может быть использовано для оценки отношения пользователей к продуктам и сервисам, а также при исследовании социальных процессов, например, для оценки отношения в обществе к различным событиям, процессам, личностям и так далее. Формально задача состоит в том, чтобы сопоставить тексту список содержащихся в нем мнений в виде кортежей < источник мнения; объект мнения; выражение, передающее отношение; тональность >.
«Я участвовал в соревновании, посвященном решению этой задачи на материале русскоязычных новостных текстов – RuOpinionNE-2024, итоги которого были подведены на конференции по компьютерной лингвистике и интеллектуальным технологиям «Диалог 2025». Впрочем, соревнование остается открытым, и любой может отправить свое решение и попытаться превзойти лучший результат. Я рассматривал два подхода к решению этой задачи. Первый состоит в том, чтобы предсказывать отношения между отрезками текста. Таким образом, текст рассматривается как граф слов, и необходимо классифицировать ребра графа, соединяющие слова. Этот подход применялся другими авторами на материале других языков и принес лучшие результаты на более раннем соревновании SemEval-2022. Второй подход состоял в том, чтобы с помощью больших языковых моделей напрямую порождать списки мнений исходя из имеющихся в обучающей выборке примеров (подход известен как контекстное обучение языковых моделей)», – рассказал Пётр Россяйкин.
Изначально автор исследовал графовый поход, для чего разработал свой способ графового представления текстов. Однако, ему не удалось получить надлежащее качество, и он стал развивать подход, использующий большие языковые модели, который изначально рассматривал как baseline. Молодой ученый использовал две идеи, чтобы улучшить качество предсказаний. Во-первых, в качестве примеров включал в запрос семантически наиболее похожие тексты из обучающей выборки, для чего ранжировал векторные представления текстов исходя из их сходства с целевым текстом. Во-вторых, использовал несколько языковых моделей и порождал предсказания в несколько этапов, используя предсказания других моделей с предыдущего этапа в качестве ориентира для итогового предсказания. В целом, этот метод значительно проще с точки зрения реализации, чем графовый подход, который использовал изначально, но благодаря нему удалось получить второй по качеству результат на соревновании.
«Кроме того, если рассматривать теоретическую сторону исследования, я обнаружил, что языковые модели склонны менять свои предсказания, если сообщать им предсказания других моделей, причем качество предсказаний улучшается, то есть использование ансамбля языковых моделей дает преимущество по сравнению с использованием одной модели. Я также обнаружил, что рекурсивное порождение предсказаний с использованием одних и тех же моделей не улучшает качество, то есть модели не могут порождать полезную информацию сами для себя, хотя эта возможность может зависеть от формулировки запроса. Насколько мне известно, использование ансамбля языковых моделей ранее никем не рассматривалось при решении этой задачи или схожих задач. Я думаю, что взаимодействие больших языковых моделей в контексте разных задач – перспективное направление дальнейших исследований»,– подытожил автор исследования.
