ТАСС, 21 июня. Российские исследователи разработали подход, который позволяет значительным образом улучшить способность чатботов предсказывать намерения пользователей без применения больших языковых моделей. Об этом сообщили в Центре научной коммуникации МФТИ.

       "Исследователи из МФТИ предложили инновационный подход к разработке диалоговых систем, который основан на автоматическом построении диалоговых сценарных графов и предсказании намерений с использованием графовой структуры диалоговых данных. Этот метод не только улучшает точность предсказаний, но и решает другую значимую проблему, связанную с большими языковыми моделями - прозрачностью генерируемых ими ответов", - говорится в сообщении.

       Подход был разработан научным сотрудником МФТИ Дарьей Ледневой и ее коллегой Денисом Кузнецовым. В его основе лежат так называемые графы - математические структуры, состоящие из связанных друг с другом узлов и соединяющих их ребер. Роль первого элемента графов исполняют намерения пользователей, а ребер - переходы между намерениями. Применение подобных графов для обучения систем ИИ в прошлом осложнялось тем, что разработчикам приходилось вручную определять намерения пользователей и особым образом размечать данные.

       "Сценарные диалоговые графы являются распространенным инструментом в разработке диалоговых помощников. Одной из ключевых проблем, связанных с такими графами, является отсутствие необходимой разметки данных для их построения. Однако процесс ручной разметки требует значительных ресурсов, в то время как наш алгоритм автоматически группирует похожие высказывания на основе диалогового корпуса, определяя намерения участников диалога" - пояснила Леднева, чьи слова приводит Центр научной коммуникации МФТИ.

       Этот подход ученые сравнили с работой нескольких уже существующих систем машинного обучения, основанных как на базе различных типов трансформеров, таких как RoBERTa или ConveRT, так и других алгоритмов, не связанных с нейросетями. Проведенные исследователями тесты показали, что использование графов позволяет значительно точнее предсказывать намерения участников чата, чем это делают трансформеры и другие "текстовые" алгоритмы.

       Как надеются ученые, их разработка позволит сделать чатботы более эффективными и удобными для использования, что в особенности касается различных узких предметных областей, в которых сложно работать большим языковым моделям. Применение графового подхода также в перспективе позволит снизить расходы вычислительных ресурсов и энергии на работу данного класса систем машинного обучения, подытожили исследователи.