Логотип Сбербанка

       Источник изображения: Олег Яковлев/РБК

       Разработчики SberDevices провели тестирование собственной текстовой модели. По итогам испытаний языковая модель ruRoBERTa уступает лишь человеку.

       Оценка модели производилась с использованием бенчмарка Russian SuperGLUE, который проверяет языковые данные ИИ на логику, здравый смысл, целеполагание и понимание смысла текста, созданный на основе англоязычной методологии GLUE и SuperGlue (General Language Understanding Evaluation - оценка общего понимания языка). По словам разработчиков, этим тестом пользуются все разработчики русскоязычных нейросетей.

       За основу ruRoBERTa была взята другая модель Сбера ruBERT. Обучение проходило на большом количестве русскоязычного текста с использованием суперкомпьютера ？Кристофари？ и заняло три недели. Итоговый набор данных занял 250 гигабайт. По результатам тестов модель ruRoBERTa признана лучшей в мире по распознаванию русского языка и не только запоминает задания, но и освоила разнообразие феноменов языка.

       ？Наша конечная цель — создание надежных интеллектуальных систем для решения разноплановых задач на русском языке, которые могут стать предшественниками сильного искусственного интеллекта отечественной сборки？, — прокомментировал исполнительный вице-президент Сбера Давид Рафаловский.