Крупные языковые модели, такие как OpenAI GPT-3, представляют собой объемные нейронные сети, которые в состоянии создавать человекоподобный текст, начиная стихами и, заканчивая программным кодом. Как отмечает Центральная Служба Новостей, данные модели нейросети, которые были обучены с использованием большого количества интернет-данных, берут маленький фрагмент входного текста, а после этого предсказывают текст, который, с большой вероятностью, будет следующим.

       Фото: Unsplash Unsplash

       Но это далеко не все, что могут делать названные модели. Сейчас ученые исследуют любопытное явление, которое известно, как обучение в контексте. В качестве примера приводится следующее - кто-то может передать нейросети несколько примеров текста и их настроения (позитивные или негативные), затем предложить ей новый текст, и нейросеть может дать правильное настроение.

       Ученые из Массачусетса (технологический институт), Google Research и Стэнфордского университета стремятся разгадать тайну работы похожих моделей нейросетей. Исследователи изучили модели, очень похожие на крупные языковые модели, чтобы постараться понять, как они могут обучаться без обновления параметров.

       Моя Москва.онлайн: последние новости

       Транспорт ВС Украины разорвало прямым попаданием сверхточного снаряда ？Краснополь？

       Названы финалисты конкурса ？Всемирный автомобиль года 2023？

       В продажу поступил новый Toyota Prius