ТАСС, 14 сентября. Американские и израильские исследователи сравнили результаты работы девяти больших языковых нейросетей при анализе естественности и смысла противоречивых высказываний и пришли к выводу, что ответы чат-бота GPT были самыми близкими к мнениям людей. Выводы ученых были опубликованы в четверг в научном журнале Nature Machine Intelligence.

       "Мы впервые изучили способности больших языковых нейросетей предугадывать то, насколько правдоподобным или нереальным будет считать человек то или иное бессмысленное высказывание. Лучше всего в решении этой задачи проявила себя система GPT, однако при этом и она нередко вела себя совершенно не так, как в подобной ситуации поступал бы человек", - говорится в исследовании.

       К такому выводу пришла группа психологов и нейрофизиологов под руководством доцента Колумбийского университета в Нью-Йорке Кристофера Бальдассано при изучении различий в том, как человек и продвинутые языковые нейросети воспринимают различные формы речи. Для проведения этих опытов ученые собрали группу из ста добровольцев, а также использовали девять самых популярных языковых систем машинного обучения, в том числе GPT-2, ELECTRA и BERT.

       И нейросети, и люди должны были прочитать набор из случайных предложений с абсурдным или логичным содержанием, которые были собраны учеными в одной из популярных социальных сетей, и выбрать один из вариантов, который им казался более естественным. К примеру, они должны были сравнить две фразы: "Это тот нарратив, который нам продали" и "Это та неделя, когда ты умирал".

       Идет загрузка рекламы

       Последующее сравнение ответов людей и систем ИИ показало, что алгоритмы на базе так называемых нейросетей-трансформеров, к числу которых относятся BERT и GPT, чаще всего давали те же ответы, что и люди, по сравнению с рекуррентными нейросетями и прочими типами систем машинного обучения. При этом и GPT, и BERT одинаково хорошо справлялись с самыми естественными предложениями, однако первая нейросеть оказалась в целом успешнее при анализе всех типов высказываний.

       При этом ученые подчеркивают, что даже чат-бот GPT иногда делал "нечеловеческие" суждения при анализе противоречивых высказываний, что не позволяет говорить о том, что он воспринимает лингвистические конструкции так же, как человек. Это ограничивает возможные сферы применения подобных нейросетей, подытожили исследователи.

       О нейросетях GPT

       За последние годы ученые значительно продвинулись в разработке систем искусственного интеллекта и создали нейросети, способные выполнять нетривиальные задачи и даже мыслить креативно. В частности, сейчас существуют нейросети, способные рисовать картины, анализировать тексты, проводить научные эксперименты и ставить медицинские диагнозы.

       Одной из самых продвинутых систем ИИ такого рода является проект GPT-3, созданный в 2020 году американской исследовательской лабораторией OpenAI, и основанные на ее базе нейросети ChatGPT. Они представляют собой продвинутые языковые нейросетевые модели, которые способны использовать "большие данные" из глобальной сети для поиска ответов на различные вопросы, а также генерации статей и компьютерных алгоритмов.