Похоже, страх того, что ChatGPT «захватит мир и лишит всех людей работы», можно как минимум временно считать неактуальным.
Ученые Стэнфордского и Калифорнийского университетов внимательно изучили производительность базовых моделей GPT-3.5 и GPT-4, выяснив, что за последние месяцы ИИ значительно деградировал.
Как отмечает портал iXBT, боту задавали различные вопросы и оценивали правильность ответов. Причем речь шла не о каких-то абстрактных вещах, а о вполне конкретных. К примеру, ИИ должен был ответить, является ли число 17 077 простым. Дабы лучше понять процесс «размышления» ИИ, а заодно улучшить результат, чат-бота попросили расписывать свои вычисления шаг за шагом. Обычно в таком режиме ИИ отвечает правильно.
Однако это не помогло. Если еще в марте модель GPT-4 давала правильный ответ в 97,6% случаев, то в июне показатель упал… до 2,4%! То есть почти никогда чат-бот не мог правильно ответить на вопрос. В случае GPT-3.5 показатель, напротив, вырос с 7,4% до 86,8%.
Писать и форматировать код ChatGPT стал тоже намного хуже, чем в начале этого года. И в целом «менее охотно отвечал на нужные запросы», часто ошибаясь.
К слову, на снижение «умственных способностей» ChatGPT в последние недели жалуются и пользователи. При этом пока неясно, почему так произошло и предпримет ли что-то компания OpenAI.
Что касается исследователей из Стэнфорда, то и они точно не знают, в чем причина, но есть предположения, что это из-за людей, с которыми он «общается» и сам обучается.
