Похожие статьи
Группой исследователей из Университета Пердью заявлено, что ChatGPT допускает значительные ошибки при ответах на вопросы по программированию. В статье, представленной в рамках конференции CHI Conference on Human Factors in Computing Systems, они рассказали, как тестировали ChatGPT на вопросах с сайта StackOverflow и измеряли точность его ответов. Информацией об этом делится Tech Xplore.
Сообщается, что ChatGPT и другие подобные чат-боты стали очень популярны среди пользователей, но помимо предоставления полезной информации, они часто дают неправильные ответы, что не всегда сразу очевидно.
По словам ученых, многие студенты-программисты стали использовать чат-ботов не только для помощи в написании кода, но и для получения ответов на вопросы, связанные с программированием. Они проверили точность ответов ChatGPT на 517 вопросов из StackOverflow и обнаружили, что он отвечает правильно только в 52 % случаев. Более того, ответы были длиннее, чем у экспертов-людей, подчеркивают специалисты.
Кроме того, было установлено, что участники исследования предпочитали ответы ChatGPT в 35 % случаев и часто не замечали ошибок — неправильные ответы игнорировались в 39 % случаев.
О светлом будущем заботятся политики, о светлом прошлом – историки, о светлом настоящем – журналисты.
