Фото: championat.com

Исследование: ChatGPT допускает ошибки при ответах на вопросы о программировании

Группой исследователей из Университета Пердью заявлено, что ChatGPT допускает значительные ошибки при ответах на вопросы по программированию. В статье, представленной в рамках конференции CHI Conference on Human Factors in Computing Systems, они рассказали, как тестировали ChatGPT на вопросах с сайта StackOverflow и измеряли точность его ответов. Информацией об этом делится Tech Xplore.

Сообщается, что ChatGPT и другие подобные чат-боты стали очень популярны среди пользователей, но помимо предоставления полезной информации, они часто дают неправильные ответы, что не всегда сразу очевидно.

По словам ученых, многие студенты-программисты стали использовать чат-ботов не только для помощи в написании кода, но и для получения ответов на вопросы, связанные с программированием. Они проверили точность ответов ChatGPT на 517 вопросов из StackOverflow и обнаружили, что он отвечает правильно только в 52 % случаев. Более того, ответы были длиннее, чем у экспертов-людей, подчеркивают специалисты.

Кроме того, было установлено, что участники исследования предпочитали ответы ChatGPT в 35 % случаев и часто не замечали ошибок — неправильные ответы игнорировались в 39 % случаев.

Поделиться:

Подписывайтесь на краткие, но содержательные новости со всего мира
глазами молодого поколения в Телеграм и ВКонтакте.

Почитайте также

Ученые разработали мягкого робота, имитирующего ногу паука

156 Исследователи Индрек Муст и Кадри-Энн Валдур из Технологического института Тартуского университета создали робота по …