Учёные изучили любовь чат-ботов к преувеличениям |
| ИА БайкалИнформ |
| 14.05.2025 17:00 |
|
Исследователи протестировали 10 разных версий больших языковых моделей ChatGPT, DeepSeek, Llama и Claude для создания краткого резюме научных исследований. Большинство моделей регулярно делали более широкие выводы, чем авторы работ. При этом если модели в запросе просили избегать неточностей, уровень искажений в ответах чат-ботов возрастал. Об этом пишет
Исследование оценивало, насколько точно искусственный интеллект резюмирует краткие обзоры и статьи из ведущих научных и медицинских журналов, включая Nature, Science и The Lancet. Тестируя модели в течение года, ученые собрали 4900 рефератов, сгенерированных чат-ботами. Анализ показал, что шесть из десяти моделей систематически преувеличивали утверждения из исходных текстов, как правило, используя широкие обобщения. Например, осторожное заявление авторов «Лечение было эффективным в этом исследовании» заменялось на однозначный вариант «Лечение является эффективным». Подобные обобщения могут ввести читателей в заблуждение, заставив их поверить, что результаты применимы в широком контексте ситуаций. Удивительно, но когда ученые попросили чат-боты избегать неточностей, модели почти в два раза чаще стали делать чрезмерно абстрактные выводы. Исследователи также сравнили резюме одних и тех же статей, созданные чат-ботами и людьми. Неожиданно оказалось, что чат-боты почти в пять раз чаще выдавали широкие обобщения. Примечательно, что новые модели ChatGPT, DeepSeek и Llama допускали больше неточностей, чем предыдущие версии. При этом меньше всего искажений было в отчетах Claude 3.7 Sonnet от компании Anthropic. Ученые рекомендуют пользователям внимательно подбирать подсказки, которые помогут получить менее искаженный вариант, а разработчикам тестировать модели на предмет некорректных обобщений при работе с научной информацией. Ещё кое-что о науке:
|
- Как найти стоящую книгу онлайн и не утонуть в море рекомендаций: советы читателей
- Горе-мать из Братска получила срок за неуплату алиментов
- В Бурятии подросток нашел в подъезде 15 тысяч рублей и сообщил об этом в полицию
- Число многодетных семей в Иркутской области превысило 51 тысячу
- Субсидии на проекционное оборудование получили кинозалы в Усть-Илимске и Черемхово
