Сложная правда: роботы всё ещё не очень хороши в раскрытии фейковых новостей

По инф. hightech.fm   
18.07.2023 17:00

Исследователь из Университета Висконсин-Стаут сравнили способность самых известных моделей для генеративного искусственного интеллекта отличать реальные новости от фейков. Анализ показал, что лучше всего с задачей справляется Chat GPT-4.0, но даже она уступает людям.

Сложная правда: роботы всё ещё не очень хороши в раскрытии фейковых новостей

Для исследования ученые взяли четыре наиболее популярные языковые модели две версии Chat GPT (3.5 и 4.0), разработанной Open AI, LaMDA, которую использует Google в Bard AI, и Bing AI от Microsoft. Каждой модели предлагали одни и те же новости, которые ранее были проверены экспертами и просили определить, были ли они правдой, ложью или частичной правдой.

«Эффективность моделей измерялась на основе того, насколько точно они классифицировали эти сообщения. По сравнению с проверенными фактами, предоставленными независимыми агентствами», — отметил Кевин Матте Карамансьон, автор исследования.

Анализ показал, что Chat GPT-4.0 — последняя доступная версия языковой модели от Open AI показала наилучшие результаты на заданной выборке новостей. Она смогла корректно классифицировать 71% предложенных текстов. Остальные три модели дали правильные ответы в 62-64% случаев.

Этот результат может свидетельствовать о постепенном прогрессе в эффективности подобных систем. Но требует дополнительной проверки на более широкой выборке фейковых новостей. Кроме того, пока все модели уступают профессиональным экспертам, которые проводят проверку фактов. В дальнейшем можно использовать симбиотический подход, при котором сильные стороны моделей будут сочетаться с экспертными навыками, считают авторы исследования.

Ещё кое-что из новостей прогресса:

По инф. hightech.fm

Новости о всякой всячине

 

Владислав Толстов - книжный рецензент

Видеосюжеты
Сергей Шмидт: Срок