Даже самые успешные ИИ всё ещё не понимают нашего мира

Такие ИИ, как GPT-4, показывают впечатляющие результаты, но исследование MIT выявляет их серьёзные ограничения. Эти системы могут создавать правдоподобные ответы, но не обладают настоящим пониманием мира. Об этом пишет hightech.fm.

Трансформеры — это особая архитектура нейронных сетей, которая широко применяется в таких моделях, как GPT-4, BERT и других. Эти модели обучаются на огромных объемах текста, чтобы предсказывать следующие слова или фразы в тексте, анализировать язык и выполнять задачи, связанные с обработкой информации.

В ходе эксперимента исследователи проверили, как хорошо трансформеры могут ориентироваться в Нью-Йорке, создавая маршруты для водителей. Модели действительно показывали почти идеальные результаты, направляя водителей по улицам города. Но когда ученые закрыли несколько улиц и добавили объезды, точность навигации резко упала. Если закрыть даже один процент улиц, точность модели упала с почти 100% до 67%.

После этого ученые решили изучить, как именно модели формируют карты города. Оказалось, что модели не используют реальные карты, а создают свои собственные «воображаемые» карты, на которых улицы часто располагались неправдоподобным образом — с кривыми, которых не существует в реальности, и улицами, которые соединяли далеко расположенные перекрестки. Эти карты не соответствовали реальному городскому плану.

Исследователи также проверили, как ИИ справляется с другими задачами, например, игрой в настольную игру Othello. Оказалось, что модели могут правильно делать ходы, но не понимают правил игры, что еще раз подтверждает, что ИИ не всегда осознает, что происходит.

Чтобы лучше понять, как ИИ формирует модели мира, ученые разработали два новых критерия. Первый, «последовательная отличимость», проверяет, может ли модель различать разные состояния, например, два разных поля в игре. Второй критерий, «сжимаемость последовательностей», проверяет, понимает ли модель, что одинаковые ситуации требуют одинаковых решений.

«Мы надеялись, что ИИ, который решает такие сложные задачи, можно будет применить и в других областях науки. Но важно понять, правильно ли он понимает мир, прежде чем использовать его для новых открытий», — сказал один из авторов исследования, Ашеш Рамбачан.

Команда ученых из MIT и Гарварда добавила, что даже самые успешные модели ИИ могут не понимать основ мира, несмотря на то, что они хорошо решают определенные задачи. Это открытие важно, поскольку оно показывает, что такие модели не всегда можно применять в реальной жизни.

«Нужно не только доверять этим моделям, но и тщательно проверять, для каких задач они подходят», — добавил Рамбачан.

В будущем ученые планируют использовать свои новые методы для анализа более сложных ситуаций, где правила частично известны.

Ещё кое-что о науке:

• Целое море на Марсе: учёные погрузились в историю Красной планеты
• Зачем собаки отряхиваются после купания? Учёные нашли ответ