ИИ с треском провалил тест для определения интеллекта

ИА БайкалИнформ   
26.03.2025 17:00

Тест ARC-AGI-2 для оценки интеллектуальных способностей ИИ-моделей продемонстрировал огромный разрыв между возможностями современных технологий и человеческим интеллектом, пишет hightech.fm. Модели, такие как o1-pro и R1, набрали не более 1,3%, в то время как люди показали результат в 60%.

ИИ с треском провалил тест для определения интеллекта

Фонд Arc Prize Foundation, который создал этот тест, разработал серию головоломок, в которых ИИ должен анализировать визуальные закономерности, решая задачи на основе разноцветных квадратов. В отличие от предыдущих тестов, ARC-AGI-2 не позволяет моделям использовать прошлый опыт, заставляя их адаптироваться к новым задачам.

В тестировании участвовало более 400 человек, которые в среднем правильно ответили на 60% заданий. Это значительно превышает результаты ИИ, что подтверждает огромный разрыв в решении задач, требующих адаптации и понимания новых концепций.

Шолле, соучредитель Arc Prize Foundation, объяснил, что ARC-AGI-2 является более точным индикатором реального интеллекта ИИ, чем предыдущий тест ARC-AGI-1. В новой версии была исключена возможность решения задач с помощью «метода грубой силы», при котором ИИ использует огромные вычислительные мощности для перебора всех возможных вариантов. Для этого была введена метрика эффективности, которая вынуждает ИИ «на лету» интерпретировать паттерны, а не полагаться на запоминание.

Тест ARC-AGI-1 был основным в течение пяти лет, пока в декабре 2024 года OpenAI не представила модель o3, которая продемонстрировала достижения, сравнявшиеся с человеческим уровнем. Однако, как оказалось, эти результаты были достигнуты за счет значительных вычислительных затрат.

В ответ на растущие опасения о недостаточной объективности критериев для оценки ИИ, Arc Prize Foundation объявила о запуске конкурса Arc Prize 2025. Участники должны будут достичь 85% точности на ARC-AGI-2, при этом не затратив более $0,42 на решение каждой задачи.

Ещё кое-что о науке:

Новости о всякой всячине

 

История Оксаны Костиной, художественная гимнастика

Видеосюжеты
Сергей Шмидт: Срок