Модель GPT-5 Pro заняла первое место среди всех проверенных frontier-LLM на закрытом бенчмарке ARC-AGI Semi-Private. Тесте, оценивающем способность к абстрактному рассуждению, стратегическому мышлению и решению сложных задач. Среди официально допущенных к рейтингу моделей он сейчас считается лучшим.
Интересно, что GPT-5 Pro всё ещё уступает экспериментальной версии o3-preview, которую OpenAI тестировала ранее. Версия o3-preview (high) показывала до 87,5 % точности на ARC-AGI-1, но её вычислительная стоимость была в десятки раз выше, что не позволило включить её в публичный лидерборд (по правилам, тесты с compute-стоимостью выше определённого порога не публикуются).
Таким образом, GPT-5 Pro считается самой мощной из доступных и подтверждённых моделей на этом бенчмарке. Это подчеркивает стремление OpenAI сделать свои модели не только сильными, но и эффективными с точки зрения ресурсов.
