ARC

ARC — это набор задач для проверки ИИ, известный как «тест на абстрактное мышление». Созданный Франсуа Шолле, он предлагает короткие головоломки с цветными фигурами: даны пары «пример — преобразование», нужно применить то же правило к новой картинке. В отличие от обычных бенчмарков, где модели учатся на миллионах примеров, здесь каждый тест уникален, а правил всего несколько. Поэтому ARC оценивает не память и статистику, а способность выделять суть: симметрию, повторение, движение, количество.

Это важно, потому что современные нейросети отлично распознают образы и генерируют текст, но часто запоминают закономерности из данных вместо настоящего понимания. ARC показывает, насколько ИИ близок к человеческому рассуждению, когда вывод нужно сделать из пары примеров. Для исследователей это детектор, отличающий умную машину от статистического калькулятора.

Как это работает? Представьте: слева синий квадрат, справа — красный круг. Слева синий треугольник, справа — красный круг. Новая картинка — синий шестиугольник. Вы легко догадаетесь, что справа будет красный круг. ИИ решает похожие задачи, перебирая возможные преобразования: сдвиги, повороты, заливки — и выбирая то, что согласуется со всеми примерами. Сложность варьируется от простых до задач с взаимодействием объектов.

ARC используется в соревновании на Kaggle. Победители 2020 года достигли лишь около 20% точности на сложном наборе, тогда как человек без подготовки решает большинство задач за минуты. Это показывает, что абстрактное мышление остаётся главным барьером на пути к сильному ИИ.

Вывод: ARC — лакмусовая бумажка для машинного разума. Пока ИИ решает его слабо, рано говорить о настоящем понимании мира. Но такие тесты заставляют искать новые подходы, выходящие за пределы простого усложнения моделей.