O GPT-5.6 Sol, da OpenAI, tornou-se o primeiro modelo de fronteira verificado a vencer um jogo completo do ARC-AGI-3, o benchmark interativo que mede inteligência agêntica em ambientes desconhecidos. Na avaliação oficial da ARC Prize, a média pública (Public) foi de 13,33%; o Sol em esforço máximo de raciocínio finalizou o jogo público FT09 com 87% de sucesso e alcançou 7,78% no conjunto semiprivado (Semi-Private), acima dos resultados abaixo de 1% observados em sistemas de fronteira em março de 2026. O número, isoladamente, ainda é pequeno: humanos (humans) resolveram 100% dos ambientes testados (environments), enquanto sistemas de fronteira (frontier systems) ficaram abaixo (below) de 1% em março (March) de 2026. A ARC Prize registrou a primeira vitória de um modelo (first model) em um jogo público (public game) do ARC-AGI-3. A própria ARC Prize atribui o desempenho do Sol à orientação correta (correctly orients itself) em um ambiente novo primeiro (new environment first), antes da execução. A descrição do benchmark exige explorar ambientes novos, adquirir objetivos durante a interação, construir modelos de mundo adaptáveis e aprender continuamente. Quem acompanhou a chegada do GPT-5 e seu raciocínio em tempo real encontra aqui um teste diferente: adaptação interativa em ambiente desconhecido, não apenas uma resposta estática. Para quem pergunta se a inteligência artificial já chegou ao nível humano, a resposta curta é não. O resultado Semi-Private do Sol em max reasoning effort foi 7.78%, enquanto humanos resolvem 100% dos ambientes; essa diferença impede tratar a vitória no FT09 como equivalência geral.
O que é o ARC-AGI-3
O ARC-AGI-3 é um benchmark interativo da ARC Prize, apresentado em uma competição com 2 milhões de dólares em prêmios (prizes) distribuídos em três trilhas (tracks). Diferente de quebra-cabeças estáticos, a terceira geração coloca o agente dentro de ambientes em turnos, como um interactive reasoning benchmark, sem instruções, onde ele precisa descobrir regras, inferir objetivos e planejar ações. A descrição oficial reúne exploração de novel environments, aquisição de objetivos (acquire goals), modelos de mundo adaptáveis (adaptable world models) e aprendizagem contínua (learn continuously). Em vez de receber a resposta certa e aplicá-la, o modelo tem que aprender com a própria experiência: perceber o que importa, escolher ações e adaptar a estratégia sem depender de instruções em linguagem natural. O relatório técnico publicado no arXiv confirma que seres humanos (humans) resolvem 100% dos ambientes (environments), enquanto sistemas de IA de fronteira (frontier systems), em março (March) de 2026, pontuavam abaixo (below) de 1%. O design é propositalmente adversário: a pontuação não mede só se o agente vence, mas quão eficientemente ele vence em relação a uma baseline humana. O relatório técnico chama esse desenho de estrutura de pontuação baseada em eficiência (efficiency-based scoring framework), ancorada em baselines de ações humanas (human action baselines). Assim, a eficiência das ações integra a pontuação, em vez de a avaliação considerar apenas se o agente venceu. A medida permanece restrita aos ambientes do benchmark e não demonstra, sozinha, inteligência geral.
Os números da conquista
Na ficha oficial da ARC Prize para a família GPT-5.6, a ficha de Verified scores registra os valores originais 96.5%, 92.5% e 7.8% para o Model Sol, Variant Max, nos três benchmarks, e a ficha permite comparar o Sol nas três versões do benchmark e separar a média pública da semiprivada. O FT09 foi o primeiro (first) jogo público (public game) do benchmark concluído por um modelo (model) de fronteira verificado; a Artificial Analysis registrou 152 ações contra uma baseline humana de 208. A limitação observada na ficha é mais simples: segundo a própria ARC Prize, apenas o esforço máximo (max reasoning effort) aparece como o único modelo performante (only performant model) no ARC-AGI-3; os demais ajustes da família não repetem esse resultado. A tabela abaixo reúne somente métricas documentadas para o Sol e o FT09.
| Indicador | Resultado |
|---|---|
| Sol Max no ARC-AGI-1 | 96,5% |
| Sol Max no ARC-AGI-2 | 92,5% |
| Sol Max no ARC-AGI-3 | 7,8% |
| Média pública no ARC-AGI-3 | 13,33% |
| Média semiprivada no ARC-AGI-3 | 7,78% |
| Sucesso no FT09 | 87% |
Orientação, não execução
A leitura da ARC Prize é o ponto mais importante do resultado, e ela vai além do número. O Sol não venceu porque executa cada ação com mais precisão (not because it executes better), mas porque se orienta corretamente (correctly orients itself) primeiro em um ambiente novo (new environment first): lê a cena em sua própria linguagem, trata uma hipótese fracassada como motivo para replanejar em vez de se debater e só depois age. Essa leitura é específica do resultado avaliado: a página atribui o desempenho do Sol à orientação correta (correctly orients itself) primeiro em um ambiente novo (new environment first). O eixo medido mudou de acertar a resposta dada para se adaptar a um mundo nunca visto, e a orientação, não a execução, passou a ser o gargalo decisivo. Em termos práticos, agentes precisam aprender com a experiência (learn from experience) dentro de cada ambiente (inside each environment), perceber o que importa e adaptar a estratégia (adapting their strategy) sem instruções em linguagem natural (natural-language instructions). A diferença lembra a de um navegador: errar o rumo no início custa mais do que remar mais forte depois, e a maior parte das falhas de agente (agent failures upstream) acontece antes do código que ele escreve (code they write) ou da ação que ele executa (action they take). O Sol teria conseguido performar justamente porque se posiciona corretamente no ambiente novo em primeiro lugar.
O que muda para agentes
Para quem constrói agentes em produção, o sinal é prático e muda a forma de avaliar modelos. A maioria das falhas reais (agent failures upstream of code and action) não está na execução (execution stage) de uma ação errada, mas na orientação (orientation stage): decidir errado, desde o início, qual função (function) chamar e por quê naquela situação. A página da ARC Prize relaciona o desempenho do Sol à orientação correta (correctly orients itself) em um ambiente novo (new environment first). Como hipótese de engenharia a ser testada, um harness pode reduzir a carga de orientação; o teste deve medir essa carga com descrições de ferramentas, portas de política e logs de auditoria em avaliações repetíveis e delimitadas. O teste pode começar em fluxos delimitados, como triagem de chamados, análise de logs e revisão inicial de código, sem presumir que o benchmark prova transferência para produção. A análise sobre autonomia sem autoridade oferece contexto para comparar níveis de autonomia; quem prefere controles pode auditar agentes e medir onde a orientação quebra antes de escalar.
Limites e ressalvas
É preciso ler o avanço sem hype e sem declarar vitoriosa uma capacidade que mal começou a aparecer. A média Semi-Private documentada do Sol em max reasoning effort foi de 7.78%. Na coluna Max, TR87, SB26, BP35 e G50T aparecem com resultado zero. A capacidade observada só se manifestou no esforço máximo de raciocínio, e o material consultado não demonstra que essa habilidade de orientação se transfira para tarefas de agentes no mundo real fora do conjunto de jogos do benchmark. A própria ARC Prize afirma que o ARC-AGI mostra que escalar modelos por si só (scaling alone) não levará à AGI (will not reach AGI), e define AGI como um sistema que iguala a eficiência de aprendizagem humana (match the learning efficiency of humans). Essa definição exige olhar para a eficiência de aprendizagem, não apenas para uma vitória isolada. Antes de comemorar, vale um roteiro simples para interpretar qualquer novo resultado do ARC-AGI-3 sem se deixar levar por manchetes:
- Confirme o esforço de raciocínio e a pontuação, não apenas a manchete.
- Separe pontuação pública de pontuação semiprivada e verifique se o código foi aberto.
- Compare a eficiência de ações com a baseline humana, não apenas o acerto.
- Veja se a capacidade aparece fora do esforço máximo.
- Confira se o resultado se sustenta em mais de um ambiente.