Claude Fable 5 supera GPT-5.6 Sol em teste de otimização de rede

O engenheiro e pesquisador Charles Azam publicou recentemente os resultados de um benchmark técnico rigoroso avaliando os modelos de inteligência artificial Claude Fable 5 e GPT-5.6 Sol em um problema de otimização de rede classificado como NP-difícil. O teste, executado em contêineres Docker gerenciados pelo ambiente de software Harbor 0.1.43 com autenticação de assinatura ativa, colocou as duas tecnologias frente a frente para resolver o KIRO, um problema de design de redes de fibra óptica originalmente desenvolvido em 2018. O estudo trouxe à tona não apenas o desempenho bruto do modelo de fronteira da Anthropic, considerado um verdadeiro colosso em inteligência lógica pelo autor, mas também revelou que o recurso nativo de persistência /goal não atua como um otimizador universal e pode deteriorar a performance média dos agentes.

O problema de otimização

O benchmark utilizado para avaliar o Claude Fable 5 e o GPT-5.6 Sol é o KIRO, um problema complexo de infraestrutura que exige o design de uma rede de fibra óptica de alta eficiência. O problema foi apresentado originalmente a estudantes de engenharia durante uma maratona de programação (hackathon) no ano de 2018. O próprio criador do benchmark, Charles Azam, passou uma semana inteira escrevendo um solver em linguagem C++ anos atrás para solucionar esse mesmo desafio, estabelecendo assim uma linha de base humana altamente refinada e confiável para medir a capacidade computacional e a lógica das inteligências artificiais testadas no experimento moderno.

A arquitetura matemática do problema KIRO exige que o solver conecte pontos de distribuição e terminais usando estruturas de loops redundantes e cadeias curtas de transmissão, respeitando restrições estruturais severas a partir de matrizes de distância direcionadas das cidades francesas de Grenoble, Nice e Paris. Em termos técnicos, uma rede válida no modelo do KIRO consiste em anéis redundantes ancorados em hubs de distribuição principais, com ramificações curtas pendendo de torres instaladas nesses mesmos loops. Cada torre de transmissão de dados deve aparecer exatamente uma única vez na solução final, e a inversão de qualquer segmento de cabo de fibra óptica pode alterar drasticamente o custo financeiro e técnico da infraestrutura, uma vez que o sentido do fluxo de dados possui impacto direto nas matrizes. O objetivo central de otimização do sistema é minimizar a extensão total de cabo utilizado, de modo que, na escala métrica do benchmark, um score numérico menor representa um resultado substancialmente superior e mais eficiente.

Complexidade do espaço amostral

A dimensão matemática do espaço de busca do problema KIRO impossibilita uma contagem direta por meio de uma fórmula de forma fechada simples, visto que qualquer solução candidata pode empregar um número variável de loops, tamanhos de anéis totalmente flexíveis e ramificações ancoradas de maneiras distintas. No entanto, o subconjunto de dados referente à cidade de Paris fornece um limite inferior bastante elucidativo sobre a vastidão desse desafio matemático. Mesmo que os algoritmos decidissem ignorar completamente o ordenamento sequencial das conexões e a existência de ramificações, a simples tarefa de associar cada um dos 532 terminais de rede ativos a um dos 11 hubs de distribuição primários geraria um total impressionante de 11^532 combinações de atribuição possíveis.

Para obter uma estimativa de limite inferior ainda mais restrita e formal, o autor do benchmark isolou uma família deliberadamente simplificada de soluções válidas para a cidade de Paris. Esse cenário hipotético considera a criação de exatamente 19 loops de transmissão contendo rigorosamente 28 terminais cada, sem a existência de qualquer ramificação secundária. Essa configuração consegue cobrir perfeitamente todos os 532 terminais da rede de forma exata (uma vez que 19 vezes 28 resulta em 532), mantendo-se rigorosamente abaixo do limite máximo imposto de 30 terminais por loop individual. O cálculo combinatório para ordenar os 532 terminais, dividi-los em 19 grupos consecutivos, remover a redundância da ordem dos loops dividindo o resultado por 19 fatorial (19!) e selecionar um dos 11 hubs disponíveis para cada anel resulta na seguinte equação matemática:

(532! / 19!) x 11^19 ~= 10^1223

Esse número astronômico de aproximadamente 10^1223 alternativas ilustra com precisão a natureza NP-difícil do problema de otimização do KIRO, demonstrando o nível extremo de complexidade que o Claude Fable 5 e o GPT-5.6 Sol precisaram enfrentar sem qualquer auxílio de dicas humanas prévias durante o período de processamento do benchmark.

Os resultados dos testes

A metodologia do experimento principal desenhado por Charles Azam foi estruturada de forma estreita e controlada no ambiente CLIArena. A varredura de testes envolveu os modelos de ponta Claude Fable 5, Claude Opus 4.8, Claude Sonnet 5, GPT-5.6 Sol, GPT-5.6 Terra e GPT-5.6 Luna. O orçamento de otimização de tempo foi definido rigidamente em 30 minutos por execução, com um limite de tempo esgotado para o agente externo (timeout) fixado em 1.900 segundos. O parâmetro de raciocínio lógico (reasoning) foi ajustado para a configuração máxima permitida em cada um dos sistemas, rodando de forma isolada dentro de contêineres virtuais com o uso de autenticação de assinaturas comerciais dedicadas.

Antes de concentrar os ciclos computacionais e as repetições na dupla de modelos mais robustos, o pesquisador rodou uma rodada preliminar pareada de 30 minutos sem nenhuma dica ou ajuda textual para cada modelo da lista. Posteriormente, o confronto direto entre as duas principais tecnologias do mercado foi repetido de forma sistemática até que se obtivessem três execuções limpas e pareadas para o Claude Fable 5 e três para o GPT-5.6 Sol. Os dados coletados revelaram métricas precisas comparando o modo convencional (Plain) com o modo persistente que utiliza a instrução nativa /goal:

• Fable 5 (Rodada 1): Plain = 32.197 | /goal = 31.934 (Diferença de -263, indicando melhora com o comando de objetivo).
• Fable 5 (Rodada 2): Plain = 32.516 | /goal = 32.324 (Diferença de -192, demonstrando avanço na otimização).
• Fable 5 (Rodada 3): Plain = 32.446 | /goal = 35.178 (Diferença de +2.732, apontando uma grande regressão de desempenho).
• GPT-5.6 Sol (Rodada 1): Plain = 33.581 | /goal = 39.371 (Diferença de +5.790, representando uma severa perda de eficiência).
• GPT-5.6 Sol (Rodada 2): Plain = 35.539 | /goal = 32.703 (Diferença de -2.836, mostrando excelente otimização tardia).
• GPT-5.6 Sol (Rodada 3): Plain = 33.663 | /goal = 33.313 (Diferença de -350, com ganho sutil de eficiência na rede).

Nas métricas de otimização computacional, valores negativos significam que o uso da ferramenta /goal foi capaz de produzir uma malha de rede com menor consumo total de cabos. O comando obteve sucesso em quatro das seis tentativas diretas de otimização, o que isoladamente faria a funcionalidade parecer amplamente vantajosa. No entanto, as médias matemáticas revelam um cenário diferente: a média do Claude Fable 5 no modo convencional foi de 32.386, subindo para 33.145 com a ativação do objetivo (+759 pontos pior). De forma muito similar, o GPT-5.6 Sol registrou uma média de 34.261 no modo tradicional, saltando para 35.129 sob o comando persistente (+868 pontos pior), muito embora o efeito mediano tenha sido positivo para ambos, com melhora de -192 para o modelo da Anthropic e -350 para o da OpenAI.

A análise comparativa direta evidenciou a superioridade técnica do modelo da Anthropic no benchmark de engenharia civil. A média obtida pelo Claude Fable 5 em seu modo padrão superou a média convencional do GPT-5.6 Sol por uma margem expressiva de 1.875 pontos de eficiência. Quando comparados sob a influência do comando persistente de otimização, a vantagem média do modelo de topo da Anthropic saltou para 1.984 pontos. O fator mais surpreendente documentado na pesquisa de Charles Azam foi a estabilidade do modelo: enquanto a variação de resultados do Fable 5 no modo padrão ficou restrita a uma curtíssima faixa de apenas 319 pontos, a variação do GPT-5.6 Sol no mesmo modo padrão dispersou-se por uma janela de 1.958 pontos. A melhor pontuação geral e limpa do benchmark foi de 31.934, conquistada pelo Fable 5 no modo de persistência ativa, embora a configuração mais segura e confiável tenha sido o modelo operando em modo livre de comandos externos.

Como o comando funciona

Embora as interfaces de linha de comando exponham a instrução /goal de maneira aparentemente idêntica para o usuário final, os mecanismos técnicos de engenharia de software rodando nos bastidores do Claude Code e do Codex operam sob filosofias arquiteturais completamente distintas. No ecossistema proprietário do Claude Code, a funcionalidade é implementada estritamente como um gancho de interrupção (Stop hook) escopado na sessão ativa de execução. Ao final de cada turno de interação do modelo de raciocínio principal, um modelo secundário de avaliação leve — que por padrão é o Haiku — analisa a condição estabelecida para o objetivo e lê todo o histórico recente da conversa. Esse validador secundário retorna uma resposta simples de sim ou não acompanhada de uma justificativa lógica curta; se a resposta for negativa, uma nova iteração é iniciada imediatamente, e se for positiva, a tarefa é encerrada.

A grande limitação técnica desse fluxo no Claude Code reside no fato de que o modelo avaliador Haiku não possui permissões operacionais para utilizar ferramentas de sistema ou para inspecionar os arquivos gerados de forma direta. Ele é obrigado a basear sua decisão analítica exclusivamente no conteúdo textual exposto nas transcrições das conversas. Consequentemente, embora essa arquitetura seja eficiente para identificar e interromper execuções que entraram em loops redundantes óbvios, ela carece de capacidade de inferência para julgar se realizar outras dez milhões de iterações de um algoritmo matemático solver de fato resultará em uma malha de fibra óptica com menor comprimento de cabo. A documentação oficial fornecida pela Anthropic aponta para esse funcionamento fechado, restando aos desenvolvedores confiar nas descrições do fabricante de software, visto que o Claude Code não possui código-fonte aberto para auditoria pública.

Por outro lado, o sistema do benchmark foi capaz de analisar detalhadamente a implementação de código aberto presente na distribuição do Codex CLI 0.144.4. A arquitetura de software desenvolvida para o Codex trata o comando de persistência de meta como um estado de execução persistente gravado diretamente em uma linha de execução (thread). A interface textual do usuário (TUI) salva permanentemente o objetivo definido para aquela sessão de trabalho ativa, enquanto um banco de dados relacional leve rodando em SQLite realiza o gerenciamento físico do status de conclusão e o controle contábil do orçamento computacional disponível para os agentes.

Em termos práticos de ferramentas (tool calling), o modelo ativo que opera sob o ecossistema do Codex recebe acesso explícito a APIs específicas de controle de estado chamadas create_goal, get_goal e update_goal. Caso o canal de processamento de comandos fique completamente ocioso enquanto o objetivo persistente ainda estiver com status ativo, o próprio runtime injeta automaticamente um novo turno de execução continuada contendo o escopo do objetivo e um prompt especializado em auditoria de tarefas terminadas. Isso gera uma dinâmica oposta à do produto da Anthropic: enquanto o Claude Code delega a validação final a uma inteligência artificial externa e independente que só enxerga textos superficiais, o Codex permite que o modelo de trabalho declare a autoconclusão do seu código e retome as suas próprias atividades repetidamente, fazendo com que ele efetivamente avalie a qualidade do seu próprio trabalho de engenharia de software.

O impacto da persistência

A disparidade estatística onde o modo persistente vence a maioria absoluta dos testes individuais, mas ainda assim resulta em uma média aritmética de desempenho geral pior, está diretamente ligada à natureza única dos problemas de otimização algorítmica. Em tarefas tradicionais de engenharia de software e desenvolvimento de sistemas, o progresso costuma ser visível e cumulativo: uma rodada extra de execução do agente pode facilmente corrigir uma falha em um teste unitário ou finalizar uma migração de banco de dados pendente. No entanto, em problemas matemáticos complexos de otimização de caminhos mínimos, uma vez que o agente toma a decisão arquitetural sobre qual solver de busca irá empregar para a resolução, o tempo adicional de execução servirá apenas para amplificar de forma massiva o impacto dessa escolha inicial, seja ela positiva ou desastrosa.

Esse fenômeno matemático de amplificação foi observado de maneira empírica durante a análise detalhada das trajetórias de execução nos laboratórios do benchmark de Charles Azam. O comando de objetivo foi extremamente benéfico quando estendeu o tempo de execução do Claude Fable 5 enquanto ele rodava um portfólio rápido de códigos compilados altamente eficientes, ou quando permitiu ao GPT-5.6 Sol concluir com sucesso um algoritmo complexo de reparticionamento de cadeias de transmissão. Em contrapartida, o recurso de persistência tornou-se prejudicial quando o Fable 5 optou por construir um solver computacionalmente lento e o comando continuou injetando tempo de execução nele, ou quando o GPT-5.6 Sol insistiu em executar uma varredura exaustiva de âncoras na rede que consumia recursos de forma ineficiente. Dessa forma, enquanto a mediana foi ligeiramente beneficiada por pequenos sucessos incrementais, a média estatística sofreu severas distorções devido ao impacto massivo de anomalias negativas (o chamado "bad tail" ou cauda de falhas graves de execução).

Como reproduzir o benchmark

Por tratar-se de uma análise científica baseada em um único problema de otimização NP-difícil não catalogado, e não em uma tabela de classificação de programação genérica (leaderboard), o estudo adota uma abordagem de total transparência operacional. Para mitigar potenciais vieses de infraestrutura, os contêineres de teste expuseram artificialmente oito núcleos de processamento (CPUs) para os ambientes de execução, muito embora os metadados oficiais das tarefas especificassem a alocação de apenas um único núcleo de processamento. Essa diferença de infraestrutura computacional acabou favorecendo as estratégias de portfólio paralelo utilizadas pelo modelo da Anthropic.

Todos os códigos-fonte de teste, scripts de análise de dados, esquemas de empacotamento, geradores de imagens estáticas e relatórios completos estão arquivados de forma pública no repositório de dados conhecido como CLIArena. Para que engenheiros e analistas possam auditar de forma independente e reproduzir com precisão os mesmos resultados estatísticos documentados de tempo de execução e eficiência obtidos no teste, a suíte de ferramentas utiliza o gerenciador de pacotes uv e requer a execução sequencial de comandos de terminal detalhados no script de orquestração do benchmark:

RUN_ID=article-kiro-YYYYMMDD-clean PHASE=nohint-all ./scripts/run_subscription_article_matrix.sh

Após a conclusão do processo de coleta de dados brutos na infraestrutura em nuvem, o processo de consolidação estatística e de geração de métricas de otimização pode ser disparado por meio dos comandos em linguagem Python:

uv run python scripts/summarize_subscription_article_results.py RUN_ID...

uv run python scripts/analyze_subscription_article_results.py RUN_ID...

A conclusão final extraída desse experimento indica que o surgimento de recursos avançados de persistência em agentes de inteligência artificial não garante maior eficiência em sistemas complexos. Em cenários reais de otimização matemática rigorosa, a qualidade lógica e de encadeamento da inteligência artificial dentro do loop de execução é imensamente mais crítica do que a quantidade de tempo adicional que o sistema de persistência continuará injetando para manter o loop ativo de forma repetitiva.