Menos contexto para programar: a conta caiu?
Nos agentes que desenvolvem o Fuad Next, contexto menor e prefixo novo vieram com queda observada de 45,5% no custo médio atribuído por PR. Causa isolada e qualidade seguem em aberto.
O contexto de um agente de programação pode reunir a conversa, os arquivos lidos, as saídas de comandos e um bloco de instruções fixas que abre a sessão, que chamo de prefixo. O cache de prompt cobra o trecho repetido a uma tarifa menor que a de entrada nova, mas essas releituras também têm custo e, numa sessão longa, podem se repetir a cada chamada ao modelo. Nesta amostra, antes da mudança, as chamadas do agente principal carregavam em média cerca de 454 mil tokens, unidades de texto.
Encurtei o contexto dos agentes que desenvolvem o Fuad Next no Claude Code e no Specsfy, que organiza o trabalho em especificações (specs). Eles passaram a avisar acima de 200 mil tokens e a compactar perto de 300 mil: o histórico vira um resumo, e a sessão segue dele. O prefixo mudou no mesmo período, e os dados não separam os dois efeitos. O estudo acompanha o contexto dos agentes de desenvolvimento; não mede o contexto oferecido pelo aplicativo a quem o usa.
Comparados aos PRs (pull requests) abertos nos sete dias anteriores, os abertos depois de 9 de novembro de 2026 às 20h39 de Brasília e mesclados até o fim de 14 de novembro tiveram custo médio atribuído por PR, em equivalente à API, de US$ 12,31, contra US$ 22,59, 45,5% a menos. A comparação é observacional, sem tarefas repetidas nem sorteio; quase toda a queda aparece no custo de cada chamada. Qualidade e efeito isolado do contexto seguem sem demonstração.
A conta por PR
Os valores em dólar usam as mesmas tarifas históricas da API da Anthropic nos dois períodos. Conforme a conta, elas são aplicadas aos tokens registrados ou estimados, inclusive nos cenários contrafactuais. São uma régua comum e não demonstram economia na assinatura. O custo de um PR soma leitura e escrita de cache, entrada e saída do agente principal e dos subagentes atribuídos a ele, cada chamada à tarifa do próprio modelo. Os resumos de compactação ficam fora, porque o registro não diz a que PR cada um pertence.
A comparação principal tem 126 PRs abertos nos sete dias anteriores ao marco e mesclados, e 111 abertos depois dele e mesclados até o fim de 14 de novembro. Na média, o custo por PR caiu de US$ 22,59 para US$ 12,31, 45,5% a menos. O intervalo exploratório de 95%, calculado sorteando grupos de PRs ligados entre si, vai de -57,5% a -6,1%: largo e inteiro abaixo de zero. A mediana é o valor central dos custos ordenados, ou a média dos dois centrais quando há um número par de PRs, e sente menos os poucos PRs muito caros. Ela foi de US$ 17,55 para US$ 9,09, queda pontual de 48,2%, mas o intervalo dela vai de -66,4% a +0,4% e cruza o zero, então a diferença na mediana é inconclusiva. A queda de 45,5% ainda não é o saldo líquido por entrega aceita, que incluiria resumos e retrabalho.
Nesta coorte, chamo de custo por chamada o custo total atribuído dividido pelo total de chamadas, os pedidos ao modelo. O medidor usa as mesmas tarifas nos dois períodos, então o custo por chamada muda com a quantidade e o tipo de token que cada chamada carrega e com o modelo que a atende. Ele caiu 43,3%, de US$ 0,121 para US$ 0,069, com intervalo de -46,1% a -37,3%. As chamadas por PR foram de 186,6 para 179,5, -3,8% no ponto, com intervalo de -23,4% a +55,4%, que comporta queda e também aumento grande.
Em dois passos a partir da média antiga: trocar só o número de chamadas pelo valor novo, mantido o custo por chamada antigo, leva a US$ 21,73; aplicar depois o custo por chamada novo leva aos US$ 12,31 observados. O primeiro passo move US$ 0,87, e o segundo, US$ 9,42. O ponto intermediário é hipotético, e a divisão é contabilidade sobre valores pontuais, sensível à ordem dos passos: mostra onde a diferença aparece, sem dizer o que a causou.
| Medida da coorte de PRs | Antes | Depois | Variação |
|---|---|---|---|
| Custo médio por PR, US$ | 22,59 | 12,31 | −45,5% |
| Chamadas médias por PR | 186,6 | 179,5 | −3,8% |
| Custo por chamada, US$ | 0,1211 | 0,0686 | −43,3% |
Cinco dias contra cinco dias
A comparação principal tem durações desiguais: sete dias de abertura antes do marco contra o resto do dia 9 e os cinco dias completos de 10 a 14. Contar apenas PRs mesclados até o fechamento deixa de fora os ainda abertos e favorece os que fecharam rápido. Esse desenho deixa um viés de seleção cuja direção sobre a média posterior não foi medida.
Para conferir, os dados trazem duas janelas de exatamente 120 horas. A anterior vai de 4 de novembro às 20h39 a 9 de novembro às 20h39, horário de Brasília; a posterior, de 9 de novembro às 20h39 a 14 de novembro às 20h39. Entra o PR aberto e mesclado dentro da sua janela, sem contar o instante final. O recorte fecha 3h21 antes da comparação principal e também restringe o período anterior a 120 horas, exigindo abertura e mesclagem dentro da janela; por isso os números diferem.
Com 93 PRs antes e 108 depois, o custo médio por PR foi de US$ 21,86 para US$ 12,28, queda de 43,8%, e a mediana, de US$ 18,65 para US$ 8,93, 52,1% a menos. As chamadas médias por PR foram de 183,5 para 178,2 (-2,8%), e o tempo ativo estimado dos agentes, de 39,3 para 32,8 minutos (-16,7%), com 93 e 107 PRs medidos. São números descritivos, sem intervalo próprio; os intervalos da comparação principal não valem para este recorte.
Custo médio atribuído por PR, US$ equivalentes à API
Comparação principal
Cinco dias contra cinco dias
Antes vazado; Depois preenchido. Principal: 126/111 PRs. Janelas iguais de 120 horas: 93/108, sem intervalo próprio. Escala comum a partir de zero; custos atribuídos, sem os resumos estimados sem PR.
Ver os números em tabela
| Item | Custo médio atribuído por PR, US$ | n |
|---|---|---|
| Principal, Antes | 22,59 | 126 |
| Principal, Depois | 12,31 | 111 |
| Cinco dias iguais, Antes | 21,86 | 93 |
| Cinco dias iguais, Depois | 12,28 | 108 |
Método e dados
718b900MetodologiaBaixar JSONBaixar CSVCom a mesma duração dos dois lados, a queda observada continua perto de 44%. Isso reduz a preocupação de que ela venha só do período curto, sem eliminá-la. As janelas iguais só enxergam PRs que abriram e terminaram dentro delas, o que favorece trabalhos curtos nos dois lados, e as tarefas não são as mesmas. Mesmo com contagens de 93 e 108, os PRs não ficam independentes entre si, porque muitos dividem sessão ou spec.
Onde a chamada ficou mais barata
Nesta análise, medi o tamanho do contexto e as parcelas do custo nos registros das conversas com os agentes, que o Claude Code guarda como sessões. Li 95 sessões do período anterior e 48 do posterior, todas do desenvolvimento do Fuad Next. Uma sessão pode atender vários PRs, e um PR pode passar por várias sessões: sessões e PRs são unidades de contagem distintas do mesmo desenvolvimento, e estes números não se misturam com os da coorte de PRs.
Nas chamadas do agente principal, o contexto médio foi de cerca de 454 mil para 197 mil tokens, 56,7% a menos, com intervalo de -58,8% a -54,2%. Antes, 73,5% dessas chamadas passavam de 300 mil tokens; depois, nenhuma. O custo por chamada principal, que aqui já inclui a estimativa dos resumos de compactação, foi de US$ 0,128 para US$ 0,079, queda de 38,6% (intervalo de -41,4% a -35,3%).
Nesse custo, três parcelas pesam mais e aparecem aqui em dólares por mil chamadas principais: a leitura de cache, que é o trecho repetido, cobrado a tarifa reduzida; a escrita de cache de uma hora, que é a cobrança para gravar no cache, com essa duração, um trecho novo para reuso; e a saída, que é o texto que o modelo gera. As demais parcelas e os resumos ficam fora destas três, então elas não somam o custo do agente principal com os resumos estimados.
US$ equivalentes à API por mil chamadas do agente principal
Leitura de cache
Escrita de cache, 1 hora
Saída
Três parcelas dominantes; não é o custo total. Resumos estimados e parcelas menores ficam fora destas colunas. Amostra: 95 sessões antes, 48 depois. Mesma escala; Antes vazado e Depois preenchido.
Ver os números em tabela
| Item | US$ por mil chamadas principais | n |
|---|---|---|
| Leitura de cache, Antes | 90,25 | 95 |
| Leitura de cache, Depois | 38,70 | 48 |
| Escrita de cache, 1 hora, Antes | 22,29 | 95 |
| Escrita de cache, 1 hora, Depois | 24,49 | 48 |
| Saída, Antes | 15,06 | 95 |
| Saída, Depois | 13,88 | 48 |
Método e dados
718b900MetodologiaBaixar JSONBaixar CSVA leitura de cache encolheu US$ 51,55 por mil chamadas, de US$ 90,25 para US$ 38,70, mais que a queda total de US$ 49,30. O resto da conta devolveu a diferença: a escrita de cache subiu US$ 2,20 e foi a parcela visível que mais pesou na direção da alta, enquanto a saída caiu um pouco. A alta da escrita é compatível com compactar mais vezes, porque depois de cada resumo o contexto novo precisa ser gravado no cache, mas os dados não atribuem toda a escrita à compactação nem a separam do prefixo novo.
A interpretação é contábil e compatível com a hipótese sobre a mudança conjunta: com contexto menor e prefixo novo, a parcela que mais encolheu foi a de releitura. Ela não mede quanto do resultado se deve ao contexto, ao prefixo ou às tarefas diferentes.
Os subagentes, que o agente principal dispara para tarefas delegadas, mudam o retrato conforme o denominador. Nas sessões examinadas, as chamadas deles foram de 2.133 para 8.776, enquanto as principais foram de 31.241 para 18.708, e o gasto com subagentes foi de cerca de US$ 120 para US$ 451. Dividindo o custo total das sessões (principal, subagentes e resumos) por todas as chamadas, a queda é de 43,3%, de US$ 0,123 para US$ 0,070. Dividindo o mesmo numerador só pelas chamadas principais, é de 22,1%, de US$ 0,132 para US$ 0,103, com intervalo de -31,6% a -10,9%. A primeira taxa diz quanto custa uma chamada qualquer; a segunda, quanto o sistema gasta por chamada do agente que conduz o trabalho, com tudo o que ele delegou. A distância entre as duas vem do peso maior da delegação no período posterior, que tem custo próprio; os dados não dizem se essa delegação veio da compactação, do prefixo ou das tarefas. Nenhuma das duas taxas é o 45,5% por PR. A primeira coincide, ao arredondar, com os 43,3% de queda do custo por chamada da coorte, mas as contas diferem: a das sessões usa as chamadas das sessões e inclui os resumos estimados, e a da coorte usa as chamadas atribuídas aos PRs selecionados e deixa esses resumos fora.
Quanto custaram as compactações
Compactar tem custo próprio. O resumo é gerado pelo modelo numa chamada paga; depois dele, a primeira chamada envia um contexto diferente do anterior, e o resumo novo precisa ser escrito no cache. Nas 48 sessões posteriores houve 207 compactações, contra 34 nas 95 anteriores. Se esse custo fosse alto, poderia consumir o que se deixou de reler.
Como não dá para observar a mesma sessão sem compactar, o medidor usa um modelo contrafactual. Ele mantém o percurso de chamadas que aconteceu e, em cada chamada posterior a uma compactação, até a próxima compactação ou o fim da sessão, repõe o trecho removido como se ainda estivesse no contexto, com teto de 970.185 tokens, igual nos dois períodos. A diferença de custo de cache dessas chamadas hipotéticas é o uso de cache evitado estimado. Ela inclui leitura e também escrita de cache, quando o modelo identifica que o cache teria sido perdido. O modelo não simula um agente trabalhando sem compactar e não sabe se, com o histórico inteiro, ele faria mais ou menos chamadas.
Do lado do custo entram o resumo estimado e um ajuste líquido de cache na primeira chamada depois de cada compactação. Esse ajuste mede a diferença de custo dessa chamada e não prova que o prefixo inteiro foi regravado. Das 207 compactações observadas, 206 têm saldo avaliável e uma ficou sem; os valores a seguir são das 206.
O balanço começa no uso de cache evitado estimado, US$ 472,19, um valor de hipótese e não um gasto que existiu. Dele descem os resumos, US$ 27,53, e o ajuste líquido de cache, US$ 128,26, até o saldo estimado de US$ 316,40.
US$ estimados nas 206 compactações avaliáveis
Balanço modelado das 206 compactações avaliáveis, entre 207 observadas. O saldo desconta resumos e ajuste de cache. Não é desconto observado nem se soma à queda por PR.
Ver os números em tabela
| Item | US$ estimados nas 206 compactações avaliáveis |
|---|---|
| Uso de cache evitado | 472,19 |
| Resumos | -27,53 |
| Ajuste de cache | -128,26 |
| Saldo estimado | 316,40 |
Método e dados
718b900MetodologiaBaixar JSONBaixar CSVOs dois custos somam cerca de US$ 155,80, perto de US$ 0,76 por compactação, sendo US$ 0,13 de resumo e US$ 0,62 de cache. No modelo, eles consumiram 33% do uso de cache evitado, e 67% restou. Em 196 das 206 compactações, o saldo individual foi positivo. O intervalo condicional do saldo, de US$ 244,84 a US$ 395,26, descreve a variação dentro do modelo e das sessões observadas; não identifica efeito nem corresponde a desconto visto em fatura.
Essa conta não se combina com a dos PRs por subtração. O custo por PR já foi medido sobre as chamadas que aconteceram, com a escrita de cache real embutida; descontar de novo o ajuste de cache seria contá-lo duas vezes. Os resumos estimados ficam fora do custo por PR porque não têm PR atribuído, e dividir o total deles pelos 111 PRs criaria uma atribuição que o registro não faz. Por isso os 45,5% não são o saldo líquido completo por entrega aceita, e ainda não existe um percentual que junte as duas contas.
O esforço declarado subiu
Se o período posterior tivesse trabalhos diferentes, como PRs mais simples, essa diferença poderia explicar parte da queda, sem relação com o contexto. O Specsfy dá uma pista sobre essa troca. O Effort é a nota de esforço de 1 a 10 registrada na spec. Nesta análise, cada PR recebe a nota da spec vinculada.
A mistura andou no sentido oposto. A mediana do Effort subiu de 6 para 8, e a faixa de 7 a 8 passou de 44 dos 126 PRs anteriores (34,9%) para 87 dos 111 posteriores (78,4%). Isso não prova que os PRs ficaram mais pesados: ninguém verificou se a escala foi usada do mesmo jeito nos dois períodos. As linhas de código, outro indicador de tamanho e também imperfeito, faltam em 42 dos 111 PRs posteriores. A estabilidade do tamanho do trabalho por PR segue sem demonstração.
Os dados comparam, para cada faixa de Effort, o custo mediano por PR antes e depois, em dólares, com o número de PRs de cada período. São dois valores por faixa, sem série no tempo entre eles, e nenhuma faixa tem intervalo.
Custo mediano atribuído por PR, US$ equivalentes à API
Effort 1 a 4
Effort 5 a 6
Effort 7 a 8
Effort 9 a 10
Antes vazado; Depois preenchido. Mesma escala e n por faixa. A linha liga apenas os dois períodos. Sem intervalo por faixa; Effort 9 a 10 tem só 1 PR antes e 2 depois.
Ver os números em tabela
| Item | Mediana por PR, US$ | Média por PR, US$ | n |
|---|---|---|---|
| 1 a 4, Antes | 17,41 | 18,64 | 25 |
| 1 a 4, Depois | 18,85 | 18,26 | 6 |
| 5 a 6, Antes | 16,15 | 18,91 | 56 |
| 5 a 6, Depois | 7,04 | 9,22 | 16 |
| 7 a 8, Antes | 29,23 | 29,37 | 44 |
| 7 a 8, Depois | 8,77 | 12,16 | 87 |
| 9 a 10, Antes | 29,24 | 29,24 | 1 |
| 9 a 10, Depois | 25,88 | 25,88 | 2 |
Método e dados
718b900MetodologiaBaixar JSONBaixar CSVNas duas faixas com mais PRs dos dois lados, a mediana caiu: de US$ 16,15 para US$ 7,04 na de 5 a 6 (56 e 16 PRs) e de US$ 29,23 para US$ 8,77 na de 7 a 8 (44 e 87). A de 1 a 4 subiu de US$ 17,41 para US$ 18,85, com só 6 PRs depois, contra 25 antes. A de 9 a 10 tem 1 PR antes e 2 depois, com US$ 29,24 e US$ 25,88, e não sustenta generalização.
Para comparar trabalhos parecidos com um pouco mais de cuidado, cruzei o tipo declarado no título do PR (feat, fix ou outro) com a faixa de Effort e mantive só as combinações com pelo menos 5 PRs em cada período. Sobraram quatro, que cobrem 58 dos 126 PRs anteriores e 77 dos 111 posteriores. Com cada combinação pesando o que pesava no período anterior, o custo médio padronizado cai 54,6%. A conta é parcial e exploratória, sem intervalo, não pareia tarefas iguais e não ajusta tudo o que mudou. Ela reforça o sinal: comparando tipo com tipo e faixa com faixa, a queda observada não some.
O agente trabalhou mais para compensar?
Se o resumo perdesse informação, o agente poderia refazer passos, e isso tenderia a aparecer como mais chamadas, mais ações de ferramenta ou mais tempo por PR, a menos que outras diferenças entre os trabalhos compensassem. Ações de ferramentas e passos lógicos de uma tarefa não são a mesma medida.
O tempo não tem cronômetro por PR. A atividade é estimada pelos eventos de pedido e resposta ao modelo e pelas ferramentas, com prioridade para as durações que as próprias ferramentas registram. Intervalos paralelos dentro do mesmo PR são unidos, e cada lacuna inferida acima de 5 minutos é descartada inteira. O resultado é tempo ativo estimado dos agentes: pode incluir esperas curtas, pode perder trabalho longo que não deixou evento e não mede tempo de pessoa nem o ciclo inteiro do Specsfy.
Nas chamadas por PR, o ponto é -3,8%. As ações foram de 198,3 para 189,3 por PR, -4,5%, e o tempo, de 39,5 para 33,2 minutos, -16,1%, com 126 PRs antes e 110 depois.
Variação em relação ao período anterior, %
IC 95%: -23,4% a 55,4% · inclui zero
IC 95%: -24,4% a 55,0% · inclui zero
IC 95%: -34,6% a 38,8% · inclui zero
Pontos: variação observada. Traços: intervalos exploratórios de 95%. Todos cruzam zero; não demonstram ganho nem equivalência. Chamadas e ações: 126/111 PRs. Atividade estimada: 126/110, lacunas inferidas acima de 5 minutos descartadas.
Ver os números em tabela
| Item | Variação, % | Limite inferior, % | Limite superior, % | PRs antes | PRs depois |
|---|---|---|---|---|---|
| Chamadas por PR, média | -3,8 | -23,4 | 55,4 | 126 | 111 |
| Ações por PR, média | -4,5 | -24,4 | 55,0 | 126 | 111 |
| Atividade por PR, média | -16,1 | -34,6 | 38,8 | 126 | 110 |
Método e dados
718b900MetodologiaBaixar JSONBaixar CSVOs três intervalos cruzam o zero e vão mais longe no sentido do aumento: um aumento de até cerca de 55% em chamadas e ações, ou de quase 39% no tempo, ainda cabe na incerteza. Nenhuma das três quedas pontuais pode ser chamada de ganho. Os intervalos também não mostram que o volume ficou igual, porque nenhuma margem de equivalência foi definida, e não incorporam o viés de seleção dos PRs já concluídos. O alcance deles é limitado: os pontos não mostram o aumento de trabalho que anularia a economia, e, na conta do custo por PR, quase toda a diferença aparece no custo por chamada.
A qualidade acompanhou?
Gastar menos por PR só vale se o código continuar bom, e esta é a parte mais fraca dos dados. Há dois sinais, ambos com cobertura parcial. O CI, o conjunto de verificações automáticas da integração contínua, passou no primeiro commit do PR em 27 dos 45 PRs anteriores com registro (60,0%) e em 46 dos 52 posteriores (88,5%); só 45 dos 126 e 52 dos 111 têm esse registro. A revisão automática do Codex registrou, em média, 2,52 achados por PR revisado em 62 PRs antes e 2,32 em 68 depois.
Nos registros disponíveis, os dois sinais andaram no sentido favorável. Com essa cobertura, isso não sustenta melhora, equivalência nem ausência de piora. CI verde no primeiro commit é diferente de entrega aceita. O acompanhamento não usa uma janela comum para revelar problemas tardios, e não há intervalo que respeite a dependência entre PRs. Os registros dos PRs já auditados vêm das leituras anteriores, e os dos 7 novos, da leitura de 15 de novembro, então o conjunto não reconstitui o estado da meia-noite de 14. Reverts não foram consultados nesta leitura, o que não quer dizer zero reverts, e retrabalho não foi medido.
| Sinal disponível | Antes | Depois |
|---|---|---|
| CI verde no primeiro commit | 27/45 (60,0%) | 46/52 (88,5%) |
| Cobertura de CI | 45/126 PRs | 52/111 PRs |
| Achados por PR revisado | 2,52 (62 PRs) | 2,32 (68 PRs) |
O que fica desta comparação
Na coorte observada, os agentes de desenvolvimento do Fuad Next ficaram mais baratos por PR depois da mudança conjunta de contexto e prefixo. O custo médio atribuído caiu 45,5%, com intervalo inteiro abaixo de zero, e 43,8%, em leitura descritiva sem intervalo, nas janelas de exatamente cinco dias. Quase toda a diferença aparece no custo por chamada, e, nas chamadas principais das sessões, a parcela que mais encolheu foi a leitura de cache. A hipótese de que essa mudança reduz o gasto tem sinal favorável nestes dados, e eu manteria a configuração enquanto a investigação continua.
Nas médias de chamadas, ações e tempo, a análise principal não demonstrou mudança em nenhuma direção. A qualidade tem sinais favoráveis e cobertura insuficiente. O efeito isolado do contexto não aparece, porque o prefixo mudou junto, a mistura de Effort mudou e as tarefas não são as mesmas. As compactações deixaram saldo positivo no modelo contrafactual, mas ainda não existe percentual líquido por entrega aceita.
Depois de ver estes números, escolhi o critério da próxima etapa: custo por entrega aceita, com a qualidade mantida. Chamadas e tempo entram como explicação e não precisam cair para haver economia. A proposta, ainda não executada, é rodar as mesmas tarefas do Fuad Next em dois ambientes isolados, a partir do mesmo estado do repositório, variando só a política de contexto. Prefixo, modelo, ferramentas e condições de cache ficam fixos, e a ordem das configurações é sorteada. O custo de cada lado inclui resumos, tentativas que falharam e retrabalho, e se divide pelas entregas aceitas, com o mesmo critério de aceite e o mesmo acompanhamento de qualidade nos dois lados.
Antes da coleta, um piloto confere a medição e estima a variação entre tarefas para dimensionar a amostra. Economia mínima, margem de qualidade, janela de acompanhamento e orçamento ainda precisam ser definidos no protocolo, antes da coleta principal. Estender a observação atual até sete dias completos melhoraria a comparação descritiva, mas sozinha não resolveria a questão da causa.
Dados para conferir a conta
Baixar dados completos, exclusões e conferências (JSON)Os painéis abaixo exibem comparações adicionais da mesma coleta. O arquivo inclui os valores dos gráficos e também recortes, exclusões e conferências que não cabem na leitura principal.
Recorte e limites do desenho
Rascunho de agente a partir das fontes listadas; revisado e aprovado por Lucas Fuad