Engenharia de contexto: seu agente não é burro, está se afogando

Engenharia de contexto: seu agente não é burro, está se afogando
30.000tokens: o que uma única saída de testes pode ocupar
5etapas de compactação, de 70% a 99% de pressão
~15tokens: o que resta de cada observação mascarada
~15chamadas a ferramentas: quando o prompt de sistema começa a se apagar
Seu agente de IA não é burro, está se afogando em contexto: a engenharia de contexto é o produto
Também conto isso neste vídeo de oito minutos, no meu canal Articulator PT.

A camada que importalink

Cobus parte de uma leitura: o relatório técnico do OpenDev, apresentado como o primeiro trabalho completo sobre um agente de programação de código aberto que vive no terminal. O que mais chamou a atenção não foi o modelo nem as ferramentas, e sim a engenharia de contexto: a camada que decide quais informações o agente tem diante de si a cada turno.

O OpenDev trata a janela de contexto como um recurso finito que se esgota, igual à memória em um sistema operacional.

A janela de contexto e a memória RAM, duas grades iguais: um recurso finito que enche.
A janela de contexto, tratada como a memória de um sistema operacional.

Daí vem a ideia central: quando um agente falha, na maioria das vezes não é por raciocinar mal, é por causa do contexto. Estes três sintomas devem soar familiares: o modelo esqueceu as instruções, a janela encheu de saídas enormes de comandos ou o agente deixou de seguir o prompt de sistema depois de vinte chamadas a ferramentas.

Dois baldes com bolas vermelhas de falhas: o do raciocínio quase vazio e o do contexto cheio.
Um esquema, sem números: o artigo só diz "a maioria".

Para o autor, esta é a camada que separa uma demo de algo que aguenta em produção.

O que um agente vêlink

A verdade incômoda é esta: um modelo de linguagem vê exatamente o que você coloca na frente dele, e nada mais. E um agente lê arquivos, busca e executa comandos. Todos esses resultados acabam na mesma janela, de tamanho fixo.

Com números, ela enche rápido. Uma única rodada de testes pode devolver uma saída de 30.000 tokens. Some algumas leituras de arquivos grandes e o contexto já está cheio.

Um terminal com a saída dos testes, 30.000 tokens e a barra de contexto cheia.
Uma única saída de testes pode ocupar 30.000 tokens.

A partir daí, o agente deixa de ser eficaz. Não porque ficou mais burro: é que o importante ficou enterrado sob o ruído.

Uma gema brilhante, o importante, enterrada sob uma chuva de pedras e caracteres.
O importante, enterrado sob o ruído.

Um orçamento, não um registrolink

Cobus resume em uma frase: o contexto é um orçamento, não um registro (a budget, not a log). Os tokens gastos em uma saída velha já não estão disponíveis para a pergunta real do usuário.

Uma observação: o artigo atribui a frase ao paper, mas o que o paper diz é "Treat context as a budget, not a buffer". A ideia é a mesma; a frase com "registro" é de Cobus.

Cinco etapas em vez de tudo ou nadalink

Esta é a peça central. O habitual é um sistema de tudo ou nada: quando o contexto enche, faz-se um resumo de emergência. O OpenDev, em vez disso, vigia a pressão sem parar e aplica estratégias cada vez mais agressivas: um fluxo de compactação adaptativa com cinco degraus.

Um medidor de pressão do contexto a 99% e cinco barras crescentes: 70, 80, 85, 90 e 99.
Cada degrau é ativado em um nível de pressão.
  1. 70%, aviso. Ainda não se mexe em nada. O sistema anota a pressão e começa a acompanhar a tendência.
  2. 80%, mascarar observações. Os resultados antigos das ferramentas são substituídos por ponteiros de referência muito compactos, de uns 15 tokens cada, como [output offloaded to scratch file]. A conversa mantém a estrutura, mas pesa muito menos.
  3. 85%, poda rápida. As saídas velhas que ficam fora da janela do recente são apagadas, sem resumir nada. Por isso sai mais barato que pedir um resumo ao modelo.
  4. 90%, mascaramento agressivo. A janela do que se conserva encolhe, até ficar só com as saídas mais recentes.
  5. 99%, compactação completa. Segundo o paper, primeiro ele salva todo o histórico em um arquivo. Agora sim, o modelo resume a parte central da conversa, e o final é conservado palavra por palavra.
A conversa com os resultados antigos transformados em ponteiros de 15 tokens, e espaço livre embaixo.
Segunda etapa: cada observação antiga vira um ponteiro, e aparece espaço livre.
A poda rápida: as saídas velhas são apagadas e só as recentes ficam.
Terceira etapa: podar não resume nada, então custa menos.
A compactação: um resumo da conversa, o final palavra por palavra e o histórico completo salvo em um arquivo.
Quinta etapa: o histórico, a salvo em um arquivo; o recente, palavra por palavra.

Um esclarecimento, se você for ao original: uso a numeração do artigo, de 1 a 5. O paper numera essas mesmas etapas como 1, 2, 2.5, 3 e 4.

O barato primeirolink

A chave é esta: as estratégias baratas costumam recuperar espaço suficiente. Assim, você economiza o custo de um resumo e a informação que sempre se perde com ele.

Mascarar e podar recuperam espaço suficiente; o resumo, que custa tokens e perde informação, fica riscado.
Se mascarar e podar bastam, você economiza o resumo.

Só com a segunda etapa, cada observação cai de milhares de tokens para uns quinze. E o artigo dá este resultado: antes, as sessões transbordavam com 15 ou 20 turnos; agora aguentam de 30 a 40, sem a compactação ser ativada.

Uma ressalva do paperlink

Aqui o artigo e a fonte não dizem exatamente o mesmo, então fui conferir. O paper atribui esse salto de turnos, principalmente, a resumir as saídas das ferramentas e levar as maiores para arquivos (as de mais de 8.000 caracteres), não ao fluxo de cinco etapas.

Das cinco etapas ele dá outro número: reduzem em 54% o pico de contexto usado pelas observações. E são dados da própria experiência, sem comparação com outros agentes, então vale ler com essa cautela.

Dois painéis: o salto de 15-20 para 30-40 turnos vem de resumir e levar para arquivos; as cinco etapas dão −54%.
Dois números diferentes, com duas causas diferentes.

Você também vai ver "mais de 40 turnos" no resumo inicial do artigo. No corpo do texto e no paper, são de 30 a 40.

O prompt de sistema se apagalink

Esta é a parte que mais surpreendeu o autor. A partir de umas 15 chamadas a ferramentas, o modelo deixa de seguir o prompt de sistema, e isso acontece repetidamente. As instruções continuam lá, na janela. Ele simplesmente já não dá atenção a elas.

O exemplo do paper: você pede que ele sempre execute os testes depois de editar. No começo, ele faz. Mas passadas umas vinte chamadas, para de fazer sem avisar.

Cobus explica isso como um problema de distância: o prompt de sistema está na posição zero, e a atenção do modelo foi para as mensagens recentes, além da 50.000. Essas duas posições vêm do artigo, não saem do paper.

Uma fita de mensagens com o foco da atenção do modelo sobre as últimas, na posição 50.000 ou mais.
A atenção do modelo está no recente, longe do prompt de sistema.

Lembretes com papel de usuáriolink

Como se resolve? Com lembretes disparados por eventos: mensagens curtas injetadas bem no ponto de decisão, onde o agente erraria. Segundo o paper, são oito detectores de eventos; por exemplo, quando uma ferramenta falha e ele não repete, ou depois de cinco leituras seguidas sem avançar. E contadores limitam quantas vezes cada lembrete dispara.

E aqui está o truque: eles não vão como mensagens de sistema, e sim com role: user. Depois de quarenta turnos, outro aviso do sistema se confunde com o fundo que o modelo já esqueceu pela metade. Já o que o usuário escreve aparece como a coisa mais recente de todas, e o modelo trata isso como algo que exige resposta.

O foco de atenção do modelo aponta para o lembrete com papel de usuário, no fim da conversa.
Com o papel de usuário, o lembrete é o mais recente e exige resposta.

Três liçõeslink

De todas as lições do paper, o autor destaca três:

1. Orçamento, não registro

Cada mensagem disputa um espaço finito. Adicionar é gastar, não anotar. Observe o que está consumindo e se ainda compensa.

2. Guie ao decidir, não ao iniciar

Um prompt de sistema longo vai se apagando. Um lembrete curto, logo antes de decidir, fica.

3. Ponha um teto no que cresce

O histórico de desfazer, as chamadas simultâneas, os avisos de comportamento. Sem um limite, as sessões longas acabam falhando.

Esquema da influência no modelo: o prompt de sistema se apaga com o tempo e o lembrete, logo antes de decidir, fica.
Um esquema, não uma medição: o prompt se apaga e o lembrete fica.
Três barras contidas por um teto, e uma sessão sem teto que acaba falhando.
Tudo o que cresce com a sessão precisa de um teto.

Em resumolink

Trate o contexto como um orçamento, comprima primeiro o barato, lembre as regras bem quando são necessárias e coloque um teto no que cresce.

Em uma frase

Seu agente é tão bom quanto o contexto dele.

O que mais consome memória no seu agente?

Fonteslink

Continuar lendo

Últimos posts -->

Você viu esses projetos?

Gymnasia

Gymnasia Gymnasia
Expo
React Native
TypeScript
OpenAI
Anthropic

App de fitness com dois agentes que são executados integralmente no dispositivo, sem backend, de forma que os dados do usuário nunca saem do celular. Um coach conversacional BYOK com tools locais e system prompt remoto com fallback offline, e um estimador de refeições que tira os macronutrientes de uma foto do prato, com leitura de códigos de barras contra o OpenFoodFacts.

LangGraph Deep Researcher

LangGraph Deep Researcher LangGraph Deep Researcher
Python
LangGraph
FastAPI
React
TypeScript
Docker

Sistema multiagente de pesquisa construído com LangGraph. Um supervisor decompõe sua pergunta em tópicos e lança subagentes de busca em paralelo; cada um comprime seus achados antes de repassá-los a um agente redator que escreve o relatório final em markdown com suas fontes. Streaming ao vivo por WebSockets, modelo configurável por papel e chaves de API próprias que nunca são armazenadas no servidor.

Tau

Tau Tau
Python
LangChain

Sistema multiagente de tutoria para estudantes do ensino médio, com um agente por disciplina e material de curso elaborado e validado por uma equipe de professores. Chegou a ser usado com alunos reais em um colégio privado na Espanha e em uma escola de ensino médio na Colômbia.

Ver todos os projetos -->
>_ Disponível para projetos

Tem um projeto com IA?

Vamos conversar.

maximofn@gmail.com

Especialista em Machine Learning e Inteligência Artificial. Desenvolvo soluções com IA generativa, agentes inteligentes e modelos personalizados.

Quer assistir alguma palestra?

Últimas palestras -->

Quer melhorar com essas dicas?

Últimos tips -->

Use isso localmente

Os espaços do Hugging Face nos permitem executar modelos com demos muito simples, mas e se a demo quebrar? Ou se o usuário a deletar? Por isso, criei contêineres docker com alguns espaços interessantes, para poder usá-los localmente, aconteça o que acontecer. Na verdade, se você clicar em qualquer botão de visualização de projeto, ele pode levá-lo a um espaço que não funciona.

Flow edit

Flow edit Flow edit

Edite imagens com este modelo de Flow. Baseado em SD3 ou FLUX, você pode editar qualquer imagem e gerar novas

FLUX.1-RealismLora

FLUX.1-RealismLora FLUX.1-RealismLora
Ver todos os contêineres -->
>_ Disponível para projetos

Tem um projeto com IA?

Vamos conversar.

maximofn@gmail.com

Especialista em Machine Learning e Inteligência Artificial. Desenvolvo soluções com IA generativa, agentes inteligentes e modelos personalizados.

Você quer treinar seu modelo com esses datasets?

short-jokes-dataset

HuggingFace

Dataset com piadas em inglês

Uso: Fine-tuning de modelos de geração de texto humorístico

231K linhas 2 colunas 45 MB
Ver no HuggingFace →

opus100

HuggingFace

Dataset com traduções de inglês para espanhol

Uso: Treinamento de modelos de tradução inglês-espanhol

1M linhas 2 colunas 210 MB
Ver no HuggingFace →

netflix_titles

HuggingFace

Dataset com filmes e séries da Netflix

Uso: Análise de catálogo Netflix e sistemas de recomendação

8.8K linhas 12 colunas 3.5 MB
Ver no HuggingFace →
Ver mais datasets -->