A linha entre autonomia e escalada

Todo sistema de IA precisa de um ponto de escalada: a condição exata em que o agente para de agir sozinho e chama um humano. A maioria das empresas não define isso. Confia no bom senso do sistema e só descobre o problema quando algo quebra.

O resultado são dois extremos igualmente ruins. De um lado, o agente que escala tudo paralisa a automação e transforma o fluxo em trabalho manual com uma camada inútil de tecnologia no meio. Do outro, o agente que decide o que não deveria: risco silencioso, onde ninguém sabe que o erro aconteceu até ele virar consequência real.

Nos projetos que estruturo, a primeira coisa que documento não é o fluxo feliz. É o mapa de escalada. Três perguntas que respondo antes de liberar qualquer agente:

𝟭. Qual é a ação irreversível desse fluxo?
Enviar e-mail, processar pagamento, deletar registro, publicar conteúdo - qualquer ação sem ctrl+Z precisa de checkpoint humano, sem exceção.

𝟮. Qual é o nível mínimo de confiança aceitável?
O agente age quando a confiança está acima de X. Abaixo disso, escala. Esse número é definido com o time: não é padrão de sistema, é decisão de negócio.

𝟯. O contexto é familiar ou ambíguo?
O agente age dentro dos padrões mapeados. Situação nova, fora da curva, variável desconhecida - escala sempre. Autonomia só dentro do que foi documentado.

Autonomia sem limite vira delegação sem responsabilidade. Empresa que não define onde o agente para acaba descobrindo esse limite da pior forma possível.

Salva esse post se você está construindo ou operando agentes de IA - esse framework vai ser útil quando o projeto escalar.

Me conta nos comentários: qual é o maior risco de escalada no fluxo que você está automatizando hoje?