O botão de override que ninguém aperta

Todo projeto de IA responsável tem um mecanismo de intervenção humana. Está no documento de governança, passou pela aprovação jurídica e aparece em algum slide para o conselho.

O problema começa no que acontece depois disso.

Se o override nunca é acionado, ele não funciona como válvula de segurança. Funciona como cobertura jurídica: um argumento defensivo para quando as coisas derem errado, do tipo 'tínhamos o mecanismo de controle documentado.'

Documentar não é controlar.

Governança de IA real se mede por outras perguntas:

- Com que frequência os responsáveis revisam os outputs do sistema?
- Quando algo sai do esperado, alguém detecta e intervém de forma registrada?
- As intervenções geram aprendizado ou somem num ticket?
- O override alimenta o próximo ciclo de ajuste ou vira dado perdido?

Empresa que nunca overrida não tem controle real. Tem o conforto de achar que, porque o sistema não quebrou visivelmente, tudo está funcionando bem. E esse conforto é perigoso: sistemas de IA falham de formas sutis, acumulativas e invisíveis para quem não está olhando com intenção.

A diferença entre governança real e governança de papel não está no botão que existe, mas na cultura de usá-lo, com regularidade, com dono e com registro.

Se o override nunca foi acionado, uma de duas coisas é verdade: o sistema é perfeito (pouco provável) ou ninguém está olhando de verdade (muito mais comum do que as empresas gostam de admitir).

Quantos meses faz desde a última intervenção real num sistema de IA em produção na sua empresa? Me conta nos comentários.