Resumo

  • Uma mudança de configuração pode alterar uma decisão sem disparar os alertas de infraestrutura.
  • Sepuri propõe validar continuamente as saídas em produção e devolver os desvios aos testes.

Um painel verde diz que as máquinas respondem. Não diz que o sistema tomou a decisão certa. Shruthi Sepuri colocou essa diferença no centro de sua apresentação na NANOG 98.

A sessão, “From Testing to Reliability: Detecting Silent Failures in Production Systems”, apareceu na programação oficial como uma palestra de trinta minutos em Miami, em 19 de outubro de 2026. O resumo descreve como mudanças de configuração, regras ou dependências podem alterar o comportamento automatizado sem mexer em disponibilidade, latência, erros ou uso de recursos.

Os slides transformam a ideia em um cenário: infraestrutura saudável, mecanismo de regras em falha, decisão incorreta, validação ignorada e lacuna no rastro de auditoria. O material público não identifica um serviço ou incidente real. A força do exemplo está na separação entre duas afirmações: “o serviço está no ar” e “o serviço fez o que deveria”.

Sepuri desloca a observação para o caminho entre entrada e resultado. Ela sugere medir a proporção de saídas corretas, a cobertura de validações de configuração, mudanças na distribuição dos resultados e a execução das regras contra casos conhecidos. Também propõe tráfego sintético passando pela lógica de produção, comparação com uma referência conhecida após cada alteração e retorno do comportamento observado para os testes.

Isso começa antes da métrica. A equipe precisa definir qual resposta espera, quais campos sustentam essa resposta e que parte da configuração pode mudá-la. Em um fluxo baseado em regras, é preciso saber se os dados estavam completos, qual caminho foi executado e a que versão da configuração o resultado pertence. Sem isso, o gráfico mede variação sem explicar sua causa.

Uma distribuição diferente pode indicar uma mudança legítima de demanda ou política. O alerta deve abrir uma investigação, não condenar a versão automaticamente. Para ser útil, ele vem acompanhado do registro da mudança, do resultado esperado e de alguém capaz de julgar a diferença. Tráfego sintético também precisa testar a lógica real sem alterar o estado do cliente.

A tese de Sepuri é simples de enunciar e exigente de operar: observar o comportamento que roda. A validação precisa atravessar o fluxo de produção e voltar ao ciclo de testes com evidências. Caso contrário, o sistema pode permanecer verde e continuar entregando decisões erradas a cada etapa seguinte.

Fontes: página oficial da sessão NANOG 98 · slides oficiais · retrato oficial da palestrante.