Resumo

  • O IESG aprovou em 29 de outubro o grupo Benchmarking & Performance Measurements, que cobrirá tanto testes controlados em laboratório quanto medições em redes vivas.
  • A carta do BPM exige método, contexto e relatório claros. Ela deixa os critérios de aceitação e as exigências de desempenho fora da competência do grupo.

“De acordo com o padrão” é uma expressão confortável numa planilha de compras. Ela diz muito sobre como testar e pouco sobre quando assinar o recebimento. A nova carta do grupo Benchmarking & Performance Measurements da IETF torna essa diferença impossível de esconder: o padrão pode organizar a medição; o limiar que aprova um equipamento ou serviço pertence ao contrato de quem vai usá-lo.

A decisão do IESG saiu em 29 de outubro. O BPM recebeu um campo amplo: métricas, métodos e protocolos para qualidade, desempenho, confiabilidade e escala de serviços e aplicações de dados. A carta cita redes de centros de dados, roteadores, firewalls, controladores, infraestrutura física, virtualizada e em contêineres, sistemas de gerenciamento e endpoints. Abrange os planos de dados, controle e gerência. O objetivo prático é tornar explícito o que foi medido, em que condições e com qual instrumento.

O grupo herda duas tradições que sempre lidaram com perguntas diferentes. O BMWG produzia métodos de benchmarking com estímulos controlados, em laboratório; sua carta excluía testes de referência sobre redes operacionais. O IPPM tratava de métricas e métodos de desempenho para serviços e aplicações sobre IP, inclusive técnicas ativas, passivas e híbridas. A carta nova chama o BPM de sucessor dos dois e lhe entrega a manutenção de seus RFCs. Em 2 de novembro, as páginas antigas ainda exibiam “Active” no Datatracker. A nova atribuição está aprovada; as fichas públicas dos antecessores ainda não refletem integralmente essa passagem.

Juntar o trabalho sob um nome não transforma a bancada num turno de produção. Num laboratório, o avaliador isola o sistema, calibra os aparelhos, fixa a carga e repete o ensaio. Na rede em operação, rotas, tráfego concorrente e demanda dos usuários mudam enquanto se observa. A carta do BPM quer um corpo comum de termos e procedimentos para ambos os contextos e pede que as medições em produção reduzam o impacto sobre a própria rede. O nome comum de uma métrica ajuda; a descrição das condições decide se duas cifras podem ser comparadas.

É aí que um relatório técnico encontra uma decisão comercial. Um valor de capacidade obtido num equipamento isolado descreve o equipamento sob aquela carga. Uma medição durante o horário de maior uso descreve o serviço naquela janela. Para ligar as duas coisas, é preciso guardar configuração, perfil de tráfego, topologia, duração, calibração e cálculo do resultado. Ainda falta declarar o serviço que o comprador quer receber. O BPM pode padronizar a primeira lista; a segunda é uma obrigação assumida localmente.

A IETF já havia desenhado esse limite. A carta do BMWG excluía critérios de aceitação e requisitos de desempenho, pois as necessidades mudam de implantação para implantação. A do BPM mantém a decisão de fora: suas recomendações de benchmarking devem descrever características relevantes, ambiente de teste e apresentação inequívoca dos resultados, buscando independência de fornecedor. Não haverá um número mágico que transforme qualquer caixa em boa compra para qualquer rede. A recusa evita que o comitê de padrões escreva, sem conhecer o serviço, a política de compras do mundo inteiro.

O BCP 170, publicado como RFC 6390, mostra o perigo de decidir pelo resumo mais elegante. Seu exemplo é a perda de pacotes. Uma média informa algo, mas aplicações atingidas por rajadas curtas precisam saber como as perdas se agrupam. Duas médias parecidas podem esconder efeitos diferentes para o usuário. Por isso a orientação manda identificar a audiência da métrica e explicitar método, amostragem, topologia, exatidão e período. Esses campos fazem parte do significado do número.

O ensaio em produção também consome capacidade. O BPM deve explicar como métodos novos mitigam efeitos do tráfego de teste sobre fluxos que dividem o caminho e sobre endpoints que não esperavam recebê-lo. Antes de abrir uma campanha, o operador precisa fixar responsável, intensidade, horário e regra de interrupção. A disponibilidade de um protocolo não transforma cada cliente da rede em alvo de teste.

A carta inclui modelos YANG para configurar e operar propriedades ligadas a desempenho e entidades IPFIX para exportar telemetria. Isso pode fazer o resultado chegar automaticamente a painéis e processos. Também pode fazer um limiar ruim chegar automaticamente a centenas de decisões. Quando uma organização converte uma medida em alarme, pontuação de fornecedor ou multa contratual, ela cria uma regra própria. O protocolo não assinou essa regra.

Uma compra séria precisa de duas peças. A especificação de teste define métrica, equipamento, configuração, carga, calibração, janela e formato do relatório. A cláusula de aceitação define o serviço esperado, o limiar, as exceções, o responsável e a repetição do ensaio. Escreva a segunda antes de receber a melhor curva do vendedor. Se ela vier depois, o resultado apresentado passa a escolher o problema que a compra deveria resolver.

O BPM pode acabar com a disputa sobre réguas diferentes. A disputa que restará é a que importa: qual desempenho paga a conta, quem aceita o risco e quem assina quando a cifra cruza a linha.

Fontes: decisão do IESG; carta aprovada do BPM; página do BPM; carta do BMWG; carta do IPPM; BCP 170 / RFC 6390.